1. GPT4：AI技術和工程的偉大創新，邁向AGI時代
GPT4：全球領先的“智能涌現”AI大模型
GPT-4 是世界第一個(ge)最接近AGI的先進(jin)AI系統(tong)。Generative Pre-trained Transformer 4 ( GPT-4 ) 是OpenAI創(chuang)建的 多(duo)模態大型語言模型，于 2023 年 3 月(yue)(yue) 14 日發(fa)布，并已通過ChatGPT Plus和(he)商業API形式對外提(ti)供服(fu)務。 ChatGPT是OpenAI在2022年11月(yue)(yue)推出的基于 GPT-3.5的新型 AI聊天機器人，只需向ChatGPT提(ti)出需求(qiu)，即可實現文 章創(chuang)作、代碼創(chuang)作、回答問題(ti)等功能(neng)。ChatGPT從推出到(dao)月(yue)(yue)用戶過億(yi)僅用了2個(ge)月(yue)(yue)時間，是世界上(shang)增(zeng)速最快消費(fei)級應用。
GPT4的(de)(de)顯著特(te)征(zheng)“涌(yong)現(xian)能力(li)”， LLM的(de)(de)涌(yong)現(xian)能力(li)被正式定(ding)義(yi)為“在小(xiao)型模(mo)型中不(bu)存在，但在大型模(mo)型中出現(xian)的(de)(de)能力(li)” 。 涌(yong)現(xian)能力(li)出現(xian)時的(de)(de)一(yi)個(ge)顯著特(te)點：當模(mo)型規模(mo)達(da)到一(yi)定(ding)程度時，性能顯著提升。這種涌(yong)現(xian)模(mo)式與(yu)物理學中的(de)(de)相變現(xian)象(xiang)有 著密切的(de)(de)聯系。原(yuan)則(ze)上，涌(yong)現(xian)能力(li)也可(ke)以根據一(yi)些復(fu)雜任務來定(ding)義(yi)。 涌(yong)現(xian)是(shi)非線性深(shen)度網絡的(de)(de)基(ji)本特(te)征(zheng)，也是(shi)群體智能行(xing)為與(yu)復(fu)雜思(si)維，感知(zhi)與(yu)認知(zhi)的(de)(de)基(ji)本特(te)質。
OpenAI： AG I的重要推手
GPT-4 幕后的研發團隊大致(zhi)可(ke)分為七個部分：預訓練(Pretraining)、長(chang)上(shang)下文(Long context)、視覺(Vision)、強 化學習 & 對(dui)齊(RL & alignment)、評估 & 分析(xi)(Evaluation & analysis)、部署(shu)(Deployment)，以及其他。
GPT4六大顛覆式技術創新：大參數+大數據+算法創新
參數擴大是提高LLM模型能力的關鍵因素。GPT-3首先 將模型大小增加到175B參數的極大規模。語言模型前期 的性能和模型規模大致呈線性關系，當模型規模大到一 定程度時，任務性能有了明顯的突變。 大規模語言模型基座的可擴展性很強，實現反復自我迭代。 因此，LLM也被看作是實現通用人工智能AGI的希望。
模型能(neng)力不僅(jin)與模型大(da)(da)小有關，還(huan)與數(shu)(shu)據 大(da)(da)小和(he)總(zong)計算量有關。同(tong)時，預(yu)訓(xun)練(lian)數(shu)(shu)據 的(de)質量對取得(de)良好(hao)的(de)性(xing)能(neng)起著關鍵作用(yong)， 因此在擴展(zhan)預(yu)訓(xun)練(lian)語(yu)料(liao)庫(ku)時，數(shu)(shu)據收集和(he) 清洗策略是(shi)非(fei)常重要(yao)的(de)考慮。 預(yu)訓(xun)練(lian)語(yu)料(liao)庫(ku)的(de)來(lai)源大(da)(da)致可以分為(wei)兩類(lei): 通用(yong)數(shu)(shu)據：如網(wang)頁(ye)、書籍和(he)對話(hua)文本， 由于其龐大(da)(da)、多(duo)(duo)樣化(hua)和(he)可訪(fang)問性(xing)，被 大(da)(da)多(duo)(duo)數(shu)(shu)LLM使(shi)用(yong)，可以增強(qiang)LLM的(de)語(yu) 言(yan)建模和(he)泛化(hua)能(neng)力。 專業數(shu)(shu)據：如多(duo)(duo)語(yu)言(yan)數(shu)(shu)據、科學數(shu)(shu)據 和(he)代碼，使(shi)LLM具有特定的(de)任務解(jie)決 能(neng)力。
GPT4六大顛覆式技術創新：Transformer
Self-Attention自(zi)(zi)注意力(li)機制(zhi)：當模(mo)型處理每個詞(ci)(輸(shu)(shu)入序列中的(de)每個位(wei)置)時，Self-Attention 機制(zhi)使得模(mo)型不僅能夠 關注當前位(wei)置的(de)詞(ci)，而且能夠關注句(ju)子中其(qi)他位(wei)置的(de)詞(ci)，從而可以(yi)更好地編碼這個詞(ci)。即單詞(ci)自(zi)(zi)己記住我(wo)和(he)哪些單詞(ci)在同(tong)一(yi) 句(ju)話里(li)面。 Transformer基(ji)于自(zi)(zi)注意力(li)機制(zhi)，學會單詞(ci)和(he)單詞(ci)之(zhi)間(jian)共(gong)同(tong)出現的(de)概(gai)率(lv)，在語料輸(shu)(shu)入后，可以(yi)輸(shu)(shu)出單詞(ci)和(he)單詞(ci)共(gong)同(tong)出現的(de) 概(gai)率(lv)，同(tong)時，Transformer能夠挖掘長距離(li)上下文的(de)詞(ci)之(zhi)間(jian)的(de)雙向關系。
GPT4六大顛覆式技術創新：Prompt
語境學習(in-context learning, ICL)作為一(yi)(yi)種(zhong)特(te)殊(shu)的(de)(de)提(ti)示(shi)形(xing)式(shi)與GPT-3一(yi)(yi)起被(bei)首次提(ti)出(chu)，并已成(cheng)(cheng)為一(yi)(yi)種(zhong)典型的(de)(de)利用(yong)LL的(de)(de) 方法。首先(xian)，從任務描述開始(shi)，從任務數(shu)據(ju)集中選擇一(yi)(yi)些示(shi)例作為演示(shi)。然(ran)后，將它們(men)按(an)照特(te)定的(de)(de)順序(xu)組合起來(lai)，形(xing)成(cheng)(cheng)具 有特(te)殊(shu)設(she)計模板的(de)(de)自然(ran)語言提(ti)示(shi)。最后，測(ce)試實(shi)例被(bei)附加到(dao)演示(shi)中，作為LLM生成(cheng)(cheng)輸出(chu)的(de)(de)輸入。基于任務演示(shi)，LLM可(ke)以 在不顯式(shi)梯度更新(xin)的(de)(de)情況下識別(bie)并執行新(xin)任務。
2. AI算力：GPT的基座，顯著受益于新一輪科技革命
GPT開啟AI新紀元：對標Wi ndo ws的生態價值
ChatGPT的(de)(de)發布類似(si)于Windows的(de)(de)誕(dan)生(sheng)(sheng)。 ChatGTP作(zuo)為(wei)大語言(yan)模(mo)型，將(jiang)會起(qi)到信息系統入口的(de)(de)作(zuo)用，同(tong)時，ChatGPT或將(jiang)重塑目前的(de)(de)軟(ruan)(ruan)件(jian)生(sheng)(sheng)態。 2022年，Windows在全球PC操作(zuo)系統市占率約(yue)75%，應用數量3000萬以上，是世界上生(sheng)(sheng)態規模(mo)最龐大的(de)(de)商業操作(zuo)系統。 圍(wei)繞Windows所創造(zao)的(de)(de)桌面(mian)軟(ruan)(ruan)件(jian)生(sheng)(sheng)態，誕(dan)生(sheng)(sheng)了現(xian)有的(de)(de)全球互(hu)聯(lian)網巨(ju)頭(tou)，亞馬遜、谷歌、META、阿里巴巴、騰訊、百度等。
算力是大模型的根基，GPT的率先受益賽道
算(suan)力(li)(li)(li)(li)(li)是(shi)對信息數據(ju)(ju)進行處理輸出(chu)(chu)目標(biao)結果的(de)計算(suan)能力(li)(li)(li)(li)(li)。隨著社會數字化轉型 的(de)持(chi)續深入，算(suan)力(li)(li)(li)(li)(li)已成為支(zhi)撐和推(tui)動(dong)數字經(jing)濟(ji)發(fa)(fa)展(zhan)的(de)核心力(li)(li)(li)(li)(li)量，并對推(tui)動(dong)科 技進步、社會治理等發(fa)(fa)揮著重要的(de)作用。根據(ju)(ju)中(zhong)國(guo)算(suan)力(li)(li)(li)(li)(li)發(fa)(fa)展(zhan)指數白皮書(shu)測算(suan)， 算(suan)力(li)(li)(li)(li)(li)沒投入1元(yuan)，將帶動(dong)3-4元(yuan)的(de)經(jing)濟(ji)產出(chu)(chu)。 2021年全球計算(suan)設備算(suan)力(li)(li)(li)(li)(li)總規模(mo)達到615EFlops，同比增長44%，其中(zhong)智(zhi) 能算(suan)力(li)(li)(li)(li)(li)規模(mo)為232EFlops，超級算(suan)力(li)(li)(li)(li)(li)規模(mo)為14EFlops。智(zhi)算(suan)中(zhong)心、邊緣數 據(ju)(ju)中(zhong)心將保持(chi)高(gao)速(su)增長。
微軟(ruan)投資(zi)10億美金打(da)造(zao)OpenAI超算平(ping)臺。2020年5月，微軟(ruan)投資(zi)10億美金與OpenAI獨家合作打(da)造(zao)了Azure AI超算平(ping)臺 亮相，性能位(wei)居全(quan)球前五，擁(yong)有超過28.5萬個(ge)CPU核心、1萬個(ge)GPU、每GPU擁(yong)有400Gbps網絡帶(dai)寬的(de)超級計算機，主要 用于大規(gui)模(mo)分布式AI模(mo)型訓(xun)練(lian)。 據OpenAI報(bao)告，訓(xun)練(lian)一次1746億參數的(de) GPT-3模(mo)型需(xu)要的(de)算力約為3640 PFlop/s-day。即假如每秒計算一千萬億次， 也需(xu)要計算3640天。
3. 計算：GPU為算力核心，服務器為重要載體
服務器：AI算力的重要載體
服(fu)(fu)務器通(tong)常是(shi)(shi)指那(nei)些具有(you)較高計(ji)算(suan)能(neng)力，能(neng)夠提供給(gei)多個用(yong)(yong)(yong)(yong)戶(hu)使(shi)(shi)用(yong)(yong)(yong)(yong)的(de)計(ji)算(suan)機(ji)。服(fu)(fu)務器與(yu)PC機(ji)的(de)不同點(dian)很多，例如PC機(ji)在 一個時刻通(tong)常只為一個用(yong)(yong)(yong)(yong)戶(hu)服(fu)(fu)務。服(fu)(fu)務器與(yu)主機(ji)不同，主機(ji)是(shi)(shi)通(tong)過(guo)終端(duan)給(gei)用(yong)(yong)(yong)(yong)戶(hu)使(shi)(shi)用(yong)(yong)(yong)(yong)的(de)，服(fu)(fu)務器是(shi)(shi)通(tong)過(guo)網絡(luo)給(gei)客戶(hu)端(duan)用(yong)(yong)(yong)(yong)戶(hu)使(shi)(shi) 用(yong)(yong)(yong)(yong)的(de)，所以(yi)除(chu)了要擁(yong)有(you)終端(duan)設備，還要利(li)用(yong)(yong)(yong)(yong)網絡(luo)才(cai)能(neng)使(shi)(shi)用(yong)(yong)(yong)(yong)服(fu)(fu)務器電(dian)腦，但用(yong)(yong)(yong)(yong)戶(hu)連(lian)上線(xian)后就能(neng)使(shi)(shi)用(yong)(yong)(yong)(yong)服(fu)(fu)務器上的(de)特(te)定服(fu)(fu)務了。
AI服務器是一種能夠提供人工智能(AI)計算的服務器。它既可以用來支持本地應用程序和網頁，也可以為云和本地服務 器提供復雜的AI模型和服務。AI服務器有助于為各種實時AI應用提供實時計算服務。AI服務器按應用場景可分為訓練和推 理兩種，其中訓練對芯片算(suan)力要(yao)(yao)求(qiu)更高，推理對算(suan)力的要(yao)(yao)求(qiu)偏(pian)低。
GPU：AI算力的核心
AI芯(xin)片(pian)是算(suan)(suan)力的(de)核心。AI芯(xin)片(pian)也被稱為AI加速器(qi)或計算(suan)(suan)卡，即專門(men)用(yong)于(yu)處理(li)人(ren)工(gong)智能(neng)(neng)應(ying)用(yong)中(zhong)的(de)大量計算(suan)(suan)任(ren)務的(de)模 塊(其他非計算(suan)(suan)任(ren)務仍由CPU負責)。伴隨數據海量增長，算(suan)(suan)法模型(xing)趨向復雜，處理(li)對象異構，計算(suan)(suan)性能(neng)(neng)要(yao)求高， AI 芯(xin)片(pian)在人(ren)工(gong)智能(neng)(neng)的(de)算(suan)(suan)法和應(ying)用(yong)上(shang)做針對性設計，可(ke)高效處理(li)人(ren)工(gong)智能(neng)(neng)應(ying)用(yong)中(zhong)日漸多(duo)樣繁雜的(de)計算(suan)(suan)任(ren)務。
GPU是目前最廣(guang)泛應用(yong)(yong)的AI芯片(pian)(pian)。AI芯片(pian)(pian)主要(yao)包(bao)括圖形處理(li)器(GPU)、現場可編程門陣(zhen)列(FPGA)、專(zhuan)用(yong)(yong) 集成電路(ASIC)、神經擬(ni)態芯片(pian)(pian)(NPU)等。GPU屬(shu)于(yu)(yu)通用(yong)(yong)型芯片(pian)(pian)，ASIC屬(shu)于(yu)(yu)專(zhuan)用(yong)(yong)型芯片(pian)(pian)，而FPGA則是 介(jie)于(yu)(yu)兩者(zhe)之(zhi)間的半定制化芯片(pian)(pian)。2022年，我國GPU服務器占AI服務器的89%。
CUDA是英偉達(da)2007年推出的一種并行(xing)計算平臺和(he)應用(yong)程(cheng)序編程(cheng)接口(API)，允許(xu)軟件使(shi)用(yong)某些(xie)類型的GPU進行(xing)通用(yong)計 算機處理(li)。CUDA與 NVIDIA GPU 無(wu)縫協作，加(jia)速跨多個領域的應用(yong)程(cheng)序開(kai)發和(he)部(bu)署。 目前，超過一百萬的開(kai)發人員正(zheng)在使(shi)用(yong) CUDA-X，它提供了提高(gao)生產力的能力，同時受益(yi)于持(chi)續(xu)的應用(yong)程(cheng)序性能。
4. 網絡：數據中心算力瓶頸，光模塊需求放量
網絡：算力的瓶頸之一，英偉達布局I nf i ni Band
數據(ju)通(tong)信(xin)(xin)設(she)(she)(she)備(bei)(bei)(網(wang)(wang)絡設(she)(she)(she)備(bei)(bei)、ICT設(she)(she)(she)備(bei)(bei))泛指實現IP網(wang)(wang)絡接入終(zhong)端、局域網(wang)(wang)、廣域網(wang)(wang)間連接、數據(ju)交(jiao)換及(ji)相(xiang)關(guan)安(an)全(quan)防護等(deng)功(gong)能的 通(tong)信(xin)(xin)設(she)(she)(she)備(bei)(bei)，主要大類包括交(jiao)換機、路(lu)由器(qi)、WLAN。其中主要的是交(jiao)換機和(he)路(lu)由器(qi)。 網(wang)(wang)絡設(she)(she)(she)備(bei)(bei)是互(hu)聯(lian)網(wang)(wang)基(ji)(ji)本的物(wu)理設(she)(she)(she)施層，屬于信(xin)(xin)息化建設(she)(she)(she)所(suo)需(xu)的基(ji)(ji)礎架構產品。
網(wang)絡設(she)(she)(she)備制造服務行(xing)業(ye)(ye)，上(shang)游(you)主(zhu)要(yao)為芯片、PCB、電(dian)(dian)源、各類電(dian)(dian)子元(yuan)器件等生產(chan)商(shang)(shang)，直接(jie)下(xia)(xia)游(you)為各網(wang)絡設(she)(she)(she)備品牌 商(shang)(shang)， 終下(xia)(xia)游(you)包括運(yun)營(ying)商(shang)(shang)、政府、金融、教育、能源、電(dian)(dian)力、交通(tong)、中小企(qi)(qi)業(ye)(ye)、醫(yi)院等各個(ge)行(xing)業(ye)(ye)。 網(wang)絡設(she)(she)(she)備根據應(ying)用(yong)領域分為電(dian)(dian)信級(ji)、企(qi)(qi)業(ye)(ye)級(ji)和消費(fei)級(ji)。電(dian)(dian)信級(ji)網(wang)絡設(she)(she)(she)備主(zhu)要(yao)應(ying)用(yong)于電(dian)(dian)信運(yun)營(ying)商(shang)(shang)市(shi)場(chang)，用(yong)于搭建(jian)核心骨干 互聯網(wang);企(qi)(qi)業(ye)(ye)級(ji)網(wang)絡設(she)(she)(she)備主(zhu)要(yao)應(ying)用(yong)于非運(yun)營(ying)商(shang)(shang)的各種企(qi)(qi)業(ye)(ye)級(ji)應(ying)用(yong)市(shi)場(chang)，包括政府、金融、電(dian)(dian)力、醫(yi)療、教育、制造業(ye)(ye)、 中小企(qi)(qi)業(ye)(ye)等市(shi)場(chang);消費(fei)級(ji)網(wang)絡設(she)(she)(she)備主(zhu)要(yao)針對家庭及(ji)個(ge)人消費(fei)市(shi)場(chang)。
英偉達(da)NVSwitch。第三(san)代(dai) NVSwitch 技術(shu)包(bao) 括(kuo)位于節(jie)點(dian)內部和外部的(de)(de)(de)(de)交(jiao)換(huan)機(ji)，用于連(lian)接(jie)服(fu) 務器、集群和數據中心環境(jing)中的(de)(de)(de)(de)多個 GPU。 節(jie)點(dian)內的(de)(de)(de)(de)每個 NVSwitch 具有 64 個第四代(dai) NVLink 鏈路端口，可(ke)(ke)加速多 GPU 連(lian)接(jie)。交(jiao) 換(huan)機(ji)總吞吐量從上一(yi)代(dai)的(de)(de)(de)(de) 7.2Tb/s 提(ti)升到 13.6Tb/s。新(xin)的(de)(de)(de)(de)第三(san)代(dai)NVSwitch 技術(shu)還通(tong)過 組(zu)播和 NVIDIA SHARP 在網計算，為集合(he)運(yun) 算提(ti)供(gong)硬(ying)件加速。 英偉達(da)結合(he)全新(xin) NVLINK 和 NVSwitch 技術(shu)， 構(gou)建大型(xing)NVLink Switch 系統網絡，實(shi)現前(qian) 所未有的(de)(de)(de)(de)通(tong)信(xin)帶寬水(shui)平。 NVLink Switch 系統 最多可(ke)(ke)支(zhi)持 256 個 GPU。互連(lian)節(jie)點(dian)能夠提(ti)供(gong) 57.6 TB 的(de)(de)(de)(de)多對多帶寬，可(ke)(ke)提(ti)供(gong)高(gao)達(da) 1 exaFLOP 級別的(de)(de)(de)(de) FP8 稀疏(shu)計算算力。
光模塊：網絡核心器件，AI訓練提振800G需求
光(guang)模(mo)塊行(xing)(xing)業(ye)的上(shang)游(you)主要包(bao)括(kuo)光(guang)芯(xin)(xin)片(pian)、電(dian)(dian)芯(xin)(xin)片(pian)、光(guang)組(zu)件(jian)企業(ye)。光(guang)組(zu)件(jian)行(xing)(xing)業(ye)的供應商(shang)較多，但高(gao)端(duan)光(guang)芯(xin)(xin)片(pian)和電(dian)(dian)芯(xin)(xin)片(pian)技(ji)術壁壘高(gao)， 研發成本高(gao)昂，主要由(you)境外企業(ye)壟斷(duan)。光(guang)模(mo)塊行(xing)(xing)業(ye)位于產業(ye)鏈(lian)的中游(you)，屬(shu)于封裝環節。光(guang)模(mo)塊行(xing)(xing)業(ye)下游(you)包(bao)括(kuo)互(hu)聯網(wang)及(ji)云計算 企業(ye)、電(dian)(dian)信運營商(shang)、數據通(tong)信和光(guang)通(tong)信設備商(shang)等。
作為(wei)信(xin)息(xi)化和互連(lian)通(tong)信(xin)系統中必需(xu)的(de)(de)核心器件，光(guang)通(tong)信(xin)模塊(kuai)的(de)(de)發展(zhan)對 5G 通(tong)信(xin)、電子、大(da)數(shu)據(ju)(ju)、互聯網(wang)行業的(de)(de)影響至關重 要(yao)。全球數(shu)據(ju)(ju)流量的(de)(de)增長，光(guang)通(tong)信(xin)模塊(kuai)速率的(de)(de)提升，光(guang)通(tong)信(xin)技術的(de)(de)創新等推動(dong)光(guang)模塊(kuai)產業規(gui)模持續增長。全球光(guang)模塊(kuai)市(shi)場 Lightcounting 預(yu)測，全球光(guang)模塊(kuai)的(de)(de)市(shi)場規(gui)模在未(wei)來 5 年將(jiang)以(yi) CAGR11%保(bao)持增長，2027 年將(jiang)突破 200 億(yi)美元。另外， 高(gao)算力、低(di)功耗是未(wei)來市(shi)場的(de)(de)重要(yao)發展(zhan)方向，CPO、硅光(guang)技術或將(jiang)成為(wei)高(gao)算力場景 下“降本增效(xiao)”的(de)(de)解決方案。
光模塊應(ying)用場景主(zhu)要(yao)(yao)可以分為數據通信(xin)(xin)和網絡通信(xin)(xin)兩(liang)大(da)領域。數據通信(xin)(xin)領域主(zhu)要(yao)(yao)是指互聯網數據中心以及(ji)企業(ye)數據中心。網 絡通信(xin)(xin)主(zhu)要(yao)(yao)包括光纖接入(ru)網、城域網/骨干網以及(ji)5G接入(ru)、承載(zai)網為代表(biao)的移動網絡應(ying)用。
5. 存儲：人工智能“內存墻”，3D工藝持續突破
存儲：半導體產業核心支柱，AI算力的“內存墻”
計算機存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)是一(yi)種利用半(ban)導(dao)體、磁性介(jie)質(zhi)等(deng)技術制(zhi)(zhi)成的(de)存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)資料的(de)電子(zi)設備。其電子(zi)電路中(zhong)的(de)資料以二進制(zhi)(zhi)方式存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)， 不同存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)產品(pin)中(zhong)基本單元的(de)名稱也不一(yi)樣。 存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)芯(xin)片可分為掉電易(yi)失和(he)掉電非易(yi)失兩(liang)種，其中(zhong)易(yi)失存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)芯(xin)片主要包(bao)含靜態隨(sui)機存(cun)(cun)(cun)(cun)(cun)(cun)取存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)(SRAM)和(he)動態隨(sui)機存(cun)(cun)(cun)(cun)(cun)(cun)取 存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)(DRAM);非易(yi)失性存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)主要包(bao)括可編(bian)程(cheng)只讀存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)(PROM)，閃存(cun)(cun)(cun)(cun)(cun)(cun)存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)(Flash)和(he)可擦除可編(bian)程(cheng)只讀 寄存(cun)(cun)(cun)(cun)(cun)(cun)器(qi)(qi)(EPROM/EEPROM)等(deng)。NAND Flash和(he)DRAM存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)領域合計占半(ban)導(dao)體存(cun)(cun)(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)(chu)器(qi)(qi)市(shi)場比例達到95%以上。
NVIDIA DGX GH200 是(shi)第一(yi)(yi)臺通(tong)過(guo)GPU的(de)(de)(de)(de)(de)(de)NVLink 聯接實現144TB 內(nei)(nei)存(cun)的(de)(de)(de)(de)(de)(de)超(chao)級(ji)計算(suan)機(ji)。NVIDIA DGX GH200 通(tong)過(guo) NVLink 為 GPU 共享內(nei)(nei)存(cun)編程模(mo)型提供了近(jin) 500 倍的(de)(de)(de)(de)(de)(de)內(nei)(nei)存(cun)，形成了一(yi)(yi)個(ge)巨大(da)的(de)(de)(de)(de)(de)(de)數(shu)據中心(xin)大(da)小的(de)(de)(de)(de)(de)(de) GPU。NVIDIA DGX GH200 是(shi)第一(yi)(yi)臺通(tong)過(guo)在 256 個(ge)NVIDIA Grace Hopper 超(chao)級(ji)芯片(pian)上提供 144TB 海量共享內(nei)(nei)存(cun)空間的(de)(de)(de)(de)(de)(de) AI 超(chao)級(ji)計算(suan)機(ji)。 NVIDIA DGX GH200中的(de)(de)(de)(de)(de)(de)每個(ge)NVIDIA Grace Hopper超(chao)級(ji)芯片(pian)具有480 GB LPDDR5 CPU內(nei)(nei)存(cun)，每GB的(de)(de)(de)(de)(de)(de)功率是(shi) DDR5和96 GB fast HBM3的(de)(de)(de)(de)(de)(de)八分之一(yi)(yi)。NVIDIA Grace CPU和Hopper GPU通(tong)過(guo)NVLink互連(lian)，每個(ge)GPU都可以以 900GBps的(de)(de)(de)(de)(de)(de)速度訪問其他GPU的(de)(de)(de)(de)(de)(de)內(nei)(nei)存(cun)和NVIDIA Grace CPU的(de)(de)(de)(de)(de)(de)擴展GPU內(nei)(nei)存(cun)。
NAND：大容量存儲的最佳方案，3D NAND技術持續突破
NAND Flash是大容量存儲器當前應用最廣和最有效的解決方案。據Gartner統計,NAND Flash2020年市場規模為534.1 億美元。隨著人工智能、物聯網、大(da)(da)數(shu)(shu)據(ju)(ju)、5G等新興應(ying)用(yong)場景(jing)不(bu)斷落地，電子設備需要存(cun)儲(chu)的數(shu)(shu)據(ju)(ju)也越(yue)來越(yue)龐(pang)大(da)(da)，NAND Flash需求量巨大(da)(da)，市(shi)場前景(jing)廣(guang)闊。 目前全球具備NAND Flash晶圓生產能力的主要有三星、鎧俠、西部數(shu)(shu)據(ju)(ju)、美光、SK海力士、英特爾等企(qi)業，國產廠商長 江存(cun)儲(chu)處于起步狀(zhuang)態，正在(zai)市(shi)場份(fen)額與(yu)技術(shu)上(shang)奮起直追。根據(ju)(ju)Omdia的數(shu)(shu)據(ju)(ju)統計，2020年六大(da)(da)NAND Flash晶圓廠占據(ju)(ju)了 98%的市(shi)場份(fen)額。
DRAM：存儲器最大細分市場，3 D成為重要方向
DRAM(Dynamic Random Access Memory，動態隨機存(cun)(cun)(cun)取存(cun)(cun)(cun)儲(chu)器)是(shi)一種半導(dao)體(ti)存(cun)(cun)(cun)儲(chu)器，主要(yao)的(de)作用(yong)(yong)原理是(shi)利用(yong)(yong)電(dian) 容內存(cun)(cun)(cun)儲(chu)電(dian)荷(he)的(de)多寡來代表一個二進制比特(te)(bit)是(shi)1還(huan)是(shi)0。DRAM根據應(ying)用(yong)(yong)設備可分為(wei)計算機(DDR)、移動 (LPDDR)、圖形存(cun)(cun)(cun)儲(chu)器DRAM(GDDR)，DDR和LPDDR合(he)計占DRAM應(ying)用(yong)(yong)比例(li)約90%。 DRAM優勢：體(ti)積容量高(gao)、成(cheng)本低(di)、高(gao)密度(du)、結構簡單; DRAM挑戰：訪問(wen)速度(du)慢、耗電(dian)量大。
HBM(High Bandwidth Memory)高(gao)(gao)(gao)帶(dai)寬存(cun)儲器，是一種面向 需要極高(gao)(gao)(gao)吞吐量的(de)數據密集(ji)型應用程序的(de)DRAM。 HBM特(te)點：更(geng)高(gao)(gao)(gao)帶(dai)寬、更(geng)多I/O數量、更(geng)低功耗、更(geng)小尺(chi)寸。 HBM挑戰：靈活性不足、容(rong)量小、訪(fang)問延遲高(gao)(gao)(gao)。 超高(gao)(gao)(gao)的(de)帶(dai)寬讓HBM成為(wei)了高(gao)(gao)(gao)性能GPU的(de)核心(xin)組件。根據 TrendForce報告(gao)，目前市場(chang)上(shang)主要的(de)HBM制造商(shang)為(wei)SK 海力士、 三星、美(mei)光，市占率分(fen)別為(wei)50%、40%、10%。
