文/Renee
編輯/孫越
2023年，投資機構與股民們，正向AI芯片領域的(de)上市(shi)公司(si)，發起奪命三連問：
你做存算一體芯片了嗎?
(投資者向瀾起(qi)科技提問(wen) 圖(tu)源：同花(hua)順財經(jing))
存算一體芯片進度如何?
(投資者(zhe)向(xiang)東(dong)芯(xin)股(gu)份提問 圖源：同花順財經)
存算一體芯片前景如何?
(投(tou)資者向恒爍(shuo)股份(fen)提問(wen) 圖(tu)源：同花順財經)
以上的一(yi)(yi)(yi)系列發(fa)問，意味著存(cun)算(suan)一(yi)(yi)(yi)體(ti)不(bu)再“停留(liu)”于(yu)學(xue)界與產界，儼(yan)然(ran)火到了二級(ji)市場：股民、券商機(ji)構正加(jia)班(ban)加(jia)點狂補(bu)存(cun)算(suan)一(yi)(yi)(yi)體(ti)的課，于(yu)是傳統(tong)芯片(pian)大(da)廠從2023年(nian)初至今，一(yi)(yi)(yi)直(zhi)被(bei)“拷問”存(cun)算(suan)一(yi)(yi)(yi)體(ti)的布局情況。
一個自然而然的疑問是，存算一體為何突然變得如此火爆?
7.14發(fa)布(bu)新存儲產品OceanStor A310的華為，給(gei)出了自己的答案。華為數(shu)據存儲產品線總裁周躍峰表示(shi)，在(zai)通(tong)用大(da)模型(xing)與行業大(da)模型(xing)的訓練推(tui)理中面臨著諸多數(shu)據難題(ti)：海量數(shu)據跨域歸集慢、預處(chu)理與訓練中數(shu)據交互效(xiao)率低、數(shu)據安全流動難。
AI大模型對(dui)存儲帶來了新的挑戰，比如穩定性相較于傳統(tong)AI更差，同時有大量的數據預(yu)處(chu)理和準(zhun)備工作，需要用近存計算(suan)(存算(suan)一(yi)體的一(yi)種)來系統(tong)性處(chu)理這個問題。
那么，這里“大(da)量(liang)的(de)數據(ju)(ju)”究竟有多少?據(ju)(ju)偲睿(rui)洞察測算，現階段 ChatGPT 日(ri)活一億(yi)，若(ruo)每(mei)日(ri)有5%的(de)人每(mei)秒同時提問，將會吞噬三峽大(da)壩近一年的(de)發電量(liang)。
換(huan)言(yan)之，大模型(xing)(xing)正瘋狂索取算(suan)力，而以存算(suan)一體為(wei)代表的(de)新(xin)興解決方(fang)案能夠解決大模型(xing)(xing)帶來(lai)的(de)諸多挑戰。而事(shi)實(shi)上(shang)，大模型(xing)(xing)除了(le)對算(suan)力提出嚴苛要(yao)求(qiu)外，也給(gei)了(le)AI芯片廠商(shang)“不少糖吃”。
本文(wen)試(shi)圖探究(jiu)，大模型背(bei)景(jing)下，給(gei)了(le)AI芯片廠商怎樣的(de)好(hao)處?被ChatGPT“帶(dai)火(huo)”的(de)存算一體廠商，未來(lai)格局如(ru)何?
PART-01
“福禍相依”的AI芯片廠商
大模型的風還在(zai)(zai)呼嘯，有關大模型的討(tao)論仍在(zai)(zai)如火如荼地進行。
8月初，在中國計算機學會(CCF)人工智能會議分論壇(tan)——“見疆見昆(kun)侖(lun)·AI大模型(xing)算力前沿”上(shang)，專家學者們(men)一致表(biao)示(shi)，大模型(xing)時代，智能算力成(cheng)為“稀缺資產”，如何善用算力資源，發揮其(qi)最大效益，已(yi)經成(cheng)為每個參與者必須面對的挑戰。
而光是(shi)GPT-3對(dui)算力索(suo)取量(liang)，保守(shou)情況下，需三峽大(da)壩徹(che)夜“打(da)工”才能滿足(zu)：
假設有1億人(ren)同時在(zai)(zai)線，每日有5%的(de)人(ren)每秒同時提問，每個(ge)prompt占30個(ge)token，便需要1530萬顆H100芯(xin)片來提供其推理算力;而每顆H100的(de)功(gong)耗(hao)(hao)在(zai)(zai)750W左右(you)，若每天運行10個(ge)小時，這些H100芯(xin)片所在(zai)(zai)的(de)數據(ju)中心一年(nian)的(de)耗(hao)(hao)電(dian)量(liang)將(jiang)達到840億kW*h，而三峽大壩一年(nian)的(de)發電(dian)量(liang)是882億kW*h。
讓AI芯片(pian)廠商更為焦慮的(de)是，這還只是ChatGPT一個大模型(xing)在(zai)推理階(jie)段(duan)的(de)耗電量(liang)，百家大模型(xing)全階(jie)段(duan)、全部運作的(de)耗電量(liang)，難以估量(liang)。
于(yu)是，一(yi)系(xi)列(lie)新(xin)興的解決方案紛(fen)紛(fen)被廠商挖掘(jue)出(chu)來：存(cun)算一(yi)體、chiplet、HBM等等。在(zai)這之中，由于(yu)存(cun)算一(yi)體推翻了傳統(tong)馮諾依曼架構(gou)下的存(cun)儲墻(qiang)，實(shi)實(shi)在(zai)在(zai)做到了降(jiang)本增效(xiao)，成為今年的“紫微星”。
(圖源：偲睿洞(dong)察(cha)《AI大(da)算力(li)芯片行業報告-百(bai)舸爭流(liu)，創新(xin)者先》)
除了新興方案涌現讓AI芯片廠商喘了一口氣之外，大模型也為芯片廠商尤其是初創芯片廠商，帶來一個利好消息：軟件生態重要性正在下降。
早先(xian)技術不(bu)夠成熟之時，研究者(zhe)們只能從解決某(mou)個特(te)定問題起步，參數量(liang)低(di)于百萬的(de)小模型由此誕生。例如谷(gu)歌旗下的(de)AI公(gong)司DeepMind，讓AlphaGO對(dui)上(shang)百萬種人(ren)類專業選手的(de)下棋步驟進行專項“學習(xi)”。
而(er)小模型多了(le)之(zhi)后，硬件(jian)例(li)如芯片的(de)適配問(wen)題迫(po)在(zai)眉睫。故，當英偉(wei)達(da)推出統一(yi)生態(tai)CUDA之(zhi)后，GPU+CUDA迅速(su)博得(de)計(ji)算(suan)機科(ke)學界認可(ke)，成為人工智能開發的(de)標(biao)準配置(zhi)。
現如今紛紛涌現的大模型具備多模態能力，能夠處理文本、圖片、編程等問題，也能夠覆蓋辦公、教育、醫療等多個垂直領域。這也就意味著，適應主流生態并非唯一的選擇：在大模型對芯片需求量暴漲之時，芯片廠商或許可以只適配1-2個大模型，便能完成以往多個小模型的訂單。
也就是說，ChatGPT的出現，為初創芯片廠商們提供了彎道超車的機會。這就意味著，AI芯片市場格局將發生巨變：不再是個別廠商的獨角戲，而是多個創新者的群戲。
當算力成為稀缺貨，同時適應主流生態不再成為必選項時，存算一體難掩光芒。此時，要不要投入，要投入多少，成為擺在AI芯片廠商面前的第二道難題。
對此，“過來人”芯片巨頭NVIDIA摸爬滾打多年給出的答案是，勇于創新，重金投入：
每一(yi)個新興技術(shu)的(de)(de)研發廠(chang)商，在前(qian)期無(wu)疑要面(mian)臨技術(shu)探(tan)索碰壁，下游廠(chang)商不(bu)認同等各(ge)個層面(mian)的(de)(de)問(wen)題。而在早期，誰(shui)先(xian)預(yu)判到未來的(de)(de)發展趨勢，并勇于邁出(chu)探(tan)索的(de)(de)腳步(bu)，鋪下合理的(de)(de)資源去(qu)嘗試，就會搶到先(xian)機。
當數據(ju)中心浪潮還(huan)未鋪天(tian)蓋地襲(xi)來、人工智能訓練還(huan)是小眾領域之時，英(ying)偉達(da)已經投(tou)入重(zhong)金，研(yan)發通(tong)用(yong)計(ji)算GPU和統一(yi)編程(cheng)軟件(jian)CUDA，為英(ying)偉達(da)謀一(yi)個好(hao)差事(shi)——計(ji)算平臺。
而在當時，讓GPU可編程，是“無用且虧(kui)本”的：不知道其性(xing)能(neng)是否能(neng)夠翻倍，但(dan)產品(pin)研發會(hui)翻倍。為此(ci)，沒有客戶愿意為此(ci)買單。但(dan)預判到單一(yi)功能(neng)圖形處理(li)器不是長遠之計(ji)的英偉(wei)達毅然決定，在所有產品(pin)線上(shang)都應(ying)用CUDA。
在(zai)芯東(dong)西與英偉(wei)達(da)(da)中國區工程和解決方案高(gao)級總監(jian)賴俊杰(jie)博士的(de)采訪(fang)中，賴俊杰(jie)表示：“為了計算平臺這一(yi)愿(yuan)景，早期黃仁(ren)勛(xun)快速(su)調(diao)動(dong)了英偉(wei)達(da)(da)上上下下非常(chang)多(duo)的(de)資(zi)源(yuan)。”
遠見(jian)+重金投入，在2012年(nian)，英偉達(da)拿到了創新(xin)者(zhe)的獎(jiang)勵：2012年(nian)，深度學(xue)習算(suan)法的計算(suan)表現轟動學(xue)術圈，作為(wei)(wei)高算(suan)力且(qie)更為(wei)(wei)通(tong)用(yong)、易用(yong)的生產力工具，GPU+CUDA迅(xun)速風(feng)靡(mi)計算(suan)機科學(xue)界，成為(wei)(wei)人(ren)工智能開發(fa)的“標配”。
在(zai)AI大算力(li)芯片(pian)的征途上，存(cun)算一體芯片(pian)迎來了自己(ji)的“黃金期”，超前投入，是為正解。
PART-02
非技術、資金雄厚者，勿進
窺見到存算(suan)一(yi)(yi)體的種(zhong)種(zhong)好處，現階段，存算(suan)一(yi)(yi)體芯片玩家陣營日益龐大。
(圖源：偲睿洞察(cha)《AI大(da)算力芯(xin)片(pian)行(xing)業報告-百舸爭流，創新者先(xian)》)
據(ju)偲睿洞察(cha)不完全統計，自2019年(nian)起，新(xin)增(zeng)(zeng)的AI芯(xin)片(pian)廠(chang)商，多數(shu)在布局存(cun)算一體：在2019-2021年(nian)新(xin)增(zeng)(zeng)的AI芯(xin)片(pian)廠(chang)商有(you)20家(jia)，在這之中，有(you)10家(jia)選擇(ze)存(cun)算一體路線。
這無一(yi)不說(shuo)明著(zhu)，存算一(yi)體將成為繼GPGPU、ASIC等(deng)架構(gou)后的(de)，一(yi)顆冉冉升(sheng)起的(de)新(xin)星。而這顆新(xin)星，并不是誰都可以(yi)摘。
在學界、產界、資本一致看好存算一體的境況下，強勁的技術實力、扎實的人才儲備以及對遷移成本接受度的精準把控，是初創公司在業內保持競爭力的關鍵，也是擋在新玩家面前的三大門檻。
強勁的技術實力，永遠是芯片領域的最高山。
首(shou)先(xian)是存(cun)算一(yi)體(ti)“涉(she)獵廣泛”，涉(she)及到(dao)芯(xin)片(pian)制造的全(quan)環(huan)節：從最底(di)層的器件(jian)，到(dao)電路設(she)計，架構設(she)計，工具鏈，再(zai)到(dao)軟件(jian)層的研發(fa);其(qi)次是其(qi)“牽一(yi)發(fa)而動(dong)全(quan)身(shen)”：在每(mei)一(yi)層做相(xiang)應改(gai)變的同時，還要(yao)考慮(lv)各層級之(zhi)間的適配度(du)。
我們一層一層來看，一顆存算一體芯片被造出來，有怎樣的技術難題。
首先，在器件選擇上，廠商就“如履薄冰”：存儲(chu)器設計(ji)決定芯片(pian)的良率(lv)，一(yi)旦(dan)方向錯誤將(jiang)可能導致芯片(pian)無法(fa)量產。
其(qi)次是電(dian)路(lu)(lu)設(she)(she)(she)計層面。電(dian)路(lu)(lu)層面有(you)了器件之后，需要(yao)用其(qi)做存儲陣列的電(dian)路(lu)(lu)設(she)(she)(she)計。而目前在電(dian)路(lu)(lu)設(she)(she)(she)計上(shang)，存內計算沒有(you)EDA工具指導，需要(yao)靠手動(dong)完(wan)成，無疑又(you)大(da)大(da)增加(jia)了操作(zuo)難度。
緊接著，架構層面有電(dian)路之后(hou)，需要做架構層的(de)設計。每一個(ge)電(dian)路是(shi)一個(ge)基本的(de)計算(suan)模(mo)塊(kuai)，整個(ge)架構由不同(tong)模(mo)塊(kuai)組成，存算(suan)一體模(mo)塊(kuai)的(de)設計決定(ding)了(le)芯片(pian)的(de)能(neng)效比。模(mo)擬(ni)電(dian)路會受(shou)(shou)到(dao)噪聲(sheng)干擾，芯片(pian)受(shou)(shou)到(dao)噪聲(sheng)影響后(hou)運轉起來會遇到(dao)很多問(wen)題。
這種情況下，需(xu)要(yao)(yao)芯片架構(gou)師足(zu)夠了解模(mo)擬存內計算的工(gong)藝特點，同時(shi)針對這些特點去設計架構(gou)，在(zai)此基礎(chu)上，還要(yao)(yao)考慮到架構(gou)與軟件開(kai)(kai)發(fa)的適配度。軟件層面(mian)架構(gou)設計完(wan)成后，還需(xu)要(yao)(yao)開(kai)(kai)發(fa)相(xiang)應(ying)的工(gong)具鏈。
(圖源：偲睿洞察《AI大算力芯片(pian)行業報告-百舸爭流，創新者先》)
而由(you)于存算(suan)一(yi)體的(de)原始模型(xing)與傳統架構(gou)下的(de)模型(xing)不(bu)(bu)同，編(bian)譯器(qi)要適配完全(quan)不(bu)(bu)同的(de)存算(suan)一(yi)體架構(gou)，確(que)保(bao)所有計算(suan)單元能(neng)夠映射到硬(ying)件上(shang)，并且順利運行(xing)。
一條完整的技術鏈條下來，考驗著器件、電路設計、架構設計、工具鏈、軟件層開發各個環節的能力，與協調各個環節的適配能力，是耗時耗力耗錢的持久戰。
同時，根據以上環節操作流程可以看到，存算一體芯片亟需經驗豐富的電路設計師、芯片架構師。
鑒于存算一(yi)(yi)體(ti)的特殊性，能夠做成存算一(yi)(yi)體(ti)的公司在人(ren)員儲備上需要有以(yi)下兩(liang)點特征：
1、帶頭人(ren)需有(you)足(zu)夠(gou)魄力。在器件選擇(RRAM、SRAM等)、計算(suan)模(mo)式(傳統馮諾依曼、存(cun)算(suan)一體等)的(de)選擇上要(yao)有(you)清晰的(de)思路。這是因(yin)為，存(cun)算(suan)一體作為一項顛覆(fu)、創新技術，無(wu)人(ren)引領，試錯成本極高。能夠(gou)實現商(shang)業(ye)化的(de)企業(ye)，創始人(ren)往往具備豐富的(de)產業(ye)界、大(da)廠經(jing)驗和(he)學(xue)術背景，能夠(gou)帶領團隊快速(su)完成產品迭代。
2、在核(he)心(xin)團隊中，需要(yao)在技術的(de)(de)各個層級中配備(bei)經驗豐富的(de)(de)人才。例如架構師(shi)，其是團隊的(de)(de)核(he)心(xin)。架構師(shi)需要(yao)對底層硬(ying)件(jian)，軟(ruan)件(jian)工具有深厚的(de)(de)理(li)解和認知，能夠(gou)把構想中的(de)(de)存算架構通過技術實現出來(lai)，最終達成(cheng)產(chan)品落地;
3、此(ci)外，據(ju)量子位報告(gao)顯示，國內缺乏電(dian)路設計(ji)(ji)的高端人(ren)才(cai)，尤其在(zai)混(hun)合電(dian)路領(ling)域。存(cun)內計(ji)(ji)算涉及(ji)大(da)量的模(mo)擬電(dian)路設計(ji)(ji)，與強(qiang)調團隊協(xie)作的數(shu)字(zi)電(dian)路設計(ji)(ji)相比(bi)，模(mo)擬電(dian)路設計(ji)(ji)需(xu)要對于工藝、設計(ji)(ji)、版圖、模(mo)型pdk以(yi)及(ji)封裝都(dou)極度(du)熟悉的個人(ren)設計(ji)(ji)師。
而這一(yi)系列的(de)人才(cai)與(yu)技術，都要(yao)以(yi)落(luo)地效(xiao)(xiao)果為終(zhong)極(ji)目標(biao)——落(luo)地才(cai)是(shi)(shi)第一(yi)生(sheng)產力。在交付(fu)時，客戶考量(liang)的(de)并不僅僅是(shi)(shi)存算(suan)(suan)一(yi)體(ti)技術，而是(shi)(shi)相較于以(yi)往產品而言，存算(suan)(suan)一(yi)體(ti)整體(ti)SoC的(de)能效(xiao)(xiao)比、面效(xiao)(xiao)比和易用性等性能指標(biao)是(shi)(shi)否有足(zu)夠的(de)提升，更重要(yao)的(de)是(shi)(shi)，遷移成本是(shi)(shi)否在承受范圍內。
如(ru)果選擇新(xin)(xin)(xin)的芯片提(ti)升算法表(biao)現力需要重新(xin)(xin)(xin)學習一(yi)套編(bian)程體系，在模(mo)型遷移上所花的人(ren)工成(cheng)本高出(chu)購買一(yi)個(ge)新(xin)(xin)(xin)GPU的成(cheng)本，那(nei)么客戶大概率不會選擇使用(yong)新(xin)(xin)(xin)的芯片。
因(yin)此(ci)，存算一體在落地過程中(zhong)是否能將遷移成本降到最低，是客(ke)戶在選擇產品時的關鍵(jian)因(yin)素。
在大模型(xing)背景下(xia)，存算一體芯片憑借著低功耗但高能效比(bi)的(de)(de)特性，正成為芯片賽道，冉(ran)冉(ran)升起的(de)(de)一顆新星。現如今，存算一體市(shi)場風云未(wei)定，仍(reng)處于“小荷才露尖尖角(jiao)”階段。
但我們不可否認的是，存算一體玩家已然構筑了三大高墻，非技術實力雄厚，人才儲備扎實者，勿進。
以上，是偲(si)睿(rui)洞察《AI大(da)算(suan)(suan)力芯片(pian)行(xing)業報(bao)告(gao)——百舸爭流創(chuang)新(xin)(xin)者先》部分節選。該(gai)報(bao)告(gao)還(huan)將回答以下問(wen)題：存(cun)(cun)算(suan)(suan)一體具體哪些方面吸引了初創(chuang)廠商紛(fen)紛(fen)布局?除了存(cun)(cun)算(suan)(suan)一體，還(huan)有哪些新(xin)(xin)興(xing)解決方案能夠(gou)喂飽大(da)算(suan)(suan)力?
