全球范圍內，“百模大戰”不斷升級，高端AI算力卡成為“硬通貨”。以英偉達為例，依據當前訂單情況和生產進度，現階段的A800/H800交貨時間都已經排到了今年年底與明年年初。英偉達(Nvidia)徹底“贏麻了”，也一度掀起資本追逐人工智能芯片的熱潮。
近日，位于(yu)硅谷的(de)人工智能芯片初創公司(si)D-Matrix就成功收獲1.1億(yi)美元(yuan)(約合8.02億(yi)元(yuan)人民幣)的(de)B輪(lun)融資。此(ci)次融資領投(tou)(tou)方是新(xin)加坡頭部投(tou)(tou)資集團淡馬(ma)錫(xi)(Temasek)，微(wei)軟、三星等知(zhi)名(ming)科技(ji)(ji)巨(ju)頭以(yi)及加州Playround Global等眾(zhong)多風險投(tou)(tou)資公司(si)則(ze)紛(fen)紛(fen)跟投(tou)(tou)。此(ci)前，D-Matrix亦曾受到(dao)來自Marvell、海力士、愛立信(xin)等知(zhi)名(ming)科技(ji)(ji)企業的(de)投(tou)(tou)資。
01
進擊中的D-Matrix
成立于(yu)2019年的D-Matrix，是一家(jia)為滿足(zu)數據(ju)中心高性能計算(suan)(suan)和人(ren)工(gong)智能算(suan)(suan)力(li)而組(zu)建的芯片初創企業，此前一直專(zhuan)注于(yu)定制AI芯片的研發。其使命是憑借創新性的“數字存算(suan)(suan)一體(DIMC)”架構(gou)，來(lai)解決計算(suan)(suan)-存儲集成問題，從而提(ti)高人(ren)工(gong)智能算(suan)(suan)力(li)的效率。
D-Matrix由兩(liang)位(wei)經(jing)驗豐富的AI硬件專家Sid Sheth(創(chuang)始(shi)人(ren)兼(jian)首(shou)(shou)席執行官)和Sudeep Bhoja(創(chuang)始(shi)人(ren)兼(jian)首(shou)(shou)席技術官)領導。兩(liang)位(wei)創(chuang)始(shi)人(ren)在(zai)半(ban)導體領域有著超過(guo)(guo)20年的從業經(jing)歷，曾在(zai)半(ban)導體巨頭(tou)博通擔(dan)任過(guo)(guo)總監職位(wei)，并在(zai)國際半(ban)導體公司Inphi(現已被Marvell收(shou)購(gou))擔(dan)任過(guo)(guo)高管職位(wei)。
業績方面，D-Matrix已(yi)經出貨了(le)超過1億(yi)顆(ke)芯片(pian)，收益突破了(le)10億(yi)美元(yuan)(約合72.92億(yi)元(yuan)人(ren)民幣(bi))。根據著(zhu)名數據分(fen)析公(gong)司Crunchbase的調查(cha)顯示(shi)，D-Matrix現僅擁有11-50名員工。盡管員工數量(liang)相對較少，但自從OpenAI憑(ping)借ChatGPT成功擊敗Google之后，此類以少勝多的情(qing)況似(si)乎(hu)變得更為常見了(le)。
通過“數字存算(suan)一體”架構，D-Matrix的芯片能(neng)夠(gou)確保高(gao)效的AI代碼運行(xing)，簡化(hua)數據(ju)處(chu)理流程(cheng)，并(bing)實現對生成式AI(AIGC)需(xu)求的無縫響應。這些(xie)經過優化(hua)后(hou)的AI定制芯片，可以為OpenAI的ChatGPT等AIGC應用提供最佳的算(suan)力支持，這也是D-Matrix的市場潛力所在。
不(bu)過(guo)，為了在(zai)現階段避免與英偉達(da)的(de)(de)(de)(de)直接競爭，D-Matrix的(de)(de)(de)(de)技術瞄準了人工智(zhi)能處(chu)理(li)的(de)(de)(de)(de)“推(tui)理(li)”部分(fen)，而(er)不(bu)是AI大模(mo)型的(de)(de)(de)(de)訓練部分(fen)。AI推(tui)理(li)階段，是指利(li)用(yong)訓練好的(de)(de)(de)(de)模(mo)型，通過(guo)輸入(ru)(ru)新(xin)數據來(lai)推(tui)理(li)出各種結論的(de)(de)(de)(de)過(guo)程(cheng)。借(jie)助神(shen)經(jing)網(wang)絡模(mo)型進行(xing)計算，利(li)用(yong)輸入(ru)(ru)的(de)(de)(de)(de)新(xin)數據來(lai)一次性獲(huo)得(de)正確(que)結論的(de)(de)(de)(de)過(guo)程(cheng)。這(zhe)也(ye)過(guo)程(cheng)也(ye)被稱為預(yu)測或推(tui)斷(duan)。
一般(ban)來說(shuo)，根據承擔任務(wu)的(de)不同，AI芯(xin)片(pian)(pian)(pian)(pian)可被分(fen)為訓(xun)練AI芯(xin)片(pian)(pian)(pian)(pian)和(he)推理AI芯(xin)片(pian)(pian)(pian)(pian)。其中，訓(xun)練芯(xin)片(pian)(pian)(pian)(pian)被用于(yu)構建神(shen)(shen)經(jing)網(wang)絡模(mo)(mo)型，注重(zhong)絕(jue)對(dui)的(de)計算(suan)能力。在此領域，英(ying)(ying)偉達占據了強勢的(de)市場主導地位(wei)。據最新(xin)數據顯(xian)示，在全球AI訓(xun)練芯(xin)片(pian)(pian)(pian)(pian)市場，英(ying)(ying)偉達可占到80%到95%份額。而推理芯(xin)片(pian)(pian)(pian)(pian)，則是利用神(shen)(shen)經(jing)網(wang)絡模(mo)(mo)型進行推理預測(ce)，產品(pin)往(wang)(wang)往(wang)(wang)更(geng)注重(zhong)綜合指標，如單位(wei)能耗算(suan)力、時延(yan)、成本等各方面表(biao)現都要考慮。D-Matrix主打的(de)就是后者。
對于此次融資，D-Matrix創(chuang)始人(ren)兼首(shou)席執行官Sid Sheth向(xiang)媒(mei)體表示，D-Matrix計劃將新資金投資于旗(qi)艦產品Corsair平臺的商業化和人(ren)才招募(mu)。該(gai)平臺是一款PCI外(wai)形的算力卡，采用DIMC架構和芯粒(Chiplet)技術，其創(chuang)新性地支持將AI模型完全存(cun)儲于內存(cun)中，可有效提高推理效率，并降低功耗和成本。
Corsair平臺參數(圖片來自于www.d-matrix.ai)
Corsair計劃于2024年全面推出，其可(ke)以與機器學習工具鏈和相關(guan)服(fu)務器軟件(jian)配合使用。這(zhe)些軟件(jian)主要由開源軟件(jian)構建。用戶只需簡單操作，即可(ke)快速(su)將AI模型導入到卡中(zhong)，無需重新訓練。
02
PK英偉達最強GPU
性能超9倍
盡管(guan)GPU在游戲(xi)和“挖礦(生產加(jia)(jia)密貨幣)”方面表(biao)現出(chu)色，但對于(yu)AIGC來(lai)(lai)說，并非都是最(zui)佳選擇。比如運(yun)行AI推(tui)理(li)時，往往需(xu)要大(da)量(liang)(liang)(liang)特定的(de)內存帶寬，而GPU的(de)大(da)部分時間處于(yu)空閑狀態，只(zhi)是等待更(geng)多數據從DRAM中傳(chuan)輸出(chu)來(lai)(lai)。這就為AI推(tui)理(li)設置(zhi)了(le)性能上限(xian)，不僅讓吞(tun)吐量(liang)(liang)(liang)降低(di)，延遲也會增加(jia)(jia)，同時還需(xu)要額外(wai)能量(liang)(liang)(liang)來(lai)(lai)提高功(gong)率和冷卻成本。截至目(mu)前上述情(qing)況(kuang)仍(reng)未有太大(da)的(de)變化，很多企業仍(reng)然依靠堆(dui)大(da)量(liang)(liang)(liang)的(de)GPU去做AI訓(xun)練和推(tui)理(li)，導致成本負擔高企。
以OpenAI為(wei)例(li)，就身陷有熱(re)度(du)、沒收入的囧地。有報告指出，ChatGPT每天要燒錢約70萬美元(約合509.65萬元人民(min)幣)，而(er)這個數字還(huan)不包括(kuo)招募和支付頂尖人才的薪資費用(yong)。以這樣的燒錢速度(du)算，OpenAI甚(shen)至難以維持到(dao)明(ming)年(nian)年(nian)底。
OpenAI后續具體(ti)(ti)如(ru)何規劃(hua)尚未可知，D-Matrix卻(que)早已為AI推(tui)理的(de)降(jiang)費增效謀劃(hua)了新(xin)路徑。D-Matrix的(de)旗(qi)艦(jian)產品Corsair C8卡包括2048個DIMC內核、1300億個晶(jing)體(ti)(ti)管和256GB LPDDR5 RAM。它(ta)擁(yong)有(you)2400至(zhi)(zhi)9600 TFLOPS(每秒浮點運算(suan)次數)的(de)計算(suan)性能，芯片(pian)間帶(dai)寬為1TB/s。憑(ping)借在計算(suan)架構、電源能耗和低延(yan)遲(chi)軟件堆棧方面(mian)的(de)創(chuang)新(xin)突(tu)破，D-Matrix的(de)Corsair C8在實際測試中(zhong)擊敗了Nvidia H100，吞吐(tu)量超(chao)越了9倍，而運行成本則降(jiang)低了10倍至(zhi)(zhi)20倍，甚至(zhi)(zhi)在某(mou)些(xie)情況下可以降(jiang)低60倍。
實(shi)測中Corsair C8吞吐(tu)量(liang)超越Nvidia H100的9倍(圖片來自于www.d-matrix.ai)
舉個(ge)例(li)子，如果有(you)人想使用(yong)LLaMA2生(sheng)成(cheng)與維基百科一樣多的內容，她需(xu)要生(sheng)成(cheng)57億個(ge)詞元(Tokens)才能最(zui)終(zhong)達到維基百科43億個(ge)單(dan)詞的量級。但是(shi)通過使用(yong)D-Matrix解(jie)決方案的單(dan)個(ge)推理(li)節點，AI大模型(xing)可以在18小時內產(chan)出整個(ge)維基百科的數據量。
如(ru)果將 D-Matrix 技(ji)術與微軟低(di)代(dai)碼(ma)強化(hua)學習平臺(tai) Project Bonsai 相結合，甚至(zhi)還可(ke)以(yi)圍繞 DIMC平臺(tai)創建高效(xiao)(xiao)編(bian)(bian)(bian)譯器。Project Bonsai提(ti)供了(le)訓練有素的RL代(dai)理的快速原(yuan)型設計、測試和部署，以(yi)加速編(bian)(bian)(bian)譯器堆棧的開(kai)發(fa)過程(cheng)。同時，結合D-Matrix的低(di)功耗(hao)AI推理技(ji)術，該技(ji)術可(ke)提(ti)供比舊架構(gou)高出10倍的能效(xiao)(xiao)，使得(de)編(bian)(bian)(bian)譯器的性能得(de)到顯著提(ti)升(sheng)。
Sid Sheth表示：“目前(qian)由于(yu)推(tui)理成(cheng)本(ben)較高，生(sheng)成(cheng)式人工智能在(zai)商(shang)業(ye)(ye)上的應用仍面臨著挑(tiao)戰，但是通(tong)過新的資金注入(ru)，我們將能夠比其他(ta)競爭對手更快地將商(shang)業(ye)(ye)上可行的解決方案推(tui)向市場。”
微(wei)軟(ruan)作為D-Matrix的投資方，表(biao)示(shi)將在明年采用(yong)D-Matrix的AI芯片(pian)到(dao)相(xiang)關業務(wu)上，以緩解(jie)算(suan)力不足的問題。有機構預測，未來兩(liang)年內，D-Matrix的年收入有望達到(dao)70~75萬美元(yuan)(約合509.65~546.05萬元(yuan)人民幣)。
03
大魚吃小魚
小魚未必找得到蝦米
今(jin)年，像D-Matrix這(zhe)樣(yang)幸運地(di)拿到融資(zi)(zi)的美國芯(xin)片(pian)(pian)初(chu)創公司，實(shi)際(ji)上(shang)(shang)已(yi)是(shi)(shi)少(shao)數。隨(sui)著英偉達在AI芯(xin)片(pian)(pian)市(shi)場上(shang)(shang)主導(dao)地(di)位日(ri)益顯現，相關領域的芯(xin)片(pian)(pian)初(chu)創企業的日(ri)子并(bing)不好(hao)過，融資(zi)(zi)時遭遇(yu)挑戰更是(shi)(shi)家常(chang)便(bian)飯。數據(ju)統計，在2023年第二季度(du)，芯(xin)片(pian)(pian)領域初(chu)創公司在美國的融資(zi)(zi)交(jiao)易數量上(shang)(shang)較2022年同期暴降(jiang)了80%。
對于芯(xin)片(pian)初創公(gong)司來說，將(jiang)芯(xin)片(pian)從最初的設計(ji)階段推進到商用階段，可能至少需要超(chao)過5億美元(約合36.41億元人民幣)的投資(zi)(zi)(zi)(zi)，而一(yi)旦出現(xian)投資(zi)(zi)(zi)(zi)者無法履約或者撤資(zi)(zi)(zi)(zi)，將(jiang)快速切斷這(zhe)些初創公(gong)司的現(xian)金流(liu)，導(dao)致生存危(wei)機。對于投資(zi)(zi)(zi)(zi)者來說，此類芯(xin)片(pian)初創公(gong)司不僅(jin)投資(zi)(zi)(zi)(zi)回(hui)報周(zhou)期長，風(feng)險(xian)還極(ji)高，所以在全球(qiu)經濟低迷的大環境下(xia)，往往更(geng)不愿大量投入資(zi)(zi)(zi)(zi)金。
根據(ju)風險資本調(diao)研公司PitchBook的數據(ju)顯示，截至今年(nian)8月底，美(mei)國的芯(xin)片初創企業僅(jin)僅(jin)融(rong)資8.814億(yi)美(mei)元，而在(zai)2022年(nian)的前(qian)三個季度為17.9億(yi)美(mei)元。交(jiao)易數量也(ye)從23宗降至4宗。
以AI芯(xin)片初創公司(si)Mythic為例，此前共融資約1.6億美(mei)(mei)元(yuan)，但到(dao)2022年時(shi)，現金已消耗(hao)殆盡(jin)，公司(si)運營(ying)面臨停擺。所幸在今年3月份，該公司(si)成功獲得(de)了新的投(tou)資，盡(jin)管只有1300萬美(mei)(mei)元(yuan)。
Mythic首席執行(xing)官Dave Rick表示，英偉(wei)達(da)“間接”加劇了整(zheng)個AI芯(xin)片行(xing)業(ye)的融資(zi)(zi)困境(jing)，因為(wei)投資(zi)(zi)者(zhe)往(wang)往(wang)期待“投資(zi)(zi)那些回報豐(feng)厚的項目”。而英偉(wei)達(da)的一家獨大，疊加全球經濟(ji)消極影(ying)響因素，讓周期性的半導體(ti)行(xing)業(ye)雪(xue)上加霜。
有芯(xin)片(pian)從業(ye)人員指出，現階段想融(rong)(rong)資愈發(fa)艱難，投資者會提出更(geng)為嚴(yan)苛(ke)的要(yao)(yao)求(qiu)。比如(ru)公司(si)需要(yao)(yao)至少擁有一種成(cheng)熟(shu)產品，這(zhe)個(ge)產品要(yao)(yao)么已經(jing)在(zai)(zai)市場上(shang)銷售(shou)，要(yao)(yao)么有能力在(zai)(zai)幾個(ge)月內發(fa)布。另外，在(zai)(zai)融(rong)(rong)資金(jin)額方面也大不如(ru)前。今年(nian)(nian)以來，對(dui)芯(xin)片(pian)初創公司(si)的金(jin)額僅在(zai)(zai)1億(yi)美元左右，而在(zai)(zai)2年(nian)(nian)前，對(dui)于(yu)芯(xin)片(pian)初創企業(ye)的新(xin)投資往往能夠達到2億(yi)或3億(yi)美金(jin)。
而如D-Matrix這樣的創業公(gong)司似乎也(ye)不敢(gan)同英偉達正(zheng)面硬剛，選(xuan)擇(ze)了AI推(tui)理芯片賽道一(yi)樣。“只有(you)少數公(gong)司真正(zheng)有(you)機(ji)會與英偉達競爭，”正(zheng)如業內分析師Karl Freund表示。“D-Matrix 就是其中(zhong)之一(yi)。他們使用不同的技(ji)術、不同的架(jia)構，似乎可(ke)以(yi)產生更好的結(jie)果。”
04
存算一體受青睞
國內玩家知多少
實際上，D-Matrix備受關(guan)注(zhu)的(de)(de)(de)(de)原因，一(yi)(yi)方面(mian)是(shi)(shi)面(mian)向AI推理(li)(li)的(de)(de)(de)(de)性能優勢，另(ling)一(yi)(yi)方面(mian)采用(yong)了(le)更加(jia)適合AI計算(suan)的(de)(de)(de)(de)存(cun)算(suan)一(yi)(yi)體理(li)(li)念。而“存(cun)算(suan)一(yi)(yi)體”并不是(shi)(shi)近幾(ji)年才被(bei)(bei)提出的(de)(de)(de)(de)新(xin)概(gai)念。早在(zai)上個(ge)世紀70年代，存(cun)算(suan)一(yi)(yi)體就已經被(bei)(bei)提出，只是(shi)(shi)受限于當時的(de)(de)(de)(de)芯片制造技(ji)術和算(suan)力需求，這(zhe)一(yi)(yi)設想僅停留(liu)在(zai)理(li)(li)論研(yan)究階段(duan)。直到(dao)進入大數據(ju)和人工智能時代，巨大的(de)(de)(de)(de)算(suan)力需求為存(cun)算(suan)一(yi)(yi)體架構的(de)(de)(de)(de)發展提供了(le)新(xin)的(de)(de)(de)(de)舞臺。
當前，市面上(shang)的傳統(tong)芯片(pian)普(pu)遍都采用馮諾依(yi)曼架構(gou)。該架構(gou)的特點是(shi)將(jiang)處(chu)(chu)理(li)單(dan)元(yuan)和(he)存(cun)(cun)(cun)儲(chu)單(dan)元(yuan)分(fen)開，需(xu)要進(jin)行(xing)(xing)計(ji)算時(shi)，處(chu)(chu)理(li)單(dan)元(yuan)從存(cun)(cun)(cun)儲(chu)單(dan)元(yuan)中讀取數據進(jin)行(xing)(xing)處(chu)(chu)理(li)，處(chu)(chu)理(li)完(wan)成后(hou)再(zai)將(jiang)數據返(fan)回存(cun)(cun)(cun)儲(chu)單(dan)元(yuan)。然而，存(cun)(cun)(cun)算一體(ti)架構(gou)將(jiang)存(cun)(cun)(cun)儲(chu)單(dan)元(yuan)和(he)處(chu)(chu)理(li)單(dan)元(yuan)合(he)二為一，將(jiang)數據和(he)計(ji)算融(rong)合(he)在同一片(pian)區(qu)域內。這樣(yang)做的好處(chu)(chu)是(shi)可(ke)以直(zhi)接利用存(cun)(cun)(cun)儲(chu)器進(jin)行(xing)(xing)數據處(chu)(chu)理(li)，從根本上(shang)消除(chu)了馮諾依(yi)曼架構(gou)計(ji)算存(cun)(cun)(cun)儲(chu)分(fen)離(li)的問題(ti)。尤其在現(xian)代大(da)數據和(he)大(da)規模并行(xing)(xing)的應用場景中，存(cun)(cun)(cun)算一體(ti)架構(gou)非(fei)常(chang)適用。
目前，國內(nei)外很多(duo)企業紛紛展開存算(suan)(suan)一(yi)體技(ji)術的研發，其(qi)中(zhong)包括英特(te)爾、IBM、華為、三(san)星、阿里(li)巴(ba)巴(ba)、SK海力士、美光、臺積電等(deng)一(yi)眾知名(ming)公(gong)司，幾乎都(dou)(dou)在(zai)積極布局(ju)近存計算(suan)(suan)領(ling)域(yu)。據不完全統計，A股市(shi)(shi)場中(zhong)涉及(ji)存算(suan)(suan)一(yi)體技(ji)術的公(gong)司，包括東芯(xin)股份、恒爍(shuo)股份、羅(luo)普特(te)、首都(dou)(dou)在(zai)線(xian)、長電科(ke)技(ji)、瀾起科(ke)技(ji)和潤欣科(ke)技(ji)等(deng)。同(tong)時(shi)，國內(nei)初創公(gong)司如千芯(xin)科(ke)技(ji)、億鑄(zhu)科(ke)技(ji)、知存科(ke)技(ji)、蘋芯(xin)科(ke)技(ji)和后摩智能等(deng)均獲資(zi)(zi)本市(shi)(shi)場青睞，其(qi)中(zhong)多(duo)家(jia)更是連續兩年(nian)獲得融資(zi)(zi)支持。
以千(qian)芯科技(ji)為(wei)例，就已擁(yong)有面向數據中心(xin)的大算(suan)(suan)力(li)計算(suan)(suan)板卡和計算(suan)(suan)IP核，以及多并發實(shi)例核心(xin)技(ji)術(shu)(該(gai)技(ji)術(shu)NVIDIA在(zai)2019年集成入GPU)。其可支持(chi)ARM核心(xin)Stacking，具備輕量(liang)GPU技(ji)術(shu)，可基于(yu)SRAM/RRAM/MARM存(cun)(cun)儲(chu)單(dan)元，可為(wei)客(ke)戶(hu)提供(gong)靈(ling)活(huo)易用的AI推理計算(suan)(suan)加速(su)及一(yi)站式解決方案。通過千(qian)芯科技(ji)自研存(cun)(cun)算(suan)(suan)一(yi)體(ti)技(ji)術(shu)，可提供(gong)能效比超過10-100TOPS/W，優(you)于(yu)其他類型AI芯片 10-40倍的吞吐量(liang)支持(chi)。
盡(jin)管全球范圍內無論(lun)學術(shu)界還(huan)是(shi)工(gong)業界都開(kai)始(shi)對(dui)存(cun)算一體(ti)(ti)(ti)展開(kai)資源投入，但在大(da)模型火起來(lai)之前，存(cun)算一體(ti)(ti)(ti)的(de)研究還(huan)是(shi)相(xiang)對(dui)零散的(de)技術(shu)攻關，缺乏面(mian)向(xiang)大(da)算力方向(xiang)的(de)整體(ti)(ti)(ti)布(bu)局，亦缺乏主導(dao)的(de)應用需(xu)求驅動，因此距離大(da)規模進入市(shi)場或(huo)許還(huan)需(xu)要(yao)一定的(de)時間(jian)。
不(bu)過令人期待的(de)(de)是，大模(mo)(mo)型(xing)已然成(cheng)為(wei)存(cun)算(suan)一(yi)(yi)體大算(suan)力(li)芯(xin)片的(de)(de)核(he)心應(ying)用場景(jing)，而它對算(suan)力(li)能效和(he)(he)密(mi)度有(you)強烈需求，這(zhe)正是存(cun)算(suan)一(yi)(yi)體的(de)(de)優勢所(suo)在。為(wei)了(le)面(mian)向大模(mo)(mo)型(xing)的(de)(de)部署，芯(xin)片從業(ye)者更需要對存(cun)算(suan)一(yi)(yi)體進行體系(xi)化(hua)布局，包括(kuo)算(suan)法、框架、編(bian)譯(yi)器、工(gong)具鏈(lian)、指令集、架構、電(dian)路等各個(ge)層次方面(mian)的(de)(de)協(xie)同設計(ji)，以形成(cheng)全棧式的(de)(de)體系(xi)、工(gong)具鏈(lian)和(he)(he)生態鏈(lian)。相信隨著(zhu)存(cun)算(suan)一(yi)(yi)體芯(xin)片技術的(de)(de)進一(yi)(yi)步落地應(ying)用，AI大模(mo)(mo)型(xing)必將(jiang)獲得新(xin)的(de)(de)性能飛躍，從而推動數智(zhi)化(hua)時代的(de)(de)加速到來(lai)。
