全球范圍內，“百模大戰”不斷升級，高端AI算力卡成為“硬通貨”。以英偉達為例，依據當前訂單情況和生產進度，現階段的A800/H800交貨時間都已經排到了今年年底與明年年初。英偉達(Nvidia)徹底“贏麻了”，也一度掀起資本追逐人工智能芯片的熱潮。
近日，位于(yu)硅谷的(de)人工(gong)智能芯片初(chu)創公(gong)司D-Matrix就成功收獲(huo)1.1億美元(約合8.02億元人民(min)幣)的(de)B輪融資(zi)。此次融資(zi)領投方是新加坡頭部投資(zi)集(ji)團淡馬(ma)錫(Temasek)，微軟、三星等(deng)知(zhi)名科技巨頭以及(ji)加州Playround Global等(deng)眾多風險投資(zi)公(gong)司則紛紛跟投。此前(qian)，D-Matrix亦曾受到來自Marvell、海力(li)士、愛立信等(deng)知(zhi)名科技企(qi)業的(de)投資(zi)。
01
進擊中的D-Matrix
成立于2019年的(de)(de)D-Matrix，是一(yi)家為滿(man)足(zu)數據中(zhong)心高性(xing)能(neng)計(ji)算(suan)和人(ren)(ren)工智(zhi)能(neng)算(suan)力而組建(jian)的(de)(de)芯(xin)片(pian)初創(chuang)企業，此前一(yi)直專注于定(ding)制AI芯(xin)片(pian)的(de)(de)研(yan)發。其使命(ming)是憑(ping)借創(chuang)新性(xing)的(de)(de)“數字(zi)存(cun)算(suan)一(yi)體(DIMC)”架構(gou)，來解決計(ji)算(suan)-存(cun)儲集成問題，從而提高人(ren)(ren)工智(zhi)能(neng)算(suan)力的(de)(de)效率。
D-Matrix由(you)兩位經驗豐(feng)富的AI硬件(jian)專(zhuan)家Sid Sheth(創(chuang)始(shi)人(ren)兼首席執行官)和Sudeep Bhoja(創(chuang)始(shi)人(ren)兼首席技術官)領(ling)導。兩位創(chuang)始(shi)人(ren)在(zai)半(ban)導體領(ling)域有著超過20年的從業經歷，曾在(zai)半(ban)導體巨(ju)頭博通擔(dan)(dan)任過總監職(zhi)位，并(bing)在(zai)國際半(ban)導體公司Inphi(現已(yi)被Marvell收購)擔(dan)(dan)任過高管(guan)職(zhi)位。
業績(ji)方面，D-Matrix已經(jing)出(chu)貨了超過1億(yi)顆(ke)芯(xin)片，收益突破(po)了10億(yi)美元(yuan)(yuan)(約合72.92億(yi)元(yuan)(yuan)人民幣)。根據著名(ming)數(shu)據分析公司Crunchbase的調查顯示(shi)，D-Matrix現僅擁有11-50名(ming)員工。盡(jin)管員工數(shu)量相對(dui)較少，但(dan)自從OpenAI憑借ChatGPT成功擊(ji)敗Google之(zhi)后，此(ci)類以少勝多的情況似乎(hu)變得更(geng)為常見了。
通過(guo)“數字存(cun)算一體”架構，D-Matrix的(de)(de)(de)芯片能夠確(que)保(bao)高效的(de)(de)(de)AI代(dai)碼運行(xing)，簡化數據處理流程，并實現對生成式AI(AIGC)需求的(de)(de)(de)無縫(feng)響應(ying)。這(zhe)些經(jing)過(guo)優化后的(de)(de)(de)AI定制芯片，可以為OpenAI的(de)(de)(de)ChatGPT等AIGC應(ying)用提供(gong)最佳的(de)(de)(de)算力(li)支持，這(zhe)也是D-Matrix的(de)(de)(de)市場潛(qian)力(li)所在(zai)。
不過，為(wei)了在現(xian)階段(duan)避免與英偉達(da)的直接競爭，D-Matrix的技術瞄準了人工智能(neng)處理(li)的“推理(li)”部分(fen)，而(er)不是AI大模型(xing)的訓練部分(fen)。AI推理(li)階段(duan)，是指利用訓練好的模型(xing)，通過輸(shu)入新數(shu)據來推理(li)出各(ge)種結論的過程。借助(zhu)神經(jing)網(wang)絡(luo)模型(xing)進行計算，利用輸(shu)入的新數(shu)據來一(yi)次性獲得正確結論的過程。這也過程也被稱(cheng)為(wei)預測(ce)或推斷。
一般來(lai)說，根據(ju)承擔任務的(de)不(bu)同(tong)，AI芯(xin)(xin)片可被分為訓練AI芯(xin)(xin)片和(he)推(tui)(tui)理(li)AI芯(xin)(xin)片。其中(zhong)，訓練芯(xin)(xin)片被用于構建神經網(wang)絡(luo)(luo)模(mo)(mo)型，注(zhu)重絕對的(de)計算(suan)(suan)能力。在此領域，英偉達占據(ju)了(le)強(qiang)勢(shi)的(de)市場主(zhu)導地位。據(ju)最新數(shu)據(ju)顯示，在全球AI訓練芯(xin)(xin)片市場，英偉達可占到(dao)80%到(dao)95%份額。而推(tui)(tui)理(li)芯(xin)(xin)片，則是利用神經網(wang)絡(luo)(luo)模(mo)(mo)型進行推(tui)(tui)理(li)預測，產品往(wang)往(wang)更注(zhu)重綜合指標，如(ru)單位能耗算(suan)(suan)力、時延、成本等(deng)各方面表現都要考慮。D-Matrix主(zhu)打的(de)就是后者。
對于(yu)此次融(rong)資(zi)，D-Matrix創始人兼(jian)首席執行官Sid Sheth向媒(mei)體表示(shi)，D-Matrix計劃將(jiang)新資(zi)金投(tou)資(zi)于(yu)旗艦產品Corsair平臺的商業化和人才招募。該平臺是一款PCI外形(xing)的算力卡，采用DIMC架構和芯(xin)粒(Chiplet)技術(shu)，其創新性地支(zhi)持將(jiang)AI模型完全存儲于(yu)內存中，可有效提高推理效率，并降(jiang)低功耗和成本。
Corsair平(ping)臺(tai)參數(圖片來自(zi)于www.d-matrix.ai)
Corsair計劃于(yu)2024年全(quan)面(mian)推出，其可(ke)以與機(ji)器學習工具鏈和相關服務器軟(ruan)件配合使用。這些軟(ruan)件主要由開源(yuan)軟(ruan)件構建(jian)。用戶只需(xu)簡(jian)單操作(zuo)，即可(ke)快速將AI模型導(dao)入到卡(ka)中，無需(xu)重新訓練(lian)。
02
PK英偉達最強GPU
性能超9倍
盡管GPU在游戲和“挖礦(生產加密貨幣)”方面表現出色，但對(dui)于AIGC來說，并非都是(shi)最佳選擇。比如運行AI推(tui)理時，往(wang)往(wang)需要大量(liang)特(te)定的(de)(de)內存帶寬，而GPU的(de)(de)大部分時間處(chu)于空閑狀態，只是(shi)等待更多數據從DRAM中傳輸出來。這就為AI推(tui)理設置了性能上限，不僅讓(rang)吞吐量(liang)降低(di)，延遲也會增加，同時還需要額外(wai)能量(liang)來提高(gao)功率(lv)和冷卻成本。截至(zhi)目前(qian)上述情況仍未有太大的(de)(de)變化，很多企業(ye)仍然依靠堆大量(liang)的(de)(de)GPU去做AI訓練(lian)和推(tui)理，導致(zhi)成本負擔高(gao)企。
以OpenAI為例(li)，就身陷有熱度、沒收入的(de)囧地。有報告指出，ChatGPT每天要燒錢(qian)約(yue)(yue)70萬美元(約(yue)(yue)合509.65萬元人(ren)民(min)幣)，而這個(ge)數(shu)字還不包括(kuo)招募和(he)支付頂(ding)尖人(ren)才的(de)薪(xin)資費用。以這樣的(de)燒錢(qian)速度算，OpenAI甚至難以維(wei)持到明年(nian)年(nian)底。
OpenAI后續具(ju)體如(ru)何規劃尚(shang)未可(ke)知，D-Matrix卻早已(yi)為(wei)AI推理的(de)降費增效謀劃了(le)(le)(le)新路徑。D-Matrix的(de)旗艦產品Corsair C8卡(ka)包括(kuo)2048個(ge)DIMC內核、1300億(yi)個(ge)晶(jing)體管和256GB LPDDR5 RAM。它擁有2400至9600 TFLOPS(每(mei)秒(miao)浮點運算(suan)次數)的(de)計算(suan)性能(neng)，芯片間帶寬為(wei)1TB/s。憑借在(zai)計算(suan)架構、電源能(neng)耗(hao)和低(di)延遲軟件堆棧(zhan)方面的(de)創新突破，D-Matrix的(de)Corsair C8在(zai)實際(ji)測試(shi)中擊敗了(le)(le)(le)Nvidia H100，吞吐量(liang)超(chao)越了(le)(le)(le)9倍(bei)，而運行成本則(ze)降低(di)了(le)(le)(le)10倍(bei)至20倍(bei)，甚至在(zai)某些情況下可(ke)以降低(di)60倍(bei)。
實測中Corsair C8吞吐量(liang)超(chao)越Nvidia H100的9倍(圖片來自于www.d-matrix.ai)
舉個(ge)例子(zi)，如果有人想使用LLaMA2生成(cheng)與維基百(bai)科一樣多的內容，她需(xu)要生成(cheng)57億個(ge)詞元(Tokens)才能最終達到維基百(bai)科43億個(ge)單詞的量(liang)級。但是通過使用D-Matrix解決方案的單個(ge)推理節點，AI大模型可以在18小(xiao)時內產出整個(ge)維基百(bai)科的數據量(liang)。
如果將(jiang) D-Matrix 技(ji)術(shu)與微軟低代(dai)碼(ma)強化學習平臺(tai) Project Bonsai 相(xiang)結(jie)合(he)，甚至還可(ke)以圍繞 DIMC平臺(tai)創(chuang)建(jian)高(gao)效(xiao)編(bian)譯(yi)器。Project Bonsai提(ti)供了訓練有素的(de)(de)RL代(dai)理(li)的(de)(de)快速(su)(su)原(yuan)型設計、測試和部署，以加(jia)速(su)(su)編(bian)譯(yi)器堆棧的(de)(de)開發(fa)過程。同(tong)時，結(jie)合(he)D-Matrix的(de)(de)低功耗AI推(tui)理(li)技(ji)術(shu)，該技(ji)術(shu)可(ke)提(ti)供比舊架構高(gao)出10倍的(de)(de)能(neng)效(xiao)，使得(de)編(bian)譯(yi)器的(de)(de)性(xing)能(neng)得(de)到顯著提(ti)升(sheng)。
Sid Sheth表(biao)示：“目前由于推理成(cheng)本較(jiao)高，生成(cheng)式(shi)人工智能在商業(ye)上的(de)應用仍面(mian)臨著挑戰，但是通(tong)過新的(de)資金注入，我們將能夠比其他競爭(zheng)對(dui)手更快地將商業(ye)上可行的(de)解決方案推向市場。”
微軟作(zuo)為D-Matrix的(de)投資方，表(biao)示將在明年采用D-Matrix的(de)AI芯(xin)片到相關業務上，以緩解算力不足的(de)問題。有機構預(yu)測，未(wei)來兩年內，D-Matrix的(de)年收(shou)入(ru)有望達到70~75萬美元(約(yue)合509.65~546.05萬元人民(min)幣)。
03
大魚吃小魚
小魚未必找得到蝦米
今年(nian)，像(xiang)D-Matrix這樣(yang)幸(xing)運地拿(na)到(dao)融(rong)資的(de)美國(guo)芯(xin)片(pian)初(chu)創(chuang)公(gong)司，實(shi)際上(shang)已是少數。隨著英偉達在AI芯(xin)片(pian)市場上(shang)主(zhu)導地位日(ri)益(yi)顯現，相(xiang)關領域的(de)芯(xin)片(pian)初(chu)創(chuang)企(qi)業(ye)的(de)日(ri)子并不(bu)好過，融(rong)資時遭遇挑(tiao)戰(zhan)更(geng)是家常便(bian)飯。數據統計，在2023年(nian)第二季(ji)度，芯(xin)片(pian)領域初(chu)創(chuang)公(gong)司在美國(guo)的(de)融(rong)資交易(yi)數量上(shang)較2022年(nian)同(tong)期(qi)暴降了80%。
對于芯(xin)片(pian)初(chu)(chu)創(chuang)公司來說，將芯(xin)片(pian)從(cong)最(zui)初(chu)(chu)的設(she)計階段(duan)(duan)推進到(dao)商用(yong)階段(duan)(duan)，可能至少需(xu)要超過5億(yi)美元(約合36.41億(yi)元人民幣)的投(tou)資(zi)(zi)(zi)，而(er)一旦出現投(tou)資(zi)(zi)(zi)者無法(fa)履約或者撤資(zi)(zi)(zi)，將快速切斷(duan)這些初(chu)(chu)創(chuang)公司的現金流，導致(zhi)生存危機。對于投(tou)資(zi)(zi)(zi)者來說，此(ci)類芯(xin)片(pian)初(chu)(chu)創(chuang)公司不(bu)(bu)僅投(tou)資(zi)(zi)(zi)回報(bao)周(zhou)期長(chang)，風險還(huan)極高(gao)，所以(yi)在(zai)全(quan)球(qiu)經濟低迷(mi)的大環境(jing)下，往往更不(bu)(bu)愿大量投(tou)入資(zi)(zi)(zi)金。
根(gen)據風險資本調(diao)研公司(si)PitchBook的數據顯示，截至今年(nian)8月底，美國的芯片初創企業僅(jin)僅(jin)融資8.814億(yi)美元，而(er)在2022年(nian)的前三(san)個季度(du)為(wei)17.9億(yi)美元。交易數量(liang)也從23宗(zong)降至4宗(zong)。
以AI芯片初創(chuang)公(gong)司Mythic為(wei)例，此前共融資約1.6億美(mei)(mei)元，但到2022年時，現(xian)金已消耗殆(dai)盡(jin)(jin)，公(gong)司運營(ying)面臨(lin)停擺。所(suo)幸在(zai)今年3月份(fen)，該公(gong)司成功獲得了新(xin)的投資，盡(jin)(jin)管只有1300萬美(mei)(mei)元。
Mythic首席執(zhi)行官Dave Rick表示，英(ying)偉達“間接”加劇了整個AI芯片行業的融資(zi)(zi)困境，因為投(tou)資(zi)(zi)者(zhe)往(wang)往(wang)期(qi)待“投(tou)資(zi)(zi)那些回報豐厚的項目(mu)”。而英(ying)偉達的一家獨大，疊加全球經濟(ji)消極影(ying)響因素，讓周期(qi)性的半導體(ti)行業雪上加霜。
有芯(xin)片從業人員(yuan)指出，現階(jie)段想融資(zi)愈(yu)發艱難，投資(zi)者會提出更(geng)為嚴苛(ke)的要(yao)求。比如公司(si)需要(yao)至少擁有一種成熟產品(pin)，這(zhe)個產品(pin)要(yao)么已經在市(shi)場上(shang)銷售，要(yao)么有能力在幾個月(yue)內發布。另外(wai)，在融資(zi)金額方(fang)面也大不如前。今(jin)年(nian)(nian)以來(lai)，對(dui)芯(xin)片初創公司(si)的金額僅在1億(yi)美元左(zuo)右(you)，而在2年(nian)(nian)前，對(dui)于芯(xin)片初創企業的新(xin)投資(zi)往往能夠達到2億(yi)或3億(yi)美金。
而如(ru)D-Matrix這樣的創業公司似乎也(ye)不敢同(tong)英偉(wei)達正(zheng)面硬剛(gang)，選擇(ze)了(le)AI推理(li)芯片(pian)賽道一樣。“只有少數(shu)公司真正(zheng)有機會與英偉(wei)達競爭(zheng)，”正(zheng)如(ru)業內(nei)分析(xi)師Karl Freund表示(shi)。“D-Matrix 就是其中之一。他(ta)們使用不同(tong)的技術、不同(tong)的架構，似乎可以產生更好的結(jie)果。”
04
存算一體受青睞
國內玩家知多少
實際上，D-Matrix備受關注的(de)原因，一(yi)(yi)(yi)方面(mian)(mian)是面(mian)(mian)向AI推理(li)的(de)性能優勢，另一(yi)(yi)(yi)方面(mian)(mian)采用了更加適合AI計算的(de)存(cun)算一(yi)(yi)(yi)體(ti)理(li)念(nian)。而“存(cun)算一(yi)(yi)(yi)體(ti)”并不是近幾年才被提(ti)出的(de)新(xin)概念(nian)。早在(zai)上個世紀70年代，存(cun)算一(yi)(yi)(yi)體(ti)就已經被提(ti)出，只是受限于(yu)當時的(de)芯片(pian)制造技術和(he)算力需求，這一(yi)(yi)(yi)設想僅(jin)停留在(zai)理(li)論研究階段(duan)。直到進入大數據和(he)人工智能時代，巨(ju)大的(de)算力需求為存(cun)算一(yi)(yi)(yi)體(ti)架構的(de)發展提(ti)供了新(xin)的(de)舞(wu)臺。
當前，市面上(shang)的(de)傳統芯片普遍都(dou)采用馮諾依曼架(jia)構。該(gai)架(jia)構的(de)特(te)點是將處(chu)理(li)(li)單(dan)(dan)元(yuan)和(he)存(cun)儲單(dan)(dan)元(yuan)分(fen)開，需要進(jin)行計算(suan)時，處(chu)理(li)(li)單(dan)(dan)元(yuan)從存(cun)儲單(dan)(dan)元(yuan)中讀(du)取數(shu)(shu)(shu)據(ju)進(jin)行處(chu)理(li)(li)，處(chu)理(li)(li)完成(cheng)后(hou)再將數(shu)(shu)(shu)據(ju)返回(hui)存(cun)儲單(dan)(dan)元(yuan)。然(ran)而，存(cun)算(suan)一體架(jia)構將存(cun)儲單(dan)(dan)元(yuan)和(he)處(chu)理(li)(li)單(dan)(dan)元(yuan)合二(er)為一，將數(shu)(shu)(shu)據(ju)和(he)計算(suan)融合在同一片區(qu)域內。這(zhe)樣做的(de)好(hao)處(chu)是可以(yi)直接利(li)用存(cun)儲器進(jin)行數(shu)(shu)(shu)據(ju)處(chu)理(li)(li)，從根本上(shang)消除了馮諾依曼架(jia)構計算(suan)存(cun)儲分(fen)離的(de)問(wen)題。尤(you)其(qi)在現(xian)代大數(shu)(shu)(shu)據(ju)和(he)大規模并行的(de)應用場(chang)景中，存(cun)算(suan)一體架(jia)構非常適用。
目前，國內外很多企業紛(fen)紛(fen)展開存算(suan)一(yi)體技(ji)(ji)術的(de)研發，其中包括(kuo)英特爾(er)、IBM、華為、三星、阿里巴巴、SK海力士、美(mei)光、臺積電(dian)等(deng)一(yi)眾知(zhi)名公(gong)(gong)司(si)，幾乎都在積極布(bu)局近存計算(suan)領域。據不完全統計，A股(gu)(gu)市場中涉及(ji)存算(suan)一(yi)體技(ji)(ji)術的(de)公(gong)(gong)司(si)，包括(kuo)東芯股(gu)(gu)份、恒爍股(gu)(gu)份、羅普特、首都在線、長電(dian)科技(ji)(ji)、瀾起科技(ji)(ji)和潤欣(xin)科技(ji)(ji)等(deng)。同時，國內初(chu)創公(gong)(gong)司(si)如千芯科技(ji)(ji)、億鑄科技(ji)(ji)、知(zhi)存科技(ji)(ji)、蘋芯科技(ji)(ji)和后摩(mo)智能(neng)等(deng)均獲資本市場青(qing)睞，其中多家更是連(lian)續兩年(nian)獲得融資支持。
以(yi)千(qian)芯(xin)科(ke)技(ji)(ji)為例，就已擁有面向數據中心(xin)的大算(suan)力計算(suan)板卡和計算(suan)IP核(he)，以(yi)及(ji)多并發實(shi)例核(he)心(xin)技(ji)(ji)術(該技(ji)(ji)術NVIDIA在2019年集成入GPU)。其可支(zhi)持ARM核(he)心(xin)Stacking，具備輕量GPU技(ji)(ji)術，可基于(yu)SRAM/RRAM/MARM存儲(chu)單元(yuan)，可為客戶(hu)提(ti)供(gong)靈(ling)活易用的AI推理計算(suan)加速及(ji)一站式解決方案。通過千(qian)芯(xin)科(ke)技(ji)(ji)自(zi)研存算(suan)一體技(ji)(ji)術，可提(ti)供(gong)能效比超(chao)過10-100TOPS/W，優于(yu)其他類型AI芯(xin)片 10-40倍的吞吐量支(zhi)持。
盡管全球范圍內(nei)無論(lun)學術(shu)界還是(shi)工業界都開始對存算一(yi)體展開資源投入，但在(zai)大模(mo)型(xing)火(huo)起(qi)來之前，存算一(yi)體的(de)研究還是(shi)相對零散的(de)技術(shu)攻關，缺乏面向(xiang)大算力方(fang)向(xiang)的(de)整(zheng)體布局，亦缺乏主導的(de)應用需求(qiu)驅(qu)動，因此距離大規模(mo)進(jin)入市場(chang)或許還需要(yao)一(yi)定的(de)時間。
不過(guo)令(ling)(ling)人期待的(de)是，大模(mo)型(xing)已然成為存算(suan)(suan)一(yi)體(ti)大算(suan)(suan)力(li)芯(xin)片的(de)核心(xin)應用(yong)場(chang)景，而它(ta)對算(suan)(suan)力(li)能效和密度(du)有強烈需(xu)求(qiu)，這正是存算(suan)(suan)一(yi)體(ti)的(de)優(you)勢(shi)所在。為了面(mian)向(xiang)大模(mo)型(xing)的(de)部署，芯(xin)片從(cong)業者更需(xu)要對存算(suan)(suan)一(yi)體(ti)進(jin)行體(ti)系化布局，包括算(suan)(suan)法、框架、編譯器、工(gong)具(ju)鏈、指令(ling)(ling)集、架構、電路等各個層次方面(mian)的(de)協同設計，以形成全棧(zhan)式的(de)體(ti)系、工(gong)具(ju)鏈和生態鏈。相信隨著(zhu)存算(suan)(suan)一(yi)體(ti)芯(xin)片技術的(de)進(jin)一(yi)步(bu)落地(di)應用(yong)，AI大模(mo)型(xing)必將獲得新的(de)性能飛(fei)躍(yue)，從(cong)而推動(dong)數(shu)智化時代的(de)加速到來。
