芯東西（公眾號：aichip001）作者 | GACS
芯東西9月6日報道，一年一度的全球AI芯片峰會(hui)（GACS 2024）今(jin)日在北京火爆開幕。現場座無虛席，云(yun)直播(bo)全網觀(guan)看人數達到120萬人次。
▲會場內(nei)和場外(wai)展臺人潮涌動
大會由智一科技(ji)旗下芯東西聯合智猩猩發起主(zhu)辦，以「智算紀元 共筑(zhu)芯路(lu)」為主(zhu)題，邀請50+位嘉賓來自AI芯片、Chiplet、RISC-V、智算集群、AI Infra等領域的嘉賓與會作干貨分享。
正(zheng)值國產GPGPU獨(du)角獸壁(bi)(bi)仞科技(ji)成立五周(zhou)年，會上，壁(bi)(bi)仞科技(ji)宣布取得多芯混(hun)訓(xun)核心技(ji)術(shu)突破，打造(zao)出異構(gou)GPU協同(tong)訓(xun)練方案(an)HGCT，業界(jie)首次能(neng)夠支持3種及以上異構(gou)GPU訓(xun)練同(tong)一個大(da)模型(xing)。
▲壁仞科技推出國產異構GPU協同訓(xun)練方案(an)HGCT
智一科技聯合(he)創始人(ren)、CEO龔倫常作(zuo)為主辦方發(fa)表致辭，今(jin)年(nian)是(shi)全球AI芯(xin)片(pian)峰會(hui)舉辦的(de)第七年(nian)，峰會(hui)已成為國內(nei)在該(gai)領域里最有影響力的(de)行業會(hui)議，是(shi)了解國內(nei)外(wai)AI芯(xin)片(pian)發(fa)展(zhan)動態的(de)重要窗口。
▲智一(yi)科技聯合(he)創始人、CEO龔(gong)倫常
全球AI芯(xin)片峰(feng)會(hui)為(wei)期兩日，主會(hui)場包括開幕式和三大(da)專場（AI芯(xin)片架構(gou)、數據中心AI芯(xin)片、邊緣端(duan)AI芯(xin)片），分會(hui)場包括Chiplet技術(shu)(shu)論(lun)壇、智(zhi)算集群技術(shu)(shu)論(lun)壇和RISC-V創新論(lun)壇。
在(zai)開幕(mu)式(shi)上，清(qing)華大學(xue)(xue)教授(shou)、集(ji)成電路(lu)學(xue)(xue)院副院長尹(yin)首一(yi)以《高(gao)算力芯片(pian)(pian)發展路(lu)徑(jing)探討：從計算架構(gou)(gou)到集(ji)成架構(gou)(gou)》為題(ti)進行主題(ti)報(bao)告，系(xi)統(tong)性復(fu)盤了高(gao)算力芯片(pian)(pian)存在(zai)的技術挑戰，并全面分析五條(tiao)創(chuang)新技術路(lu)徑(jing)：數(shu)據流芯片(pian)(pian)、存算一(yi)體芯片(pian)(pian)、可重構(gou)(gou)芯片(pian)(pian)、三維集(ji)成芯片(pian)(pian)、晶圓級芯片(pian)(pian)。
今日有(you)21位來自頂尖(jian)高(gao)校(xiao)及科研院所、AI芯(xin)(xin)(xin)片企業(ye)的專(zhuan)家(jia)、創(chuang)業(ye)者及高(gao)管進(jin)行分(fen)享。其中(zhong)，高(gao)端對話環節邀請了三家(jia)AI芯(xin)(xin)(xin)片創(chuang)企代表激情交辯(bian)，分(fen)別是國產(chan)大(da)算力芯(xin)(xin)(xin)片獨角獸(shou)壁(bi)仞科技、端側與邊緣側AI芯(xin)(xin)(xin)片獨角獸(shou)愛芯(xin)(xin)(xin)元(yuan)智，還有(you)一家(jia)僅創(chuang)立半年的年輕AI芯(xin)(xin)(xin)片創(chuang)企凌川(chuan)科技。他們集中(zhong)探討(tao)了AI芯(xin)(xin)(xin)片產(chan)業(ye)現(xian)狀、最新實踐與進(jin)階(jie)方向。
一、破解大模型算力供需挑戰，架構創新突圍性能瓶頸
清(qing)華大學(xue)教授、集成電路學(xue)院副院長(chang)尹首(shou)一(yi)解讀了(le)大模(mo)型時(shi)代算(suan)力(li)(li)供需間(jian)的困難(nan)：芯片工藝(yi)(yi)面臨Scaling-down極限，致使工藝(yi)(yi)紅利(li)帶(dai)(dai)來的算(suan)力(li)(li)提升(sheng)難(nan)以(yi)為繼；系統面臨Scaling-out瓶頸，通(tong)信帶(dai)(dai)寬不(bu)足(zu)導致系統性(xing)能損失。
破(po)解這兩大難題(ti)的機會(hui)在于算力芯片計算架(jia)構(gou)和集成架(jia)構(gou)的聯合(he)創(chuang)(chuang)新(xin)(xin)：計算架(jia)構(gou)創(chuang)(chuang)新(xin)(xin)使每個晶體管都被(bei)充分(fen)利用(yong)、發(fa)揮更強(qiang)算力；集成架(jia)構(gou)創(chuang)(chuang)新(xin)(xin)使芯片規(gui)模能夠(gou)突破(po)極限。
當前高算力(li)芯(xin)(xin)(xin)片發展有(you)五條新技術路徑：數據流芯(xin)(xin)(xin)片、可重(zhong)構(gou)芯(xin)(xin)(xin)片、存算一體(ti)芯(xin)(xin)(xin)片、三(san)維(wei)集(ji)成(cheng)芯(xin)(xin)(xin)片、晶圓級芯(xin)(xin)(xin)片。這些路徑都不完(wan)全依(yi)賴于最(zui)先進的制造(zao)工藝，有(you)助于為(wei)國內芯(xin)(xin)(xin)片產(chan)業開辟算力(li)提升新空間。
▲清華大學(xue)教授、集成電路學(xue)院副院長(chang)尹首一
AMD在端到端的AI基礎(chu)設(she)施領域打(da)造了全面的產(chan)品線(xian)，覆蓋從數(shu)據中(zhong)心服務器(qi)、AI PC到智能嵌入式和(he)邊緣設(she)備，并提供領先的AI開源軟(ruan)件及(ji)開放(fang)的生態系(xi)統。AMD基于(yu)先進ZEN4架構(gou)設(she)計的CPU處(chu)理器(qi)平臺、基于(yu)CDNA3架構(gou)面向(xiang)AI推(tui)理&訓練(lian)的MI系(xi)列加速器(qi)，已(yi)被(bei)微軟(ruan)等巨頭采用。
據AMD人工智能事業部高(gao)級總監王宏(hong)強分享，AMD還(huan)在推(tui)動數(shu)據(ju)中心高(gao)性(xing)能網(wang)(wang)絡基礎設施（UALink，Ultra Ethernet），這對AI網(wang)(wang)絡結(jie)構需要(yao)支持快速(su)切換和極低延(yan)遲(chi)、擴展AI數(shu)據(ju)中心性(xing)能至關重要(yao)。
AMD即將發布下一代(dai)高(gao)性能(neng)AI PC，其(qi)基(ji)于(yu)第二(er)代(dai)XDNA架(jia)構(gou)的(de)Ryzen AI NPU，可提(ti)供(gong)(gong)50TOPS算力，將能(neng)效比提(ti)高(gao)至通用架(jia)構(gou)的(de)35倍。在(zai)AI PC對隱私(si)、安全和數據自主性的(de)推(tui)動下，重要的(de)AI工作(zuo)負載開(kai)(kai)始部(bu)署在(zai)PC上。作(zuo)為(wei)全球(qiu)領先的(de)AI基(ji)礎設(she)施提(ti)供(gong)(gong)商之一，AMD愿意攜手(shou)廣大客戶與開(kai)(kai)發者共(gong)建(jian)變(bian)革性未來。
▲AMD人工(gong)智能事(shi)業部高級總監王宏強(qiang)
自(zi)2015年以(yi)來，高通一(yi)(yi)直在根據AI應用用例的(de)變化(hua)(hua)，不斷革新NPU硬件(jian)設計(ji)。以(yi)第三代(dai)驍龍8為(wei)代(dai)表(biao)，高通AI引擎采用集成CPU、GPU、NPU等(deng)多種處理(li)器(qi)(qi)的(de)異構(gou)計(ji)算架(jia)構(gou)。其中，高通Hexagon NPU通過(guo)大片上內(nei)存(cun)、加速器(qi)(qi)專(zhuan)用電源、微架(jia)構(gou)升級等(deng)設計(ji)來優(you)化(hua)(hua)性(xing)能(neng)和能(neng)效。AI的(de)用例豐富(fu)，算力(li)要求不一(yi)(yi)，因此異構(gou)計(ji)算和處理(li)器(qi)(qi)集成的(de)需求會長期存(cun)在，這也將帶(dai)來峰值性(xing)能(neng)、能(neng)效、成本(ben)等(deng)方面的(de)一(yi)(yi)系列提升。
高通(tong)的(de)(de)(de)產(chan)品線覆蓋手機、PC、XR、汽車(che)、IoT等豐富(fu)的(de)(de)(de)邊緣(yuan)側應用(yong)場景，能夠支(zhi)持(chi)開(kai)發(fa)者在不同產(chan)品形態中(zhong)利用(yong)高通(tong)的(de)(de)(de)AI軟硬件解決方案(an)進行算法加(jia)速，為消費者帶來(lai)豐富(fu)的(de)(de)(de)終端側AI體驗和用(yong)例(li)。最后，高通(tong)AI產(chan)品技術中(zhong)國區負(fu)責人萬衛星還預告(gao)，搭載最新的(de)(de)(de)高通(tong)Oryon CPU的(de)(de)(de)下一(yi)代(dai)驍龍移動平臺，即將在今年(nian)10月21-23日舉行的(de)(de)(de)驍龍峰會上發(fa)布。
▲高通AI產品技術中國區負責(ze)人萬衛星
蘋芯科技(ji)聯(lian)合創(chuang)始(shi)人兼(jian)CEO楊越(yue)拆解了存算一體(ti)(ti)技(ji)術(shu)的(de)(de)(de)進階過程。產業界(jie)主流(liu)芯片的(de)(de)(de)出現(xian)和(he)成長與當下(xia)計(ji)算需求的(de)(de)(de)特點(dian)緊密(mi)相關(guan)，2015年前后(hou)，計(ji)算體(ti)(ti)系結構(gou)中的(de)(de)(de)計(ji)算瓶(ping)頸(jing)從處(chu)理器端向存儲端遷移，尤其(qi)是神經網絡的(de)(de)(de)出現(xian)，加快了AI芯片計(ji)算效率的(de)(de)(de)提升節奏，存算技(ji)術(shu)因此受(shou)到(dao)關(guan)注。
楊越(yue)認為，在大模型(xing)時代，存算一體技(ji)術的(de)(de)機會是(shi)能夠在有數據(ju)存儲的(de)(de)地方(fang)都加入(ru)計算。隨著(zhu)軟件不斷發展(zhan)，基于存算的(de)(de)端(duan)(duan)側(ce)芯片(pian)(pian)今(jin)年已經逐步成熟。未來，在云端(duan)(duan)解(jie)決數據(ju)帶寬瓶頸，或將成為存算芯片(pian)(pian)下一個殺手級應(ying)用。
▲蘋芯科技聯合創始人兼CEO楊越
北極雄(xiong)芯CTO譚展宏談道，在高性能計(ji)算領域，服(fu)(fu)(fu)務(wu)(wu)器(qi)設(she)計(ji)有兩種不同的范(fan)式：標準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形(xing)態和定制服(fu)(fu)(fu)務(wu)(wu)器(qi)架構。在標準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形(xing)態下(xia)，北極雄(xiong)芯關注于(yu)在標準(zhun)約束的面積下(xia)，通過合(he)適的芯粒拆分與(yu)封裝(zhuang)方案，實現更高的性價比；在非標準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形(xing)態下(xia)，提供了(le)晶圓級集成的機會，關注于(yu)芯片(pian)與(yu)系(xi)統設(she)計(ji)一體化，對服(fu)(fu)(fu)務(wu)(wu)器(qi)與(yu)芯片(pian)進行協同設(she)計(ji)，旨(zhi)在達到(dao)“服(fu)(fu)(fu)務(wu)(wu)器(qi)即芯片(pian)”的目標。
特別地(di)，譚展宏強(qiang)調(diao)了(le)不(bu)同芯(xin)片的設計有(you)不(bu)同的帶寬(kuan)需求(qiu)，例(li)如在7nm以上工藝下，結合部(bu)署通(tong)信(xin)優化，往往不(bu)需要很高(gao)的互連帶寬(kuan)密度，因此先進封裝并不(bu)是(shi)必需的，基于2D的封裝即可滿足性能需求(qiu)并實現高(gao)性價比方案。北極(ji)雄(xiong)芯(xin)基于《芯(xin)粒互聯接(jie)口標準》的PB-Link IP，正式(shi)實現了(le)低封裝成(cheng)本的互連實現，目(mu)前(qian)已開始對外授權。
▲北極雄芯CTO譚(tan)展宏(hong)
二、高端對話：國產AI芯片造血能力增強，最年輕創企產品已落地快手
智一科(ke)技聯(lian)合創(chuang)始人、總(zong)編輯張國(guo)仁，與壁仞科(ke)技副總(zong)裁(cai)兼AI軟件首席架構師丁云帆，凌川科(ke)技聯(lian)合創(chuang)始人、副總(zong)裁(cai)劉理(li)，愛芯(xin)元智聯(lian)合創(chuang)始人、副總(zong)裁(cai)劉建偉，展開了一場以“國(guo)產AI芯(xin)片落(luo)地的(de)共識、共創(chuang)與共贏”為主題的(de)圓桌對話。
張國仁(ren)在(zai)圓桌(zhuo)對話開始(shi)時稱，由智(zhi)(zhi)東西、芯(xin)(xin)(xin)(xin)東西、智(zhi)(zhi)猩(xing)猩(xing)發(fa)起(qi)舉辦六(liu)屆的(de)AI芯(xin)(xin)(xin)(xin)片峰會(hui)，是國內(nei)該(gai)領域持(chi)續時間最長的(de)專業會(hui)議，這幾年見證了(le)AI芯(xin)(xin)(xin)(xin)片和大模型的(de)蓬勃(bo)發(fa)展(zhan)，也見證了(le)一批國內(nei)造(zao)芯(xin)(xin)(xin)(xin)“新(xin)勢力(li)”的(de)崛起(qi)。
▲智一科(ke)技聯合創始人、總(zong)編輯(ji)張國仁
丁云帆談道，大算力芯(xin)(xin)(xin)片是(shi)技(ji)(ji)術密集、人才密集、資金密集的行(xing)業(ye)。作為市(shi)場中已(yi)(yi)公開(kai)融(rong)資規模最大的芯(xin)(xin)(xin)片獨(du)角獸，壁仞科技(ji)(ji)擁有(you)頂級人才，第(di)一代(dai)產(chan)品已(yi)(yi)量產(chan)落(luo)地，多個(ge)國(guo)產(chan)GPU千卡集群已(yi)(yi)經(jing)落(luo)地，能(neng)獨(du)立造血。但國(guo)產(chan)芯(xin)(xin)(xin)片行(xing)業(ye)整體情況仍然(ran)不易，生(sheng)態方面和(he)國(guo)外(wai)仍有(you)差(cha)距。
很(hen)多國(guo)產(chan)AI芯(xin)(xin)片(pian)已經(jing)開(kai)始落地于數據(ju)中心(xin)、智算中心(xin)。在(zai)丁云(yun)帆(fan)看來(lai)，英(ying)偉達面(mian)向國(guo)內(nei)的產(chan)品性(xing)價比并(bing)不高，國(guo)產(chan)芯(xin)(xin)片(pian)只(zhi)要能(neng)做出性(xing)能(neng)、做出性(xing)價比，就會有市場。目前國(guo)內(nei)芯(xin)(xin)片(pian)產(chan)業落地消息(xi)越來(lai)越多、造血能(neng)力增(zeng)強(qiang)，與(yu)英(ying)偉達之間的差距會逐(zhu)漸縮小。
▲壁仞科技副總裁(cai)兼AI軟件首席架構師丁(ding)云(yun)帆
劉(liu)建偉認為，低(di)成本(ben)是很重要的(de)(de)(de)部分(fen)，企業(ye)最終還是要算賬，企業(ye)對基礎設(she)施的(de)(de)(de)投資一(yi)定要賺回(hui)來。劉(liu)理相信(xin)后期在(zai)具(ju)身智(zhi)能、智(zhi)能視頻等細(xi)分(fen)賽(sai)道，更(geng)多企業(ye)的(de)(de)(de)進入，將帶來比通用產品(pin)更(geng)高的(de)(de)(de)價值，會壓縮英偉達的(de)(de)(de)營收和利潤。
凌川科(ke)技是最(zui)年輕的國內AI芯片(pian)(pian)創企之一，今(jin)年3月剛(gang)成立，已完成一輪融(rong)資，目前(qian)在售的智能視(shi)頻(pin)處(chu)理(li)芯片(pian)(pian)已落地快手(shou)，占快手(shou)視(shi)頻(pin)處(chu)理(li)領域(yu)用量的99%，大(da)算力推(tui)理(li)芯片(pian)(pian)預計(ji)明年初(chu)流片(pian)(pian)。
在劉(liu)理看來，距離AI芯片市場窗口(kou)關閉還很遠，面(mian)對巨頭在資(zi)源、資(zi)金、生態(tai)上(shang)的優(you)勢，創(chuang)企需要(yao)在垂直、細分(fen)領(ling)域發力。凌(ling)川科技將智能視頻處理、AI推(tui)理算力結合，目標是將其每Token推(tui)理成本降到(dao)英偉達H800的10%。
▲凌川科(ke)技(ji)聯合(he)創始人、副總裁(cai)劉理
面向端側(ce)、邊緣(yuan)側(ce)的(de)愛芯(xin)元(yuan)智(zhi)，市占率均(jun)取(qu)得了矚目的(de)成績(ji)。劉建偉認為這兩個領域實現(xian)商業閉環(huan)的(de)速度(du)會更快。他補充(chong)說，做AI芯(xin)片最終一定會賺錢，但實際(ji)盈利的(de)時(shi)間表(biao)會受到(dao)AI部(bu)署成本等因素(su)的(de)影響，企業應盡快實現(xian)自(zi)我造血和閉環(huan)。未(wei)來，愛芯(xin)元(yuan)智(zhi)將在端側(ce)和邊緣(yuan)側(ce)大模型落地場景進行(xing)探索(suo)。
愛芯元智在汽車領域的產品出貨量十分可觀，劉建偉談道，這是因為智慧城市和汽車的底層芯片技術類似，愛芯元智在智慧城市上積累了成熟技術再進入智能駕駛可以(yi)較快實現量產(chan)。同時，汽車領域價格戰將(jiang)推動產(chan)業分工(gong)是機遇(yu)期。
▲愛芯元智聯合創始人(ren)、副總裁(cai)劉建偉(wei)
對(dui)(dui)于國(guo)產AI芯片(pian)如(ru)何快速找到(dao)生態位(wei)，劉建偉以愛芯元智的深耕(geng)場景為(wei)(wei)例(li)，智慧城(cheng)市基本沒有(you)國(guo)外公司，在智能(neng)駕駛(shi)領域英偉達開拓0到(dao)1階段(duan)，1到(dao)100更關注成本的階段(duan)就是國(guo)內企業的機會(hui)。丁云帆提到(dao)四個要素：穩(wen)定(ding)可靠的供(gong)應保障、性(xing)價比、針對(dui)(dui)客戶需求(qiu)提供(gong)高(gao)效支(zhi)持服務、高(gao)效易用(yong)。劉理(li)認為(wei)(wei)應該在垂直領域深耕(geng)，做(zuo)出比通用(yong)芯片(pian)更高(gao)效、優化(hua)的解決方案。
展(zhan)望(wang)未來(lai)(lai)，劉(liu)建(jian)偉預測未來(lai)(lai)4-5年，端側(ce)(ce)和云側(ce)(ce)都將(jiang)出現很大的(de)發(fa)展(zhan)機遇，產業(ye)(ye)界(jie)落地成本降低后，數據可(ke)以(yi)實(shi)現更大的(de)價值。劉(liu)理(li)(li)認為隨著AI應(ying)用(yong)迎來(lai)(lai)爆(bao)發(fa)期，云側(ce)(ce)將(jiang)產生大量(liang)推理(li)(li)需求。丁(ding)云帆(fan)談到國內(nei)的(de)高端算力仍然稀(xi)缺(que)，但產業(ye)(ye)鏈的(de)協(xie)同可(ke)以(yi)實(shi)現穩健的(de)發(fa)展(zhan)。
三、智算中心建設潮起：壁仞GPU新突破，國產TPU拼落地，Chiplet贏麻了
在(zai)下午舉行的(de)數據中(zhong)(zhong)(zhong)心AI芯片專場，Habana中(zhong)(zhong)(zhong)國區負責人于(yu)明揚談道，近三年有(you)大約50+政府(fu)主導(dao)的(de)智算中(zhong)(zhong)(zhong)心陸續建成(cheng)、60+在(zai)規劃和建設(she)中(zhong)(zhong)(zhong)，智算中(zhong)(zhong)(zhong)心建設(she)逐漸從一線城(cheng)市向二(er)三線城(cheng)市下沉，從政府(fu)主導(dao)逐漸轉向企業主導(dao)，對(dui)成(cheng)本壓縮、投資回報周(zhou)期的(de)要求也逐漸提升。
據他(ta)觀察，當前(qian)大模(mo)型開發日趨成(cheng)熟，推理需求持(chi)續增(zeng)長，頭(tou)部CSP自研推理芯(xin)片的增(zeng)速將提高，未來推理側可(ke)能培育(yu)出多家(jia)異構芯(xin)片企業。
國(guo)外大模型(xing)訓(xun)練(lian)需求仍將旺盛，國(guo)內模型(xing)訓(xun)練(lian)對算(suan)力的需求基本飽和，主要(yao)來(lai)自微調業(ye)務。要(yao)支撐未(wei)來(lai)AI發(fa)展(zhan)，Chiplet、高(gao)速(su)大容量內存(cun)、私有/通(tong)用高(gao)速(su)互聯技(ji)術的融合將起關鍵作用。
▲Habana中國區負(fu)責人(ren)于明揚
為了打破大模型(xing)異(yi)(yi)構(gou)(gou)算力孤島難題，壁(bi)仞(ren)(ren)科技(ji)副總(zong)裁兼AI軟(ruan)件首(shou)(shou)席架構(gou)(gou)師丁云帆(fan)宣(xuan)布推出壁(bi)仞(ren)(ren)自主原創的異(yi)(yi)構(gou)(gou)GPU協(xie)同訓(xun)(xun)練方(fang)案HGCT。這(zhe)是業(ye)界首(shou)(shou)次實現(xian)支持3種及以上(shang)異(yi)(yi)構(gou)(gou)GPU協(xie)同訓(xun)(xun)練同一個大模型(xing)，即支持用「英偉達+壁(bi)仞(ren)(ren)+其他品牌GPU」混(hun)訓(xun)(xun)，通信(xin)效率大于98%，端到端訓(xun)(xun)練效率達到90~95%。
壁仞正在聯合客戶(hu)、合作伙伴等共同推動異構GPU協(xie)同訓練生態，包(bao)括中國電信(xin)、中興通訊、商湯(tang)科(ke)技、國網智(zhi)研院(yuan)、上海(hai)智(zhi)能算力科(ke)技有限公司、上海(hai)人工智(zhi)能實(shi)驗(yan)室、中國信(xin)通院(yuan)等。
其(qi)產品已在多個千卡GPU集群(qun)開(kai)始商用(yong)落地(di)。壁(bi)仞(ren)研(yan)發了軟硬一體、全棧優化(hua)、異構(gou)協同、開(kai)源開(kai)放的(de)大(da)模(mo)型(xing)整體解決方案。壁(bi)仞(ren)首次實現大(da)模(mo)型(xing)3D并行(xing)任務自動彈性(xing)擴(kuo)縮容，保持(chi)集群(qun)利用(yong)率(lv)近(jin)100%；已實現千卡集群(qun)千億參數(shu)模(mo)型(xing)10分(fen)鐘(zhong)自動恢復、4天無(wu)故障、15天不中斷的(de)效果。
▲壁仞科技副總(zong)裁(cai)兼(jian)AI軟件(jian)首席架構(gou)師丁云帆
中昊芯(xin)英聯合創始人、CTO鄭瀚尋談(tan)道，如今(jin)的(de)AI大(da)模(mo)型遠超計(ji)(ji)算(suan)歷史任一(yi)時刻的(de)計(ji)(ji)算(suan)復雜(za)度(du)和算(suan)力需(xu)求量，需(xu)要更(geng)(geng)擅(shan)長AI計(ji)(ji)算(suan)的(de)專(zhuan)用芯(xin)片。相較于(yu)(yu)(yu)GPU最初主(zhu)要設計(ji)(ji)用于(yu)(yu)(yu)實時渲染和圖(tu)像處理，TPU的(de)設計(ji)(ji)則主(zhu)要用于(yu)(yu)(yu)機器學習、深度(du)學習模(mo)型和神經網(wang)絡計(ji)(ji)算(suan)，針(zhen)對張量運(yun)算(suan)進行了(le)高度(du)優(you)化，單個的(de)脈(mo)動陣(zhen)列架(jia)構吞吐量和處理效率相較GPU有了(le)更(geng)(geng)大(da)提升。
中昊(hao)芯(xin)英自研(yan)的“剎那”芯(xin)片是中國(guo)首枚已量產的高性(xing)能(neng)TPU架(jia)構(gou)AI芯(xin)片，綜合測算算力(li)性(xing)能(neng)、成本、能(neng)耗后，單位算力(li)成本僅為海外(wai)領先GPU的50%。鄭瀚尋認為，大(da)模(mo)型發展后期(qi)，千卡、萬卡集群(qun)的最佳費(fei)效(xiao)比將至關重要(yao)，剎那芯(xin)片多達(da)1024片芯(xin)片間的直接高速(su)互(hu)聯，在(zai)構(gou)建大(da)規模(mo)計算集群(qun)時的系統集群(qun)性(xing)性(xing)能(neng)可遠(yuan)超傳統GPU數倍。
▲中昊(hao)芯英聯合創始人(ren)、CTO鄭瀚尋
據浪潮(chao)信息開(kai)放加速計算產(chan)品負(fu)責人Stephen Feng分享，隨著大(da)(da)模型(xing)參數規模增(zeng)加，生成式AI的(de)發(fa)展面臨(lin)四大(da)(da)挑(tiao)戰：集群擴展性不足、芯片功耗高、集群部署難、系(xi)統(tong)可靠性低四大(da)(da)挑(tiao)戰。浪潮(chao)信息始終(zhong)堅持以應(ying)用為導向，以系(xi)統(tong)為核心，通過開(kai)元開(kai)放的(de)系(xi)統(tong)激發(fa)生成式 AI 創(chuang)新(xin)活力。
在(zai)硬件(jian)開(kai)放方(fang)面(mian)，通過建立OAM（開(kai)放加(jia)速模塊）規范，加(jia)速先(xian)進算力(li)的上線部署，支撐大(da)(da)模型(xing)及AI應(ying)用(yong)(yong)的迭代加(jia)速。在(zai)軟件(jian)開(kai)放方(fang)面(mian)，通過大(da)(da)模型(xing)開(kai)發平(ping)臺“元腦企(qi)智”EPAI ，為(wei)企(qi)業(ye)打(da)造(zao)全流程應(ying)用(yong)(yong)開(kai)發支撐平(ping)臺，通過端(duan)到端(duan)的解(jie)(jie)決(jue)(jue)方(fang)案，解(jie)(jie)決(jue)(jue)基(ji)礎大(da)(da)模型(xing)落地(di)到領域存在(zai)的幻覺問(wen)題，解(jie)(jie)決(jue)(jue)應(ying)用(yong)(yong)開(kai)發流程復雜、門檻高(gao)，多元多模適配難、成本高(gao)等落地(di)難題，加(jia)速企(qi)業(ye)大(da)(da)模型(xing)應(ying)用(yong)(yong)創新(xin)與落地(di)。
▲浪潮信息開放(fang)加速計算產品負責(ze)人Stephen Feng
清程極智成立于2023年，聚焦AI Infra賽道，團隊孵(fu)化(hua)于清華(hua)大學計算機系，在智能算力優化(hua)方面，已經(jing)積累了十幾年的經(jing)驗。
清程(cheng)極(ji)智聯合創(chuang)始人師(shi)天麾分享道，國產(chan)高(gao)性能算力系統(tong)正面臨(lin)著故(gu)障恢(hui)復難、性能亞健康(kang)等方面的挑戰(zhan)，需要10大核心基礎軟件系統(tong)配合，清程(cheng)極(ji)智已在(zai)其中過半(ban)數領域擁有自研(yan)產(chan)品。
目前(qian)，清程極智(zhi)已掌握了從底(di)層(ceng)編(bian)譯器到上層(ceng)并行(xing)計算(suan)系統的(de)全棧技術積(ji)累，實(shi)現大(da)(da)模(mo)(mo)型(xing)行(xing)業生態的(de)全棧式覆蓋，完成多個在(zai)國產芯片(pian)的(de)高(gao)吞吐量(liang)(liang)推(tui)理優化(hua)和(he)主流大(da)(da)模(mo)(mo)型(xing)的(de)快(kuai)速(su)移植(zhi)和(he)優化(hua)，計算(suan)效(xiao)果提升明顯。其中，面(mian)向(xiang)超大(da)(da)規(gui)模(mo)(mo)國產算(suan)力集群(qun)研(yan)制的(de)大(da)(da)模(mo)(mo)型(xing)訓(xun)練系統“八卦爐”，可擴展(zhan)到全機10萬(wan)臺(tai)服務器規(gui)模(mo)(mo)，用(yong)于(yu)訓(xun)練174萬(wan)億參數量(liang)(liang)的(de)模(mo)(mo)型(xing)。
▲清程極智聯合創始人師天麾
芯和半(ban)導體技術市場總監黃曉波談道，算(suan)(suan)力(li)需求過去20年增長6萬倍，未來10年可能(neng)(neng)達10萬倍，存儲、互聯帶寬成(cheng)(cheng)為主要發展瓶頸。Chiplet集(ji)成(cheng)(cheng)系統成(cheng)(cheng)為后摩爾時代先進工藝制程限制和高性能(neng)(neng)算(suan)(suan)力(li)提升突破的重要方向(xiang)，已經(jing)廣泛應用于AI大算(suan)(suan)力(li)芯片和AI算(suan)(suan)力(li)集(ji)群(qun)網(wang)絡交換芯片。
對此，芯和半導體(ti)為(wei)Chiplet集成(cheng)系(xi)統的設計開發提供了(le)一站(zhan)式多物理場仿真(zhen)EDA平(ping)(ping)臺。該平(ping)(ping)臺支(zhi)持(chi)主流工藝(yi)設計互(hu)連結構(gou)參數化(hua)建模(mo)，求解仿真(zhen)能力比其他平(ping)(ping)臺快10倍，內存僅占1/20，并內置HBM/UCIe協議分析以提升仿真(zhen)效率，獲國內外多家頭部AI算(suan)(suan)力芯片設計廠商使用(yong)，幫助大算(suan)(suan)力Chiplet集成(cheng)系(xi)統產品的加速落地。
▲芯和(he)半導體技術市場總監黃曉波
在大模型訓練過程中，網(wang)(wang)絡(luo)基礎設施的開銷占比達到30%，凸顯了網(wang)(wang)絡(luo)性能的重要性。據奇(qi)異摩(mo)爾聯(lian)合創始人、產品及(ji)解(jie)決方案副總裁(cai)祝俊東分享，網(wang)(wang)絡(luo)已成為智算性能瓶頸，構建AI網(wang)(wang)絡(luo)需(xu)要三網(wang)(wang)融(rong)合，即集群網(wang)(wang)間(jian)互連、機柜內互連，芯片內的互聯(lian)。
大智算(suan)集群(qun)需要高性(xing)能(neng)互連，Modernize RDMA與(yu)Chiplet成(cheng)為關鍵技(ji)術。為了優化RDMA，奇(qi)異摩爾的NDSA網絡加速(su)芯(xin)粒系(xi)列基于可(ke)編程(cheng)眾核流式架構，通過高性(xing)能(neng)的數據引擎(qing)，實(shi)現(xian)高性(xing)能(neng)數據流及靈(ling)活數據加速(su)。奇(qi)異摩爾首創(chuang)的GPU Link Chiplet “NDSA-G2G”，基于以太基礎設施 ，通過高性(xing)能(neng)數據引擎(qing)和D2D接(jie)口(kou)技(ji)術，可(ke)實(shi)現(xian)Scale-Up網絡TB級高帶寬，性(xing)能(neng)媲美全球(qiu)互連技(ji)術的標桿。
▲奇異摩爾(er)聯合創始人、產品及解決方(fang)案副總裁祝俊東(dong)
Alphawave是一家針(zhen)對HPC、AI和高速網(wang)絡應用(yong)提供IP、Chiplet和ASIC設計解決(jue)方案的(de)(de)企業。其亞太地(di)區高級業務總監郭大瑋分享說，針(zhen)對數據(ju)在(zai)傳輸過(guo)程中面臨的(de)(de)問題，Alphawave IP產品(pin)(pin)的(de)(de)誤碼率比競(jing)品(pin)(pin)低2個數量級，還可輔助進行集成和驗證，并與Arm生(sheng)態(tai)深度融合(he)。他們還能(neng)為客戶的(de)(de)SoC提供全生(sheng)命(ming)周期的(de)(de)支持。
Chiplet方面，Alphawave幫助客戶(hu)縮短(duan)周期(qi)，降低成(cheng)本，提升了良率和迭代速度，目(mu)前已(yi)做(zuo)出行業內第(di)一款(kuan)多(duo)協(xie)議IO連接Chiplet，今年已(yi)經(jing)流(liu)片(pian)。定制芯(xin)片(pian)方面，Alphawave主(zhu)要專注(zhu)于7nm以下的工藝(yi)，可根據客戶(hu)需求完成(cheng)從(cong)規格到流(liu)片(pian)的全流(liu)程，目(mu)前已(yi)實現(xian)超375次成(cheng)功流(liu)片(pian)，DPPM小于25。
▲Alphawave亞(ya)太地區高級業務(wu)總監郭大瑋
結語：下游智能化風起云涌，AI芯片迎歷史機遇
在邁向通用人(ren)工(gong)智能終極議題的道路上，AI算法的形態(tai)不斷變化，AI芯(xin)片(pian)(pian)也與之相隨。當古老的沙礫邂逅未來的機器智能，技術與工(gong)程智慧交融碰撞(zhuang)，一顆顆凝(ning)集了(le)精(jing)微設計(ji)的AI芯(xin)片(pian)(pian)走進(jin)(jin)計(ji)算集群，步(bu)入(ru)千家萬戶，托(tuo)載起(qi)硅基生命的進(jin)(jin)化。
從智(zhi)(zhi)算(suan)中心、智(zhi)(zhi)能駕(jia)駛(shi)到AI PC、AI手機(ji)、新(xin)型AI硬件，下游智(zhi)(zhi)能化風潮(chao)為(wei)錨(mao)定不同場(chang)景的(de)AI芯(xin)(xin)片都(dou)帶來(lai)了新(xin)一(yi)波歷史機(ji)遇。快速發展的(de)生(sheng)成式AI算(suan)法及應用不斷(duan)解鎖新(xin)的(de)算(suan)力挑戰。技術創新(xin)和市場(chang)需求正雙重推動AI芯(xin)(xin)片市場(chang)規模擴大，并推動AI芯(xin)(xin)片的(de)競爭格(ge)局趨(qu)于多元。
9月7日，2024全球AI芯片峰會將繼(ji)續密集(ji)輸送干貨：主(zhu)會場(chang)(chang)將舉行(xing)AI芯片架構創(chuang)新(xin)(xin)專(zhuan)場(chang)(chang)、邊緣/端側AI芯片專(zhuan)場(chang)(chang)，公布「2024中國(guo)智(zhi)算集(ji)群解決(jue)方案企業TOP 20」、「2024中國(guo)AI芯片新(xin)(xin)銳企業TOP 10」兩大(da)榜單；分(fen)會場(chang)(chang)將舉行(xing)智(zhi)算集(ji)群技術論壇、中國(guo)RISC-V計算芯片創(chuang)新(xin)(xin)論壇。
