芯東西（公眾號：aichip001）作者 | GACS
芯東西9月6日報道，一年一度的全球AI芯片峰會（GACS 2024）今日在北京火爆開幕。現場座(zuo)無虛席，云直播(bo)全網觀(guan)看人數達到(dao)120萬(wan)人次。
▲會場(chang)內和場(chang)外展臺人潮涌(yong)動(dong)
大會由智(zhi)一(yi)科(ke)技旗下芯東西聯合(he)智(zhi)猩(xing)猩(xing)發起主(zhu)辦，以「智(zhi)算紀(ji)元 共(gong)筑芯路」為(wei)主(zhu)題，邀請(qing)50+位嘉賓來自(zi)AI芯片、Chiplet、RISC-V、智(zhi)算集群(qun)、AI Infra等領(ling)域的嘉賓與(yu)會作干貨分享。
正值(zhi)國產GPGPU獨角獸壁仞科技成立五(wu)周年，會上(shang)，壁仞科技宣布取得多芯混訓(xun)核心技術突破，打(da)造出異構(gou)GPU協同訓(xun)練(lian)方案HGCT，業界首次能夠支持3種及以上(shang)異構(gou)GPU訓(xun)練(lian)同一個大模型(xing)。
▲壁仞(ren)科(ke)技推出國(guo)產異構GPU協同訓(xun)練方案(an)HGCT
智一科技聯合(he)創始(shi)人(ren)、CEO龔倫常作為主辦方發表致辭，今年是(shi)全球AI芯(xin)片峰(feng)會舉辦的第(di)七年，峰(feng)會已成為國(guo)內在該(gai)領域里最(zui)有影響力的行業會議，是(shi)了(le)解國(guo)內外AI芯(xin)片發展(zhan)動(dong)態的重(zhong)要(yao)窗(chuang)口(kou)。
▲智一科(ke)技(ji)聯合創始人、CEO龔(gong)倫常
全球AI芯(xin)片峰(feng)會(hui)為期兩日，主會(hui)場(chang)包括(kuo)(kuo)開幕式和三(san)大專場(chang)（AI芯(xin)片架構、數據中(zhong)心(xin)AI芯(xin)片、邊(bian)緣端AI芯(xin)片），分會(hui)場(chang)包括(kuo)(kuo)Chiplet技術(shu)論壇(tan)、智算集群(qun)技術(shu)論壇(tan)和RISC-V創新論壇(tan)。
在(zai)開幕式上(shang)，清華大(da)學教授、集(ji)成電路(lu)學院副院長(chang)尹首一以《高算(suan)力芯(xin)片發展路(lu)徑(jing)探討：從計算(suan)架構(gou)到集(ji)成架構(gou)》為(wei)題進行主題報(bao)告(gao)，系統性(xing)復盤(pan)了(le)高算(suan)力芯(xin)片存在(zai)的技(ji)術(shu)挑戰(zhan)，并全面分析五條創新(xin)技(ji)術(shu)路(lu)徑(jing)：數據流芯(xin)片、存算(suan)一體芯(xin)片、可重(zhong)構(gou)芯(xin)片、三(san)維集(ji)成芯(xin)片、晶(jing)圓級(ji)芯(xin)片。
今日(ri)有21位來自頂尖高校及科研院所、AI芯片企(qi)業(ye)的(de)專(zhuan)家、創(chuang)業(ye)者(zhe)及高管進(jin)行(xing)分(fen)享。其中，高端(duan)對話環節邀請(qing)了三家AI芯片創(chuang)企(qi)代表激(ji)情交辯，分(fen)別是國產(chan)大算力(li)芯片獨角獸(shou)壁(bi)仞科技(ji)、端(duan)側與邊緣側AI芯片獨角獸(shou)愛芯元智，還(huan)有一(yi)家僅創(chuang)立半(ban)年(nian)的(de)年(nian)輕AI芯片創(chuang)企(qi)凌川科技(ji)。他們集中探討了AI芯片產(chan)業(ye)現狀、最(zui)新實(shi)踐與進(jin)階方(fang)向。
一、破解大模型算力供需挑戰，架構創新突圍性能瓶頸
清華大學(xue)教授、集成電路(lu)學(xue)院副院長尹(yin)首一(yi)解讀了大模型(xing)時代算(suan)力供需間(jian)的困難：芯片工藝面(mian)臨Scaling-down極(ji)限，致使(shi)工藝紅利(li)帶(dai)來的算(suan)力提升難以(yi)為繼(ji)；系統面(mian)臨Scaling-out瓶頸，通信帶(dai)寬不足導致系統性能損(sun)失(shi)。
破(po)解這(zhe)兩(liang)大難題的機會在于算力芯(xin)片(pian)計算架(jia)構和集成(cheng)架(jia)構的聯(lian)合創新：計算架(jia)構創新使(shi)每個(ge)晶體管都(dou)被充分利用、發揮更強算力；集成(cheng)架(jia)構創新使(shi)芯(xin)片(pian)規模能(neng)夠突破(po)極(ji)限。
當前高算力芯(xin)(xin)片(pian)發展有(you)五條新技術路徑(jing)：數據流(liu)芯(xin)(xin)片(pian)、可重(zhong)構芯(xin)(xin)片(pian)、存算一(yi)體(ti)芯(xin)(xin)片(pian)、三維集成芯(xin)(xin)片(pian)、晶圓級芯(xin)(xin)片(pian)。這些路徑(jing)都不完(wan)全(quan)依(yi)賴于最先進(jin)的制造工藝，有(you)助于為國內(nei)芯(xin)(xin)片(pian)產(chan)業(ye)開(kai)辟算力提升新空(kong)間。
▲清華大(da)學教授、集(ji)成電路學院(yuan)副院(yuan)長尹首一(yi)
AMD在端到端的(de)AI基礎設(she)施領(ling)域(yu)打(da)造了(le)全(quan)面的(de)產(chan)品線，覆蓋從數據中心(xin)服務器(qi)、AI PC到智(zhi)能嵌入式和邊(bian)緣設(she)備，并提(ti)供領(ling)先的(de)AI開(kai)源軟件及開(kai)放的(de)生(sheng)態系統。AMD基于先進ZEN4架(jia)構設(she)計(ji)的(de)CPU處(chu)理器(qi)平臺、基于CDNA3架(jia)構面向AI推理&訓(xun)練的(de)MI系列加速器(qi)，已被微(wei)軟等巨頭采用。
據AMD人工智能事業部高級總監王宏強(qiang)分享，AMD還在推(tui)動(dong)數據中心高性(xing)(xing)能網(wang)絡基礎設施（UALink，Ultra Ethernet），這(zhe)對AI網(wang)絡結構需要(yao)支持(chi)快速切換(huan)和極(ji)低(di)延遲、擴展AI數據中心性(xing)(xing)能至關重(zhong)要(yao)。
AMD即將發(fa)布下(xia)一代高性能AI PC，其基于第二代XDNA架構的(de)(de)(de)Ryzen AI NPU，可提(ti)供(gong)50TOPS算力，將能效(xiao)比提(ti)高至通用架構的(de)(de)(de)35倍。在AI PC對隱私、安全(quan)和(he)數據(ju)自(zi)主性的(de)(de)(de)推動下(xia)，重要的(de)(de)(de)AI工作負載開始部署在PC上。作為全(quan)球領(ling)先的(de)(de)(de)AI基礎設施(shi)提(ti)供(gong)商(shang)之(zhi)一，AMD愿意攜手廣大客戶與開發(fa)者(zhe)共建變(bian)革性未來。
▲AMD人(ren)工智(zhi)能事業部高級總(zong)監王宏強
自2015年以來(lai)，高通一直在根據AI應用(yong)用(yong)例(li)(li)的(de)變(bian)化(hua)，不斷革新NPU硬件(jian)設計(ji)。以第(di)三(san)代驍龍8為代表，高通AI引擎(qing)采用(yong)集(ji)成CPU、GPU、NPU等(deng)多種處理(li)(li)器(qi)(qi)的(de)異(yi)構(gou)計(ji)算架構(gou)。其中，高通Hexagon NPU通過大片上(shang)內(nei)存(cun)、加速器(qi)(qi)專(zhuan)用(yong)電(dian)源(yuan)、微架構(gou)升級(ji)等(deng)設計(ji)來(lai)優化(hua)性能和能效(xiao)。AI的(de)用(yong)例(li)(li)豐富，算力(li)要求不一，因此(ci)異(yi)構(gou)計(ji)算和處理(li)(li)器(qi)(qi)集(ji)成的(de)需求會長期存(cun)在，這(zhe)也(ye)將(jiang)帶來(lai)峰值性能、能效(xiao)、成本等(deng)方面的(de)一系列提升。
高(gao)(gao)通(tong)(tong)的產品線(xian)覆(fu)蓋(gai)手機、PC、XR、汽車、IoT等(deng)豐富(fu)的邊緣側(ce)應用場(chang)景，能(neng)夠支持開發者(zhe)在不同(tong)產品形態中利用高(gao)(gao)通(tong)(tong)的AI軟硬件解決方案進(jin)行算(suan)法加速(su)，為消費者(zhe)帶(dai)來豐富(fu)的終端(duan)側(ce)AI體驗和(he)用例(li)。最后(hou)，高(gao)(gao)通(tong)(tong)AI產品技術中國區負責人萬衛星還預告，搭載(zai)最新的高(gao)(gao)通(tong)(tong)Oryon CPU的下一代驍龍移動平臺，即將在今年(nian)10月21-23日舉行的驍龍峰會(hui)上(shang)發布(bu)。
▲高通AI產品(pin)技術中(zhong)國區(qu)負責人萬衛星(xing)
蘋(pin)芯科技聯合創始人兼CEO楊(yang)越拆解了存算(suan)一體技術(shu)的(de)進階過程(cheng)。產業界主流(liu)芯片的(de)出現(xian)和成長與當下計算(suan)需求的(de)特點緊密相關(guan)，2015年前后，計算(suan)體系結(jie)構(gou)中的(de)計算(suan)瓶頸從處理器端向存儲(chu)端遷移(yi)，尤其(qi)是神經網絡的(de)出現(xian)，加快了AI芯片計算(suan)效率的(de)提升節奏，存算(suan)技術(shu)因(yin)此受到(dao)關(guan)注(zhu)。
楊越(yue)認為，在(zai)(zai)大模(mo)型(xing)時代(dai)，存算(suan)(suan)一體技(ji)術(shu)的機會是能(neng)夠(gou)在(zai)(zai)有數(shu)(shu)據存儲的地方都加入(ru)計算(suan)(suan)。隨(sui)著軟件不斷發展(zhan)，基于存算(suan)(suan)的端(duan)側(ce)芯(xin)片(pian)(pian)今年已(yi)經逐步成(cheng)熟。未來，在(zai)(zai)云端(duan)解決(jue)數(shu)(shu)據帶(dai)寬(kuan)瓶(ping)頸(jing)，或將成(cheng)為存算(suan)(suan)芯(xin)片(pian)(pian)下一個(ge)殺手級應用(yong)。
▲蘋芯科(ke)技聯合創始人兼CEO楊越(yue)
北(bei)極(ji)雄芯CTO譚展(zhan)宏談道(dao)，在(zai)(zai)高(gao)(gao)性(xing)能(neng)計算領域，服(fu)(fu)(fu)務(wu)(wu)器(qi)設計有兩種不同(tong)的范式：標(biao)(biao)(biao)準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形態(tai)和定制服(fu)(fu)(fu)務(wu)(wu)器(qi)架(jia)構(gou)。在(zai)(zai)標(biao)(biao)(biao)準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形態(tai)下，北(bei)極(ji)雄芯關注于在(zai)(zai)標(biao)(biao)(biao)準(zhun)約束的面積(ji)下，通(tong)過合適的芯粒(li)拆分與(yu)封裝方案，實現更高(gao)(gao)的性(xing)價比(bi)；在(zai)(zai)非標(biao)(biao)(biao)準(zhun)服(fu)(fu)(fu)務(wu)(wu)器(qi)形態(tai)下，提(ti)供了晶圓級集成的機會(hui)，關注于芯片(pian)(pian)與(yu)系統設計一(yi)體化，對服(fu)(fu)(fu)務(wu)(wu)器(qi)與(yu)芯片(pian)(pian)進行協(xie)同(tong)設計，旨在(zai)(zai)達到(dao)“服(fu)(fu)(fu)務(wu)(wu)器(qi)即芯片(pian)(pian)”的目標(biao)(biao)(biao)。
特(te)別地，譚展宏(hong)強調了不(bu)同(tong)芯片的(de)(de)設計(ji)有(you)不(bu)同(tong)的(de)(de)帶(dai)寬需(xu)求(qiu)，例如在(zai)7nm以上(shang)工藝(yi)下(xia)，結合部署通信(xin)優化(hua)，往往不(bu)需(xu)要(yao)很高的(de)(de)互(hu)連(lian)帶(dai)寬密度，因此先進封(feng)(feng)裝(zhuang)并不(bu)是必需(xu)的(de)(de)，基(ji)于(yu)2D的(de)(de)封(feng)(feng)裝(zhuang)即可滿(man)足(zu)性能需(xu)求(qiu)并實(shi)現(xian)高性價比(bi)方案。北(bei)極雄芯基(ji)于(yu)《芯粒互(hu)聯接口標準》的(de)(de)PB-Link IP，正式實(shi)現(xian)了低封(feng)(feng)裝(zhuang)成本的(de)(de)互(hu)連(lian)實(shi)現(xian)，目(mu)前已開始對外授權(quan)。
▲北極雄芯(xin)CTO譚(tan)展宏(hong)
二、高端對話：國產AI芯片造血能力增強，最年輕創企產品已落地快手
智(zhi)一科技聯合創(chuang)始(shi)人(ren)、總編輯張國仁，與壁仞科技副(fu)總裁兼AI軟件(jian)首席架構師丁云帆(fan)，凌川科技聯合創(chuang)始(shi)人(ren)、副(fu)總裁劉(liu)(liu)理，愛芯(xin)元智(zhi)聯合創(chuang)始(shi)人(ren)、副(fu)總裁劉(liu)(liu)建偉，展開了一場(chang)以(yi)“國產AI芯(xin)片(pian)落地的(de)共識、共創(chuang)與共贏”為主(zhu)題的(de)圓(yuan)桌對話。
張國仁在(zai)圓(yuan)桌對話開始時稱，由智東西、芯東西、智猩(xing)猩(xing)發起舉(ju)辦六屆(jie)的AI芯片(pian)(pian)峰會(hui)，是國內該(gai)領域持(chi)續時間(jian)最長的專(zhuan)業會(hui)議(yi)，這幾(ji)年(nian)見證(zheng)了AI芯片(pian)(pian)和大模型的蓬勃發展，也見證(zheng)了一批(pi)國內造芯“新(xin)勢力”的崛起。
▲智一科技(ji)聯合創始人、總編輯張國仁
丁云帆談(tan)道，大算力芯片是技術密(mi)集、人(ren)才密(mi)集、資(zi)金密(mi)集的行(xing)業。作為(wei)市場中已公開融資(zi)規模(mo)最大的芯片獨角獸，壁仞科(ke)技擁有(you)頂級人(ren)才，第一(yi)代產(chan)品已量產(chan)落(luo)地，多個國(guo)(guo)產(chan)GPU千(qian)卡集群已經落(luo)地，能獨立造血。但國(guo)(guo)產(chan)芯片行(xing)業整(zheng)體情況仍然不易，生態方面和國(guo)(guo)外仍有(you)差(cha)距。
很多國(guo)產AI芯(xin)(xin)片已(yi)經開始落(luo)地(di)于數據中心、智算(suan)中心。在(zai)丁云帆(fan)看來，英偉達(da)面(mian)向國(guo)內的(de)產品性價(jia)比并不(bu)高(gao)，國(guo)產芯(xin)(xin)片只要能(neng)做出性能(neng)、做出性價(jia)比，就會(hui)(hui)有市(shi)場。目前國(guo)內芯(xin)(xin)片產業落(luo)地(di)消息越來越多、造(zao)血(xue)能(neng)力增強，與英偉達(da)之間的(de)差距會(hui)(hui)逐漸縮小(xiao)。
▲壁仞科技副總裁(cai)兼AI軟件(jian)首(shou)席架構師丁云(yun)帆
劉(liu)建偉(wei)認為，低成本是很重要(yao)的部分(fen)，企(qi)業最終(zhong)還是要(yao)算賬，企(qi)業對基(ji)礎設施(shi)的投(tou)資一定要(yao)賺回(hui)來。劉(liu)理相信后期在具身智(zhi)能、智(zhi)能視頻等細(xi)分(fen)賽道，更多(duo)企(qi)業的進入(ru)，將(jiang)帶來比通(tong)用產品更高的價(jia)值，會壓縮英偉(wei)達的營(ying)收和(he)利潤。
凌川(chuan)科技是(shi)最(zui)年輕的國(guo)內AI芯(xin)片創企之(zhi)一，今年3月(yue)剛(gang)成立(li)，已(yi)完(wan)成一輪融(rong)資，目前在(zai)售的智(zhi)能視頻處(chu)(chu)理(li)芯(xin)片已(yi)落地快(kuai)(kuai)手，占快(kuai)(kuai)手視頻處(chu)(chu)理(li)領(ling)域用量的99%，大算力推(tui)理(li)芯(xin)片預計明年初(chu)流片。
在(zai)劉理(li)(li)看來，距離AI芯片市(shi)場窗口關閉還很遠，面(mian)對巨(ju)頭在(zai)資源(yuan)、資金、生態上(shang)的優(you)勢，創企需要(yao)在(zai)垂直、細分(fen)領域發力。凌川科技將(jiang)(jiang)智(zhi)能視頻處理(li)(li)、AI推理(li)(li)算力結合，目標是將(jiang)(jiang)其每Token推理(li)(li)成(cheng)本降到英(ying)偉達H800的10%。
▲凌川科技聯合創始人、副總裁劉理(li)
面向端(duan)側(ce)、邊(bian)緣側(ce)的(de)愛(ai)芯(xin)元(yuan)智(zhi)，市(shi)占率均取得了矚(zhu)目的(de)成績。劉建偉認為(wei)這(zhe)兩個領(ling)域實(shi)現商(shang)業(ye)(ye)閉環(huan)的(de)速度會(hui)更快。他補充說(shuo)，做AI芯(xin)片最終一定會(hui)賺錢，但實(shi)際(ji)盈利的(de)時間表會(hui)受到AI部署成本等因素的(de)影響(xiang)，企業(ye)(ye)應盡快實(shi)現自我造血和閉環(huan)。未來，愛(ai)芯(xin)元(yuan)智(zhi)將在端(duan)側(ce)和邊(bian)緣側(ce)大(da)模型落地場景進行探索。
愛芯元智在汽車領域的產品出貨量十分可觀，劉建偉談道，這是因為智慧城市和汽車的底層芯片技術類似，愛芯元智在智慧城市上積累了成熟技術再進入智能駕駛可以較快實現量產。同時，汽車領(ling)域價格戰將推(tui)動產業(ye)分工是機遇期。
▲愛芯(xin)元智聯合創(chuang)始人(ren)、副總裁劉(liu)建偉
對(dui)于國(guo)產(chan)AI芯片(pian)如何快速找到(dao)生態位，劉(liu)建偉以(yi)愛芯元(yuan)智的(de)(de)深(shen)耕場景為(wei)例，智慧城市基本(ben)(ben)沒有國(guo)外公(gong)司，在智能駕駛領域(yu)英(ying)偉達開拓0到(dao)1階段，1到(dao)100更關注成本(ben)(ben)的(de)(de)階段就(jiu)是國(guo)內企(qi)業的(de)(de)機會。丁云(yun)帆(fan)提到(dao)四個要素：穩(wen)定可靠的(de)(de)供應保(bao)障(zhang)、性價比、針對(dui)客戶需求提供高效支持服務、高效易用。劉(liu)理認為(wei)應該在垂直領域(yu)深(shen)耕，做出(chu)比通用芯片(pian)更高效、優化的(de)(de)解決方案。
展(zhan)(zhan)望未來(lai)(lai)，劉建(jian)偉(wei)預測未來(lai)(lai)4-5年，端側和云側都將(jiang)出現(xian)(xian)很(hen)大(da)(da)的(de)(de)(de)發展(zhan)(zhan)機遇，產業(ye)界落地成本降(jiang)低(di)后，數據可以實現(xian)(xian)更(geng)大(da)(da)的(de)(de)(de)價值。劉理(li)(li)認為隨著AI應用迎來(lai)(lai)爆發期，云側將(jiang)產生(sheng)大(da)(da)量推(tui)理(li)(li)需(xu)求。丁云帆談(tan)到國內的(de)(de)(de)高端算(suan)力仍然稀缺，但產業(ye)鏈(lian)的(de)(de)(de)協同可以實現(xian)(xian)穩健的(de)(de)(de)發展(zhan)(zhan)。
三、智算中心建設潮起：壁仞GPU新突破，國產TPU拼落地，Chiplet贏麻了
在下午(wu)舉(ju)行的數據中(zhong)(zhong)心(xin)AI芯片專場，Habana中(zhong)(zhong)國區負責(ze)人于明揚談道，近三年有大約50+政府主導的智(zhi)算中(zhong)(zhong)心(xin)陸續建成、60+在規劃和(he)建設(she)中(zhong)(zhong)，智(zhi)算中(zhong)(zhong)心(xin)建設(she)逐漸(jian)從一線城市(shi)向(xiang)二三線城市(shi)下沉，從政府主導逐漸(jian)轉(zhuan)向(xiang)企(qi)業主導，對(dui)成本壓縮、投資回報周(zhou)期(qi)的要求也逐漸(jian)提升(sheng)。
據(ju)他觀察，當(dang)前大模型開發日趨成熟，推理(li)需(xu)求持(chi)續增長，頭部CSP自(zi)研推理(li)芯(xin)片的增速將(jiang)提高，未來推理(li)側可能培育出多家異構芯(xin)片企業。
國外大模(mo)型訓練需求(qiu)仍將旺盛，國內(nei)模(mo)型訓練對算(suan)力的需求(qiu)基本(ben)飽和(he)，主要來(lai)自微調業務。要支撐(cheng)未來(lai)AI發展，Chiplet、高(gao)速(su)大容量內(nei)存(cun)、私有/通(tong)用高(gao)速(su)互聯技術的融合將起關(guan)鍵作用。
▲Habana中國區負責人于(yu)明揚
為了打(da)破大(da)(da)模型異(yi)構算力孤島難題，壁仞(ren)科技副總裁(cai)兼AI軟件(jian)首席(xi)架構師丁云帆宣布推出壁仞(ren)自主原(yuan)創的異(yi)構GPU協(xie)同訓(xun)練(lian)方案HGCT。這是(shi)業界首次實現支(zhi)持(chi)3種及(ji)以上異(yi)構GPU協(xie)同訓(xun)練(lian)同一(yi)個大(da)(da)模型，即支(zhi)持(chi)用「英偉達+壁仞(ren)+其(qi)他品牌GPU」混訓(xun)，通信效率大(da)(da)于98%，端到端訓(xun)練(lian)效率達到90~95%。
壁(bi)仞正在(zai)聯合客戶、合作伙伴等(deng)共同推(tui)動異構(gou)GPU協同訓練(lian)生態(tai)，包(bao)括中(zhong)(zhong)國電信、中(zhong)(zhong)興通訊、商(shang)湯科技、國網智(zhi)研(yan)院(yuan)、上海智(zhi)能(neng)算力科技有限公司(si)、上海人工智(zhi)能(neng)實驗室、中(zhong)(zhong)國信通院(yuan)等(deng)。
其產品已在(zai)多個千卡(ka)GPU集(ji)群(qun)(qun)開(kai)始商用(yong)落地。壁仞研發了軟硬(ying)一(yi)體(ti)、全(quan)棧優化(hua)、異構(gou)協同、開(kai)源開(kai)放的大模型(xing)整體(ti)解決方案。壁仞首次實現(xian)大模型(xing)3D并(bing)行任務自動(dong)彈性擴縮容，保持集(ji)群(qun)(qun)利用(yong)率近100%；已實現(xian)千卡(ka)集(ji)群(qun)(qun)千億參數模型(xing)10分鐘自動(dong)恢復、4天(tian)無故障、15天(tian)不中斷的效果(guo)。
▲壁仞科(ke)技副總裁兼(jian)AI軟件首席(xi)架構(gou)師丁云帆(fan)
中昊芯英聯合創(chuang)始人、CTO鄭瀚(han)尋(xun)談道，如今(jin)的AI大(da)模(mo)型遠超計算(suan)歷(li)史任一時刻的計算(suan)復雜度(du)和(he)算(suan)力需求量(liang)，需要更(geng)擅長AI計算(suan)的專用芯片。相較于GPU最初(chu)主(zhu)要設計用于實時渲染和(he)圖像(xiang)處理，TPU的設計則主(zhu)要用于機器學習、深度(du)學習模(mo)型和(he)神經網絡計算(suan)，針對張量(liang)運算(suan)進行了(le)高(gao)度(du)優化(hua)，單個的脈動陣列架構吞吐量(liang)和(he)處理效率相較GPU有了(le)更(geng)大(da)提升。
中昊(hao)芯(xin)英自研(yan)的(de)“剎那(nei)”芯(xin)片是中國首枚(mei)已(yi)量產的(de)高性(xing)能(neng)TPU架構AI芯(xin)片，綜合測算(suan)算(suan)力性(xing)能(neng)、成本、能(neng)耗(hao)后(hou)，單位算(suan)力成本僅為海外(wai)領先GPU的(de)50%。鄭瀚尋認為，大模(mo)型發展后(hou)期，千卡、萬卡集(ji)群(qun)的(de)最佳費效(xiao)比將至關重(zhong)要(yao)，剎那(nei)芯(xin)片多達1024片芯(xin)片間的(de)直接高速互(hu)聯(lian)，在構建大規(gui)模(mo)計算(suan)集(ji)群(qun)時的(de)系統集(ji)群(qun)性(xing)性(xing)能(neng)可遠超傳(chuan)統GPU數倍。
▲中昊芯英(ying)聯合創始人、CTO鄭瀚尋
據浪(lang)潮(chao)信(xin)息開放加速計算產品負責人Stephen Feng分享，隨(sui)著(zhu)大(da)(da)模型參數規(gui)模增加，生成式(shi)AI的發(fa)展面臨四大(da)(da)挑戰：集群擴展性不(bu)足、芯(xin)片功耗高、集群部署難、系(xi)統可靠性低四大(da)(da)挑戰。浪(lang)潮(chao)信(xin)息始終堅(jian)持以(yi)應(ying)用為(wei)導向(xiang)，以(yi)系(xi)統為(wei)核心，通過開元開放的系(xi)統激發(fa)生成式(shi) AI 創新活力(li)。
在硬件開放方面，通過建立OAM（開放加(jia)速(su)模(mo)塊）規范，加(jia)速(su)先進算(suan)力的上線(xian)部署，支(zhi)撐大(da)模(mo)型(xing)(xing)及AI應(ying)(ying)(ying)用(yong)(yong)的迭(die)代(dai)加(jia)速(su)。在軟件開放方面，通過大(da)模(mo)型(xing)(xing)開發平臺“元(yuan)腦企(qi)智(zhi)”EPAI ，為企(qi)業(ye)打造全流(liu)程(cheng)(cheng)應(ying)(ying)(ying)用(yong)(yong)開發支(zhi)撐平臺，通過端到端的解決(jue)(jue)(jue)方案，解決(jue)(jue)(jue)基礎大(da)模(mo)型(xing)(xing)落(luo)地到領域存在的幻覺問題(ti)，解決(jue)(jue)(jue)應(ying)(ying)(ying)用(yong)(yong)開發流(liu)程(cheng)(cheng)復(fu)雜、門檻高，多元(yuan)多模(mo)適配難、成本高等落(luo)地難題(ti)，加(jia)速(su)企(qi)業(ye)大(da)模(mo)型(xing)(xing)應(ying)(ying)(ying)用(yong)(yong)創(chuang)新與(yu)落(luo)地。
▲浪潮(chao)信息(xi)開放加速計算產品負(fu)責(ze)人Stephen Feng
清程極(ji)智成立于2023年，聚焦AI Infra賽道，團隊孵化(hua)于清華大學計算機系，在智能算力優化(hua)方面，已經(jing)積累了十幾(ji)年的經(jing)驗。
清程極(ji)智(zhi)聯(lian)合(he)創(chuang)始(shi)人師天麾分享道，國產高性能(neng)算(suan)力(li)系統正面臨著(zhu)故障恢復難、性能(neng)亞健康等方面的挑戰，需要(yao)10大核(he)心(xin)基礎(chu)軟(ruan)件系統配合(he)，清程極(ji)智(zhi)已在其(qi)中過半數領域擁有自研(yan)產品。
目前，清程極(ji)智(zhi)已掌握(wo)了從底層(ceng)(ceng)編譯(yi)器到(dao)上層(ceng)(ceng)并行計算系統的(de)(de)(de)(de)全棧(zhan)(zhan)技術積累，實現大(da)模(mo)(mo)型(xing)行業生態(tai)的(de)(de)(de)(de)全棧(zhan)(zhan)式(shi)覆(fu)蓋，完成多個在國產芯片的(de)(de)(de)(de)高(gao)吞(tun)吐量(liang)推理優化(hua)和(he)主流大(da)模(mo)(mo)型(xing)的(de)(de)(de)(de)快速移植和(he)優化(hua)，計算效果提(ti)升明(ming)顯。其中(zhong)，面向超大(da)規模(mo)(mo)國產算力(li)集群(qun)研制的(de)(de)(de)(de)大(da)模(mo)(mo)型(xing)訓練系統“八卦爐”，可擴展到(dao)全機10萬(wan)臺服務器規模(mo)(mo)，用(yong)于訓練174萬(wan)億參數量(liang)的(de)(de)(de)(de)模(mo)(mo)型(xing)。
▲清程極(ji)智聯合創始人師天麾(hui)
芯(xin)和半導體技術市場總監黃曉波談道，算(suan)力需求(qiu)過(guo)去20年(nian)增長6萬倍，未來10年(nian)可能達10萬倍，存儲、互聯帶寬成為主要發展瓶(ping)頸(jing)。Chiplet集成系(xi)統成為后摩爾時代先進(jin)工藝制(zhi)程限(xian)制(zhi)和高性能算(suan)力提(ti)升突破(po)的重要方向，已(yi)經廣泛(fan)應用于AI大算(suan)力芯(xin)片(pian)和AI算(suan)力集群(qun)網絡交換(huan)芯(xin)片(pian)。
對此，芯和(he)半(ban)導體為Chiplet集成系(xi)(xi)統的設(she)計(ji)開發提供(gong)了一站式多物理場仿(fang)真(zhen)EDA平臺(tai)(tai)。該平臺(tai)(tai)支(zhi)持主流工藝(yi)設(she)計(ji)互連結構(gou)參數(shu)化建模，求解仿(fang)真(zhen)能(neng)力(li)比(bi)其他平臺(tai)(tai)快10倍，內(nei)存僅(jin)占1/20，并內(nei)置HBM/UCIe協(xie)議分析以提升仿(fang)真(zhen)效率，獲(huo)國內(nei)外多家頭(tou)部AI算力(li)芯片設(she)計(ji)廠商使(shi)用，幫助大算力(li)Chiplet集成系(xi)(xi)統產品的加速落地。
▲芯和半(ban)導(dao)體技術(shu)市場總監黃曉波
在大模(mo)型訓練過程中(zhong)，網(wang)絡(luo)(luo)基(ji)礎(chu)設施的(de)開(kai)銷占(zhan)比達到30%，凸顯了網(wang)絡(luo)(luo)性(xing)能(neng)的(de)重要性(xing)。據奇異摩爾聯合(he)創始人(ren)、產品及解(jie)決方案副總裁祝俊(jun)東分享(xiang)，網(wang)絡(luo)(luo)已成(cheng)為智算(suan)性(xing)能(neng)瓶(ping)頸，構建(jian)AI網(wang)絡(luo)(luo)需要三網(wang)融合(he)，即集群網(wang)間互連(lian)、機柜內互連(lian)，芯片內的(de)互聯。
大智算集(ji)群(qun)需要高(gao)(gao)性(xing)能(neng)互連，Modernize RDMA與Chiplet成為關鍵技術(shu)。為了優化(hua)RDMA，奇異摩爾的NDSA網(wang)絡加速芯(xin)粒系(xi)列(lie)基(ji)于(yu)可編程眾(zhong)核流式架構，通過高(gao)(gao)性(xing)能(neng)的數據(ju)引擎，實現(xian)(xian)高(gao)(gao)性(xing)能(neng)數據(ju)流及靈活數據(ju)加速。奇異摩爾首(shou)創的GPU Link Chiplet “NDSA-G2G”，基(ji)于(yu)以太基(ji)礎設(she)施 ，通過高(gao)(gao)性(xing)能(neng)數據(ju)引擎和(he)D2D接(jie)口技術(shu)，可實現(xian)(xian)Scale-Up網(wang)絡TB級高(gao)(gao)帶寬(kuan)，性(xing)能(neng)媲美全球(qiu)互連技術(shu)的標桿(gan)。
▲奇(qi)異(yi)摩爾聯(lian)合創始人(ren)、產品及解決方案副(fu)總(zong)裁(cai)祝(zhu)俊東
Alphawave是一家針對(dui)HPC、AI和(he)高(gao)速網絡應(ying)用提供(gong)IP、Chiplet和(he)ASIC設計解決方(fang)案的(de)企業。其亞太地區(qu)高(gao)級(ji)業務(wu)總監(jian)郭(guo)大(da)瑋(wei)分(fen)享說，針對(dui)數據在傳輸過程中面(mian)臨的(de)問題，Alphawave IP產品(pin)的(de)誤碼率比競品(pin)低2個數量(liang)級(ji)，還可輔助(zhu)進(jin)行集成(cheng)和(he)驗(yan)證，并(bing)與Arm生態深度(du)融合(he)。他們還能為(wei)客戶的(de)SoC提供(gong)全生命(ming)周(zhou)期的(de)支持。
Chiplet方面(mian)，Alphawave幫(bang)助客(ke)(ke)戶縮短周期(qi)，降低成(cheng)本，提升(sheng)了良(liang)率(lv)和迭(die)代速度(du)，目前已(yi)做出行業內第一款多協議IO連接(jie)Chiplet，今年已(yi)經流(liu)片。定(ding)制芯片方面(mian)，Alphawave主要(yao)專注(zhu)于7nm以下的工(gong)藝，可根據客(ke)(ke)戶需求完成(cheng)從規格到流(liu)片的全流(liu)程，目前已(yi)實現(xian)超375次成(cheng)功流(liu)片，DPPM小于25。
▲Alphawave亞太地區高級業務總監(jian)郭大(da)瑋
結語：下游智能化風起云涌，AI芯片迎歷史機遇
在邁向(xiang)通用(yong)人(ren)工智(zhi)能終極議題(ti)的道路上，AI算法(fa)的形態不斷變化，AI芯片也與之相隨。當古老(lao)的沙礫(li)邂逅未來(lai)的機器智(zhi)能，技術與工程智(zhi)慧交融(rong)碰撞，一(yi)顆顆凝集(ji)了精微設計(ji)的AI芯片走(zou)進(jin)(jin)計(ji)算集(ji)群(qun)，步入千家萬戶，托載起硅基生命(ming)的進(jin)(jin)化。
從(cong)智(zhi)算(suan)中心(xin)、智(zhi)能駕(jia)駛到(dao)AI PC、AI手(shou)機、新(xin)型AI硬件，下游智(zhi)能化風潮為(wei)錨(mao)定(ding)不同場景的(de)AI芯片(pian)都帶(dai)來了(le)新(xin)一(yi)波歷史機遇。快(kuai)速發展的(de)生成(cheng)式AI算(suan)法及應用不斷(duan)解鎖新(xin)的(de)算(suan)力挑(tiao)戰(zhan)。技(ji)術創新(xin)和市場需求正雙(shuang)重推動(dong)AI芯片(pian)市場規(gui)模(mo)擴大，并推動(dong)AI芯片(pian)的(de)競爭格局趨于多元。
9月7日，2024全球(qiu)AI芯(xin)(xin)片(pian)峰(feng)會(hui)將繼(ji)續密集(ji)輸送干(gan)貨：主會(hui)場將舉行AI芯(xin)(xin)片(pian)架(jia)構創新專場、邊緣/端側(ce)AI芯(xin)(xin)片(pian)專場，公(gong)布「2024中(zhong)國(guo)智算集(ji)群(qun)解決方(fang)案企業TOP 20」、「2024中(zhong)國(guo)AI芯(xin)(xin)片(pian)新銳企業TOP 10」兩大榜單；分會(hui)場將舉行智算集(ji)群(qun)技術(shu)論(lun)壇(tan)、中(zhong)國(guo)RISC-V計算芯(xin)(xin)片(pian)創新論(lun)壇(tan)。
