芯東西9月17日(ri)報道，2025全球AI芯片峰會在上海舉行，來自AI芯(xin)片領域(yu)的42位產學研專(zhuan)家及創業先鋒代(dai)表，暢(chang)談對大模型下(xia)半場中國AI芯片創新、落地、生存、破局的最新觀察(cha)與思(si)考(kao)。
一如既往，大會將國產AI芯片(pian)新老勢力、核心生態鏈企(qi)業、投資機構(gou)代表匯聚一堂，集中輸出技術及產業干貨，全景(jing)式解(jie)構(gou)AI芯片熱門發(fa)展(zhan)方向。
本屆峰會由(you)智一科技旗下智猩(xing)(xing)猩(xing)(xing)與芯東(dong)西共(gong)同(tong)舉辦，以“AI大基建 智芯新世界”為主題，由主論壇(tan)+專題論壇(tan)+技(ji)術研討會+展覽(lan)區組(zu)成，覆蓋(gai)大模型AI芯片、架構創新、存(cun)算(suan)一體、超節(jie)點與智算(suan)集群(qun)技術等前沿(yan)議題(ti)。AWE同時也是本次峰會的戰略合作機構。
值得(de)一提的(de)是(shi)，多家(jia)AI芯片企業在會上放出猛(meng)料。例如，幾位(wei)資(zi)深投資(zi)人分享(xiang)投資(zi)AI芯片企業(ye)所看重的條件，一(yi)家超節(jie)點創企成立幾個月(yue)就融資六七億，云天(tian)勵飛正在(zai)研發(fa)新一(yi)代NPU Nova500，華為昇騰將在12月把(ba)CANN全量開源，曦望(wang)Sunrise下一(yi)代芯片的(de)大模(mo)型推理(li)性價比對(dui)標英(ying)偉達(da)Rubin GPU。
在展覽(lan)區，超摩科技、奎芯科技、特勵達(da)力科、Alphawave、芯來(lai)科技、Achronix、曦望Sunrise、矩量無限、AWE、晶心科技(ji)(ji)、芯盟科技(ji)(ji)等11家展商(shang)進行展示。
▲展(zhan)覽區一隅
作為主辦方代(dai)表，智一科技聯(lian)合創始人、CEO龔(gong)倫常發表(biao)致(zhi)辭。從(cong)2018年3月至(zhi)今，全球AI芯片峰會共(gong)邀請了超過180位產(chan)學研大咖，分享行業趨(qu)勢與洞見，已成為AI芯片領域(yu)唯一(yi)一(yi)個持續舉辦且(qie)具(ju)有廣泛影響力的產業峰(feng)會，也是了解(jie)國內外AI芯片動態(tai)的重要窗口。
▲智一科(ke)技聯合創始人、CEO龔倫常
龔倫常還預(yu)告(gao)了將于今年11月底在深(shen)圳(zhen)舉辦的2025中國(guo)具身智(zhi)能機(ji)器人大會，歡(huan)迎大家參(can)會交流(liu)。
注：本文整理了主論壇與大模型(xing)AI芯片專題(ti)論(lun)壇的精華總結。更多相關報道將在后續發布。
一、IEEE Fellow王中風教授：解讀AI芯片三大前沿方向
應對模(mo)型(xing)規模(mo)“超摩爾”增長、傳統架構“內存(cun)墻(qiang)”、應用(yong)場景日趨多元化三大(da)挑戰(zhan)，中山(shan)大(da)學(xue)(xue)集成電路學(xue)(xue)院院長、IEEE/AAIA Fellow王中風(feng)教授探討(tao)了AI芯片設(she)計的(de)(de)三(san)大前(qian)沿(yan)方向(xiang)，為(wei)行業的(de)(de)發展(zhan)提供(gong)了寶貴的(de)(de)見解和指導。
一是模(mo)型(xing)驅(qu)動的高(gao)效(xiao)芯片設計(ji)，在模(mo)型(xing)尺寸增長(chang)的趨(qu)勢下，讓硬件深度適配(pei)AI模型特性，而非讓模型發展受限于硬件資(zi)源(yuan)。
王中風教授團(tuan)隊提出的Transformer硬件加(jia)速架構設(she)計工作，是首個完整(zheng)解決(jue)Attention計算加速挑戰的(de)方(fang)案(an)，獲(huo)得了IEEE 2020年(nian)片上系統(tong)年(nian)會（SOCC）最佳論文獎；N:M稀疏Transformer推(tui)理加速框架，可快(kuai)速實現任意(yi)N:M稀(xi)疏比例(li)的Transformer模型開發和硬件部署，同(tong)時能(neng)保持精(jing)度(du)穩定；粗粒度(du)-細粒(li)度混(hun)合(he)精(jing)度量化，搭配專用多(duo)核(he)加(jia)速器來處理差異計(ji)算(suan)，能夠(gou)實現更(geng)靈活的調度。
二是應(ying)用驅動(dong)的AI芯片創新，注重模型(xing)的(de)落地與應用，兼顧能效和(he)靈活(huo)性的(de)探(tan)索。
架(jia)構(gou)(gou)創新沒有(you)唯一解，只有(you)更合適的(de)解。結合可重構(gou)(gou)硬件架(jia)構(gou)(gou)（動態適配不同算法(fa)需求）、領(ling)域(yu)專(zhuan)用架(jia)構(gou)(gou)（在垂直場景實現超過通用架(jia)構(gou)(gou)的(de)能效）、Chiplet等(deng)先進(jin)封裝技術（提高設計靈(ling)活性、降低成本、縮(suo)短上市周期(qi)），以應用驅動為核心的(de)AI芯片設計，將是未來值得重點探索的研究方向。
三是基于存算(suan)一體(ti)的芯(xin)片(pian)設計，從存算(suan)架(jia)構根源降(jiang)低能耗，平(ping)衡性(xing)能與功耗。
存(cun)算一(yi)(yi)體(ti)架構(gou)是芯片設(she)計范式轉移的一(yi)(yi)個重要方向。數字存(cun)算架構(gou)的優勢是高(gao)精度、高(gao)穩定性、生態(tai)(tai)更成熟(shu)，但存(cun)在高(gao)能耗、高(gao)硬(ying)件(jian)開(kai)銷、低(di)存(cun)儲密(mi)度等問題(ti)；模(mo)擬存(cun)算架構(gou)具(ju)有低(di)能耗、高(gao)存(cun)儲密(mi)度、低(di)硬(ying)件(jian)開(kai)銷等優勢，但精度較低(di)、對工藝(yi)要求(qiu)高(gao)、生態(tai)(tai)不成熟(shu)。王中風教授團隊(dui)研究的基(ji)于SRAM的(de)數(shu)字存內計算架構大模(mo)型(xing)加速(su)器，支持多(duo)種數(shu)據精(jing)度，相比于傳(chuan)統馮諾依曼(man)架構，能效比可(ke)提升數(shu)十倍。
上述三(san)條路徑并非孤立(li)，而是相互支撐，共同推動AI芯片從(cong)“通(tong)用適配”走向“精準定制(zhi)”。
▲中(zhong)山大學(xue)集(ji)成(cheng)電路學(xue)院院長、IEEE/AAIA Fellow王中風教(jiao)授
王(wang)中風教授總結(jie)說，當(dang)前AI芯片發展呈現(xian)三大(da)關鍵(jian)趨勢：一是從通用(yong)計算走向領域專用(yong)的“專用(yong)化(hua)(hua)(hua)”，二是算法(fa)與軟硬件共同進化(hua)(hua)(hua)的“協同化(hua)(hua)(hua)”，三是通過新(xin)型(xing)計算打破(po)性能瓶頸的“一體化(hua)(hua)(hua)”。
以AI計(ji)算專(zhuan)用架構SRDA（系統(tong)級極簡可重構(gou)數據(ju)流）為(wei)例(li)，通過分(fen)布式3D內(nei)存控制技術、可重(zhong)構數據流計算(suan)架構、系(xi)統級(ji)精簡軟硬件融(rong)合設計等創新，在大模型智算(suan)場景可以大幅提升AI算力利用(yong)率與性(xing)能，驅使(shi)未來基于國產工(gong)藝(yi)的(de)AI算力(li)芯片也可以(yi)實現(xian)不亞于國外更先進工藝制程的(de)GPGPU性能。
下(xia)一代計算范式的(de)發展，首先是(shi)軟件、算法、硬件的(de)共生，實現全環(huan)節協同進化(hua)；其次是(shi)實現無(wu)處不(bu)在、高(gao)效且(qie)可信的(de)智(zhi)能計算，在云端實現支持(chi)AGI訓練的(de)(de)巨型超(chao)(chao)算(suan)系統，在邊緣實現自(zi)主機器人(ren)的(de)(de)實時決策大腦，在端(duan)側(ce)實現超(chao)(chao)低功耗的(de)(de)Always-On感知芯片。
此外，高效支持智能計(ji)算，還需要促進新興技術融合，實現(xian)光子計(ji)算、量子計(ji)算、AI芯片的潛在結(jie)合。
王中(zhong)風教授呼(hu)吁開(kai)放標準(zhun)，推動(dong)接(jie)口、互聯、指令集(ji)等的開(kai)放，降(jiang)低創新(xin)門(men)檻；注意產學研(yan)深度合(he)作，共同攻克量(liang)智融合(he)、存算一(yi)體、新(xin)材(cai)料、新(xin)工藝、新(xin)器(qi)件(jian)等領域的技術難題；注重人才(cai)(cai)培(pei)養(yang)，培(pei)養(yang)兼具算法、架構、底(di)層電路及軟件(jian)開(kai)發(fa)等技能的交叉型人才(cai)(cai)。
二、高端對話：大模型下(xia)半場引(yin)爆國產算力(li)，AI芯片(pian)IPO潮將更具想象
高端(duan)對話以(yi)《?模型下半場，中國AI芯?的破局與突圍(wei)》為主題，由智一科技(ji)聯合創始人(ren)、智車(che)芯產媒(mei)矩(ju)陣總編輯張國(guo)仁主持，和(he)利資本合伙?王馥(fu)宇、普華資本管理合伙?蔣純、BV百度(du)風投董事(shi)總經(jing)理(li)劉?、IO資本創(chuang)始合伙?趙占祥四位(wei)嘉賓進行(xing)分享。
張國仁談道，大模型的下(xia)半場不僅是(shi)技術(shu)競賽，更是(shi)生(sheng)態(tai)競爭，期待中(zhong)國即將(jiang)誕生(sheng)“芯片+場(chang)景+算法”的垂直整合者，出現更(geng)多(duo)的單(dan)項冠(guan)軍。
▲智(zhi)一科(ke)技聯(lian)合創始人、智(zhi)車芯(xin)產媒(mei)矩(ju)陣(zhen)總編輯張(zhang)國仁
1、DeepSeek擴(kuo)大算力池后，投資AI芯(xin)片企業看什么？
王馥宇(yu)認為，DeepSeek的(de)出現意味著(zhu)中國(guo)出現了“Leading Customer”，好的科技公司會向芯(xin)片公司提出(chu)需(xu)求。蔣純進一步補充道，DeepSeek最大的意義是讓中國(guo)(guo)有了一套(tao)自有大模型體(ti)系，讓國(guo)(guo)產芯片有了用武(wu)之地。
這些資(zi)深投資(zi)人會傾向于投資(zi)什么樣的AI芯片團隊？幾位投資人均看重企業的技術路(lu)線是否收斂。
趙占祥尤其(qi)關(guan)注技術路線是(shi)否有提升及(ji)創新。劉水提到百度風(feng)投(tou)不單純以(yi)商業(ye)化衡量項目價(jia)值(zhi)。蔣純說：“小孩子(zi)才做(zuo)選擇，成年人我都要。”他(ta)表示成熟技術和創新技術都在投資。王馥宇將(jiang)市場(chang)分為(wei)兩類(lei)，一類(lei)是相對確定的市場(chang)，考(kao)驗團(tuan)隊的積累(lei)和執(zhi)行(xing)力，第二類(lei)是靠技術驅動市場(chang)發展。
展望芯片企業的未來機(ji)遇，蔣純認為，碳基文明(ming)被硅(gui)基文明(ming)取代之前，算力的市場機(ji)會看不到頭，市場前景無窮(qiong)大，現在的技術體系并不是終局。
2、一家超節點創企，成(cheng)立幾個月融資六(liu)七(qi)億
王馥(fu)宇(yu)稱，很多大廠同(tong)樣在構建(jian)非全家桶方式的網絡架構，未來百花齊放(fang)，企(qi)業(ye)要保持(chi)開發、敏感。
在蔣純看來，對中(zhong)國企(qi)業面臨的現(xian)實情況而言，“小米加步槍”的(de)scale out路線和超節點所代表的scale up路線(xian)至(zhi)少是同(tong)樣重要。
趙占祥透露，IO資(zi)本最(zui)近在看的一個超(chao)節點(dian)創業公司，成立幾個月就融資(zi)六七億，但在超(chao)節點(dian)機遇(yu)背后，網絡的可靠性、故障率要求仍(reng)面臨挑戰。
BV百度風投曾(ceng)投資不少具(ju)身智能企(qi)業。據(ju)劉水分享，具(ju)身智能是個新興(xing)賽道，芯片(pian)作為核(he)心(xin)硬件支(zhi)撐，目前還在迭代(dai)期，真正(zheng)能完美匹配各類(lei)復雜物(wu)理(li)交互場景的(de)成熟芯片(pian)產品，行業內仍在探(tan)索。
現階段，很多企業選擇x86 CPU加AI芯片(pian)的(de)組合來搭建基礎算力平臺，這是行業在技術演進(jin)過(guo)程中非常自然的(de)過(guo)渡(du)性選擇，能快速驗(yan)證產品邏輯、跑(pao)通初(chu)步場景。
而這種 “過渡性” 也正是產業的(de)機(ji)會所在——未來無論是更適配具身特性的(de)專用芯片研發，還是基于現有硬件的(de)算(suan)力效率優化，只要能(neng)解決實(shi)際(ji)場景中的(de)痛點，就是產業發展的(de)機(ji)會點。
3、寒武(wu)紀一(yi)度登頂A股，“寄托了全村人的希望(wang)”
幾(ji)位投資人雖然(ran)主要看一(yi)級市(shi)場(chang)，但也(ye)聊到(dao)對二級市(shi)場(chang)的觀察(cha)。他們(men)普遍認(ren)為，接下來要IPO的AI芯片(pian)公司(si)會比登陸(lu)2019年科創(chuang)板的那批國產替代概念芯片公司更有想象力。
今(jin)年，寒武紀一(yi)度超越貴州茅臺登頂A股“股王”。在(zai)蔣(jiang)純看來(lai)，寒武紀的暴漲背后(hou)可能“寄(ji)托了全村人的希(xi)望(wang)”。與上(shang)一波芯片企(qi)業上(shang)市潮(chao)相(xiang)比，當時國(guo)產替代概念市場有限，但(dan)現在(zai)AI市(shi)場的需(xu)求是(shi)無限的。
劉(liu)水補充說，AI需求正為計算基礎設(she)施建設(she)注(zhu)入(ru)強勁動力。當前，不(bu)少(shao)國產芯片企(qi)業積極推(tui)進IPO進(jin)程，這本身是(shi)行業加速(su)成長的體現——借助資本市場(chang)的力量，企(qi)業能(neng)更(geng)好地投入研發、擴(kuo)充(chong)產能(neng)，為技術突破(po)和(he)規模(mo)化交付(fu)奠定基礎。
不過，上市(shi)只是發(fa)展的(de)新(xin)起點，最終能否站穩市(shi)場(chang)，關鍵仍(reng)在于技(ji)術的(de)成熟度、產能的(de)穩定供給以及(ji)客戶的(de)深度認可(ke)。
從長(chang)遠來看，企(qi)業(ye)(ye)需(xu)要以持續的(de)技術創新(xin)和扎實的(de)商業(ye)(ye)化(hua)能力，真正(zheng)實現(xian)產業(ye)(ye)價值(zhi)與市場價值(zhi)的(de)同(tong)步兌現(xian)。
三、瞄準大(da)模型高效(xiao)推理，做好生態開源開放
面向持續爆(bao)發的(de)大模型(xing)推理需(xu)求，如何在芯片架(jia)構、開源開放、高速(su)互連(lian)、超節(jie)點等方向探索創新？
在上午主論壇期間，來自云(yun)天勵飛、華為(wei)昇騰、行云(yun)集成電路、奎芯(xin)科技、探(tan)微芯(xin)聯(lian)、新華三的產(chan)業嘉賓分別發表(biao)主題演講，分享了(le)他們的觀(guan)察(cha)與思(si)考。
1、云天勵飛(fei)陳寧：國產AI推(tui)理芯(xin)片迎歷史性機遇
云天勵飛董(dong)事長兼CEO陳寧談道，在“政策+需求”雙重(zhong)驅(qu)動下(xia)，國產AI推理芯片正(zheng)迎(ying)來絕佳發展機(ji)遇。根據灼識咨詢(xun)報告，中國(guo)NPU市場規模(mo)短期預(yu)計新增(zeng)規模(mo)339.3億元，長期(qi)預計新增規模(mo)1092億元。
高效Token生成是(shi)衡量(liang)推(tui)理(li)芯片性價比的(de)關(guan)鍵指標。11年來，云天勵飛已研發五代NPU，打造相關指令集(ji)、專(zhuan)用算子、存(cun)算一(yi)體架構、低(di)比特混合(he)量化等(deng)芯片硬件技術。其“算力積木”架構是基于國產工藝的D2D Chiplet & C2C Mesh大模型推理架構，具有(you)可(ke)擴展性強(qiang)(qiang)、靈活性強(qiang)(qiang)、實時性高(gao)等(deng)特點。
云天勵飛提(ti)供“深(shen)穹”、“深(shen)界”、“深(shen)擎”三大AI推(tui)理芯片系列，分別(bie)面向大模型推(tui)理算(suan)力(li)中心/超節點/一體(ti)機(ji)/加速卡、邊緣網關/邊緣盒子(zi)/家(jia)庭主(zhu)機(ji)、及機(ji)器人/無人機(ji)/無人車等AI推理等應用。
目前，云(yun)天勵飛正在研發新一(yi)代NPU Nova500，并基(ji)于(yu)Nova500推(tui)出(chu)多款(kuan)性能更強的AI推(tui)理(li)芯片。
▲云(yun)天勵(li)飛董事長兼CEO陳寧
2、華(hua)為(wei)昇騰(teng)王(wang)曉雷(lei)：公布全(quan)面開源的(de)三個關鍵節點
華為昇騰處理器(qi)產品總經理王曉(xiao)雷(lei)談道，英(ying)偉(wei)達的(de)軟件開(kai)發人(ren)員是硬件的(de)兩倍，我們(men)作為生態的(de)后來(lai)者，要(yao)做好開(kai)源開(kai)放，跟客(ke)戶與伙伴一起(qi)，把芯(xin)片和解決方案做得更好。
芯片方案多(duo)種(zhong)多(duo)樣，如何把(ba)它(ta)用好，是一件非常復雜(za)的事情(qing)。
AI計算領域，矩陣(zhen)執行過程需要保證數據到位(wei)，而(er)整個(ge)數據搬(ban)移過程是計算優化(hua)的(de)核心。處(chu)理器跟底軟團(tuan)隊需要與(yu)算法和業務專(zhuan)家聯合優化(hua)，才能(neng)(neng)發揮出處(chu)理器的(de)高性能(neng)(neng)。
王曉雷現場(chang)公布了(le)昇騰未來(lai)進一步全面開源的關鍵(jian)節點，包括9月(yue)30日算子庫全(quan)部開(kai)源、12月30日CANN全(quan)量(liang)開(kai)源、2026年起解決方案(an)配套產品上(shang)市即開源。
▲華為昇騰(teng)處理器產品總(zong)經理王曉(xiao)雷
3、?云集成電路季宇：10萬元跑滿血版DeepSeek
?云(yun)集成電路創始?&CEO季宇拋(pao)出一個(ge)問(wen)題：誰困住了AI產業？
他(ta)的答案(an)是大型機投(tou)資(zi)回報率。超(chao)節點化、大型機化的成本門檻巨大，但(dan)隨(sui)著大模型內(nei)存需求接近(jin)DDR/LPDDR的甜(tian)點，高質量模型(xing)的硬件(jian)系統平(ping)民(min)化(hua)曙光已現。
其概念原型產品大模型一體(ti)機(ji)“褐蟻”采用5090級算力+TB級高帶寬DDR5，能以10萬(wan)元成本運行DeepSeek R1/V3 671B FP8，對話速度超過20TPS，20K上下文prefill在18秒以內(nei)。
集群概念驗證方(fang)案(an)“蟻群”可將超過40臺“褐蟻(yi)”機器組合作為decode節點，prefill節點采用4根SSD替代DDR，總(zong)成本為300萬~500萬元(yuan)，以約1~2臺8卡超算的價格(ge)，實現20倍于1~2臺超算(suan)的(de)并發(fa)能力，提供接近(jin)DeepSeek公有云的性價比。
行云希望(wang)通過其原型概(gai)念(nian)產品，呈現DDR/Flash滿足大(da)模型推理需(xu)求的(de)潛力，并通過芯片(pian)產品，將頂配大(da)模型的(de)硬件成本降低到萬元(yuan)甚(shen)至千元(yuan)級價(jia)位，推動(dong)AI普惠(hui)。
▲?云集成電路(lu)創始?&CEO季(ji)宇(yu)
4、奎芯科技唐睿：Chiplet將加快國產芯片研發
當前AI革命(ming)與過往互聯(lian)網產業有明(ming)顯(xian)差異(yi)，利潤高(gao)度向硬件環節(jie)傾斜。奎芯科技聯(lian)合創(chuang)始?兼副(fu)總(zong)裁唐睿談(tan)道，隨著模型尺寸不斷(duan)變大，算力需求飆升，為了爭奪AGI領域(yu)的勝利，科技企(qi)業的CAPEX大幅增長且逐漸取代OPEX成為主流趨(qu)勢(shi)。
AI領(ling)域存(cun)在(zai)芯片設計(ji)周期遠(yuan)跟不(bu)上算力及模型發展需(xu)求的矛盾。在(zai)唐(tang)睿(rui)看來，基于(yu)Chiplet的設計能(neng)加(jia)快芯片(pian)研發迭(die)代(dai)。
2021年(nian)-2030年處(chu)理器預計(ji)研發項目數(shu)量(liang)年化增長約9%，但(dan)基于Chiplet的(de)設計年化(hua)增(zeng)長率高達44%，預計2030年占(zhan)比超一半。
對此，奎芯(xin)打造了(le)基于UCle標準(zhun)接口(kou)IP的國產(chan)化完整解決方(fang)案(an)，研(yan)發(fa)了兩代UCle IP，第一代(dai)為(wei)16GT/s，第(di)二代為32GT/s，且在標準封裝實(shi)現(xian)。這些IP具有高性能(neng)、低功耗、靈活性等優勢(shi)，能(neng)為芯(xin)片快速(su)迭(die)代提供支持。
▲奎芯科技聯合創始?兼副總裁唐(tang)睿
5、探微芯(xin)聯(lian)劉學：國產(chan)超節點(dian)如何實現異構互(hu)聯(lian)？
探微(wei)芯聯創始人、清華?學(xue)類(lei)腦計算(suan)研究中心劉(liu)學(xue)分享說，類(lei)腦計算(suan)與AI同(tong)源異流，天生(sheng)具(ju)備超大規(gui)模計(ji)算系統(tong)的通信基因(yin)，與智算超節點的發展趨勢十分吻(wen)合。
探微將類腦集(ji)群技術遷移(yi)至GPU智算平臺，打造(zao)面向AI芯片的(de)Scale-up完整互聯(lian)方案，實現了覆蓋通信協議、交換(huan)芯(xin)片/網內(nei)計算、軟件棧/集合通信庫、RAS機(ji)制(zhi)(zhi)與可維護機(ji)制(zhi)(zhi)、路(lu)由算法(fa)、超節點平臺、性(xing)能建模(mo)和異構(gou)互聯等關鍵技術(shu)。
不過，劉學認(ren)為，超節(jie)點通信(xin)(xin)不只是技術堆(dui)疊(die)。通信(xin)(xin)協議(yi)具有較強生態屬性，需(xu)要廣泛的應用場(chang)景和生態支持(chi)才能推廣。
從(cong)類腦集群體(ti)系(xi)結構的(de)大量(liang)工程經驗積累，到探(tan)微通(tong)(tong)信互聯關鍵(jian)技(ji)術的(de)不斷(duan)迭代，探(tan)微方案實現從(cong)底層(ceng)到高層(ceng)的(de)計(ji)算和通(tong)(tong)信的(de)全(quan)方位打通(tong)(tong)，能夠為智算超節點生(sheng)態(tai)伙伴提供Scale-up通信協議系統級解決方(fang)(fang)案、異構融合及智算(suan)超節點萬卡集群工程方(fang)(fang)案。
▲探微芯聯創始人、清華?學(xue)(xue)類腦(nao)計(ji)算(suan)研究中心劉(liu)學(xue)(xue)
6、新華三劉(liu)善?：超(chao)節(jie)點(dian)是AI系(xi)統工程巔峰
新華三(san)集團AI服(fu)務器產品線研(yan)發(fa)部總監劉善?談道，大(da)模型技術趨勢(shi)給算(suan)力基礎設施(shi)帶(dai)來了算(suan)力墻、顯存墻、通信墻等挑戰，打造AI超節點成為必然趨勢。
這需要異構計算協同優化、高速互聯網絡、精密結構設計等基礎(chu)設施的(de)深度(du)集成，對軟硬協同要求高，是AI系統工程(cheng)的巔峰。
新華三設計了兩(liang)款超(chao)節點產(chan)品：整(zheng)機柜超(chao)節點H3C UniPoD S80000和靈活部署(shu)超節(jie)點H3C UniPoD F80000。
S80000實現柜內卡(ka)間全互聯通信，互聯帶(dai)寬提升8倍，單機柜(ju)訓練性(xing)能相較于單節點最高可(ke)提升10倍，單卡推理效率(lv)提升13倍；F80000基于傳(chuan)統AI服(fu)務器即可靈(ling)活(huo)擴展Scale-up網絡，能夠實現(xian)MoE大規模訓(xun)練性能提升(sheng)35%以上。
未(wei)來，AI加速(su)卡(ka)將(jiang)更(geng)加百花齊放(fang)，高帶寬(kuan)低延遲的卡(ka)間高速(su)互聯(lian)網絡也(ye)將(jiang)是必然趨勢。
▲新華三(san)集團AI服務(wu)器產品線研發(fa)部總(zong)監劉善?
四、數據流、低精度、稀疏化、全(quan)國產、Chiplet，AI芯片走向多(duo)路創新
在下午(wu)的大模型(xing)AI芯(xin)片專(zhuan)題論壇上，上海交(jiao)通大(da)學計(ji)算機(ji)學院教授、上海期智(zhi)研(yan)究院PI冷靜文分享了數據流體系(xi)架構如何(he)成為新一代的(de)大模型(xing)加速(su)引擎。
隨后，來自曦望Sunrise、愛芯元智、墨芯人工智能、江原科技、邁特芯、智源研究院、北極雄芯、Alphawave的(de)產(chan)業嘉賓分(fen)別發表主題演講，分(fen)享創新(xin)的(de)技術(shu)路徑(jing)與最新(xin)進展(zhan)。
1、上海交通(tong)大(da)學冷靜(jing)?教授：數據流能(neng)提高大(da)模(mo)型推理效率
上(shang)海(hai)交通大(da)學(xue)計算機(ji)學(xue)院教授、上(shang)海(hai)期智研究院PI冷靜(jing)文(wen)認為，數據流體系(xi)架構(gou)是大(da)模型高效(xiao)執(zhi)行研(yan)究(jiu)的(de)重(zhong)要方向(xiang)，它通(tong)過數值壓縮與計算流調(diao)度的(de)優化，提(ti)升推理性能(neng)。
低(di)位寬數(shu)值(zhi)類型(xing)(xing)可顯(xian)著降低(di)存儲開銷，提高計算(suan)效率；而向(xiang)量量化有望(wang)幫助大(da)模型(xing)(xing)突破(po)4bit的表示(shi)極限。冷靜?教授團隊研(yan)發了(le)面向(xiang)多元素量化的計算引擎VQ-LLM，通(tong)過三級(ji)緩存機制和以(yi)碼本為中(zhong)心的(de)計算流(liu)程優(you)化，實現性能與精度的(de)雙重(zhong)提升。
新(xin)一代(dai)GPU架構正在(zai)逐漸DSA化，編程難度(du)不(bu)斷增加。其團隊已經在探(tan)索一(yi)種“Kernel Free”的編程(cheng)模型、用“Register Pooling”降低共享內存(cun)帶(dai)來的開(kai)銷(xiao)，并(bing)使用動(dong)態并(bing)行機制，最終形成基(ji)于代碼塊的數(shu)據(ju)流抽(chou)象機模型。項目成果未來將開(kai)源發布。
▲上海交通大學計(ji)算機學院教授、上海期(qi)智研究院PI冷靜(jing)文(wen)
2、曦望陳博宇(yu)：國產AI芯片破局，極致推理目標1分錢/百萬Token
曦望(wang)Sunrise研發副總裁陳博宇認為，大模型發展進入下(xia)半場(chang)，云端訓(xun)練算力向高效推理傾斜。AI芯片高效推理是一(yi)場長期價值競賽，降成本、降能耗，性價比的洼地亟待填平。
曦(xi)望的下一(yi)代芯片(pian)采(cai)用單芯片(pian)高配(pei)比低精度計算單元，大模型推理(li)性價比對(dui)標(biao)英偉(wei)達Rubin GPU。
在主(zhu)流測試(shi)集中，NVFP4精(jing)度下運行DeepSeek-R1的(de)表現已接近FP8，低精度(du)數(shu)據(ju)(ju)格式能顯(xian)著擴大(da)數(shu)據(ju)(ju)吞吐，提(ti)升推理效率，從而降(jiang)低每Token成本。
曦望芯片軟(ruan)件生態通(tong)用性(xing)良好。算子庫、工具(ju)鏈、通(tong)信庫均為全棧(zhan)自研(yan)，主體功能模塊與(yu)CUDA對(dui)齊，支(zhi)持各類主流開源(yuan)模型(xing)的推(tui)理部署(shu)，支(zhi)持CUDA代碼無縫遷移(yi)和工作。
曦望芯片(pian)的應用形態分為一體(ti)機和超節(jie)點，是Scale-up/Scale-out互聯架構原(yuan)生支持(chi)超節點產品。超節點支持(chi)PD分離和(he)大EP部署(shu)、All-to-All互聯(lian)、面向千億級(ji)或萬億級(ji)參數的多模(mo)態大模(mo)型推理。
▲曦望Sunrise研發(fa)副總(zong)裁陳(chen)博宇
3、愛芯(xin)元(yuan)智劉(liu)建偉：AI應用(yong)（大模型(xing)）需要重新(xin)設計(ji)原(yuan)生AI芯片
愛芯元智聯合創始?、副總裁(cai)劉建偉分(fen)享道，過去端側AI芯片主(zhu)要(yao)跑(pao)傳統CNN模型(xing)，場景明確，大模型(xing)的興起則(ze)提(ti)升了(le)AI上限，應用(yong)場景(jing)更廣泛，有望引發成本驅(qu)動型生(sheng)產力革命。
在他(ta)看來，當AI程序規模足(zu)夠(gou)大時，現有(you)運行(xing)架構不是最高(gao)效的，值得(de)重新設(she)計適(shi)合跑AI程(cheng)序(xu)的原(yuan)生處(chu)理器。
端(duan)側(ce)和邊側(ce)長期受成(cheng)本、功耗(hao)剛性約束，對高能效比AI處理(li)器需求(qiu)迫切。這驅使愛芯元智選擇(ze)從端側(ce)和邊緣側(ce)入手(shou)做(zuo)AI基(ji)建(jian)。
設(she)計原(yuan)生AI處理器，需關注算子(zi)指令集(ji)和(he)數據流DSA架構(gou)，兩者相(xiang)輔相(xiang)成。采用可(ke)編程數(shu)據流(liu)微架構(gou)可(ke)提升能效比(bi)。異構(gou)多核處理器要保證由硬件來調度，以降低客戶開發與使用成本。
愛芯元智已打造了從工具鏈到芯片的完整軟硬件體系，推動構建邊緣智能共同體。
▲愛芯元智聯合創(chuang)始?、副總裁劉(liu)建偉
4、墨(mo)芯人(ren)工智能曾昭鳳：稀疏化讓AI計算“更聰明(ming)”
墨芯人工智(zhi)能解決(jue)方案總監曾昭(zhao)鳳談道，傳(chuan)統硬件架構(gou)面臨性能提升困境，通過軟硬一體方案來解決(jue)算力瓶頸已是業內公認的發展方向，稀(xi)疏化有望成為破解算力瓶頸的突破口。
稀(xi)疏計算(suan)是一種“更聰明”的AI計(ji)算方(fang)式，如(ru)人類大腦一般，僅啟動計(ji)算所必需的神經元(yuan)，減少冗(rong)余重(zhong)復，提升有(you)效(xiao)性能。
基于這一(yi)認知，墨芯提出了“權重稀(xi)疏化+激活稀(xi)疏化(hua)”的雙(shuang)稀(xi)疏技術，在相同(tong)硬件資源下實現高達32倍的稀疏率，并協同設計了配套的軟件方案(an)。
從算(suan)法(fa)與軟件(jian)出發，墨芯(xin)打造了相應的硬(ying)件(jian)與架構，開發的計算(suan)卡已能在云端推理(li)場景中加速CV、NLP及知識(shi)圖譜等(deng)多類任務。
▲墨芯人工智能解決方案(an)總(zong)監(jian)曾昭鳳
5、江(jiang)原科技(ji)王永棟：構(gou)建全(quan)國產化AI芯片(pian)產業鏈
江原科(ke)技(ji)已構(gou)建貫通EDA工具、芯片IP、芯片(pian)(pian)設計、芯片(pian)(pian)制造、封(feng)裝測(ce)試的全國產化AI芯片產業鏈。
江原科技聯(lian)合(he)創始?兼CTO王永棟認為，全國(guo)產(chan)路(lu)線已經成為行(xing)業共識，核(he)心挑戰(zhan)集中在(zai)工藝(yi)和(he)生態(tai)上。他(ta)從(cong)工藝(yi)、架(jia)構、生態(tai)層面(mian)探討了國(guo)產(chan)芯片(pian)的突圍路(lu)徑。
工藝維度(du)，國(guo)內AI芯片企業(ye)唯一(yi)的(de)道路就是擁(yong)抱全國產，具體路徑(jing)包括基于國內工藝特點進行協(xie)同(tong)優化、系統集成(cheng)創(chuang)新。
架構維度，需要向AI定制傾斜，通(tong)過(guo)拆(chai)解AI算法將其中占比(bi)高、對效率影響大(da)的部分進行硬件優化。
生態維度，從降低(di)客戶使用門檻(jian)、發揮本(ben)土(tu)化優勢打造性能(neng)長板、擁抱(bao)開源(yuan)切入。
▲江原科技聯合創(chuang)始?兼CTO王永(yong)棟(dong)
6、邁(mai)特芯李(li)凱：突破(po)端側大模型芯片三個(ge)關鍵痛點(dian)
在邁特芯主任工程(cheng)師李凱看來，端側AI場景正(zheng)從(cong)“離身智能(neng)”向“具身智能(neng)”進化，這離不(bu)開(kai)端(duan)側(ce)芯(xin)片(pian)(pian)的支(zhi)持(chi)。端(duan)側(ce)大模型芯(xin)片(pian)(pian)（LPU）需(xu)要滿足(zu)低(di)功耗、高token數、低(di)成本，這正是痛(tong)點(dian)所在。
邁特(te)芯(xin)LPU采用的(de)3D-DRAM解決方(fang)(fang)案可大幅提升(sheng)帶寬，以滿(man)足端(duan)側大模型需求。該(gai)方(fang)(fang)案采用了針(zhen)對大模型算子優化的(de)DSA設計和(he)自研(yan)立方脈動陣列架(jia)構，基于多項技(ji)術(shu)優化，實現計算利用率和(he)內存帶寬(kuan)利用率最大化。
演示中，基(ji)于邁特芯LPU推理卡可實現大語言(yan)模型(xing)端到端部署(shu)，帶寬利(li)用率75%、性能75tokens/s，性能和能效達(da)到國際領先水平。
邁特芯(xin)針對泛端側(ce)大模(mo)型硬件產(chan)品(pin)、端側(ce)大模(mo)型硬件產(chan)品(pin)和(he)推(tui)理一體機三(san)類場景布局產(chan)品(pin)，三(san)個市場的(de)總空間可(ke)達萬億級。
▲邁特(te)芯主任(ren)工程師李凱
7、智源(yuan)研(yan)究院鄭楊(yang)：統一編譯器給(gei)OpenAI Triton語言補短板
北京智(zhi)源??智(zhi)能研究院(yuan)AI編譯器專家鄭楊分享說，OpenAI的Triton語言已成(cheng)為業內(nei)公認的、繼CUDA后(hou)第二大流行(xing)的(de)AI算子開(kai)發(fa)語(yu)言(yan)，但(dan)其也有明(ming)顯弱勢：需要在開(kai)發(fa)效率(lv)和性(xing)能(neng)之間權衡，跨(kua)芯片的可(ke)移植性(xing)和性(xing)能(neng)不足，治理與生態面臨(lin)局限性(xing)，以及版本分散等。
為(wei)此，智源(yuan)構(gou)建了面向多元(yuan)AI芯(xin)片(pian)的統一編譯(yi)器——FlagTree。
FlagTree基于硬件感知(zhi)進行了編譯指導優(you)化，允(yun)許程序員通過注釋嵌入硬件優(you)化提(ti)示flagtree_hints，具有使(shi)用成本(ben)低、生態(tai)兼容好(hao)、可移植性強(qiang)等特點。
同時，該編譯器在C++運行(xing)時(shi)進行(xing)了優化，提供從C++調用Triton內核的方法，從(cong)而節省Wrapper耗時，整體降低80%以上，與CUDA接近(jin)。
▲北京(jing)智源??智能研究(jiu)院AI編譯器專家鄭楊
8、北極雄芯(xin)徐(xu)濤：大模型推理落(luo)地有效降本迫在眉睫
截(jie)至2025年(nian)6月，中國(guo)日均tokens消耗量突(tu)破30萬(wan)億，比2024年增(zeng)長300+倍，且依然處于高速(su)增長(chang)期。而大模型應用商(shang)業化(hua)閉環任重(zhong)道遠，一方面(mian)C段訂閱(yue)付費較難，B端(duan)API調用收費與美國相比有數量級的差距，另一方面國內(nei)算力成本并不優于美國。
北極雄芯聯創、副總裁徐濤談道，當前中(zhong)國大模型應用落地商業(ye)化，解決成本問題至關(guan)重要。而受制于各類制裁，面對(dui)高速增長的(de)算力、存儲容(rong)量(liang)、內(nei)存帶(dai)寬的(de)“不可兼(jian)得(de)三角”，國內上下游企業亟需共同(tong)開(kai)展架構創新。
在(zai)云端推理(li)場景，北(bei)極雄芯(xin)將在(zai)近期(qi)推出面向Decode環(huan)節的專用(yong)加速方案，通過Chiplet+3D堆疊的近(jin)存計算技術(shu)大(da)幅降低推理成本(ben)至(zhi)少(shao)一(yi)個(ge)數量級，相比主流GPU芯(xin)片(pian)提(ti)升10倍以上(shang)性價比。
在端側AI領(ling)域，北極雄芯的啟明935系列芯粒通過Chiplet靈(ling)活(huo)組合應用(yong)，為主機(ji)廠提(ti)供AI Box、艙駕一體(ti)、高階(jie)智(zhi)駕等不(bu)同擋(dang)次應用的解決方案。
▲北極雄(xiong)芯聯創(chuang)、副總裁徐濤
9、Alphawave鄧澤(ze)群：高速連接市場猛增(zeng)，Chiplet是變革(ge)路徑
Alphawave戰(zhan)略客戶銷售經理鄧澤(ze)群(qun)談道，高速連接的市場規模2023年接近100億美元，預計2026年(nian)接近180億美元，年復合增長率達到(dao)20%。
這(zhe)背后的推(tui)動(dong)力(li)就是(shi)數據中心建設，其(qi)對數據的傳輸、存儲、處理需(xu)求爆炸，數據帶寬每2～3年翻(fan)一倍。
生成式AI正在(zai)重新定義計算和連接(jie)。他預(yu)測ChatGPT背后下一代模型的參數規(gui)模或達到百萬億級別，促使(shi)云服務商建設更高規(gui)格的數據(ju)中(zhong)心。
鄧(deng)澤群認為，新計算技術的變革路徑是Chiplet，以(yi)及為云(yun)服(fu)務(wu)商(shang)進(jin)行定制(zhi)，以(yi)滿(man)足大(da)語言模(mo)型的需(xu)求(qiu)。
伴隨AI產業發(fa)展，Alphawave的業(ye)務體(ti)(ti)系已(yi)經從IP供應擴展到高速連接技(ji)術的垂(chui)直集(ji)成方案。
▲Alphawave戰略客戶銷售經(jing)理鄧澤(ze)群
結語：國產AI芯(xin)片掀(xian)開落地新篇(pian)章
8年來，智東西、芯東西持續對AI芯片全產業(ye)鏈進行追蹤報道(dao)，見證了AI芯片產業及智能革命浪(lang)潮的發展(zhan)，以及許多AI芯片(pian)團隊的厚積(ji)薄發。
多個知名市場調研機構的數據(ju)顯示，2024年中國AI芯片出貨量顯著提升，華(hua)為昇(sheng)騰、阿(a)里平(ping)頭哥、昆侖芯、寒(han)武紀、摩爾線(xian)程、燧原科技、中昊芯英、壁仞(ren)科技、沐(mu)曦股份(fen)、太(tai)初元碁等企(qi)業(ye)的(de)AI芯片均已走向量產交付，并(bing)在性能方面縮短(duan)與(yu)國際先(xian)進水平(ping)的差距。龐大(da)的國內(nei)AI基建市場，正(zheng)向國產(chan)AI芯片敞開(kai)大門。
與此同時，國產AI芯片正迎來政策紅利期。今(jin)年8月，國務(wu)院印發《關于深(shen)入實施“人工智(zhi)能(neng)+”行動的(de)意(yi)見》，在(zai)強化基礎支撐能力(li)方(fang)面(mian)，提(ti)到強化智(zhi)能算力(li)統(tong)籌，支持(chi)AI芯(xin)片攻堅創新與使能(neng)軟(ruan)件生態培育(yu)，加快超大規(gui)模智(zhi)算集(ji)群技術突(tu)破(po)和工程落地。
在AI產業趨勢(shi)、地緣博(bo)弈等復雜因素的影響下(xia)，AI芯片自主可控勢在(zai)必(bi)行(xing)，國產模(mo)型(xing)與國產芯片的適配(pei)有望進一步增強(qiang)，AI芯片(pian)及算(suan)力基礎(chu)設(she)施技術仍有(you)巨大的(de)創(chuang)新(xin)空間和(he)市場前景。
