6月(yue)26日，一場干貨(huo)爆棚的AI算力盛會，在北京燦爛盛夏中熱烈召(zhao)開。
以大模型、生成式AI為代表的新一輪人工智能浪潮的(de)滾滾向前(qian)，催生(sheng)出前(qian)所未(wei)有的(de)AI算力(li)(li)需求，算力(li)(li)是(shi)數字經(jing)濟時代的(de)新質生(sheng)產力(li)(li)，更是(shi)人(ren)工智能發(fa)展的(de)基石。
2025年，以DeepSeek為代表(biao)的國(guo)產大模(mo)型(xing)強勢(shi)突圍，在全球(qiu)引爆部署熱潮和AI應用開發(fa)熱潮，也給國(guo)內AI算力市場注(zhu)入新的活(huo)力，推動AI推理算力需求暴(bao)漲，超大規模(mo)集群鱗次(ci)櫛(zhi)比(bi)，而需求的爆發(fa)也帶來諸(zhu)多挑戰，醞釀(niang)新的行業變化。
為此，我(wo)們發起了一場(chang)聚焦前沿技(ji)術與(yu)產(chan)業趨勢的(de)夏日(ri)AI聚會——2025中國AI算力大會。
從國產AI算(suan)力的突圍與崛(jue)起，到智算(suan)中心深層軟(ruan)硬件(jian)技術創新(xin)解(jie)決算(suan)力落地產業難(nan)題，近30位重量(liang)級嘉賓與會帶來致辭(ci)、報告、演講(jiang)和對話，全(quan)方位解(jie)構DeepSeek引爆的AI算(suan)力變局，全(quan)場金句頻頻，各路大佬觀(guan)點持續(xu)碰撞擦出火花，現場參會人數超過850人。
在會場(chang)外的展區，Alluxio、研惠通、惠普、白山云科技、中昊芯(xin)英、中科加禾、科華數據、行云集成電(dian)路等8家企業(ye)亮出了他們(men)的最(zui)新技術和產品，展區人頭(tou)攢動，交流熱情氛圍濃厚。
▲展區
由智(zhi)一科(ke)技旗下智(zhi)猩猩與(yu)智(zhi)東西共同(tong)發起主辦、芯東西協辦的(de)首屆AI算力(li)大會，圍繞AI算力(li)產業變(bian)局與(yu)創新(xin)、AI推理算力(li)、智(zhi)算中(zhong)心、智(zhi)算集(ji)群異(yi)構混訓(xun)、超(chao)節(jie)點等話題(ti)(ti)設置議(yi)程(cheng)，主會場(chang)包括高峰論壇、AI推理算力(li)專題(ti)(ti)論壇和智(zhi)算中(zhong)心專題(ti)(ti)論壇；分(fen)會場(chang)為閉門制，組織了智(zhi)算集(ji)群異(yi)構混訓(xun)技術研討(tao)會、超(chao)節(jie)點技術研討(tao)會。
▲聯(lian)想集團Game of AI科普(pu)視頻(pin)在大會展播(bo)：聯(lian)想海(hai)神全液(ye)冷解決方案，革命性提升AI推理時代算力
智(zhi)一科(ke)技聯合創始人、CEO龔倫常在大(da)會致辭環節(jie)宣布：中國AI算(suan)力大(da)會正(zheng)式成為“智(zhi)領未來”北京人工智(zhi)能(neng)系列品牌(pai)活動之一。
“智領未來(lai)”是(shi)北(bei)(bei)京市(shi)(shi)科(ke)委、中關村管委會打(da)造的北(bei)(bei)京市(shi)(shi)人工(gong)智能領域的活(huo)動品牌。同樣(yang)作(zuo)為“智領未來(lai)”北(bei)(bei)京人工(gong)智能系列品牌活(huo)動之一(yi)的中國生成式AI大(da)會已(yi)于(yu)今年4月1日-2日圓滿舉行。
龔倫常還預告了將于下半年舉行的兩場大型品牌活動：9月在上海舉辦第七屆全球AI芯片峰會，11月在(zai)深圳舉(ju)辦(ban)2025中國(guo)具(ju)身智能機器人大會。
▲智一科技聯合創始人、CEO龔(gong)倫常
智(zhi)(zhi)算(suan)集(ji)群異構混(hun)訓(xun)、超節點兩場(chang)技(ji)術研(yan)討(tao)會(hui)在分(fen)會(hui)場(chang)圓滿舉(ju)辦。壁仞科技(ji)AI軟件首席架(jia)構師丁云帆、中國(guo)移(yi)動研(yan)究院網(wang)絡與(yu)IT技(ji)術研(yan)究所技(ji)術經理班有容(rong)、北京(jing)智(zhi)(zhi)源人(ren)(ren)工(gong)智(zhi)(zhi)能(neng)研(yan)究院AI框架(jia)研(yan)發負責(ze)人(ren)(ren)敖玉龍、上海(hai)人(ren)(ren)工(gong)智(zhi)(zhi)能(neng)實(shi)驗(yan)室(shi)編譯計算(suan)與(yu)國(guo)產化團(tuan)隊負責(ze)人(ren)(ren)裴芝林、商湯大裝置技(ji)術產品總監劉葉楓在智(zhi)(zhi)算(suan)集(ji)群異構混(hun)訓(xun)技(ji)術研(yan)討(tao)會(hui)做(zuo)了報告分(fen)享。
阿里云基礎設(she)施(shi)異構硬件(jian)和系統(tong)及(ji)解決方案(an)資深(shen)總監盧曉偉、中(zhong)國移動研(yan)(yan)究院網(wang)絡與IT技術研(yan)(yan)究所技術經(jing)理王鵬、奇異摩爾(er)首(shou)席網(wang)絡架構專家葉棟、曦智(zhi)科技聯合創(chuang)始人兼首(shou)席技術官孟懷宇(yu)圍繞超節(jie)點進行了不同視角的報告分享。中(zhong)信建投證券科技行業首(shou)席分析師閻貴成主持了超節(jie)點技術研(yan)(yan)討(tao)會及(ji)圓(yuan)桌Panel。
▲分會場
接下來我們將為大(da)家帶來主會場三大(da)論(lun)壇15+位分享(xiang)嘉(jia)賓(bin)的演講和對話精華。
一、高峰論壇：從千芯節點到千億大模型，國產AI芯片生態迸發旺盛活力
AI已(yi)成為數據中心(xin)增長的(de)(de)核心(xin)驅(qu)動(dong)力(li)。大(da)模型迭(die)代(dai)拉(la)動(dong)算力(li)需求暴(bao)增，推動(dong)計(ji)算、存儲、網絡基礎(chu)設(she)施全面(mian)升級。在大(da)模型訓練與部署需求旺盛的(de)(de)背景下(xia)，如何更充分地(di)利用閑置算力(li)，國(guo)產(chan)AI芯(xin)片發展到了怎(zen)樣的(de)(de)新階(jie)段，有哪(na)些優化大(da)模型推理效(xiao)果(guo)的(de)(de)創新技術？6位嘉賓分享了他(ta)們對(dui)產(chan)業最新風向的(de)(de)觀察與探索。
1、信通院陳屹力：“算力荒”與“算力閑置”共存，算力互聯互通、AI云成焦點
中國信息通信研究院云大所副總工程師陳(chen)屹力(li)(li)談道，當(dang)下(xia)AI大規(gui)模應用促使智能(neng)算力(li)(li)需求激增(zeng)，AI 云成為全(quan)球AI浪潮角逐(zhu)的(de)焦點。其中AI云基礎設施需覆蓋(gai)異(yi)構高效調度能(neng)力(li)(li)、一云多模能(neng)力(li)(li)、專家知識大腦等多方面。AI云平臺推動AI應用的(de)智能(neng)、便捷構建，提升國際影響力(li)(li)、助力(li)(li)生(sheng)態繁(fan)榮(rong)。
隨任務型智算(suan)應(ying)用(yong)興起，對算(suan)力(li)資源的定位(wei)、調度、部署效率(lv)提(ti)出更高要求(qiu)。中國(guo)信通院聯(lian)合產業各(ge)方(fang)探(tan)索(suo)構建算(suan)力(li)互(hu)聯(lian)網(wang)，積(ji)極推進算(suan)力(li)標(biao)識、算(suan)力(li)調度、傳輸協議、應(ying)用(yong)適配等方(fang)面技術(shu)研究，加快(kuai)現有(you)算(suan)力(li)“局域網(wang)”間互(hu)聯(lian)互(hu)通，逐步建立(li)標(biao)準體(ti)系(xi)，形(xing)成(cheng)算(suan)力(li)互(hu)聯(lian)網(wang)體(ti)系(xi)架構，核心解決算(suan)力(li)“找(zhao)調用(yong)”挑(tiao)戰，逐步形(xing)成(cheng)具備智能感(gan)知、實時發現、隨需獲(huo)取的算(suan)力(li)互(hu)聯(lian)網(wang)。
▲中國信(xin)息通(tong)信(xin)研(yan)究院云大所(suo)副總(zong)工程師(shi)陳屹力(li)
2、摩爾線程王華：算力需求千倍增長，大集群和FP8成為強需求
摩爾線程(cheng)副總裁(cai)王華(hua)引用了一些研究數(shu)據(ju)：2020至(zhi)2025年(nian)間，大(da)模(mo)(mo)型訓練(lian)的算力(li)需求提升近1000倍(bei) ，驅動力(li)來(lai)自參數(shu)規(gui)模(mo)(mo)與數(shu)據(ju)量雙向增長。以DeepSeek-V3為例，其訓練(lian)所(suo)需算力(li)達102?級別，在萬(wan)卡集(ji)群上可將(jiang)訓練(lian)時間壓縮至(zhi)13天內完成(cheng) 。
為(wei)應對算力需求，摩(mo)爾線(xian)程(cheng)提供(gong)包括FP8在內的(de)全精(jing)度算力，有效(xiao)支持混合(he)精(jing)度訓(xun)練(lian)，大幅提升(sheng)訓(xun)練(lian)效(xiao)率；部署(shu)萬(wan)卡集(ji)(ji)群(qun)，研發(fa)完整的(de)軟(ruan)硬件棧，提供(gong)開箱即用的(de)產品，快(kuai)速(su)滿足大模型(xing)訓(xun)練(lian)的(de)算力需求；打(da)造豐富的(de)集(ji)(ji)群(qun)監控和診(zhen)斷能力，針對大規模集(ji)(ji)群(qun)實(shi)現分鐘級故(gu)障定位。
此外，摩爾(er)線程構建了(le)支持FP8、BF16、FP32等(deng)(deng)數據(ju)類型的混合精度(du)訓練(lian)(lian)方案(an)，開源Torch-MUSA、MT-MegatronLM與(yu)MT-TransformerEngine等(deng)(deng)大(da)模型訓練(lian)(lian)組件，已完成(cheng)DeepSeek-V3的混合精度(du)訓練(lian)(lian)復現(xian)。在多個模型上的實驗結果表明，其(qi)方案(an)整(zheng)體性能(neng)提升可達20%–30%，訓練(lian)(lian)精度(du)與(yu)業界主流保持一致。
▲摩(mo)爾線程副(fu)總裁王華
3、中昊芯英楊龔軼凡：解讀TPU架構創新設計，國產AI芯片如何抓住本土機遇
中(zhong)昊芯(xin)(xin)英創(chuang)始人(ren)、CEO楊龔軼凡談道，AI專(zhuan)用芯(xin)(xin)片(pian)是AI Infra的(de)必然發展(zhan)趨勢(shi)，TPU架構為(wei)AI大模型而生，采用多維度計算單(dan)元(yuan)來(lai)優化數據復用，提高計算效率，并通過更(geng)激進的(de)數據傳輸策略(lve)和更(geng)小的(de)控制單(dan)元(yuan)，給片(pian)上存儲器和運算單(dan)元(yuan)留下更(geng)大空間，其可擴(kuo)展(zhan)性也更(geng)適合(he)超大規模計算。
中(zhong)昊芯英全自(zi)研高性能TPU架構AI芯片(pian)“剎那”于(yu)(yu)2023年已(yi)成(cheng)功流(liu)片(pian)并實現(xian)量產，其計算性能較(jiao)海外(wai)某知名GPU芯片(pian)提(ti)升近1.5倍(bei)。基于(yu)(yu)“剎那”的高性能AI服務(wu)器及大(da)規模AI計算集群“泰則”，支(zhi)持1024卡(ka)高速互(hu)聯(lian)，可支(zhi)撐超千億參數大(da)模型計算。
隨著大(da)模(mo)型成本下(xia)移，AI芯片架構開始深度適配動態稀疏計算范式(shi)，形成“算法定義硬件”的新研發(fa)模(mo)式(shi)。降(jiang)低對CUDA生態的依賴(lai)后，國產Al芯片將通過提供定制化工(gong)具鏈、優化編譯器(qi)等(deng)方式(shi)，在架構設計上(shang)更(geng)加靈活適應新的本土趨勢和需(xu)求(qiu)。
▲中昊(hao)芯英創始人、CEO楊(yang)龔軼(yi)凡
4、魔形智能徐凌杰：大模型需要“千芯”超節點，未來架構有五大關鍵因素
魔形智能科技創始(shi)人、CEO徐凌杰幽默開場：“過(guo)(guo)去(qu)十年，中國最值錢的(de)是(shi)(shi)房(fang)地產(chan)行業(ye)。未來(lai)最值錢的(de)，可能還是(shi)(shi)房(fang)地產(chan)，只不(bu)過(guo)(guo)住的(de)不(bu)是(shi)(shi)人，而是(shi)(shi)機器。”
研究(jiu)數據顯示，全球(qiu)數據中心總耗電(dian)量(liang)與單個發達(da)國家相(xiang)當(dang)。更強的大模型需要(yao)大集(ji)群(qun)，更快的大模型需要(yao)超(chao)節點，更大的高帶寬互聯(lian)域是超(chao)節點設計(ji)的核心。當(dang)前算力密度(du)遠不(bu)夠(gou)高，要(yao)達(da)到與人腦相(xiang)當(dang)的算力密度(du)，需要(yao)構建“千芯”超(chao)節點，構建可重構的AI算力中心。
如何構(gou)建千芯互連網絡？徐凌杰(jie)總結了(le)未來超(chao)節點架構(gou)的(de)5大關鍵因(yin)素：超(chao)高密(mi)度算力節點，千芯多機柜(ju)級聯(lian)背板連接，800V供電輸入，交換芯片全(quan)互聯(lian)，全(quan)覆(fu)蓋式冷卻。
他還分享了下一(yi)代算(suan)力基礎設施對芯片(pian)提出的(de)3大要求：板級&封裝(zhuang)級靈活組合與解耦，整合光(guang)電共封裝(zhuang)設計，Cluster First的(de)產(chan)品理念。軟硬(ying)協同將釋(shi)放超(chao)大集群的(de)潛力。
▲魔(mo)形(xing)智(zhi)能科技創始人(ren)、CEO徐(xu)凌杰(jie)
5、中科加禾崔慧敏：AI編譯優化躍升推理性能，有效擴展國產AI芯片生態
中國科學院(yuan)計算技(ji)術(shu)研究所研究員、中科加禾創始人(ren)崔慧敏談道，大(da)模(mo)(mo)型推理(li)私有化部(bu)(bu)署需(xu)求(qiu)大(da)漲，但(dan)面臨(lin)硬件(jian)繁多、需(xu)求(qiu)多元、多模(mo)(mo)部(bu)(bu)署等多重挑戰。
中(zhong)(zhong)科(ke)加(jia)禾圍(wei)繞(rao)編(bian)譯優化構建大(da)(da)模型推(tui)理(li)的引(yin)擎和軟件(jian)棧，積累了大(da)(da)量實(shi)踐(jian)案例：在(zai)(zai)推(tui)理(li)引(yin)擎中(zhong)(zhong)實(shi)施深度顯存(cun)優化，有(you)效提高顯存(cun)利(li)用(yong)率；在(zai)(zai)大(da)(da)規模推(tui)理(li)中(zhong)(zhong)實(shi)現多維(wei)并行(xing)策略，有(you)效利(li)用(yong)計算(suan)、訪存(cun)、通(tong)信資源；基于多項聯合優化，推(tui)理(li)技術在(zai)(zai)某互聯網(wang)廠商合作中(zhong)(zhong)將QPS提升50%以上，并在(zai)(zai)昇騰(teng)910B平臺私有(you)化部署場(chang)景下有(you)效支持128K長上下文。
長期來看，基于AI編譯技術，構(gou)建一套底(di)層公共的(de)編譯支撐，能夠(gou)長期有效解決AI生(sheng)態碎片化及生(sheng)態融合(he)問(wen)題。
▲中國科學院計算技術研究所(suo)研究員(yuan)、中科加(jia)禾(he)創始人崔(cui)慧敏
6、趨境科技陳祥麟：千億大模型的異構推理新路徑
趨境科技技術負責(ze)人陳祥麟分享(xiang)了大模(mo)型推理(li)的技術創新。他認為(wei)大模(mo)型私有化(hua)推理(li)架構將從(cong)傳統(tong)(tong)的以GPU為(wei)中(zhong)心(xin)轉(zhuan)向(xiang)全(quan)系統(tong)(tong)異構協(xie)同，需要(yao)充分提升算力利(li)用(yong)率。
團隊首(shou)創(chuang)全系(xi)(xi)統(tong)異構協同與(yu)以(yi)存換算(suan)技術，充分利(li)用(yong)底層GPU、CPU、存儲等硬件設備算(suan)力，通過基于(yu)計(ji)算(suan)強(qiang)度的offload策略、CPU/GPU的高(gao)性能(neng)算(suan)子改造、MTP等算(suan)力優化方法，以(yi)及prefix cache等融合推理策略，提升全系(xi)(xi)統(tong)算(suan)力，將(jiang)大模型推理門檻降低(di)至1/10。
趨(qu)境(jing)科技與清華KVCache.AI團隊共同(tong)開(kai)源(yuan)的(de)異(yi)構推理(li)框架(jia)KTranformers，能夠利用單張消費(fei)級GPU+CPU異(yi)構推理(li)DeepSeek-671B-r1/v3，decode速度最高達到(dao)20+ tokens/s。
同時參與月之(zhi)暗面、清華(hua)MADSys實驗(yan)室等多(duo)個產學研機(ji)構開源的(de)(de)項目Mooncake，以超(chao)大規模KVCache緩存池為中心，通過(guo)以存換算(suan)的(de)(de)創新(xin)理(li)(li)念(nian)大幅度減少算(suan)力(li)開銷，顯著提(ti)升了推理(li)(li)吞(tun)吐量。
▲趨境科技研(yan)發負責人陳祥(xiang)麟
二、高端對話：國產AI算力的突圍與崛起，中美差距正逐步縮小
以《國(guo)產AI算(suan)力(li)的(de)突(tu)圍(wei)與崛起》為(wei)主題的(de)高(gao)端對話，由(you)智一科(ke)(ke)技(ji)聯合創(chuang)始(shi)人、智車芯(xin)產媒矩陣總編輯張國(guo)仁(ren)主持，中昊芯(xin)英創(chuang)始(shi)人兼(jian)CEO楊龔(gong)軼凡，魔(mo)形智能科(ke)(ke)技(ji)創(chuang)始(shi)人、CEO徐凌杰(jie)，中科(ke)(ke)加(jia)禾聯合創(chuang)始(shi)人兼(jian)CTO陳龍三(san)位(wei)嘉賓(bin)進行分享(xiang)。
張國(guo)(guo)仁談道，從2018年AI芯(xin)片峰會到如今AI算力峰會，他感觸(chu)最深(shen)的(de)是國(guo)(guo)內企業對(dui)自己的(de)產品、公司發展都表現(xian)得愈發云淡(dan)風輕。
▲智一科技聯(lian)合(he)創始人、智車芯產媒矩陣總編輯張國(guo)仁
1、國產算力與全球差距仍然存在
面(mian)對國(guo)產算(suan)力在全球(qiu)發展中的(de)地位，陳龍談道，國(guo)內(nei)廠(chang)商(shang)已掌握算(suan)力底層技(ji)術，但在PyTorch等主流訓練(lian)框架適配方面(mian)仍處于(yu)跟隨、陪跑階(jie)段(duan)。
楊龔(gong)軼凡從硬件(jian)的設(she)(she)計(ji)和生(sheng)產兩方面進行(xing)了比(bi)較：生(sheng)產差距存在，但預測將在3-5年內(nei)逐步縮小；而在設(she)(she)計(ji)層面，從學術研究、論文(wen)創(chuang)新(xin)性等角度看，設(she)(she)計(ji)的差距更大。隨著模型(xing)算(suan)法收斂(lian)，更多創(chuang)新(xin)型(xing)架構、設(she)(she)計(ji)出現，國外諸多路線(xian)已(yi)發展(zhan)到產品落地(di)，國內(nei)廠商(shang)需要共同拓展(zhan)生(sheng)態。
▲中(zhong)昊(hao)芯(xin)英創始人(ren)兼(jian)CEO楊龔軼凡
徐凌杰認為(wei)，在如(ru)何(he)做優(you)秀(xiu)的GPU、如(ru)何(he)搭(da)建生態、如(ru)何(he)做集群等方(fang)面(mian)，中(zhong)美認知差距(ju)正不(bu)斷(duan)縮小。但實際產業中(zhong)，差距(ju)進一步擴(kuo)大(da)，企業需要(yao)從(cong)底層供(gong)應鏈(lian)突破。
2、算力仍是資源導向型市場
對(dui)于(yu)國產算(suan)力的(de)市場化(hua)，徐凌杰(jie)判斷，政府、資源導向型的(de)現(xian)狀未來(lai)幾年(nian)不(bu)會有很大改變，芯(xin)(xin)(xin)片晶(jing)圓、制程以及芯(xin)(xin)(xin)片創(chuang)企在國產生態中的(de)成長，都需(xu)要政府扶(fu)持。芯(xin)(xin)(xin)片公司的(de)機會是通過更強互(hu)聯(lian)、集群打造差異(yi)化(hua)，找到(dao)商業化(hua)落腳點。
楊龔軼凡同(tong)樣認(ren)為，資源導(dao)(dao)向型走向市場導(dao)(dao)向型是一個過程(cheng)，在半導(dao)(dao)體(ti)行業(ye)，老的生產(chan)(chan)(chan)制(zhi)程(cheng)永遠(yuan)比(bi)新的生產(chan)(chan)(chan)制(zhi)程(cheng)性(xing)價(jia)(jia)比(bi)低，生產(chan)(chan)(chan)制(zhi)程(cheng)每迭(die)代一次會有4倍的性(xing)價(jia)(jia)比(bi)提升，這就導(dao)(dao)致純(chun)國產(chan)(chan)(chan)芯片的性(xing)價(jia)(jia)比(bi)更(geng)低，需(xu)要政府(fu)扶持拉(la)通生產(chan)(chan)(chan)工藝的產(chan)(chan)(chan)業(ye)鏈。
陳龍從應(ying)用層(ceng)面(mian)進行分析，談到國家的扶持很(hen)必要，企業通過軟硬件(jian)優化降(jiang)低了(le)部署成本，但(dan)消(xiao)費(fei)側拉動還不(bu)夠強(qiang)，現狀是(shi)上一(yi)代(dai)芯片尚沒有完全落地應(ying)用，下一(yi)代(dai)芯片已經出來了(le)，因此(ci)核心是(shi)要發掘更(geng)有價(jia)值的應(ying)用。
▲中科(ke)加禾聯合創(chuang)始人兼CTO陳龍
3、專用芯片、編譯技術、超節點，是未來發展方向
楊龔軼凡堅信專(zhuan)用(yong)芯(xin)片是未來的(de)發展方向，在通用(yong)性需求(qiu)大幅降(jiang)低的(de)情(qing)況(kuang)下，可(ke)以(yi)拋棄部分通用(yong)性，增加芯(xin)片核心的(de)性能和性價(jia)比。越專(zhuan)越好，是在滿足一定可(ke)控性和變化下的(de)結果。
圍繞(rao)編(bian)(bian)譯技(ji)術(shu)在解(jie)決國產(chan)芯(xin)片面臨的(de)風險，陳龍認為，它是(shi)將專家的(de)經(jing)驗泛化、普(pu)適化的(de)一種(zhong)技(ji)術(shu)手段。編(bian)(bian)譯技(ji)術(shu)最開(kai)始產(chan)生是(shi)為了彌補人(ren)的(de)思維和(he)機器(qi)能接受信息之間的(de)鴻(hong)溝，使開(kai)發效(xiao)率提升上(shang)百倍。
徐(xu)凌杰著重(zhong)談(tan)到超(chao)節點(dian)的(de)發(fa)展方向，在大模型領域，類(lei)似MoE的(de)創(chuang)新結(jie)合超(chao)節點(dian)會有更(geng)(geng)(geng)大收益，即更(geng)(geng)(geng)大的(de)問(wen)題用(yong)更(geng)(geng)(geng)大的(de)集群(qun)解決，更(geng)(geng)(geng)大的(de)集群(qun)反哺(bu)系統，從而做(zuo)出更(geng)(geng)(geng)大的(de)模型。
▲魔形智能科(ke)技創始人、CEO徐(xu)凌杰
4、算力產業格局未定
談(tan)到全球算力產業的產業格局，陳(chen)龍(long)認(ren)為(wei)，雖然國(guo)內巨頭有(you)積累優(you)勢，但產業規(gui)模足夠大，且需求多元(yuan)化，將來(lai)企業將百(bai)花齊放。
楊龔軼(yi)凡的觀點更為激進：首先，3-5年內形(xing)成產業(ye)格局(ju)的可能(neng)性不高，目前仍是企業(ye)相(xiang)互競(jing)爭、高速(su)發展變革(ge)的過(guo)程；其(qi)次，資源型市場(chang)的天(tian)然屬性決定了其(qi)很難形(xing)成壟斷(duan)，且巨頭穿越周(zhou)期能(neng)力(li)弱(ruo)，因此AI產業(ye)爆發后市場(chang)格局(ju)會洗牌，初(chu)創公司或(huo)許會通過(guo)更好的組織形(xing)式(shi)去適應(ying)產業(ye)發展。
行業的(de)重要性(xing)、資本(ben)周期(qi)發展對(dui)產業發展都會有(you)影響。徐凌杰相(xiang)信，算力變(bian)得越(yue)來越(yue)有(you)吸(xi)引力，自然會有(you)更多的(de)錢涌(yong)入，會出現巨頭(tou)被沖擊、新生勢力冒出的(de)場景。創企(qi)和巨頭(tou)需要找準自己的(de)定位，通過(guo)“整(zheng)合”變(bian)成更強(qiang)實(shi)體(ti)可(ke)能是(shi)一條發展路徑。
如今中(zhong)國算(suan)(suan)力規模已在(zai)全球(qiu)排(pai)名第(di)二，被預測有望影響全球(qiu)AI 競賽(sai)格局。陳(chen)龍(long)認為，AI算(suan)(suan)力市場規模和國家(jia)(jia)GDP發展(zhan)成正比關系(xi)，當(dang)國家(jia)(jia)GDP反超或許是國產算(suan)(suan)力格局更進一(yi)步的機會(hui)。楊龔軼凡提到投入產出比，目前美國和中(zhong)國算(suan)(suan)力開銷差(cha)10倍，當(dang)投入量(liang)逐(zhu)步趕上(shang)才會(hui)有變化。徐凌杰認為未來當(dang)AI賦能千行(xing)百(bai)業(ye)，算(suan)(suan)力真(zhen)正變成生產力時(shi)，就是一(yi)個巨大的機會(hui)。
三、專題論壇：從軟硬協同到端邊云協同，底層技術創新突破AI算力瓶頸
下(xia)午(wu)場火熱繼續，在AI推理算力(li)專(zhuan)題(ti)論(lun)壇和智算中心專(zhuan)題(ti)論(lun)壇中，來(lai)自行(xing)云(yun)集成電路、安謀科技(ji)、實在智能、白山(shan)云(yun)科技(ji)、Alluxio、浩云(yun)長盛(sheng)集團、上海矩(ju)向科技(ji)、趨(qu)動科技(ji)的8位嘉賓帶來(lai)了精彩(cai)演講。
如(ru)何突破大模(mo)型(xing)推理芯片(pian)的(de)核心(xin)瓶頸、如(ru)何實現出色的(de)端側(ce)模(mo)型(xing)性能？超大規(gui)模(mo)智算中心(xin)面臨的(de)數(shu)據、成(cheng)本功耗、算力利用(yong)率等方面的(de)一(yi)系列難題要(yao)如(ru)何破解？我們都將(jiang)找到(dao)答案(an)。
1、行云余洪敏：只有軟硬件協同創新才能突破大模型推理芯片的核心瓶頸
行云聯(lian)合創始(shi)人、CTO余洪敏談道，高質量(liang)(liang)大模型(xing)最核心(xin)的(de)需(xu)求(qiu)就是極其變(bian)態(tai)的(de)內(nei)存需(xu)求(qiu)，既要帶(dai)寬，又要容(rong)量(liang)(liang)。推理芯片核心(xin)瓶頸有：顯存容(rong)量(liang)(liang)，價格高昂，只有通過軟硬件(jian)協同創新(xin)才能解(jie)決(jue)。
行(xing)云致力于把(ba)AI基礎(chu)設施從超算(suan)變(bian)成(cheng)消(xiao)費電子競(jing)(jing)爭，褐蟻是第(di)一個十萬(wan)元級運行(xing)DeepSeek滿血(xue)671B、FP8非量(liang)化(hua)且對(dui)話速度(du)在20TPS以上(shang)的解決方案，用數(shu)量(liang)級碾壓(ya)的競(jing)(jing)爭力讓全行(xing)業(ye)對(dui)AI超算(suan)祛魅。
近期行(xing)云(yun)將推(tui)出蟻(yi)群，實(shi)現500~1000有(you)(you)效并發下最高質量模型的(de)流暢體驗，價格在300~400萬價位，接近DeepSeek公有(you)(you)云(yun)的(de)性(xing)價比；此外，計劃在明(ming)年(nian)年(nian)底推(tui)出自研GPU芯片(pian)，相比褐蟻(yi)性(xing)能將有(you)(you)數倍(bei)提升，集(ji)群化(hua)后(hou)，相比蟻(yi)群可(ke)以數倍(bei)提高有(you)(you)效并發。
▲行云集成電路聯合創始(shi)人、CTO余洪(hong)敏
2、安謀科技鮑敏祺：NPU如何助力端側設備突破內存、算力、功耗三堵墻？
安謀科技產品總監鮑敏祺(qi)觀(guan)察(cha)到，端側設備正逐步(bu)承(cheng)擔更多AI計算任務，端側AI模型在算法(fa)迭代、上下文(wen)長度擴展和模型理解(jie)力提(ti)升等方面進展迅(xun)速。
隨著(zhu)模(mo)型的(de)演進，端(duan)側AI硬件也面臨新(xin)的(de)需求：一是算(suan)(suan)(suan)(suan)力(li)需求持續增長，計(ji)算(suan)(suan)(suan)(suan)精度從INT向(xiang)(xiang)FLOAT轉(zhuan)變(bian)，需通(tong)過多(duo)核協同實現(xian)算(suan)(suan)(suan)(suan)力(li)提升(sheng)；二是大模(mo)型對(dui)帶寬要(yao)求更高，可(ke)通(tong)過提升(sheng)數據本地(di)化程度減少(shao)數據傳輸距離，從而(er)優化能效比(bi)；三(san)是需要(yao)優化硬件中向(xiang)(xiang)量計(ji)算(suan)(suan)(suan)(suan)與矩陣計(ji)算(suan)(suan)(suan)(suan)的(de)配比(bi)。
為應(ying)對“內存墻”、“算力(li)(li)墻”和(he)“功耗墻”三大挑戰，安謀(mou)科技正升級其(qi)自研“周易”NPU產(chan)品，如擴展數據類型支持、新增W4A16硬件加(jia)(jia)速和(he)DSA加(jia)(jia)速功能、提供更為豐富的算子庫等(deng)，持續驅動終端算力(li)(li)躍遷，助力(li)(li)產(chan)業把握端側(ce)AI“芯”機遇。
▲安謀科技產品(pin)總監鮑敏祺
3、實在智能歐陽小剛：Agent端側性能超GPT-4o 10%，一體機30分鐘開箱部署
實在智(zhi)能合(he)伙人(ren)、核(he)心(xin)算法(fa)負責(ze)人(ren)歐陽小剛提到，算力需(xu)求與場(chang)景落地的(de)雙向倒(dao)逼，正推動智(zhi)能體技(ji)術端側的(de)探索革新。
其(qi)公司行業首(shou)發的通用(yong)智(zhi)能(neng)體“實在(zai)(zai)Agent”，專注跨系統、鏈接(jie)各類軟(ruan)件的辦(ban)公流程自動化。其(qi)自研的實在(zai)(zai)TARS大模(mo)型(xing)和TARS-VL大模(mo)型(xing)分別在(zai)(zai)垂域任務理(li)(li)解(jie)性能(neng)超越(yue)GPT-4o達10個百分點(dian)，GUI多模(mo)態理(li)(li)解(jie)能(neng)力領先3%，而(er)通用(yong)能(neng)力幾乎無損；同時，該(gai)模(mo)型(xing)支持私有化部署，深度(du)融合RPA與智(zhi)能(neng)體工作流，實現瀏覽器、桌面應(ying)用(yong)、移(yi)動端的無縫操(cao)作，支持一鍵流程編輯和智(zhi)能(neng)體共(gong)享，降低30%重復開發成本(ben)。
歐陽小剛提(ti)到(dao)與(yu)惠(hui)普聯合打造的Z系列數字員工一體機(ji)：基于HP Z8 Fury G5工作站，得益(yi)于四塊NVIDIA 5880 Ada的強(qiang)大算力，開箱(xiang)30分(fen)鐘(zhong)完(wan)成部署，核心業務數據全程本地(di)處(chu)理。
▲實在(zai)智能(neng)合(he)伙(huo)人、核心(xin)算(suan)法負(fu)責人歐陽(yang)小剛(gang)
4、 白山云科技李金鋒：以邊緣計算破解AI推理時延與成本難題
白山云科(ke)技智(zhi)算產品(pin)研發(fa)負責人李金(jin)鋒談到，AI推理(li)面(mian)臨(lin)網絡時(shi)延與成本挑戰，對邊(bian)緣(yuan)計算的(de)需求(qiu)日益增(zeng)長。當前的(de)云邊(bian)端(duan)架構依然適用：中心云集中計算，追求(qiu)性能極致優(you)化；邊(bian)緣(yuan)云在(zai)靠近用戶處提(ti)供算力(li)(li)，作為重要補充，現可處理(li)百億參數(shu)內大模型推理(li)，顯著(zhu)降低(di)時(shi)延；終端(duan)算力(li)(li)則在(zai)保障數(shu)據隱私(si)場景中發(fa)揮作用。
針對邊緣云節點分散(san)帶來的算力管(guan)理(li)難、任務(wu)調(diao)(diao)度復雜(za)和(he)單(dan)節點資源有限(xian)等挑戰，李金(jin)鋒介紹(shao)可通過全網任務(wu)調(diao)(diao)度、彈性算力調(diao)(diao)度、模(mo)型加載優化及單(dan)節點推理(li)性能優化等方式解決。
依(yi)托覆蓋全(quan)球的1700多(duo)個(ge)具(ju)備計算、存儲、安全(quan)能力的數據節點(dian)及150多(duo)個(ge)海(hai)外運營商資源，白山云(yun)能輕松升級GPU算力，有力支撐邊(bian)緣推理服務。
▲白山云科技(ji)智算(suan)產品研發負(fu)責人李金鋒
5、Alluxio傅正佳：用去中心化架構方案，解決AI數據湖困境
Alluxio首席架構師傅正佳(jia)談道，AI 數據(ju)(ju)全鏈(lian)路各環節面臨的不同(tong)難題，以及(ji)環節間數據(ju)(ju)交互(hu)導致的資源浪(lang)費(fei)與效率低下，其本(ben)質都是數據(ju)(ju)湖困境的體現。
Alluxio介于(yu)分布式(shi)計算框架與存儲系統之間，可以做到對當前(qian)AI Infra“零(ling)改造(zao)無侵(qin)入”，并(bing)提(ti)升數(shu)據安全性，還可以統一納管數(shu)據孤島，提(ti)供高性能(neng)緩存層。Alluxio采(cai)用去中心化架構，支持(chi)100億以上對象(xiang)，能(neng)夠(gou)降(jiang)低(di)數(shu)據工程復雜度與成本，提(ti)升模型迭代效率(lv)與數(shu)據方(fang)向速度。
Alluxio的核心技術包括協(xie)議(yi)轉換、數(shu)據緩(huan)存層以及虛(xu)擬數(shu)據湖等(deng)，可應用(yong)于智駕、機器學習訓練、智算、AI模型分發、科學計算等(deng)場(chang)景。基準測試顯示，其性能(neng)與全球(qiu)頂尖并行系統持平，成本更低(di)，GPU利用(yong)率可達95%及以上。
▲Alluxio首席(xi)架構師傅(fu)正佳
6、浩云長盛趙亮：智算時代數據中心變革，液冷、超高壓直流成大勢所趨
浩云長(chang)(chang)盛集團首席增(zeng)長(chang)(chang)官（CGO）趙亮稱，隨著(zhu)智算(suan)時代的到來(lai)，數據中(zhong)心的算(suan)力密(mi)度不斷提升，同時，大模型推理(li)和(he)訓推一體的需求也(ye)在增(zeng)長(chang)(chang)。
這(zhe)些變(bian)化對數(shu)據中心(xin)的(de)供電和(he)制冷(leng)系統提(ti)出了巨大挑戰，設計和(he)架構需要重大調整。如(ru)今，數(shu)據中心(xin)應配備更(geng)高(gao)(gao)的(de)層高(gao)(gao)和(he)更(geng)強的(de)承重能(neng)力(li)，以滿足密度的(de)提(ti)升，隨之而來的(de)散(san)熱問題讓液(ye)冷(leng)成為必(bi)然(ran)選(xuan)擇。在電力(li)層面，能(neng)夠減(jian)少能(neng)源轉(zhuan)換損耗、提(ti)升電力(li)運(yun)營效率(lv)的(de)高(gao)(gao)壓(ya)直(zhi)流(liu)技術正獲得廣泛采用。
此外，數據中(zhong)心的選址也(ye)至關重要，需綜(zong)合(he)考(kao)慮電力(li)供應便(bian)利(li)性、運維(wei)便(bian)利(li)性、算(suan)力(li)設備梯級利(li)用(yong)和實際應用(yong)場景，而非(fei)簡單地將其布局在(zai)能源成本較低的地區，因此把訓推一(yi)體智算(suan)中(zhong)心建設在(zai)一(yi)線(xian)城市周邊(bian)更有(you)優勢。
▲浩云長(chang)盛集(ji)團首席增長(chang)官CGO趙亮
7、矩向科技黃朝波：模算云破局算力浪費，毛利躍升超10倍
上(shang)海矩向科技創始人(ren)兼CEO黃朝波指出(chu)，當前智算(suan)中心深陷無序建設、架(jia)構封閉(bi)、遠離業務場(chang)景三重困局，導致區(qu)域算(suan)力閑置、資源利用率不足。
傳統(tong)硬(ying)件堆(dui)砌模(mo)式已無法滿(man)足AI爆(bao)發需求(qiu)，唯有通過整合算(suan)(suan)(suan)力(li)(li)(li)、模(mo)型與(yu)應用的(de)(de)(de)模(mo)算(suan)(suan)(suan)云平(ping)臺重構價值鏈(lian)，將電力(li)(li)(li)轉化為(wei)算(suan)(suan)(suan)力(li)(li)(li)、模(mo)型力(li)(li)(li)，并深(shen)加(jia)工(gong)為(wei)應用賦能能力(li)(li)(li)，以此來實現算(suan)(suan)(suan)力(li)(li)(li)服(fu)務(wu)毛(mao)利(li)的(de)(de)(de)躍(yue)遷。以3000P AI算(suan)(suan)(suan)力(li)(li)(li)為(wei)例，服(fu)務(wu)毛(mao)利(li)從(cong)智算(suan)(suan)(suan)中(zhong)心的(de)(de)(de)1億飆(biao)升至(zhi)模(mo)算(suan)(suan)(suan)云的(de)(de)(de)10多億，增幅(fu)超10倍。
模(mo)算(suan)(suan)云模(mo)式以輕資產實現高產出(chu)：政府可(ke)統籌閑置(zhi)算(suan)(suan)力賦(fu)能中小企(qi)業，企(qi)業可(ke)通過開箱即(ji)用的MaaS服務(wu)降(jiang)低AI門檻；技術上采用異構協同(tong)(tong)，國產芯片覆蓋80%計(ji)算(suan)(suan)量(liang)，英(ying)偉(wei)達GPU兜(dou)底剩余需求，同(tong)(tong)時結合云邊端協同(tong)(tong)，進(jin)一步降(jiang)低推理成(cheng)本，縮短業務(wu)落地周期。
▲上海矩向科技(ji)創始人(ren)兼CEO黃朝波
8、趨動科技張增金：通用行業GPU利用率不足30%，軟件定義AI算力成必然趨勢
趨動科技技術總監(jian)張增金指出(chu)，盡管生成(cheng)(cheng)式(shi)AI算力市場熱度高(gao)漲(zhang)，但非生成(cheng)(cheng)式(shi)AI的規模仍是其兩倍，從運營層面來看，蘊藏著巨大(da)的收入潛力（IDC 2025）。在國內(nei)眾多智算場景(jing)中(zhong)，GPU平(ping)均利用(yong)率低至5%左右，主要原因在于異(yi)構(gou)資源分配方式(shi)粗放、調度機制缺(que)失以及管理效率低下等問(wen)題。
采(cai)用(yong)(yong)軟件(jian)定義AI算力的(de)模(mo)式，通過軟件(jian)對算力基礎設施進行(xing)重新構(gou)建，實現硬(ying)件(jian)資源的(de)按需動態調(diao)用(yong)(yong)，能(neng)夠有(you)效解決當前異(yi)構(gou)硬(ying)件(jian)利用(yong)(yong)率低、調(diao)度(du)模(mo)式僵化等難題，避免因資源管理不善而引發的(de)系統瓶頸。
張增金表示，未來(lai)，軟件定義(yi)將成為智(zhi)算中心的關鍵發展(zhan)方向。在(zai)一系(xi)列(lie)行(xing)業實踐中，趨(qu)動科(ke)技(ji)(ji)借助軟件定義(yi)技(ji)(ji)術，助力(li)(li)某客戶將整體GPU平(ping)均利用(yong)率從(cong)(cong)8%提升至35%，峰值平(ping)均利用(yong)率從(cong)(cong)15%躍升至60%。目(mu)前，趨(qu)動科(ke)技(ji)(ji)已與數百家家來(lai)自運營商、金融(rong)、能(neng)源電(dian)力(li)(li)、制造業等領域的客戶展(zhan)開了深度合作(zuo)。
▲趨(qu)動科(ke)技(ji)技(ji)術總監張增金(jin)
結語：中國AI算力蓬勃向前，技術創新加速涌現
在中美博弈的(de)(de)背景下，國產(chan)大模型們強勢突圍，帶動了國內(nei)AI算(suan)力(li)需(xu)求(qiu)(qiu)的(de)(de)持續增長(chang)，算(suan)力(li)需(xu)求(qiu)(qiu)發(fa)生結構性變化、推理(li)算(suan)力(li)需(xu)求(qiu)(qiu)增速遠超預期(qi)，中國AI算(suan)力(li)產(chan)業不斷迎來新的(de)(de)機遇和挑戰(zhan)，諸多優(you)秀企業通過技術創新破解算(suan)力(li)難(nan)題(ti)，加速AI的(de)(de)產(chan)業化落(luo)地。
站在技術與產(chan)業共振(zhen)的(de)(de)(de)歷史(shi)節點(dian)，我(wo)們每一(yi)個人，都正(zheng)在見證和參與一(yi)場激動人心的(de)(de)(de)技術躍遷。隨著(zhu)Agent浪潮的(de)(de)(de)涌起(qi)、端側智能的(de)(de)(de)加速(su)落地、具身智能的(de)(de)(de)覺醒、產(chan)業AI加速(su)賦能，AGI的(de)(de)(de)曙光(guang)正(zheng)離我(wo)們越(yue)來(lai)越(yue)近。
中國AI算力產業必(bi)將(jiang)乘著這股勁(jing)流揚(yang)帆起航(hang)，駛(shi)向更廣闊的AI星辰(chen)大海!
