2021年12月7日，燧原科技重磅發布第二代云端人工智能推(tui)理加速(su)卡(ka)“云燧i20”——這(zhe)是時隔僅五個(ge)月，繼(ji)今年7月發布云端人工智(zhi)能訓練加速(su)卡(ka)“云燧T20”之后，燧原科技又推(tui)出(chu)的全新一代(dai)針對云端推(tui)理場景的AI加速(su)產品。
第二代人(ren)工(gong)智能推理(li)加速(su)卡“云燧(sui)i20”
作為全(quan)新(xin)一代云端(duan)AI推(tui)理加速(su)產(chan)(chan)品，云燧(sui)i20擁(yong)有(you)迄(qi)今為止業(ye)內最大的AI加速(su)卡存儲(chu)帶寬(kuan)，高達(da)(da)819 GB/s，遠(yuan)超(chao)行業(ye)同類產(chan)(chan)品水平(ping)；同時(shi)全(quan)面支持從FP32、TF32、FP16、BF16到INT8的計(ji)算(suan)(suan)精(jing)(jing)度。單精(jing)(jing)度FP32峰(feng)值算(suan)(suan)力(li)(li)(li)達(da)(da)到32 TFLOPS，單精(jing)(jing)度張量TF32峰(feng)值算(suan)(suan)力(li)(li)(li)達(da)(da)到128 TFLOPS，整(zheng)型(xing)INT8峰(feng)值算(suan)(suan)力(li)(li)(li)達(da)(da)到256 TOPS。對比(bi)第一代推(tui)理產(chan)(chan)品，云燧(sui)i20將浮點算(suan)(suan)力(li)(li)(li)提(ti)升(sheng)到1.8倍(bei)，整(zheng)型(xing)算(suan)(suan)力(li)(li)(li)提(ti)升(sheng)到3.6倍(bei)。
升(sheng)級后的(de)“馭算(suan)TopsRider”軟件棧，在性(xing)能(neng)、開(kai)發效(xiao)率(lv)和模(mo)(mo)型(xing)覆蓋面上得到大幅提升(sheng)。通(tong)過引入通(tong)用高(gao)(gao)層圖優(you)化和大規模(mo)(mo)算(suan)子融合技術，充分釋(shi)放了大容(rong)量片內存儲(chu)和高(gao)(gao)帶寬存儲(chu)的(de)利用率(lv)，將(jiang)模(mo)(mo)型(xing)平均(jun)(jun)性(xing)能(neng)提升(sheng)3.5倍(bei)(bei)，硬件算(suan)力利用率(lv)平均(jun)(jun)提升(sheng)2倍(bei)(bei)；通(tong)過升(sheng)級的(de)編(bian)程模(mo)(mo)型(xing)以及算(suan)子自動分片、自動生成技術，自定義算(suan)子開(kai)發效(xiao)率(lv)翻(fan)倍(bei)(bei)，模(mo)(mo)型(xing)遷移成本大大降低；此外，馭算(suan)增強了對動態性(xing)的(de)支持，使云燧i20在檢測(ce)、語音識(shi)別、語義理解等場景更具(ju)競(jing)爭力。
在經濟效益和(he)(he)部署靈(ling)活(huo)性層面(mian)，基于虛擬化(hua)和(he)(he)多(duo)實例(li)加(jia)速技術，云燧i20能(neng)夠實現單卡(ka)多(duo)用(yong)戶，同時支(zhi)持6個業務互不干擾、安全隔(ge)離運行。讓更多(duo)云端推理應用(yong)同時享(xiang)受專有的算力加(jia)速，為客戶業務架(jia)構帶來輕耦合、靈(ling)活(huo)可(ke)靠的實現方式，顯著提升資源利用(yong)率與(yu)投入產出比。
燧原科技CEO趙(zhao)立(li)東和COO張亞林
發布(bu)第二代云端AI推理產(chan)品
“云燧i20的發布標志著燧原科技在云端AI算力加速領域，從訓練到推理的完整產品線已全面迭代到第二代，能夠以更有競爭力的產品，為互聯網、智慧城市、智慧政務，以及金融、交通、能源等傳統行業客戶提供更優的AI計算方案。”燧原科技CEO趙立東表示，“當前，我國芯片產(chan)業正處于激烈的成長(chang)與蛻變時(shi)代，燧(sui)原(yuan)科(ke)技以‘做大芯片，拼硬(ying)(ying)科(ke)技’為時(shi)代使(shi)命(ming)，基于原(yuan)始創新(xin)的軟硬(ying)(ying)件架構，正在(zai)不斷加速(su)技術創新(xin)與產(chan)品迭(die)代。性能趕超業內旗艦GPU的云燧(sui)i20正是我們的關(guan)鍵成果(guo)之一。”
超大帶寬推理加速卡
兼具高吞吐、低延時特性
目前(qian)以語(yu)音識(shi)別、圖片識(shi)別、視頻內(nei)容(rong)分(fen)析為主(zhu)的感知類(lei)(lei)應用，內(nei)容(rong)推薦和欺詐(zha)交易攔截等(deng)決(jue)策類(lei)(lei)應用在云(yun)(yun)端大部分(fen)都是以實(shi)時(shi)在線(xian)的方式(shi)提(ti)(ti)供服務；同時(shi)神(shen)經網絡(luo)的參(can)數越(yue)來越(yue)多，數據帶(dai)(dai)(dai)寬需(xu)求(qiu)也越(yue)來越(yue)高，兼顧高帶(dai)(dai)(dai)寬和低延遲變得至(zhi)關重要。云(yun)(yun)燧(sui)i20創新性地采用了(le)高帶(dai)(dai)(dai)寬HBM2E存(cun)儲，實(shi)現了(le)高達819GB/s的超大帶(dai)(dai)(dai)寬，為各(ge)類(lei)(lei)云(yun)(yun)端推理(li)業(ye)務提(ti)(ti)供高吞(tun)吐、低延時(shi)的性能，保障其準確、平穩、高效(xiao)的運行。
自主創新芯片架構
以更高性價比提供極致化性能
新一代“邃思”AI推理芯片采用第二代高性能計算核心和數據引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現了與目前業內7nm
GPU相匹敵的計算能力。不僅如此，基于12nm成熟工藝帶來的成本優勢，使得云燧i20在相同性能表現下更具性價比優勢。并且供應鏈體系更加穩定成熟，客戶的業務需求可以得到及時滿足。
全新一(yi)代“邃思”云(yun)端AI推理芯片(pian)
燧原(yuan)科(ke)技COO張亞(ya)林指(zhi)出：“云(yun)燧i20全(quan)面提升了(le)算(suan)(suan)力(li)，在(zai)兼顧全(quan)精度(du)算(suan)(suan)力(li)的(de)(de)(de)(de)同時大(da)幅度(du)提高(gao)了(le)整型運算(suan)(suan)，大(da)力(li)加強了(le)模型覆蓋率(lv)和(he)泛化支持(chi)的(de)(de)(de)(de)能力(li)，在(zai)多項(xiang)基(ji)準測試(shi)中，其模型性(xing)(xing)能、能效(xiao)比均處于國內領先水平，可以滿足云(yun)端(duan)推理業務高(gao)度(du)多樣化的(de)(de)(de)(de)需求。燧原(yuan)科(ke)技目(mu)前已經擁有(you)第二代的(de)(de)(de)(de)訓練和(he)推理產(chan)品，針(zhen)對客(ke)(ke)戶(hu)的(de)(de)(de)(de)業務場(chang)景(jing)提供(gong)原(yuan)始創新的(de)(de)(de)(de)、具(ju)有(you)高(gao)性(xing)(xing)能及(ji)性(xing)(xing)價(jia)比的(de)(de)(de)(de)‘訓練+推理’完整解決方(fang)案，并(bing)支持(chi)國產(chan)服務器(qi)和(he)操作系統，可以幫助客(ke)(ke)戶(hu)進行云(yun)端(duan)系統部署，全(quan)面且持(chi)續為客(ke)(ke)戶(hu)創造價(jia)值。”
產學研協同
引領原始創新國產AI算力落地
自第一代云端AI推理(li)加速卡“云燧(sui)i10”發布后(hou)，燧(sui)原科技在構建原始(shi)創新的(de)通用(yong)算力(li)和(he)自主生態上付出了(le)卓絕的(de)努力(li)。以其國產AI算力(li)產品為核心，以商業(ye)生態和(he)科研生態為支撐，實現燧(sui)原科技的(de)云端AI推理(li)產品在互聯網、金融、政務等多家客戶的(de)商業(ye)落(luo)地，并獲得認可。
之江實(shi)驗室(shi)發展合作部副部長吳麗娟表示(shi)：“之江實(shi)驗室(shi)今年(nian)3月與燧(sui)原(yuan)科技(ji)成立聯(lian)合研(yan)(yan)究中心，圍繞人(ren)工(gong)(gong)智能應用(yong)場景，共同開(kai)發具有標桿性的(de)(de)技(ji)術解決方案(an)，構建(jian)開(kai)源開(kai)放的(de)(de)創(chuang)新生態系統(tong)。目前(qian)，燧(sui)原(yuan)科技(ji)的(de)(de)第一(yi)代人(ren)工(gong)(gong)智能訓(xun)練產品‘云(yun)燧(sui)T11’正在(zai)之江實(shi)驗室(shi)搭(da)建(jian)千(qian)卡高性能計算(suan)的(de)(de)液冷集群，打造符(fu)合國家(jia)碳中和政策導向的(de)(de)低(di)碳綠(lv)色(se)數據中心。未(wei)來，我們(men)還(huan)會(hui)在(zai)智能計算(suan)的(de)(de)更(geng)多領域合作研(yan)(yan)發。”
上(shang)(shang)海銀(yin)行(xing)(xing)(xing)自貿區陳行(xing)(xing)(xing)長表示：“燧(sui)原科技(ji)(ji)(ji)的(de)第一(yi)代人工智(zhi)(zhi)能推理產(chan)品云燧(sui)i10具有科技(ji)(ji)(ji)獨(du)創(chuang)性(xing)和技(ji)(ji)(ji)術領先優勢(shi)。上(shang)(shang)海銀(yin)行(xing)(xing)(xing)和燧(sui)原科技(ji)(ji)(ji)已經簽署(shu)了深度戰略(lve)合作(zuo)(zuo)協議，在智(zhi)(zhi)慧(hui)金融領域開展了戰略(lve)合作(zuo)(zuo)，通過(guo)場(chang)景(jing)化、智(zhi)(zhi)能化、融合化的(de)創(chuang)新產(chan)品，將金融科技(ji)(ji)(ji)融入銀(yin)行(xing)(xing)(xing)服務(wu)的(de)全流程(cheng)，用便捷流暢的(de)客戶體驗、優質高效的(de)服務(wu)品質，實現傳(chuan)統銀(yin)行(xing)(xing)(xing)服務(wu)方式的(de)突破(po)式變(bian)革。燧(sui)原科技(ji)(ji)(ji)將助力上(shang)(shang)海銀(yin)行(xing)(xing)(xing)向實現數字(zi)化、智(zhi)(zhi)能化轉(zhuan)型邁出堅(jian)實的(de)一(yi)步。”
浪潮信息副總裁劉軍表(biao)示：“燧原(yuan)科技是(shi)國(guo)產人工智能計算(suan)芯(xin)片的(de)領軍企業(ye)，浪潮信息與燧原(yuan)科技通(tong)過元(yuan)腦生態聯合(he)創新，在AI整機系統、AI算(suan)力優化(hua)、場景方案落地等(deng)多方面深入(ru)合(he)作。此次云燧i20的(de)發布(bu)，標(biao)志著燧原(yuan)從(cong)訓練到推理全面進(jin)入(ru)2.0時代，這也是(shi)國(guo)產AI算(suan)力發展(zhan)的(de)里程碑。我們期待和燧原(yuan)一起緊密合(he)作，共同推進(jin)中國(guo)人工智能產業(ye)的(de)快速發展(zhan)。”
