2021年12月7日，燧原科技重磅發布第二代云端人工智能推理(li)(li)加速(su)卡“云燧i20”——這是時隔(ge)僅五個月，繼(ji)今(jin)年7月發(fa)布云端人(ren)工智能(neng)訓練加速(su)卡“云燧T20”之后(hou)，燧原(yuan)科技又推出的全新一代(dai)針對云端推理(li)(li)場景(jing)的AI加速(su)產品。
第(di)二代人工智能(neng)推理加速卡(ka)“云燧(sui)i20”
作為全新一(yi)代云(yun)端AI推(tui)理(li)加(jia)速產品，云(yun)燧i20擁(yong)有迄今(jin)為止業內最大的(de)AI加(jia)速卡存儲帶寬(kuan)，高(gao)達819 GB/s，遠超行業同類產品水平；同時全面支持從FP32、TF32、FP16、BF16到(dao)INT8的(de)計算(suan)精(jing)度。單精(jing)度FP32峰(feng)(feng)值(zhi)(zhi)算(suan)力達到(dao)32 TFLOPS，單精(jing)度張量(liang)TF32峰(feng)(feng)值(zhi)(zhi)算(suan)力達到(dao)128 TFLOPS，整型INT8峰(feng)(feng)值(zhi)(zhi)算(suan)力達到(dao)256 TOPS。對(dui)比第(di)一(yi)代推(tui)理(li)產品，云(yun)燧i20將浮點算(suan)力提升到(dao)1.8倍，整型算(suan)力提升到(dao)3.6倍。
升(sheng)級后的(de)“馭(yu)算(suan)(suan)TopsRider”軟件(jian)棧，在性(xing)能、開(kai)(kai)發效(xiao)率(lv)和模(mo)(mo)型覆蓋面上得到大(da)(da)幅提(ti)升(sheng)。通過引入通用高層圖(tu)優化和大(da)(da)規模(mo)(mo)算(suan)(suan)子融合技術，充分釋放了(le)(le)大(da)(da)容量片(pian)內(nei)存儲(chu)和高帶寬存儲(chu)的(de)利用率(lv)，將模(mo)(mo)型平均性(xing)能提(ti)升(sheng)3.5倍(bei)(bei)，硬件(jian)算(suan)(suan)力(li)(li)利用率(lv)平均提(ti)升(sheng)2倍(bei)(bei)；通過升(sheng)級的(de)編程模(mo)(mo)型以及(ji)算(suan)(suan)子自(zi)動(dong)分片(pian)、自(zi)動(dong)生(sheng)成(cheng)技術，自(zi)定義(yi)算(suan)(suan)子開(kai)(kai)發效(xiao)率(lv)翻(fan)倍(bei)(bei)，模(mo)(mo)型遷移(yi)成(cheng)本大(da)(da)大(da)(da)降低；此(ci)外，馭(yu)算(suan)(suan)增(zeng)強(qiang)了(le)(le)對動(dong)態性(xing)的(de)支持，使云(yun)燧(sui)i20在檢(jian)測、語(yu)音識別(bie)、語(yu)義(yi)理解等場景更具(ju)競爭力(li)(li)。
在經濟(ji)效益和部署靈(ling)活性層(ceng)面，基(ji)于(yu)虛擬化和多(duo)實(shi)例加速(su)技術，云燧i20能夠實(shi)現單卡多(duo)用(yong)戶，同時(shi)支持(chi)6個業務互不(bu)干擾、安(an)全隔離運行。讓更多(duo)云端推理(li)應(ying)用(yong)同時(shi)享受專有的算(suan)力加速(su)，為客戶業務架構帶來輕耦合(he)、靈(ling)活可靠的實(shi)現方式，顯著提升資源利(li)用(yong)率與投入產出比(bi)。
燧原科技(ji)CEO趙立東和(he)COO張亞林(lin)
發布第二代云端AI推理產品
“云燧i20的發布標志著燧原科技在云端AI算力加速領域，從訓練到推理的完整產品線已全面迭代到第二代，能夠以更有競爭力的產品，為互聯網、智慧城市、智慧政務，以及金融、交通、能源等傳統行業客戶提供更優的AI計算方案。”燧原科技CEO趙立東表示，“當前，我國芯片產業正(zheng)處于激(ji)烈的成長與(yu)蛻(tui)變時(shi)代(dai)，燧(sui)原科技(ji)以‘做大芯片，拼硬(ying)科技(ji)’為時(shi)代(dai)使命(ming)，基于原始創新(xin)的軟硬(ying)件架構，正(zheng)在不斷(duan)加速技(ji)術(shu)創新(xin)與(yu)產品迭代(dai)。性能(neng)趕(gan)超業內旗艦GPU的云燧(sui)i20正(zheng)是(shi)我(wo)們的關鍵(jian)成果之一。”
超大帶寬推理加速卡
兼具高吞吐、低延時特性
目前以(yi)(yi)語音識(shi)別(bie)(bie)、圖片識(shi)別(bie)(bie)、視頻內容分(fen)析(xi)為主的(de)(de)感知類(lei)應(ying)用(yong)，內容推(tui)薦和欺詐交易攔截(jie)等決策類(lei)應(ying)用(yong)在云端(duan)大部(bu)分(fen)都(dou)是(shi)以(yi)(yi)實(shi)(shi)時在線的(de)(de)方式提(ti)(ti)供服務(wu)；同時神(shen)經網絡的(de)(de)參數(shu)越來(lai)越多，數(shu)據帶寬需求也越來(lai)越高(gao)(gao)，兼顧(gu)高(gao)(gao)帶寬和低(di)延遲變(bian)得至關重要。云燧i20創新性地采用(yong)了高(gao)(gao)帶寬HBM2E存儲(chu)，實(shi)(shi)現了高(gao)(gao)達819GB/s的(de)(de)超(chao)大帶寬，為各類(lei)云端(duan)推(tui)理(li)業務(wu)提(ti)(ti)供高(gao)(gao)吞(tun)吐、低(di)延時的(de)(de)性能，保障(zhang)其準確、平穩、高(gao)(gao)效的(de)(de)運行。
自主創新芯片架構
以更高性價比提供極致化性能
新一代“邃思”AI推理芯片采用第二代高性能計算核心和數據引擎，由12nm工藝打造，通過架構升級，大大提高了單位面積的晶體管效率，從而實現了與目前業內7nm
GPU相匹敵的計算能力。不僅如此，基于12nm成熟工藝帶來的成本優勢，使得云燧i20在相同性能表現下更具性價比優勢。并且供應鏈體系更加穩定成熟，客戶的業務需求可以得到及時滿足。
全新一代“邃思”云端(duan)AI推(tui)理芯片
燧(sui)(sui)原科技COO張亞(ya)林(lin)指出(chu)：“云(yun)燧(sui)(sui)i20全(quan)面提升了算力(li)，在(zai)兼顧全(quan)精度算力(li)的同時大幅度提高(gao)了整型(xing)運(yun)算，大力(li)加強(qiang)了模(mo)型(xing)覆(fu)蓋率和泛化(hua)支持(chi)的能(neng)力(li)，在(zai)多項基準測試中，其模(mo)型(xing)性能(neng)、能(neng)效比(bi)均(jun)處于(yu)國(guo)(guo)內領先水平，可以滿足云(yun)端推理(li)(li)業務高(gao)度多樣化(hua)的需求。燧(sui)(sui)原科技目前已經擁有(you)第二代的訓(xun)練(lian)和推理(li)(li)產(chan)品，針(zhen)對客戶的業務場景提供原始創(chuang)新(xin)的、具有(you)高(gao)性能(neng)及性價(jia)比(bi)的‘訓(xun)練(lian)+推理(li)(li)’完整解決方(fang)案(an)，并支持(chi)國(guo)(guo)產(chan)服務器和操作系統(tong)，可以幫助客戶進行云(yun)端系統(tong)部署，全(quan)面且(qie)持(chi)續為客戶創(chuang)造價(jia)值。”
產學研協同
引領原始創新國產AI算力落地
自第一代云端AI推理加(jia)速卡“云燧i10”發(fa)布后，燧原(yuan)科技(ji)在(zai)構建原(yuan)始創新(xin)的通用算力(li)和(he)自主生(sheng)態(tai)上付出了卓(zhuo)絕的努力(li)。以其國(guo)產(chan)AI算力(li)產(chan)品(pin)(pin)為核心，以商業(ye)生(sheng)態(tai)和(he)科研生(sheng)態(tai)為支撐，實(shi)現燧原(yuan)科技(ji)的云端AI推理產(chan)品(pin)(pin)在(zai)互聯(lian)網、金融、政務等多家客戶的商業(ye)落地(di)，并(bing)獲得(de)認可。
之江(jiang)實(shi)驗室(shi)發(fa)展合作(zuo)部(bu)副部(bu)長吳麗(li)娟表示(shi)：“之江(jiang)實(shi)驗室(shi)今(jin)年3月與燧(sui)原科技成(cheng)立聯(lian)合研究中(zhong)心，圍繞(rao)人工(gong)智能應用場景，共同開(kai)發(fa)具有標(biao)桿性的技術解決方案，構建開(kai)源開(kai)放的創(chuang)新生態系統。目前，燧(sui)原科技的第一代人工(gong)智能訓練產品‘云燧(sui)T11’正在之江(jiang)實(shi)驗室(shi)搭建千卡高性能計算的液(ye)冷集群，打造(zao)符合國家(jia)碳中(zhong)和政策導向的低碳綠色數據中(zhong)心。未來，我(wo)們還會在智能計算的更(geng)多領域合作(zuo)研發(fa)。”
上海(hai)銀(yin)行(xing)自貿區陳(chen)行(xing)長表(biao)示：“燧原(yuan)科(ke)(ke)技(ji)的(de)(de)(de)第一代(dai)人(ren)工(gong)智(zhi)能推理產(chan)品(pin)云燧i10具(ju)有科(ke)(ke)技(ji)獨創性和技(ji)術(shu)領(ling)先(xian)優勢。上海(hai)銀(yin)行(xing)和燧原(yuan)科(ke)(ke)技(ji)已經簽署了深(shen)度(du)戰略合作(zuo)協議(yi)，在智(zhi)慧金融領(ling)域開展了戰略合作(zuo)，通過場景化(hua)、智(zhi)能化(hua)、融合化(hua)的(de)(de)(de)創新(xin)產(chan)品(pin)，將(jiang)金融科(ke)(ke)技(ji)融入(ru)銀(yin)行(xing)服(fu)務的(de)(de)(de)全(quan)流(liu)程，用便捷(jie)流(liu)暢的(de)(de)(de)客(ke)戶體(ti)驗(yan)、優質高效(xiao)的(de)(de)(de)服(fu)務品(pin)質，實(shi)現傳統銀(yin)行(xing)服(fu)務方式(shi)的(de)(de)(de)突破式(shi)變革。燧原(yuan)科(ke)(ke)技(ji)將(jiang)助力上海(hai)銀(yin)行(xing)向實(shi)現數字化(hua)、智(zhi)能化(hua)轉(zhuan)型(xing)邁出(chu)堅實(shi)的(de)(de)(de)一步。”
浪潮(chao)信(xin)(xin)息(xi)副(fu)總裁(cai)劉軍(jun)表示：“燧(sui)原科技(ji)是國產人工(gong)智能計算芯片的領軍(jun)企業，浪潮(chao)信(xin)(xin)息(xi)與(yu)燧(sui)原科技(ji)通過元腦生態聯(lian)合創新，在AI整機(ji)系(xi)統、AI算力(li)優化、場景方(fang)案(an)落地等多方(fang)面深(shen)入合作。此次云燧(sui)i20的發(fa)布，標志著燧(sui)原從訓練到推(tui)理全面進(jin)入2.0時代(dai)，這也(ye)是國產AI算力(li)發(fa)展的里程碑。我(wo)們期待和燧(sui)原一起緊密合作，共同推(tui)進(jin)中國人工(gong)智能產業的快速(su)發(fa)展。”
