企業在開發及(ji)實施(shi)大(da)模(mo)型(xing)應用過程中，面臨四大(da)挑(tiao)戰：
● 首(shou)先，數據準備時間長，數據來(lai)源分散，歸集慢，預處(chu)理百TB數據需10天左右;
● 其次，多(duo)模態(tai)大(da)模型以(yi)海量文(wen)本、圖片為訓練集(ji)，當前(qian)海量小(xiao)文(wen)件的加載速度不足100MB/s，訓練集(ji)加載效率低(di);
● 第三(san)，大(da)模型參數頻繁(fan)調(diao)優(you)，訓練(lian)平(ping)臺不穩定，平(ping)均約2天出(chu)現一次訓練(lian)中(zhong)斷，需要Checkpoint機制(zhi)恢復(fu)訓練(lian)，故障(zhang)恢復(fu)耗(hao)時(shi)超過一天;
● 最后，大模(mo)型實施門檻高，系統搭建繁雜，資源調度難，GPU資源利(li)用率通常(chang)不到(dao)40%。
華為順應大模型時代AI發展趨(qu)勢，針對(dui)不(bu)(bu)同行業、不(bu)(bu)同場景大模型應用，推(tui)出OceanStor A310深度學習數據湖存儲與FusionCube A3000訓/推(tui)超融合一體機。
華為數據存儲產(chan)品線總裁 周(zhou)躍峰
OceanStor A310深(shen)度學習(xi)數據湖存儲，面向基(ji)礎/行業(ye)大模(mo)型數據湖場景，實現(xian)從數據歸集、預處理(li)到模(mo)型訓練、推理(li)應用(yong)的AI全(quan)流(liu)程海量數據管理(li)。
OceanStor A310單框5U支持業界最(zui)高的(de)400GB/s帶寬以及1200萬IOPS的(de)最(zui)高性能(neng)，可線性擴展至4096節點，實(shi)現(xian)多協議無損互通。全局文(wen)件(jian)系(xi)統GFS實(shi)現(xian)跨地域智(zhi)能(neng)數(shu)據(ju)編織，簡(jian)化數(shu)據(ju)歸集流(liu)程(cheng);通過近(jin)存計算實(shi)現(xian)近(jin)數(shu)據(ju)預(yu)處理，減少數(shu)據(ju)搬移，預(yu)處理效(xiao)率提升30%。
FusionCube A3000訓/推超融合一體機(ji)，面向行(xing)業大模型訓練/推理場景，針(zhen)對百(bai)億級(ji)模型應用，集(ji)成OceanStor A300高(gao)性(xing)能存儲節點(dian)、訓/推節點(dian)、交換設(she)備、AI平臺(tai)軟件與(yu)管理運維軟件，為大模型伙伴提供拎包入住式(shi)(shi)的(de)部(bu)署(shu)體驗，實現一站(zhan)式(shi)(shi)交付。
FusionCube A3000開箱(xiang)即用，2小時內即可(ke)完成部署。訓/推(tui)節點(dian)與(yu)存儲節點(dian)均可(ke)獨立水平擴(kuo)展，以(yi)(yi)匹配不同(tong)(tong)規模(mo)的模(mo)型(xing)需求。同(tong)(tong)時FusionCube A3000通過高性能容器實現(xian)多個模(mo)型(xing)訓練推(tui)理任(ren)務共享GPU，將資(zi)源利用率(lv)從40%提升到70%以(yi)(yi)上。FusionCube A3000支持兩種(zhong)靈活的商業模(mo)式，包括華為昇騰一站(zhan)(zhan)式方案，以(yi)(yi)及開放計(ji)算、網絡(luo)、AI平臺軟(ruan)件的第三(san)方伙伴一站(zhan)(zhan)式方案。
在本次活動中，中科院自動化所紫東太初大模型中心常務副主任、武漢人工智能研(yan)究院院長王金橋;科(ke)大訊飛副總裁、AI工(gong)程(cheng)院院長潘青華;智譜AI算法工(gong)程(cheng)師陶治華分別就AI大模(mo)型的應用實踐以及基(ji)于(yu)華為AI存儲(chu)的聯合創新發表主題(ti)演講。
中(zhong)科(ke)院自動化所紫(zi)東(dong)太初大(da)模(mo)型中(zhong)心常(chang)務副(fu)主任
武漢(han)人工(gong)智能研究(jiu)院(yuan)院(yuan)長 王金橋
科大訊飛副總裁、AI工(gong)程院(yuan)院(yuan)長 潘(pan)青華
智譜AI算法(fa)工程師 陶治華
華為數據(ju)(ju)存(cun)儲產品線總裁周躍峰表示：大(da)模(mo)型時代(dai)，數據(ju)(ju)決定AI智能的(de)高(gao)度(du)。作為數據(ju)(ju)的(de)載(zai)體，數據(ju)(ju)存(cun)儲成為AI大(da)模(mo)型的(de)關鍵基礎設施。華為數據(ju)(ju)存(cun)儲未來將(jiang)持續創新(xin)，面(mian)向AI大(da)模(mo)型時代(dai)提供多樣(yang)化的(de)方(fang)案與(yu)產品，攜(xie)手伙伴共同推(tui)進AI賦能千行百業。
下滑了解(jie)更多發布會精彩內容
