企業在開發及實施大模型(xing)應用(yong)過程中，面臨四大挑戰：
● 首先，數據(ju)準備時間長，數據(ju)來源(yuan)分散，歸集慢，預處理百TB數據(ju)需10天左右(you);
● 其次，多模態大模型(xing)以(yi)海(hai)量(liang)文本(ben)、圖片為訓練(lian)集(ji)，當前海(hai)量(liang)小(xiao)文件的加(jia)載速(su)度不足100MB/s，訓練(lian)集(ji)加(jia)載效率低(di);
● 第三，大(da)模型參數頻繁調(diao)優，訓練平臺(tai)不(bu)穩定，平均約(yue)2天(tian)出現(xian)一次訓練中斷，需要(yao)Checkpoint機(ji)制恢(hui)復(fu)訓練，故(gu)障恢(hui)復(fu)耗時超過一天(tian);
● 最(zui)后，大模型實施門檻高(gao)，系(xi)統搭建繁雜(za)，資(zi)源調度難，GPU資(zi)源利用率通(tong)常不到(dao)40%。
華為順應大(da)模(mo)型時代AI發展(zhan)趨勢，針對不同行業、不同場景大(da)模(mo)型應用，推(tui)(tui)出OceanStor A310深度學習(xi)數(shu)據(ju)湖存儲與FusionCube A3000訓/推(tui)(tui)超融(rong)合一體機。
華為(wei)數據存(cun)儲產品(pin)線總裁 周躍峰
OceanStor A310深度學習數(shu)據(ju)湖存儲，面向基礎/行業大模型數(shu)據(ju)湖場景，實現從數(shu)據(ju)歸集、預處理(li)到模型訓練、推理(li)應用的AI全(quan)流程海(hai)量數(shu)據(ju)管(guan)理(li)。
OceanStor A310單(dan)框5U支持業界(jie)最高(gao)(gao)的(de)400GB/s帶寬以及1200萬IOPS的(de)最高(gao)(gao)性能(neng)，可線性擴展(zhan)至4096節點，實現多協議無損互通。全局文(wen)件系統GFS實現跨(kua)地域智能(neng)數(shu)據(ju)編織，簡(jian)化數(shu)據(ju)歸集流程;通過近存計(ji)算實現近數(shu)據(ju)預處(chu)理(li)，減少(shao)數(shu)據(ju)搬移，預處(chu)理(li)效率提(ti)升30%。
FusionCube A3000訓/推(tui)(tui)超融(rong)合一體機，面向(xiang)行業大模(mo)型訓練/推(tui)(tui)理場景，針對百(bai)億級模(mo)型應用，集成OceanStor A300高性能存儲(chu)節(jie)點、訓/推(tui)(tui)節(jie)點、交換設備、AI平臺軟(ruan)件(jian)與(yu)管(guan)理運維軟(ruan)件(jian)，為大模(mo)型伙伴提供(gong)拎(lin)包入住式的(de)部署體驗，實現一站式交付。
FusionCube A3000開箱即(ji)用(yong)(yong)，2小時內即(ji)可完成部署。訓(xun)/推節點與存(cun)儲(chu)節點均可獨立水(shui)平(ping)擴展(zhan)，以(yi)匹配不(bu)同規模的(de)模型需求。同時FusionCube A3000通(tong)過高性能容(rong)器實現多個(ge)模型訓(xun)練推理(li)任務(wu)共享GPU，將資(zi)源利用(yong)(yong)率從40%提(ti)升(sheng)到70%以(yi)上。FusionCube A3000支(zhi)持兩種靈(ling)活的(de)商業模式(shi)，包括華為昇騰一站(zhan)式(shi)方案(an)，以(yi)及(ji)開放計(ji)算(suan)、網絡、AI平(ping)臺軟(ruan)件的(de)第三方伙伴一站(zhan)式(shi)方案(an)。
在本次活動中，中科院自動化所紫東太初大模型中心常務副主任、武漢人工智能研究(jiu)院(yuan)院(yuan)長王金橋;科大訊飛副總裁、AI工程院(yuan)院(yuan)長潘青華;智譜AI算法工程師(shi)陶治華分別就(jiu)AI大模型的(de)應用實踐(jian)以及基于華為AI存(cun)儲的(de)聯合創新發表主題演講。
中科院自動(dong)化(hua)所紫(zi)東太初大模型中心常務副主任(ren)
武漢人工智能研究(jiu)院院長(chang) 王金(jin)橋
科大訊飛副(fu)總裁、AI工(gong)程(cheng)院(yuan)院(yuan)長 潘青(qing)華
智(zhi)譜AI算法工(gong)程師(shi) 陶(tao)治華
華為(wei)(wei)數(shu)據(ju)存儲產(chan)品線總裁周躍峰(feng)表(biao)示：大模型時代，數(shu)據(ju)決定AI智能的(de)高度。作為(wei)(wei)數(shu)據(ju)的(de)載體(ti)，數(shu)據(ju)存儲成為(wei)(wei)AI大模型的(de)關鍵基礎設(she)施。華為(wei)(wei)數(shu)據(ju)存儲未來將持(chi)續創新，面向AI大模型時代提供多樣化的(de)方(fang)案(an)與產(chan)品，攜手伙伴共(gong)同推(tui)進AI賦能千行百業。
下(xia)滑了解(jie)更(geng)多(duo)發布會精彩內容
