AI 創業公司 MosaicML 近日發布了其語言模型 MPT-30B，該模型具有 300 億參數，訓練成本“僅有其他同類競品模型的零頭”，有望促進行業逐步降低此類模型訓練成本，擴大 AI 模型在更廣泛領域的運用。
▲ 圖源 MosaicML
MosaicML 公司的首席執行官兼聯合創始人 Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬美元(約 502.44 萬元人民幣)，遠低于 GPT-3 等同類產品所需的數千萬美元訓練成本。此外，由于 MPT-30B 的成本(ben)較(jiao)低，體(ti)積較(jiao)小，它也可以更快速地(di)被訓(xun)練(lian)，并且更適合(he)部署(shu)在本(ben)地(di)硬件上(shang)。
據悉(xi)，MosaicML 使用(yong)(yong)了(le) Alibi 和 FlashAttention 技術來優(you)化模型，可以(yi)實(shi)現更(geng)長(chang)的(de)(de)文(wen)本長(chang)度和對 GPU 計(ji)算的(de)(de)更(geng)高利用(yong)(yong)率。MosaicML 也(ye)是少數幾(ji)個能(neng)夠使用(yong)(yong) Nvidia H100 GPU 的(de)(de)實(shi)驗室，相比以(yi)往成果(guo)，當下每(mei)塊 GPU 的(de)(de)吞吐量增(zeng)加了(le) 2.4 倍以(yi)上，可帶來更(geng)快的(de)(de)完成時間。
除(chu)了讓 AI 技(ji)術更容易(yi)獲得(de)之外，MosaicML 還專注于提高數據(ju)質(zhi)量并提高模型性(xing)能。他們目前正在開(kai)發(fa)一款工具，可以幫助用戶在預訓練(lian)過程中分層加入(ru)特定領域(yu)的數據(ju)，以確保訓練(lian)中開(kai)業實現多樣化和高質(zhi)量的數據(ju)組合。
MosaicML 公司表示，將模型擴展到 300 億參數只是第一步，接下來他們將以降低成本為前提，推出體積更大、質量更高的模型。
目前開(kai)發(fa)者可(ke)(ke)以(yi)從 Hugging Face 下載并使用(yong)開(kai)源的 MPT-30B 基礎(chu)模型，開(kai)發(fa)者還可(ke)(ke)以(yi)在本(ben)地(di)硬件上(shang)使用(yong)自己(ji)的數(shu)據，對模型進行微調(diao)。
