英特爾公布 AI 大模型 Aurora genAI，具備 1 萬億參數
wccftech 報道(dao)，英特爾(er)近日公布(bu)了(le)旗下生(sheng)成式 AI 大模型 Aurora genAI。
據悉，Aurora genAI 參數量高達 1 萬億，其開發依賴于 Megatron 和 DeepSpeed 框架，這些結構增強了模型的強度和容量。而 ChatGPT 模型參數量是 1750 億，這也意味著，Aurora genAI 的參數量是ChatGPT 的近 6 倍。
據悉，Aurora genAI 模型是英特爾是與阿貢國家實驗室和 HPE 合作開發的，它是一個純粹以科學為中心的生成式 AI 模型，將被用(yong)于(yu)各(ge)類科學應(ying)用(yong)，包(bao)括分子和材料設(she)計、乃至涵蓋數百萬來源的(de)綜合知識素(su)材，據(ju)此(ci)為系(xi)統生(sheng)物學、高分子化學、能(neng)源材料、氣候(hou)科學和宇(yu)宙學等(deng)提供(gong)(gong)值得(de)探索的(de)實驗(yan)設(she)計思路。這些模型還將用(yong)于(yu)加速癌癥(zheng)及其他(ta)疾病的(de)相關生(sheng)物過程的(de)識別(bie)速度，并為藥物設(she)計提供(gong)(gong)靶(ba)點(dian)建(jian)議(yi)。
除了科研之外，Aurora genAI 還具有在自然語言處理、機器(qi)翻譯(yi)、圖像(xiang)識(shi)別(bie)、語音(yin)識(shi)別(bie)、金融建模等(deng)商業(ye)領域的應用(yong)潛力。
阿貢實驗(yan)(yan)室副(fu)主(zhu)任 Rick Stevens 介紹(shao)稱(cheng)，“這個項目希望充分利用 Aurora 超(chao)級計(ji)算機(ji)的(de)全部(bu)潛力，為(wei)能(neng)源部(bu)各實驗(yan)(yan)室的(de)下游科學研究和其(qi)他跨機(ji)構合(he)作計(ji)劃提供資源。”
根據介(jie)紹(shao)，Aurora genAI 模型將由生(sheng)物學(xue)(xue)、化學(xue)(xue)、材料(liao)科(ke)學(xue)(xue)、物理(li)學(xue)(xue)、醫學(xue)(xue)等學(xue)(xue)科(ke)的常規文本、代碼、科(ke)學(xue)(xue)文本和結構(gou)化數據訓(xun)練而成。阿貢實驗(yan)(yan)室正(zheng)帶頭組織(zhi)(zhi)國際合(he)作以(yi)推(tui)進該項目，參與方包括英(ying)特(te)爾、HPE、能源(yuan)部各下轄實驗(yan)(yan)室、美(mei)國及其他國際性高校、非營利組織(zhi)(zhi)，以(yi)及 RIKEN 等國際合(he)作伙伴(ban)。
Aurora genAI 模型將運行在(zai)英(ying)特(te)爾(er)為阿(a)拉貢國(guo)家實(shi)驗室開發(fa)的 Aurora 超算(suan)(suan)上，其(qi)性能(neng)達到了 200 億(yi)億(yi)次，是當前 TOP500 超算(suan)(suan)冠軍 Frontier 的 2 倍。近日，英(ying)特(te)爾(er)和(he)阿(a)貢國(guo)家實(shi)驗室還公布了 Aurora 的安裝(zhuang)進度、系統規格和(he)早期性能(neng)測試結果(guo)：
英特爾已完(wan)成 Aurora 超級計(ji)算機(ji) 1 萬多塊刀(dao)片服務器(qi)的交付。
Aurora 的(de)完整系統采用(yong) HPE Cray EX 超算架構，將(jiang)擁有 63744 個 GPU 和 21248 個 CPU，輔以(yi) 1024 個 DAOS 存儲節(jie)點。Aurora 還將(jiang)配備 HPE Slingshot 高(gao)性能(neng)以(yi)太網(wang)絡。
早期(qi)性(xing)能(neng)結果顯示，Aurora 超算系統在實際科學和工程負載(zai)上具有(you)(you)領先性(xing)能(neng)，性(xing)能(neng)表現比 AMD MI250 GPU 高出 2 倍，在 QMCPACK 量子力(li)學應用程序上的(de)(de)性(xing)能(neng)比 H100 提高 20%，且能(neng)夠(gou)在數百個節(jie)點(dian)上保持近線性(xing)的(de)(de)算力(li)擴展。作為 ChaGPT 的(de)(de)有(you)(you)力(li)競爭者，Aurora genAI 的(de)(de)公布預示著 AI 大模型(xing)賽道又(you)迎(ying)來(lai)了新的(de)(de)重磅玩家，并極有(you)(you)可能(neng)在未來(lai)對各種科學領域產生(sheng)重大影(ying)響。不過目前，Aurora genAI 更像是(shi)處于概(gai)念階段(duan)，英特爾的(de)(de)目標是(shi)到(dao) 2024 年完成(cheng) Aurora genAI 模型(xing)的(de)(de)構建(jian)。
對于(yu)(yu)英特爾的萬億參數 AI 大(da)模(mo)(mo)型(xing) Aurora genAI，有網友表示：“我(wo)(wo)(wo)不(bu)(bu)相信僅僅增(zeng)(zeng)加(jia)參數數量(liang)就能改進模(mo)(mo)型(xing)，我(wo)(wo)(wo)認為我(wo)(wo)(wo)們(men)不(bu)(bu)應該(gai)發布新聞(wen)稿追逐增(zeng)(zeng)加(jia)參數數量(liang)。我(wo)(wo)(wo)在(zai)研(yan)究(jiu)中還發現，較大(da)的模(mo)(mo)型(xing)通(tong)常不(bu)(bu)會表現得(de)更好(hao)，但由(you)于(yu)(yu)不(bu)(bu)負責任(ren)的營(ying)銷(xiao)，這變得(de)越來越難以向非技(ji)術人(ren)員解釋。如果我(wo)(wo)(wo)們(men)對這些(xie)營(ying)銷(xiao)放任(ren)不(bu)(bu)管(guan)，我(wo)(wo)(wo)們(men)會讓很多人(ren)失望，并降低大(da)家(jia)對 AI 未來增(zeng)(zeng)長潛力(li)的信心——我(wo)(wo)(wo)們(men)不(bu)(bu)想(xiang)要(yao)另一個 AI 寒冬。訓練這些(xie)大(da)型(xing)模(mo)(mo)型(xing)會產(chan)生巨大(da)的環(huan)境成本，而且理解、使(shi)用和控制這些(xie)非常大(da)的模(mo)(mo)型(xing)(即(ji)使(shi)作為研(yan)究(jiu)人(ren)員)也變得(de)更加(jia)困(kun)難。”
AI 軍備競賽進入“萬億參數模型”對抗時代?
近幾(ji)年(nian)，隨著(zhu) AI 大(da)模型賽道持(chi)續升(sheng)溫，越來越多(duo)的科技巨頭加入(ru)進(jin)來，并不(bu)斷打破(po)參(can)數規模記錄。
2021 年 1 月，谷(gu)歌大(da)(da)腦團隊(dui)重磅推出超(chao)級語(yu)言模(mo)(mo)型 Switch Transformer，該(gai)模(mo)(mo)型有 1.6 萬億(yi)個參數(shu)(shu)(shu)，是當時(shi)規(gui)模(mo)(mo)最大(da)(da)的 NLP 模(mo)(mo)型。同年 6 月，智(zhi)源研究院發布(bu)悟道 2.0，該(gai)系統(tong)參數(shu)(shu)(shu)數(shu)(shu)(shu)量已超(chao)過 1.75 萬億(yi)，是當時(shi)全球(qiu)最大(da)(da)的大(da)(da)規(gui)模(mo)(mo)智(zhi)能模(mo)(mo)型系統(tong)。同年 11 月，阿里達摩(mo)院發布(bu)多模(mo)(mo)態大(da)(da)模(mo)(mo)型 M6，其參數(shu)(shu)(shu)已從萬億(yi)躍遷至 10 萬億(yi)，是當時(shi)全球(qiu)最大(da)(da)的 AI 預訓練模(mo)(mo)型。
有分析指出，中美 AI 軍(jun)備競(jing)賽的(de)核心戰場(chang)正是(shi)萬億級(ji)預(yu)(yu)訓練模型。打造千萬億參數規(gui)模的(de)預(yu)(yu)訓練模型是(shi)人(ren)類(lei)的(de)一個(ge)超(chao)級(ji)工程，可能會對(dui)國家甚至人(ren)類(lei)社會產生重大影響。
那么，模型參數越大就越好嗎?
鵬城(cheng)實驗(yan)室網絡智(zhi)能部(bu)云計(ji)算所副所長(chang)相洋曾在接受 InfoQ 采訪(fang)時指(zhi)出：
我(wo)們(men)(men)最初見(jian)到(dao)(dao)的(de)(de)一些模(mo)(mo)型(xing)是幾萬(wan)個參(can)數，后(hou)來就到(dao)(dao)了(le)幾億(yi)(yi)、幾十億(yi)(yi)、百(bai)億(yi)(yi)、千億(yi)(yi)，還有(you)(you)可能上萬(wan)億(yi)(yi)。目(mu)前從事實(shi)來說(shuo)，的(de)(de)確是模(mo)(mo)型(xing)越大數據(ju)越多(duo)，且質量越好，帶來的(de)(de)性能是越高的(de)(de)。但是我(wo)個人認為(wei)，這個提升曲(qu)線可能會有(you)(you)一個瓶頸期(qi)(qi)，到(dao)(dao)了(le)瓶頸或(huo)者平(ping)臺期(qi)(qi)的(de)(de)時(shi)候，它的(de)(de)上升速度可能就會緩慢(man)，或(huo)者說(shuo)基本就達到(dao)(dao)穩定(ding)(ding)了(le)。就目(mu)前而言，可能我(wo)們(men)(men)還沒有(you)(you)到(dao)(dao)達平(ping)臺期(qi)(qi)。所(suo)以(yi)說(shuo)，“模(mo)(mo)型(xing)參(can)數越大越好”這個說(shuo)法在一定(ding)(ding)程度上是成立(li)的(de)(de)。
但是，判斷一個大模型是否優秀，不能只看參數，還要看實際表現。模(mo)(mo)型得出來的(de)任務效(xiao)果好(hao)，我們就可以認為這(zhe)個模(mo)(mo)型是個好(hao)模(mo)(mo)型。參數不是問題，當機器無論是在(zai)存儲還是計算能力(li)都足(zu)夠強的(de)時(shi)候(hou)，大(da)模(mo)(mo)型也可以變成小模(mo)(mo)型。
此(ci)外(wai)，還要考(kao)慮模(mo)型(xing)的(de)可解(jie)釋能力，以及是(shi)(shi)否容易受噪聲的(de)攻擊。如(ru)果該(gai)模(mo)型(xing)有(you)一定(ding)的(de)解(jie)釋能力，那(nei)這(zhe)個(ge)模(mo)型(xing)就(jiu)是(shi)(shi)一個(ge)好模(mo)型(xing);如(ru)果該(gai)模(mo)型(xing)不易被噪聲數(shu)據或(huo)是(shi)(shi)其他(ta)因素影響的(de)話，那(nei)這(zhe)個(ge)模(mo)型(xing)也是(shi)(shi)一個(ge)好模(mo)型(xing)。
本文轉載來(lai)源：
//www.infoq.cn/news/bx7SvZNNgOd63b2hI1yz
