這幾天,「微軟砸下百億美金注資(zi)OpenAI」的消息瘋狂刷屏。

作為一(yi)家(jia)沒有商業模式的(de)公(gong)(gong)司,OpenAI怎么(me)就能(neng)估值百(bai)億美金?投資人這(zhe)(zhe)(zhe)么(me)好忽悠嗎?其實,拉出(chu)OpenAI背(bei)后的(de)ChatGPT,大家(jia)就多(duo)少能(neng)明(ming)白一(yi)點了。這(zhe)(zhe)(zhe)個語言(yan)模型「頂流(liu)」,最近可(ke)謂是無(wu)人不(bu)知,無(wu)人不(bu)曉。而近水(shui)樓(lou)臺先得月的(de)微軟,已經(jing)悄咪咪地在互(hu)聯網(wang)巨頭混(hun)戰(zhan)中,先下了一(yi)城。前(qian)腳(jiao)(jiao)剛表示ChatGPT即將整合(he)進自家(jia)搜索引擎必應,后腳(jiao)(jiao)就放(fang)出(chu)ChatGPT計(ji)劃加(jia)入Office「辦(ban)公(gong)(gong)全家(jia)桶(tong)」這(zhe)(zhe)(zhe)個重磅炸(zha)彈。

2022年,是(shi)AIGC的革命元年。
DALL·E 2的誕(dan)生讓「文生圖(tu)」火(huo)了(le)整整一年(nian),緊跟其后的Stable Diffussion、Midjourney更是(shi)啟發了(le)無數人的藝術靈(ling)感,甚至讓不少畫手感到(dao)了(le)「失業(ye)危機」。到(dao)了(le)年(nian)末(mo),ChatGPT更是(shi)在(zai)全民中掀(xian)起(qi)AIGC的風暴。雖然是(shi)壓軸出(chu)場,但「強化學(xue)習(xi)」(RLHF)賦予(yu)它的魔力,成功地掀(xian)起(qi)了(le)一場全民的狂歡(huan)。剛(gang)剛(gang)我們提到(dao)的這些(xie)應用,雖然看起(qi)來花里胡哨,但在(zai)背后提供支撐的依然是(shi)大(da)家熟知的大(da)模(mo)型們。

眾所周(zhou)知,對于大模型來(lai)說,不(bu)管是前期的(de)訓練還是后期的(de)推(tui)理,都離不(bu)開(kai)巨(ju)量(liang)的(de)「算力」。舉個例子,「當紅炸子雞(ji)」ChatGPT和DALL·E 2基于的(de)GPT-3,以及(ji)國產自研的(de)源(yuan)1.0、悟道和文(wen)心等等,不(bu)僅在參(can)數量(liang)上(shang)達(da)到(dao)了(le)千億級(ji)別,而且(qie)數據集規模也高達(da)TB級(ji)別。想(xiang)要搞定這些「龐然大物」的(de)訓練,就至少(shao)需(xu)要投入(ru)超過1000PetaFlop/s-day(PD)的(de)計算資源(yuan)。

也難怪OpenAI在大煉GPT-3之前,會讓微軟花10億美元給自己獨家定制了一臺當時全世界排名前五的超級計算機。但是問題在于,并不是每個需要到大量AI算力的企業或高校,都能財大氣粗地斥巨資搞一個自己的「人工智能高性(xing)能(neng)計(ji)算(suan)(suan)中(zhong)(zhong)(zhong)心(xin)(xin)」。那么,如果(guo)(guo)我們換一個思路,讓算(suan)(suan)力變得(de)更加「普適(shi)普惠」,是(shi)不是(shi)也能(neng)實現相同或更好的效果(guo)(guo)呢?于是(shi),在2020年12月的時候,國家信息中(zhong)(zhong)(zhong)心(xin)(xin)和浪潮信息聯合發(fa)布了《智能(neng)計(ji)算(suan)(suan)中(zhong)(zhong)(zhong)心(xin)(xin)規(gui)劃建設指南》。其中(zhong)(zhong)(zhong),便提到了一個全新的概念——智能(neng)計(ji)算(suan)(suan)中(zhong)(zhong)(zhong)心(xin)(xin)(簡稱,智算(suan)(suan)中(zhong)(zhong)(zhong)心(xin)(xin))。

為了能更好地解決人工智能領域的問題,智算中心的發展就需要基于最新的AI論和先進的AI計算架構,并以AI芯片、AI服務(wu)器、AI集群為(wei)(wei)算(suan)力的(de)載體。首先,當前主流的(de)AI加速計(ji)(ji)算(suan),主要是采用CPU系統搭載GPU、FPGA、ASIC等異構AI加速芯片。由(you)于GPU芯片中原本為(wei)(wei)圖(tu)形計(ji)(ji)算(suan)設計(ji)(ji)的(de)大量(liang)(liang)算(suan)術(shu)邏(luo)輯單元(ALU),可為(wei)(wei)以張(zhang)量(liang)(liang)計(ji)(ji)算(suan)為(wei)(wei)主的(de)深(shen)度學(xue)習計(ji)(ji)算(suan)提供很好(hao)的(de)加速效(xiao)果,因(yin)此廣受學(xue)術(shu)界和工業界的(de)歡迎。

隨著越(yue)來(lai)越(yue)深入的(de)應用,GPU芯(xin)片本身(shen)也根據AI的(de)計算(suan)特點(dian),進行(xing)了(le)針對性的(de)創新設計,如(ru)張(zhang)量計算(suan)單元、TF32/BF16數值精度、Transformer引擎(Transformer Engine)等。而更(geng)加(jia)「專(zhuan)一」的(de)AI計算(suan)加(jia)速芯(xin)片,主(zhu)要脫(tuo)胎于GPU芯(xin)片。

特斯拉(la)Dojo人工智能訓練(lian)芯(xin)片其次,作為智算中心算力機(ji)組的AI服務器,則采用CPU+AI加速(su)芯(xin)片的異構(gou)(gou)架(jia)構(gou)(gou),通(tong)過集成多顆AI加速(su)芯(xin)片實現超高(gao)(gao)計算性(xing)能。為了滿足各(ge)領域(yu)場景(jing)和復雜的AI模型的計算需(xu)求(qiu),AI服務器對(dui)計算芯(xin)片間互聯、 擴展性(xing)也有著極高(gao)(gao)要求(qiu)。最后,智算中心還需(xu)要對(dui)業界主流、開(kai)源(yuan)、開(kai)放(fang)的軟件生態提供(gong)充分的支(zhi)持。比如,用于開(kai)發AI算法的深度學(xue)習框(kuang)架(jia)TensorFlow和PyTorch,為適應CV、NLP等(deng)特定場景(jing)開(kai)發而構(gou)(gou)建的一系列開(kai)源(yuan)庫(ku)等(deng)等(deng)。

智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)總體架構不過,和(he)(he)國(guo)外那些大廠(chang)給自己定制的高(gao)性能(neng)計(ji)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)不同,智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)其(qi)實是(shi)一(yi)個面(mian)向公眾的基礎(chu)設(she)施,更好(hao)地解決建(jian)不起、用不起算(suan)(suan)(suan)力(li)的問(wen)題。其(qi)中(zhong)(zhong)最為(wei)(wei)直觀的便是(shi),作為(wei)(wei)「神經中(zhong)(zhong)樞」的智(zhi)(zhi)算(suan)(suan)(suan)OS(智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)操作系(xi)統)就是(shi)為(wei)(wei)了讓智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)可(ke)以對算(suan)(suan)(suan)力(li)資源池(chi)進行高(gao)效(xiao)管理和(he)(he)智(zhi)(zhi)能(neng)調度,從而更好(hao)地對外提供算(suan)(suan)(suan)力(li)、數據和(he)(he)算(suan)(suan)(suan)法等服務。如今,距離2020版《智(zhi)(zhi)能(neng)計(ji)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)規劃建(jian)設(she)指(zhi)南》的發(fa)(fa)布已經時隔兩年,而我國(guo)的智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)發(fa)(fa)展也已經進入(ru)了新(xin)階段。為(wei)(wei)此,國(guo)家信息中(zhong)(zhong)心(xin)(xin)(xin)和(he)(he)浪(lang)潮(chao)信息聯合開展了與時俱進的研究,于2023年1月推出了更新(xin)的《智(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心(xin)(xin)(xin)創(chuang)新(xin)發(fa)(fa)展指(zhi)南》(以下(xia)簡(jian)稱「指(zhi)南」)。

所以(yi),為何還要興建智(zhi)算(suan)中心?
智(zhi)算(suan)中心是數字經濟時代促進產業轉(zhuan)型升級、優化產業結構、提(ti)升城市競爭力(li)(li)的(de)關鍵基礎設施,并為快速增長(chang)的(de)人工智(zhi)能算(suan)力(li)(li)需求提(ti)供(gong)了必不可(ke)少的(de)支撐。
具體來說可以分為四個方面:推進AI產業(ye)(ye)化(hua)、賦能產業(ye)(ye)AI化(hua)、助力治理智(zhi)能化(hua)、促進產業(ye)(ye)集群化(hua)。
AI產業化
AI產業化的(de)一個重要(yao)例子,就是(shi)自動駕(jia)(jia)駛(shi)。在自動駕(jia)(jia)駛(shi)的(de)場景中,需要(yao)基于AI技(ji)術,讓車輛能(neng)夠像人類駕(jia)(jia)駛(shi)員一樣準確識(shi)別駕(jia)(jia)駛(shi)環境中的(de)關鍵信息(xi),并(bing)對周圍運動單元(yuan)的(de)潛在軌跡做出預判(pan)。

在(zai)訓練算(suan)力(li)(li)(li)消耗上,自動(dong)(dong)駕駛感(gan)所(suo)采(cai)用的(de)知模型要遠大(da)于一(yi)般的(de)計算(suan)機視覺感(gan)知模型。比(bi)如,特斯拉的(de)L2級FSD自動(dong)(dong)駕駛融合感(gan)知模型,訓練過程使用了(le)百(bai)萬量級的(de)道路采(cai)集(ji)視頻,算(suan)力(li)(li)(li)投入約為500PD。而且,隨著自動(dong)(dong)駕駛級別從L2提升到L4,對(dui)算(suan)力(li)(li)(li)的(de)需求將進(jin)一(yi)步提高。對(dui)此,智算(suan)中心提供(gong)的(de)普惠算(suan)力(li)(li)(li),可以極大(da)降低(di)自動(dong)(dong)駕駛所(suo)需算(suan)力(li)(li)(li)的(de)成本。
產業AI化
在2022年,有一(yi)個(ge)概念非常流(liu)行,叫「AI for Science」。這是一(yi)種新的科研范式(shi),指科學家們用(yong)AI技術作(zuo)為生(sheng)產工(gong)具。要說今(jin)年AI for Science最廣為人知(zhi)的例子之一(yi),就是DeepMind開發的AlphaFold 2了。

截至目前,AlphaFold 2已經可以(yi)(yi)預測(ce)出(chu)2億(yi)多個蛋白質結構,幾(ji)乎覆蓋(gai)了(le)整(zheng)個「蛋白質宇宙」。通過AlphaFold 2,單個蛋白結構的(de)預測(ce)時間縮短(duan)到了(le)分鐘級,準(zhun)確率也(ye)達(da)到了(le)92.4%。AlphaFold 2的(de)開發(fa),就(jiu)是以(yi)(yi)巨量算(suan)(suan)力(li)為(wei)支(zhi)撐(cheng)的(de)。僅在(zai)訓(xun)練數據準(zhun)備階段(duan),AlphaFold 2就(jiu)消(xiao)耗了(le)約2億(yi)核時的(de)CPU算(suan)(suan)力(li),訓(xun)練過程(cheng)中(zhong)更是消(xiao)耗了(le)約300PD的(de)AI算(suan)(suan)力(li)。而非常(chang)契合AI for Science算(suan)(suan)力(li)需求的(de)智算(suan)(suan)中(zhong)心,將成為(wei)支(zhi)撐(cheng)高(gao)校和科(ke)研(yan)院所高(gao)質量科(ke)研(yan)的(de)重要基礎設施。治理智能(neng)化
另外,智算(suan)中(zhong)心還能(neng)(neng)為城(cheng)市公(gong)共服務和智能(neng)(neng)化治理,提供(gong)智算(suan)能(neng)(neng)力支撐。產(chan)業集群化
智算中心能夠聚(ju)合(he)當(dang)地(di)人工智能的(de)研發優(you)勢、人才優(you)勢、產(chan)品(pin)優(you)勢與產(chan)業投資,實現產(chan)業鏈(lian)協同,促進產(chan)業集(ji)群化發展。

智算(suan)中心(xin)產業鏈現在,智算(suan)中心(xin)更是成為提升國(guo)際(ji)競爭力(li)的(de)(de)關(guan)(guan)鍵基礎設施。我們都知道,人(ren)均GDP指(zhi)標(biao)可以(yi)衡量一個國(guo)家(jia)經濟(ji)發(fa)展,人(ren)均算(suan)力(li)水平(ping)的(de)(de)高(gao)低也可以(yi)衡量一個國(guo)家(jia)的(de)(de)智能(neng)化水平(ping)。根據《2021-2022全球計(ji)算(suan)力(li)指(zhi)數(shu)評估報告》,國(guo)家(jia)計(ji)算(suan)力(li)指(zhi)數(shu)與GDP的(de)(de)走勢(shi)呈現出了顯著的(de)(de)正(zheng)相關(guan)(guan),計(ji)算(suan)力(li)指(zhi)數(shu)平(ping)均每提高(gao)1點,數(shu)字經濟(ji)和GDP將分別增長(chang)3.5‰和1.8‰

計算力(li)指(zhi)數(shu)與GDP回歸(gui)分析趨勢(shi)經研究測算,「十四(si)五」期間,在(zai)智算中(zhong)心實現(xian)80%應用水平的(de)(de)情況下,城市對智算中(zhong)心的(de)(de)投資,可帶動(dong)人工智能核心產業(ye)增長(chang)約2.9-3.4倍、帶動(dong)相(xiang)關產業(ye)增長(chang)約36-42倍,城市/地(di)區在(zai)智算中(zhong)心建設投入的(de)(de)增長(chang)量(liang)對創新產出的(de)(de)貢獻(xian)率約為14%-17%。不(bu)(bu)難看出,智算中(zhong)心對于(yu)城市經濟發展,已經形成一股不(bu)(bu)可忽(hu)視的(de)(de)力(li)量(liang)。

智算(suan)中(zhong)心項目的經濟社會效益基于這(zhe)些原因(yin),智算(suan)中(zhong)心這(zhe)個概念一經提出,便引發了建設(she)熱(re)潮。據統計,現在(zai)全國有超(chao)過30個城(cheng)市(shi)正在(zai)建設(she)或(huo)提出建設(she)智算(suan)中(zhong)心。
然(ran)而,問題也隨之而來,不可忽視的是,在如(ru)火如(ru)荼的建設過程中,這些智算中心也暴露出了很多問題和挑(tiao)戰。
首先,我國(guo)對智(zhi)(zhi)能(neng)算(suan)(suan)力(li)的(de)需(xu)求與(yu)日俱增。《2022-2023中(zhong)國(guo)人工(gong)智(zhi)(zhi)能(neng)計(ji)算(suan)(suan)力(li)發展評估報(bao)告(gao)》數據(ju)顯示,2021年(nian)我國(guo)智(zhi)(zhi)能(neng)算(suan)(suan)力(li)規模達155.2 EFLOPS(FP16),預計(ji)到(dao)2026年(nian),我國(guo)的(de)智(zhi)(zhi)能(neng)算(suan)(suan)力(li)規模將達到(dao)1,271.4 EFLOPS。在未來80%的(de)場景都將基(ji)于AI,它們(men)所占據(ju)的(de)大部(bu)分(fen)算(suan)(suan)力(li)資(zi)源,都是由智(zhi)(zhi)算(suan)(suan)中(zhong)心承載。

我國智(zhi)(zhi)能算力發展情(qing)況其次,圍繞算法的服務模(mo)式也(ye)需要完善。自2011年以來,全球AI領軍企業和研究機構紛(fen)紛(fen)加入(ru)AI大模(mo)型研究,模(mo)型參數(shu)急劇(ju)增長。在短短三(san)四(si)年時(shi)間內,參數(shu)規(gui)模(mo)快速從億級(ji)突破至(zhi)萬(wan)億級(ji),同時(shi)出(chu)現(xian)了很多代表性大模(mo)型,如谷歌(ge)發布(bu)的BERT,OpenAI發布(bu)的GPT-3等。傳統計算范式的改變,也(ye)必然推動智(zhi)(zhi)算中心的服務模(mo)式從提(ti)供(gong)算力為主(zhu),向提(ti)供(gong)「算法+算力」轉(zhuan)變。

怎么解決?
對(dui)此,《指南》給出的解決思路是:1. 普適普惠(hui);2. 開放兼容(rong)。
先(xian)來(lai)說什么(me)叫「普適(shi)普惠」。普適(shi)普惠是指,發揮公(gong)共(gong)基礎設施(shi)的社會價值,既要滿(man)足(zu)用戶對(dui)(dui)(dui)通用算(suan)(suan)力(li)的需(xu)求(qiu)(qiu),又要滿(man)足(zu)不(bu)同(tong)用戶不(bu)同(tong)場景對(dui)(dui)(dui)多(duo)元(yuan)化算(suan)(suan)力(li)的需(xu)求(qiu)(qiu)。具(ju)體來(lai)說,智算(suan)(suan)中心要朝著(zhu)標(biao)準化、低成(cheng)本、低門檻方向發展,使智能計算(suan)(suan)可以像水電一樣(yang),成(cheng)為社會基本公(gong)共(gong)服務,滿(man)足(zu)不(bu)同(tong)用戶不(bu)同(tong)場景對(dui)(dui)(dui)算(suan)(suan)力(li)多(duo)元(yuan)化的需(xu)求(qiu)(qiu)。其次,就是要「開(kai)放兼(jian)容」。具(ju)體來(lai)說,就是要開(kai)源(yuan)開(kai)放、培育生態(tai)。以開(kai)放硬件(jian)和開(kai)源(yuan)軟件(jian)為主,融合多(duo)元(yuan)算(suan)(suan)力(li),實現算(suan)(suan)力(li)的聚合、調度、釋放,讓智算(suan)(suan)中心「用起來(lai)、用的好」。同(tong)時,要加強對(dui)(dui)(dui)智算(suan)(suan)中心關鍵軟硬件(jian)產品的研發支持和大(da)規模應用推(tui)廣。

智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心建(jian)設架構(gou)而為(wei)了(le)實(shi)(shi)現算(suan)(suan)(suan)力(li)(li)服(fu)(fu)(fu)務(wu)的普(pu)適普(pu)惠(hui)、高(gao)效(xiao)利用(yong)(yong),也就是(shi)智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心如何「好用(yong)(yong)、用(yong)(yong)好」的問題,《指南》指出智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心建(jian)設還(huan)需要(yao)構(gou)建(jian)「算(suan)(suan)(suan)力(li)(li)基建(jian)化(hua)、算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)基建(jian)化(hua)、服(fu)(fu)(fu)務(wu)智(zhi)(zhi)(zhi)件(jian)化(hua)、設施(shi)綠(lv)色化(hua)」的「四化(hua)」技術(shu)路(lu)線。算(suan)(suan)(suan)力(li)(li)基建(jian)化(hua)是(shi)指,智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心要(yao)具備(bei)對(dui)外(wai)提(ti)(ti)供(gong)高(gao)性價(jia)比、普(pu)惠(hui)、安全算(suan)(suan)(suan)力(li)(li)資源的能(neng)力(li)(li),使AI算(suan)(suan)(suan)力(li)(li)像水、電一樣成(cheng)為(wei)城市的公共基礎資源,供(gong)政府、企業(ye)、公眾(zhong)自主(zhu)取用(yong)(yong)。算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)基建(jian)化(hua)是(shi)指,智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心通(tong)過提(ti)(ti)供(gong)預置行業(ye)算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)、構(gou)建(jian)預訓練大(da)模型(xing)、推進算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)模型(xing)持續(xu)升級(ji)、提(ti)(ti)供(gong)專(zhuan)業(ye)化(hua)數據和算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)服(fu)(fu)(fu)務(wu),讓更多的用(yong)(yong)戶(hu)享受普(pu)適普(pu)惠(hui)的智(zhi)(zhi)(zhi)能(neng)計算(suan)(suan)(suan)服(fu)(fu)(fu)務(wu),實(shi)(shi)現「帶著(zhu)數據來、拿著(zhu)成(cheng)果(guo)走」的效(xiao)果(guo):服(fu)(fu)(fu)務(wu)智(zhi)(zhi)(zhi)件(jian)化(hua)是(shi)指,智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心的發(fa)展將由傳統的硬(ying)件(jian)、軟件(jian)向「智(zhi)(zhi)(zhi)件(jian)」升級(ji)。「智(zhi)(zhi)(zhi)件(jian)」是(shi)指智(zhi)(zhi)(zhi)算(suan)(suan)(suan)中(zhong)(zhong)心提(ti)(ti)供(gong)人工智(zhi)(zhi)(zhi)能(neng)推廣應(ying)用(yong)(yong)的中(zhong)(zhong)間件(jian)產品和服(fu)(fu)(fu)務(wu)。「智(zhi)(zhi)(zhi)件(jian)」的構(gou)建(jian),通(tong)過可視化(hua)操(cao)作界(jie)面,以(yi)及(ji)低(di)代碼開發(fa)甚至無代碼開發(fa)的模式,為(wei)用(yong)(yong)戶(hu)提(ti)(ti)供(gong)功能(neng)豐(feng)富、使用(yong)(yong)便捷的人工智(zhi)(zhi)(zhi)能(neng)算(suan)(suan)(suan)力(li)(li)調度、算(suan)(suan)(suan)法(fa)(fa)(fa)(fa)供(gong)給和個性化(hua)開發(fa)服(fu)(fu)(fu)務(wu)。最后,還(huan)要(yao)做到設施(shi)綠(lv)色化(hua),目前主(zhu)要(yao)發(fa)展趨勢就是(shi)采(cai)用(yong)(yong)液冷(leng)技術(shu)。
展望未來
現在,以AIGC、元宇宙、智(zhi)慧(hui)科(ke)研 (AI for Science)為代表的新興場景,正在(zai)走進(jin)我們的日常(chang)生活,給我們的未(wei)來(lai)帶來(lai)無限的可能。
與(yu)之(zhi)相應(ying)的,智算(suan)中(zhong)心建(jian)設布局浪潮正在全(quan)國快(kuai)速掀起。智能(neng)(neng)算(suan)力的普適普惠,對于大(da)多數企業來說(shuo),尤其是中(zhong)小企業,創(chuang)新的門檻大(da)大(da)地降低了。相信在不(bu)久的將來,我們會(hui)很快(kuai)見證「以數據(ju)輸入,讓智能(neng)(neng)輸出」,智能(neng)(neng)計算(suan)會(hui)如水(shui)電一般,真(zhen)正惠及每一個人。