云提(ti)供商正(zheng)在組建 GPU 大軍，以提(ti)供更(geng)多的 AI 火力。在今(jin)天舉行的年度 Google I/O 開發者大會上，Google 宣(xuan)布了(le)一(yi)款擁有 26,000 個 GPU 的 AI 超級(ji)計算機(ji)——A3 ，這(zhe)個超級(ji)計算機(ji)是谷(gu)歌與微軟爭奪 AI 霸(ba)權的斗爭中投入(ru)更(geng)多資源進行積極(ji)反攻的又一(yi)證據。
這臺超級(ji)計算(suan)機擁有大約 26,000 個(ge) Nvidia H100 Hopper GPU。作為參(can)考，世界(jie)上最快(kuai)的公(gong)共(gong)超級(ji)計算(suan)機Frontier擁有 37,000 個(ge) AMD Instinct 250X GPU。
對于我們最大(da)(da)的(de)客戶，我們可以在單個(ge)集(ji)群中構建(jian)多達 26,000 個(ge) GPU 的(de) A3 超級計(ji)算機，并(bing)正在努力(li)在我們最大(da)(da)的(de)地區構建(jian)多個(ge)集(ji)群，”谷(gu)歌發言(yan)人在一封電子郵件(jian)中說(shuo)，并(bing)補充說(shuo)“并(bing)非我們所有的(de)位置都將是縮(suo)放到這么(me)大(da)(da)的(de)尺(chi)寸。”
該系統是在加利福尼亞州山景城舉行的 Google I/O 大會上宣布的。開發者大會已經成為谷歌許多人工智能軟件和硬件能力(li)的(de)展示。在微軟將(jiang) OpenAI 的(de)技術應用(yong)于 Bing 搜索和辦(ban)公生產力(li)應用(yong)程(cheng)序之后，谷歌加速了其(qi) AI 開發。
該超級(ji)計(ji)算機面向希望訓練(lian)大(da)型(xing)(xing)語言模型(xing)(xing)的客戶。谷歌(ge)為希望使用超級(ji)計(ji)算機的公司(si)宣布了(le)隨(sui)附的 A3 虛擬機實例。許多云提供商現在(zai)都在(zai)部署 H100 GPU，Nvidia 在(zai) 3 月份推出了(le)自己的 DGX 云服務(wu)，與租用上一(yi)代(dai) A100 GPU 相比價格昂貴。
谷歌(ge)表示，A3 超(chao)(chao)級(ji)計算機是(shi)對現有 A2 虛(xu)擬(ni)機與 Nvidia A100 GPU 提供(gong)的(de)(de)計算資源的(de)(de)重大升(sheng)級(ji)。谷歌(ge)正在將所有分布在不同地理位(wei)置的(de)(de) A3 計算實例匯集到一臺超(chao)(chao)級(ji)計算機中。
“A3 超級計算機的(de)規模(mo)可提供高(gao)達 26 exaflops 的(de) AI 性能，這大大減少了訓練(lian)大型 ML 模(mo)型的(de)時(shi)間和(he)成本，”谷(gu)歌的(de)董事 Roy Kim 和(he)產品經理(li) Chris Kleban 在一篇(pian)博客(ke)文章中說。
公司(si)使用(yong) exaflops 性能(neng)指標來估(gu)計 AI 計算機的原始性能(neng)，但批(pi)評者(zhe)仍然對其持(chi)保(bao)留意見。在(zai)谷歌的案例中(zhong)，被(bei)大(da)家詬病的是其結(jie)果在(zai)以 ML 為目標的 bfloat16(“brain floating point”)性能(neng)中(zhong)計算出來的，這(zhe)讓你達到“exaflops”的速度(du)比大(da)多數(shu)經典(dian) HPC 應(ying)用(yong)程序仍然使用(yong)的雙精度(du) (FP64) 浮點數(shu)學(xue)要(yao)快得多要(yao)求。
GPU 的(de)數量已經成為云(yun)提供商推廣其 AI 計(ji)算服(fu)務的(de)重要名片(pian)。微(wei)軟在 Azure 中的(de) AI 超(chao)級(ji)計(ji)算機與 OpenAI 合作(zuo)構建，擁有(you) 285,000 個 CPU 內核和(he) 10,000 個 GPU。微(wei)軟還宣(xuan)布(bu)了配(pei)備(bei)更(geng)多 GPU 的(de)下一(yi)代 AI 超(chao)級(ji)計(ji)算機。Oracle 的(de)云(yun)服(fu)務提供對 512 個 GPU 集群的(de)訪問，并且正(zheng)在研究(jiu)新(xin)技術以提高 GPU 通信(xin)的(de)速度。
谷歌一直在大肆宣傳其TPU v4 人工智能芯片，這些(xie)芯(xin)片被(bei)用于運行帶有 LLM 的內部(bu)人工智能應(ying)用程(cheng)序，例如(ru)谷歌的 Bard 產品。谷歌的 AI 子公司 DeepMind 表示，快速 TPU 正(zheng)在指導通用和(he)科學應(ying)用的 AI 開發。
相比之下(xia)，谷歌的(de) A3 超級計算機用途廣泛，可以(yi)針對廣泛的(de) AI 應用程序和(he) LLM 進行調(diao)整。Kim 和(he) Kleban 在(zai)博文中表(biao)示：“鑒(jian)于這些工作負(fu)載的(de)高要求，一刀切的(de)方法是不夠(gou)的(de)——你需要專為(wei) AI 構建的(de)基礎設施。”
就(jiu)像谷歌喜歡它的(de) TPU 一樣，Nvidia 的(de) GPU 已經成為云提(ti)供商的(de)必需品(pin)，因為客戶正在 CUDA 中編寫(xie) AI 應(ying)用程序，這是 Nvidia 專有的(de)并行(xing)編程模型。該軟件工具包基于 H100 的(de)專用 AI 和圖(tu)形內核提(ti)供的(de)加(jia)速生成最(zui)快的(de)結果。
客戶可以(yi)通(tong)過 A3 虛擬機運行 AI 應(ying)用(yong)程序，并通(tong)過 Vertex AI、Google Kubernetes Engine 和 Google Compute Engine 服務使用(yong) Google 的 AI 開發和管(guan)理服務。公司可以(yi)使用(yong) A3 超級計算(suan)機上(shang)的 GPU 作為(wei)一次性租用(yong)，結合大(da)型(xing)(xing)語言(yan)模型(xing)(xing)來訓練(lian)大(da)型(xing)(xing)模型(xing)(xing)。然后，將新數(shu)據(ju)輸入模型(xing)(xing)，更新模型(xing)(xing)——無(wu)需從頭開始重新訓練(lian)。
谷(gu)歌(ge)的(de) A3 超級計算(suan)機是(shi)各種技術的(de)大雜燴，以提高 GPU 到 GPU 的(de)通(tong)信(xin)和網絡性能。A3 虛擬機基于英特爾第四(si)代(dai)(dai) Xeon 芯片(pian)(代(dai)(dai)號 Sapphire Rapids)，與 H100 GPU 一起提供。目前尚不清(qing)楚 VM 中(zhong)的(de)虛擬 CPU 是(shi)否會支持 Sapphire Rapids 芯片(pian)中(zhong)內置的(de)推理加速(su)器。VM 隨附(fu) DDR5 內存。
Nvidia H100 上(shang)的(de)訓練模型(xing)比在(zai)云端(duan)廣(guang)泛使用的(de)上(shang)一代 A100 GPU 更快、更便宜。人工(gong)智(zhi)能服(fu)務公司(si) MosaicML 進行的(de)一項研究發現，H100 在(zai)其 70 億參數(shu)的(de) MosaicGPT 大(da)型(xing)語言模型(xing)上(shang)“比 NVIDIA A100 的(de)成本效益高 30%，速(su)度快 3 倍(bei)”。
H100 也可以進(jin)行(xing)推(tui)(tui)(tui)理，但考慮到 H100 提供的(de)處理能力，這可能被認為是矯枉(wang)過(guo)正。谷歌云提供 Nvidia 的(de) L4 GPU 用于推(tui)(tui)(tui)理，英特(te)爾在其 Sapphire Rapids CPU 中擁有推(tui)(tui)(tui)理加速器。
“A3 VM 也非常適合推理工作(zuo)負載，與(yu)我們(men)的(de) A2 VM 的(de) A100 GPU 相比，推理性能提升高(gao)達(da) 30 倍(bei)，”Google 的(de) Kim 和 Kleban 說。
A3 虛擬(ni)機(ji)(ji)是(shi)第(di)一個通(tong)過名為(wei) Mount Evans 的(de)基(ji)礎設施處理(li)單元(yuan)(yuan)連接 GPU 實例(li)的(de)虛擬(ni)機(ji)(ji)，該單元(yuan)(yuan)由谷歌和(he)英特爾聯合開(kai)發(fa)。IPU 允(yun)許 A3 虛擬(ni)機(ji)(ji)卸(xie)載(zai)網絡、存儲管理(li)和(he)安(an)全功能，這些(xie)功能傳統上(shang)是(shi)在(zai)虛擬(ni) CPU 上(shang)完成的(de)。IPU 允(yun)許以(yi) 200Gbps 的(de)速度傳輸數據。
“A3 是(shi)第一個使用我們(men)定制設計的 200Gbps IPU 的 GPU 實例，GPU 到 GPU 的數據傳(chuan)輸繞過 CPU 主(zhu)機(ji)并流經與其他 VM 網絡和數據流量不同的接口。與我們(men)的 A2 虛擬機(ji)相比(bi)，這使網絡帶(dai)(dai)寬增加了 10 倍，具有低(di)尾(wei)延遲(chi)和高(gao)帶(dai)(dai)寬穩定性，”谷歌高(gao)管(guan)在一篇博客文章(zhang)中說(shuo)。
IPU 的(de)(de)吞吐量(liang)可(ke)能(neng)很快(kuai)就會受到(dao)微軟的(de)(de)挑戰(zhan)，微軟即(ji)將(jiang)(jiang)推出的(de)(de)配備 Nvidia H100 GPU 的(de)(de) AI 超級計(ji)算機將(jiang)(jiang)擁有該芯片(pian)制造商的(de)(de) Quantum-2 400Gbps 網絡(luo)功(gong)能(neng)。微軟尚未透(tou)露其(qi)下(xia)一代 AI 超級計(ji)算機中 H100 GPU 的(de)(de)數量(liang)。
A3 超級計算機建立在源自公司 Jupiter 數(shu)據中心網絡結構的主干上，該主干通過光學鏈路連接地理上不同(tong)的 GPU 集群。
“對于幾乎每(mei)一(yi)種(zhong)工作(zuo)負(fu)載結構，我們都實現了與更昂貴的現成非阻(zu)塞(sai)網絡結構無法區分(fen)的工作(zuo)負(fu)載帶寬，”谷歌表示(shi)。
谷歌還分享說，A3 超級計(ji)算(suan)機將(jiang)有八個 H100 GPU，它們使用 Nvidia 專有的交(jiao)換和(he)芯片互連(lian)(lian)技(ji)術互連(lian)(lian)。GPU 將(jiang)通過 NVSwitch 和(he) NVLink 互連(lian)(lian)連(lian)(lian)接，其通信速(su)度約為(wei) 3.6TBps。Azure 在(zai)其 AI 超級計(ji)算(suan)機上(shang)提供了相(xiang)同(tong)的速(su)度，并(bing)且兩家公司都(dou)部(bu)署了 Nvidia 的電(dian)路板(ban)設計(ji)。
“每臺服(fu)務器都使(shi)用服(fu)務器內部的(de) NVLink 和 NVSwitch 將 8 個 GPU 互連(lian)在一(yi)起。為(wei)了(le)(le)讓 GPU 服(fu)務器相互通(tong)信，我們(men)在 Jupiter DC 網絡結構(gou)上(shang)使(shi)用了(le)(le)多(duo)個 IPU，”一(yi)位谷歌發(fa)言人說。
該設置有點(dian)類似(si)于(yu) Nvidia 的 DGX Superpod，它具有 127 個節點(dian)的設置，每個 DGX 節點(dian)配(pei)備八個 H100 GPU。
谷歌博客：配備 NVIDIA H100 GPU 的 A3 超級計算機
實施(shi)最先進的(de)人工(gong)智(zhi)能 (AI) 和機(ji)器(qi)學習 (ML) 模型(xing)需要(yao)大量(liang)計算(suan)，既要(yao)訓(xun)練基礎模型(xing)，又要(yao)在這些(xie)模型(xing)經過訓(xun)練后為(wei)(wei)它們提(ti)供(gong)服務。考慮到這些(xie)工(gong)作(zuo)負載的(de)需求，一種放之(zhi)四海而皆準(zhun)的(de)方法是(shi)不(bu)夠的(de)——您(nin)需要(yao)專為(wei)(wei) AI 構建的(de)基礎設(she)施(shi)。
我(wo)(wo)們(men)(men)與我(wo)(wo)們(men)(men)的(de)合作(zuo)伙(huo)伴一(yi)起(qi)，為(wei) ML 用(yong)例(li)(li)提供(gong)(gong)廣泛的(de)計算選項，例(li)(li)如大型語言模(mo)型 (LLM)、生成(cheng)(cheng) AI 和(he)擴(kuo)散(san)模(mo)型。最近(jin)，我(wo)(wo)們(men)(men)發布了(le) G2 VMs，成(cheng)(cheng)為(wei)第一(yi)個提供(gong)(gong)新的(de) NVIDIA L4 Tensor Core GPU 用(yong)于服務生成(cheng)(cheng)式 AI 工作(zuo)負載的(de)云。今(jin)天(tian)，我(wo)(wo)們(men)(men)通過推出(chu)下一(yi)代 A3 GPU 超級計算機的(de)私人預覽(lan)版來擴(kuo)展該(gai)產品組(zu)合。Google Cloud 現在提供(gong)(gong)一(yi)整套 GPU 選項，用(yong)于訓練和(he)推理(li) ML 模(mo)型。
Google Compute Engine A3 超(chao)級(ji)計算(suan)機專為訓練和服(fu)務要求最嚴苛(ke)的(de) AI 模(mo)(mo)型(xing)(xing)而打造，這些模(mo)(mo)型(xing)(xing)為當今的(de)生成式(shi) AI 和大型(xing)(xing)語言模(mo)(mo)型(xing)(xing)創新提(ti)供動力(li)。我們(men)的(de) A3 VM 結合(he)了 NVIDIA H100 Tensor Core GPU 和 Google 領(ling)先的(de)網(wang)絡(luo)技(ji)術，可為各種(zhong)規(gui)模(mo)(mo)的(de)客戶提(ti)供服(fu)務：
1. A3 是(shi)第一個(ge)使用我們(men)定制設計的(de) 200 Gbps IPU的(de) GPU 實例，GPU 到 GPU 的(de)數(shu)據傳(chuan)輸繞過 CPU 主機并流過與(yu)其他 VM 網絡(luo)和數(shu)據流量不同(tong)的(de)接口。與(yu)我們(men)的(de) A2 VM 相比，這可實現(xian)高(gao)達(da) 10 倍的(de)網絡(luo)帶寬(kuan)，同(tong)時具有低尾延遲和高(gao)帶寬(kuan)穩定性。
2. 我們(men)(men)行業(ye)獨一無(wu)二的(de)智能 Jupiter 數據中心網絡(luo)結構(gou)(gou)可擴展到數萬個高度(du)互連的(de) GPU，并允許(xu)全帶(dai)寬可重新配置的(de)光學(xue)鏈(lian)路，可以按需調(diao)整拓撲。對于(yu)幾(ji)乎每種工作負(fu)載(zai)結構(gou)(gou)，我們(men)(men)實現的(de)工作負(fu)載(zai)帶(dai)寬與更昂貴(gui)的(de)現成非(fei)阻塞網絡(luo)結構(gou)(gou)沒(mei)有區別，從而降低了 TCO。
3. A3 超級計算(suan)機(ji)的規模提供高達 26 exaFlops 的 AI 性能，這大(da)大(da)減少了訓練大(da)型 ML 模型的時間和成本。
隨著公司從訓(xun)練過渡到(dao)提(ti)(ti)供(gong) ML 模(mo)型，A3 VM 也非常適合推理(li)工(gong)作負載，與我們由(you) NVIDIA A100 Tensor Core GPU* 提(ti)(ti)供(gong)支持的 A2 VM 相(xiang)比，推理(li)性能提(ti)(ti)升高達 30 倍。
A3 GPU VM 專門為當今的(de) ML 工作負載提供最高(gao)性(xing)能的(de)訓練(lian)，配備現代(dai) CPU、改進的(de)主機(ji)內存(cun)、下一代(dai) NVIDIA GPU 和主要(yao)網絡升級。以(yi)下是 A3 的(de)主要(yao)特點(dian)：
1. 8 個 H100 GPU，利用 NVIDIA 的(de) Hopper 架構，提供 3 倍的(de)計(ji)算吞(tun)吐量
2. 通過 NVIDIA NVSwitch 和 NVLink 4.0，A3 的 8 個 GPU 之間的對分帶(dai)寬為 3.6 TB/s
3. 下一代第 4 代英特爾(er)至強可擴(kuo)展處理器
4. 2TB 主機內存，通過 4800 MHz DDR5 DIMM
5. 由(you)我(wo)們(men)支(zhi)持硬件(jian)的 IPU、專門的服務器間 GPU 通信堆(dui)棧和 NCCL 優化提供支(zhi)持的網絡帶寬增加 10 倍
A3 GPU VM 是客戶(hu)開發最先進(jin)的(de)(de)(de) ML 模(mo)型(xing)(xing)(xing)的(de)(de)(de)一個進(jin)步(bu)。通過(guo)顯著加(jia)快 ML 模(mo)型(xing)(xing)(xing)的(de)(de)(de)訓練和(he)推理，A3 VM 使(shi)企業能夠(gou)快速訓練更復雜的(de)(de)(de) ML 模(mo)型(xing)(xing)(xing)，為我(wo)們的(de)(de)(de)客戶(hu)創造機會(hui)來(lai)構(gou)建大型(xing)(xing)(xing)語(yu)言模(mo)型(xing)(xing)(xing) (LLM)、生(sheng)成 AI 和(he)擴散模(mo)型(xing)(xing)(xing)，以幫助(zhu)優(you)化(hua)運營并在(zai)競爭(zheng)中(zhong)保持領先地位。
此次發布基于(yu)我們(men)與(yu) NVIDIA 的合作伙(huo)伴關(guan)系(xi)，旨在為我們(men)的客戶提供用于(yu)訓練和推理 ML 模型的全方位(wei) GPU 選(xuan)項。
NVIDIA 超大規模和高性(xing)能計算副(fu)總裁(cai) Ian Buck 表(biao)示：“由下一代 NVIDIA H100 GPU 提供支持的(de) Google Cloud 的(de) A3 VM 將加速生成 AI 應用程序的(de)訓練和服(fu)務。” “在(zai)谷歌(ge)云(yun)最(zui)近推(tui)出 G2 實例之后，我們(men)很(hen)自豪能夠繼(ji)續(xu)與谷歌(ge)云(yun)合作，通過專(zhuan)門構建(jian)的(de)人(ren)工智能基礎(chu)設施幫(bang)助全(quan)球企業轉型(xing)。”
對(dui)于(yu)希望在(zai)無(wu)需(xu)維(wei)護的情(qing)況下開發復雜 ML 模型的客戶(hu)，您可以(yi)在(zai) Vertex AI 上(shang)部署(shu) A3 VM，Vertex AI 是一個(ge)端到端平臺，用(yong)于(yu)在(zai)專為低(di)延遲服務和高性能而構建(jian)的完全(quan)托(tuo)管基礎(chu)設施上(shang)構建(jian) ML 模型訓練。今天，在(zai)Google I/O 2023上(shang)，我們很高興通過向更多客戶(hu)開放 Vertex AI 中的生成 AI 支持(chi)以(yi)及引入新功能和基礎(chu)模型來(lai)構建(jian)這些產品。
對于希望構(gou)建自(zi)(zi)(zi)己的(de)自(zi)(zi)(zi)定(ding)義軟件堆棧的(de)客戶，客戶還可以在 Google Kubernetes Engine (GKE) 和 Compute Engine 上部署 A3 VM，以便您可以訓練和提供最新(xin)的(de)基礎模型，同時享受自(zi)(zi)(zi)動縮放、工作(zuo)負載編排和自(zi)(zi)(zi)動升級。
“Google Cloud 的(de)(de) A3 VM 實(shi)例為我們(men)提供了(le)計算(suan)能力和規模(mo)，可(ke)滿足(zu)我們(men)最苛刻(ke)的(de)(de)訓練和推理工作(zuo)負載。我們(men)期待利用他們(men)在 AI 領域(yu)的(de)(de)專業知識和在大(da)規模(mo)基(ji)礎設施方面的(de)(de)領導地(di)位，為我們(men)的(de)(de) ML 工作(zuo)負載提供強大(da)的(de)(de)平臺。” -Noam Shazeer，Character.AI 首席執(zhi)行(xing)官
在(zai)谷歌云，人(ren)工(gong)智(zhi)能是(shi)我(wo)們(men)的 DNA。我(wo)們(men)應(ying)用了(le)數(shu)十年為 AI 運行全球規模計(ji)算的經(jing)驗。我(wo)們(men)設計(ji)了(le)該(gai)基(ji)礎架構以(yi)(yi)擴展和優化以(yi)(yi)運行各種 AI 工(gong)作負載——現在(zai)，我(wo)們(men)將其提(ti)供給(gei)您。
