谷歌第五代定制張量處理器(TPU)芯片TPU v5e用(yong)于(yu)大模(mo)型訓練和(he)推理(li)，訓練和(he)運行AI模(mo)型的速度提(ti)高(gao)了5倍(bei)。與上一(yi)代(dai)芯片相(xiang)比，TPU v5e每(mei)一(yi)美元的訓練性能(neng)提(ti)高(gao)2倍(bei)，每(mei)一(yi)美元的推理(li)性能(neng)提(ti)高(gao)2.5倍(bei)。
谷歌第五代定制張量處理器(TPU)芯片(pian)TPU v5e用于(yu)大模(mo)型(xing)訓(xun)(xun)練和推理，訓(xun)(xun)練和運行AI模(mo)型(xing)的(de)速度提高了5倍。
當地時間8月29日，谷歌在舊金山的年度云會議Google Cloud Next上發布了新的人工智能芯(xin)片(pian)(pian)，即第五代定制張量處理器(TPU)芯(xin)片(pian)(pian)TPU v5e，用于大模型訓(xun)練(lian)和(he)推理。與上一(yi)(yi)代芯(xin)片(pian)(pian)相比，TPU v5e每一(yi)(yi)美元的(de)訓(xun)練(lian)性能(neng)(neng)提高2倍，每一(yi)(yi)美元的(de)推理性能(neng)(neng)提高2.5倍。
TPU是谷(gu)歌為神經網絡設計的專(zhuan)用芯片，TPU經過優化可加快機(ji)器(qi)學習模(mo)型(xing)的訓練和(he)(he)推斷(duan)速(su)度(du)，2016年(nian)推出第(di)一代TPU，2021年(nian)發(fa)布第(di)四代定制處理器(qi)TPU，2022年(nian)面向開(kai)發(fa)者提(ti)供(gong)。云TPU(Cloud TPU)是一項谷(gu)歌云服務，適(shi)合訓練需要進行(xing)大量矩陣計算的大型(xing)復雜深度(du)學習模(mo)型(xing)，例(li)如大語言模(mo)型(xing)、蛋白(bai)質(zhi)折疊建模(mo)和(he)(he)藥物研發(fa)等(deng)，幫助企業在實現AI工作負載時節省(sheng)資金和(he)(he)時間。
此次推(tui)出(chu)的(de)(de)(de)(de)TPU v5e專(zhuan)為中大(da)型模(mo)型訓練(lian)和(he)推(tui)理所需(xu)的(de)(de)(de)(de)成(cheng)本效(xiao)益和(he)性能(neng)(neng)(neng)而構建。谷歌云(yun)(yun)表示(shi)，該(gai)版本芯片(pian)(pian)的(de)(de)(de)(de)開發重(zhong)點是效(xiao)率，與上(shang)一(yi)(yi)代TPU v4相(xiang)比，TPU v5e每(mei)一(yi)(yi)美(mei)元的(de)(de)(de)(de)訓練(lian)性能(neng)(neng)(neng)提高2倍(bei)，每(mei)一(yi)(yi)美(mei)元的(de)(de)(de)(de)推(tui)理性能(neng)(neng)(neng)提高2.5倍(bei)，而成(cheng)本不到TPU v4的(de)(de)(de)(de)一(yi)(yi)半，使得更(geng)(geng)多(duo)組(zu)織(zhi)能(neng)(neng)(neng)夠訓練(lian)和(he)部(bu)署更(geng)(geng)大(da)更(geng)(geng)復雜的(de)(de)(de)(de)AI模(mo)型。客(ke)戶(hu)不需(xu)要通過(guo)犧牲性能(neng)(neng)(neng)或靈活(huo)性來獲(huo)得這(zhe)些成(cheng)本效(xiao)益。谷歌云(yun)(yun)將TPU v5e描述為“超(chao)級計算機”，最多(duo)允(yun)許256個(ge)芯片(pian)(pian)互連，總帶寬超(chao)過(guo)400 Tb/s，支持八種不同的(de)(de)(de)(de)虛(xu)擬機配(pei)置，客(ke)戶(hu)可選(xuan)擇合適的(de)(de)(de)(de)配(pei)置服務于各(ge)種大(da)語言模(mo)型和(he)生成(cheng)式AI模(mo)型。根據速度(du)基準(zhun)測試，在TPU v5e上(shang)訓練(lian)和(he)運(yun)行(xing)AI模(mo)型時速度(du)提高了(le)5倍(bei)。
據科技媒(mei)體TechCrunch報道，谷歌(ge)云計算和機器(qi)學習基礎(chu)設施副(fu)總裁兼總經理(li)馬克·洛邁爾(Mark Lohmeyer) 表示，“這是迄今為(wei)止最具成(cheng)本效益且易(yi)于訪問的(de)云TPU。” 洛邁爾強調，谷歌(ge)云確保(bao)用戶能(neng)夠將(jiang)其TPU集(ji)群(qun)擴(kuo)展(zhan)到(dao)以前(qian)無(wu)法達(da)到(dao)的(de)水平(ping)，讓客戶能(neng)夠輕松擴(kuo)展(zhan)他(ta)們的(de)人(ren)工(gong)智能(neng)模型，超越(yue)單(dan)個(ge)(ge)TPU集(ji)群(qun)的(de)物(wu)理(li)邊(bian)界。也就是說，單(dan)個(ge)(ge)大型人(ren)工(gong)智能(neng)工(gong)作(zuo)負載(zai)可以跨越(yue)多個(ge)(ge)物(wu)理(li)TPU集(ji)群(qun)，擴(kuo)展(zhan)到(dao)數萬個(ge)(ge)芯(xin)片，并且經濟(ji)高(gao)效。“在(zai)云GPU和云TPU方面(mian)，我們為(wei)客戶提供(gong)了很多選擇和靈活性，以滿足(zu)我們看(kan)到(dao)的(de)人(ren)工(gong)智能(neng)工(gong)作(zuo)負載(zai)的(de)廣泛(fan)需求。”
除了新一(yi)代TPU，谷歌云還宣布將在下個月推(tui)出基于(yu)英偉達H100 GPU的A3系列虛擬機，作為GPU超級計(ji)算機進行交(jiao)付，為人工智能大模型提供動力。
