谷歌第五代定制張量處理器(TPU)芯片TPU v5e用(yong)于大(da)模型(xing)訓練(lian)和推理(li)，訓練(lian)和運(yun)行AI模型(xing)的速度提高了5倍(bei)。與上一代(dai)芯(xin)片相(xiang)比，TPU v5e每一美(mei)元的訓練(lian)性(xing)能提高2倍(bei)，每一美(mei)元的推理(li)性(xing)能提高2.5倍(bei)。
谷歌第五代定(ding)制張量處理器(qi)(TPU)芯片TPU v5e用于大(da)模(mo)型訓練和推理，訓練和運行(xing)AI模(mo)型的速(su)度提高(gao)了5倍。
當地時間8月29日，谷歌在舊金山的年度云會議Google Cloud Next上發布了新的人工智能芯(xin)片，即第(di)五代定制張量處理(li)器(TPU)芯(xin)片TPU v5e，用于大(da)模型訓(xun)練和推(tui)(tui)理(li)。與上一(yi)代芯(xin)片相比，TPU v5e每一(yi)美(mei)元的(de)訓(xun)練性(xing)能提高(gao)(gao)2倍(bei)(bei)，每一(yi)美(mei)元的(de)推(tui)(tui)理(li)性(xing)能提高(gao)(gao)2.5倍(bei)(bei)。
TPU是谷(gu)歌為(wei)神經網絡設計(ji)的(de)(de)專用芯(xin)片(pian)，TPU經過(guo)優化可加快(kuai)機器學習模型(xing)的(de)(de)訓練和推(tui)斷速度，2016年推(tui)出第一代TPU，2021年發布第四代定制處(chu)理器TPU，2022年面向開(kai)發者提供。云TPU(Cloud TPU)是一項谷(gu)歌云服務，適合訓練需要進行大(da)量矩陣計(ji)算(suan)的(de)(de)大(da)型(xing)復雜深度學習模型(xing)，例如大(da)語言模型(xing)、蛋(dan)白質折疊建模和藥物研發等，幫(bang)助企(qi)業在實現(xian)AI工作負載時節(jie)省資(zi)金(jin)和時間。
此(ci)次(ci)推出(chu)的(de)(de)TPU v5e專為中(zhong)大型模(mo)型訓練(lian)(lian)和(he)推理所(suo)需的(de)(de)成本(ben)效(xiao)(xiao)益和(he)性(xing)能而構建。谷(gu)歌云表示，該(gai)版本(ben)芯(xin)片的(de)(de)開發(fa)重點(dian)是效(xiao)(xiao)率，與上(shang)一(yi)代TPU v4相比(bi)，TPU v5e每一(yi)美(mei)元(yuan)的(de)(de)訓練(lian)(lian)性(xing)能提高(gao)(gao)2倍，每一(yi)美(mei)元(yuan)的(de)(de)推理性(xing)能提高(gao)(gao)2.5倍，而成本(ben)不到TPU v4的(de)(de)一(yi)半，使得更(geng)多組織能夠訓練(lian)(lian)和(he)部署更(geng)大更(geng)復雜(za)的(de)(de)AI模(mo)型。客戶不需要通過(guo)犧牲性(xing)能或靈活性(xing)來獲得這些成本(ben)效(xiao)(xiao)益。谷(gu)歌云將TPU v5e描(miao)述為“超(chao)級(ji)計算機”，最(zui)多允許256個芯(xin)片互連，總帶寬超(chao)過(guo)400 Tb/s，支持八種不同的(de)(de)虛(xu)擬(ni)機配置，客戶可選(xuan)擇合適的(de)(de)配置服務(wu)于各(ge)種大語言模(mo)型和(he)生成式AI模(mo)型。根(gen)據速(su)度(du)基準測試，在TPU v5e上(shang)訓練(lian)(lian)和(he)運行AI模(mo)型時速(su)度(du)提高(gao)(gao)了(le)5倍。
據科技(ji)媒體TechCrunch報道，谷(gu)歌云(yun)計(ji)算(suan)和(he)機器學習基(ji)礎設施副總裁兼總經(jing)理馬克·洛邁爾(er)(Mark Lohmeyer) 表示，“這(zhe)是(shi)迄(qi)今為(wei)止最(zui)具(ju)成本效益(yi)且易于(yu)訪問的(de)(de)云(yun)TPU。” 洛邁爾(er)強調(diao)，谷(gu)歌云(yun)確(que)保用(yong)戶(hu)能(neng)(neng)夠將其(qi)TPU集群(qun)擴(kuo)展(zhan)到以前無法(fa)達(da)到的(de)(de)水平，讓客戶(hu)能(neng)(neng)夠輕松擴(kuo)展(zhan)他們的(de)(de)人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)(neng)模(mo)型，超越單(dan)個TPU集群(qun)的(de)(de)物理邊界。也(ye)就是(shi)說(shuo)，單(dan)個大型人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)(neng)工(gong)(gong)作(zuo)負(fu)載可以跨越多個物理TPU集群(qun)，擴(kuo)展(zhan)到數(shu)萬(wan)個芯片，并且經(jing)濟高效。“在云(yun)GPU和(he)云(yun)TPU方面，我(wo)們為(wei)客戶(hu)提供(gong)了很(hen)多選擇和(he)靈活性，以滿足我(wo)們看到的(de)(de)人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)(neng)工(gong)(gong)作(zuo)負(fu)載的(de)(de)廣泛需求。”
除了新(xin)一代TPU，谷歌云還宣布將在下(xia)個月推出基于英偉達H100 GPU的A3系列虛擬機，作為(wei)GPU超級計算機進行交(jiao)付，為(wei)人工(gong)智能大模型(xing)提供(gong)動力。
