谷歌，是真的破釜沉舟了。
傳說中合并(bing)了 AlphaGo 和類 GPT-4 大(da)模型(xing)的 Gemini，終(zhong)于要來了嗎?
一(yi)個(ge)(ge)是用強化學習擊敗人類圍棋冠軍、創造歷史的 AI 系(xi)統，一(yi)個(ge)(ge)是目前霸榜幾(ji)乎所有大模型(xing)榜單、一(yi)騎絕塵(chen)的最強多模態大模型(xing)，兩個(ge)(ge) AI 一(yi)合體，簡直要無敵了!
谷歌 DeepMind CEO Hassabis 近(jin)日對(dui)外媒 Wired 表示，Gemini 還在開發中，還需要(yao)幾個(ge)月，而(er)谷歌 DeepMind 已經準備砸進(jin)數千萬美元(yuan)，甚至數億。
此(ci)前(qian)，Sam Altman 曾(ceng)透露(lu)，創(chuang)建 GPT-4 的成本超過了 1 億美元。谷歌 DeepMind，當然也不能輸。
Gemini 會(hui)將 AlphaGo 與 GPT-4 等大(da)模(mo)型的語言功能合并，系統解(jie)決(jue)問題和規劃(hua)的能力將大(da)大(da)增(zeng)強。
Gemini 是一(yi)個大語言模型(xing)，類似(si)于 GPT-4
預計(ji)花(hua)費(fei)數(shu)千萬到數(shu)億美元，與開發 GPT-4 的(de)成(cheng)本相當
除了 AlphaGo，還會有別的創(chuang)新
Gemini 會整合(he)使用了強化(hua)學習和樹搜索(suo)的 AlphaGO。
強化(hua)學(xue)習(xi)允許(xu) AI 通過從反復嘗試和反饋中(zhong)學(xue)習(xi)，解決挑(tiao)戰性難題
樹搜索(suo)方法有助(zhu)于(yu)探索(suo)和記住(zhu)場景(jing)中可(ke)能的移動(dong)，比如在游(you)戲場景(jing)中
DeepMind 在(zai)強化學(xue)習(xi)方面的豐(feng)富經驗(yan)，會為 Gemini 帶來嶄新功能。
其他領(ling)域技術(如機(ji)器人(ren)和神經科學)也(ye)會整合到(dao) Gemini 中(zhong)
下一個算法，要超越 ChatGPT
根(gen)據 OpenAI CEO Sam Altman 的(de)說法(fa)，GPT-5 距離發布(bu)尚有時日，至少(shao) 6 個月(yue)內不(bu)會開(kai)始(shi)訓練。而 Gemini 的(de)發布(bu)時間尚未確(que)定，可能在幾個月(yue)之內。
尚在開發中的 Gemini，也是一個處理文本(ben)的大語言模(mo)型(xing)，性質上(shang)和 GPT-4 類似。
但谷歌 DeepMind CEO Demis Hassabis 表示，Gemini 會(hui)結合進 AlphaGo 中使用的技術，這將賦予系(xi)統全(quan)新的規劃、解決問(wen)題的能力。
2016 年，AlphaGo 擊敗圍棋(qi)世(shi)界冠(guan)軍李世(shi)石的(de)那一幕，如今(jin)依然歷歷在目。
Hassabis 表示，「可以這么說，Gemini 把 AlphaGo 系統的(de)(de)一(yi)(yi)些優勢，和(he)大語(yu)言模型驚人的(de)(de)語(yu)言能力(li)結合在一(yi)(yi)起(qi)了。并且，我們還有一(yi)(yi)些其他有趣的(de)(de)創新。」
據(ju)說，Gemini 具有(you)(you)以(yi)前模(mo)(mo)型中沒有(you)(you)的多(duo)模(mo)(mo)態功能(neng)，在(zai)集成(cheng)工(gong)具和 API 方面非常(chang)高效。而且，Gemini 將提供多(duo)種(zhong)規模(mo)(mo)，旨在(zai)支持未來內存和規劃(hua)上的創(chuang)新(xin)。
在三月份，曾經有這樣一個說法：Gemini 會像 GPT-4 一樣，具有一萬億個參數。而且，據說 Gemini 將使用數以萬計的谷歌 TPU AI 芯片進行訓練。
在上(shang)個(ge)月(yue)的谷歌開發者(zhe) I / O 大會上(shang)，谷歌就曾提到(dao)，從一(yi)開始，Gemini 的目標就是多(duo)模態、高效集(ji)成工具、API。
而當時(shi)谷歌的(de)預告是：「雖然還在(zai)早期，但我(wo)們已經在(zai) Gemini 中，看(kan)到了(le)在(zai)之(zhi)前的(de)模型中從未見過的(de)多模態能力，這讓人(ren)印(yin)象太深刻(ke)了(le)。」
AlphaGo 背后(hou)的技術(shu)，就是強化學(xue)習，這是 DeepMind 首創的技術(shu)。
RL 代(dai)理(li)隨著(zhu)時間的推(tui)移(yi)與環境交互，通過反復試驗來學習策略(lve)，從(cong)而最大限度(du)地提高長期累(lei)積獎勵
通(tong)過(guo)強化學習，AI 能夠通(tong)過(guo)反(fan)復嘗試和接受反(fan)饋來調整自己的(de)表現，因而學會處理很棘手的(de)問題，比如在圍(wei)棋或電(dian)子游戲中選(xuan)擇如何(he)采取下一步行(xing)動(dong)。
另外，AlphaGo 還使用了蒙特(te)卡洛樹搜索(suo)(MCTS)方法，來(lai)探索(suo)和記住棋盤上所有可能(neng)的(de)動作。
這已經不是 Hassabis 第一次攪動起科技巨頭的大規模人工智能淘金熱了。
2014 年，DeepMind 使用(yong)強化學習，讓(rang) AI 學會(hui)了玩簡(jian)單(dan)的(de)視頻(pin)游戲，這一(yi)成(cheng)果驚為天人，直接讓(rang) DeepMind 被谷歌收(shou)購。
谷歌的(de)注果然押(ya)對了。
接下來幾年，DeepMind 隔一(yi)段時間就產出一(yi)個驚艷全世界的成果(guo)。
深(shen)度(du)學(xue)習(xi)和強化學(xue)習(xi)正(zheng)在(zai)解決(jue)許多經典的人工(gong)智能(neng)問(wen)題，例如邏輯、推理(li)和知識表示
2016 年，石破天驚的(de) AlphaGo，直(zhi)接點(dian)燃了深度學習和第一輪 AI 產業(ye)的(de)熱(re)潮。
2017 年，AlphaGo Zero 沒(mei)有(you)使用人類(lei)數據，就迅速(su)超(chao)越了 AlphaGo。
AlphaGo Zero
2020 年，AlphaFold 對(dui)于蛋白質結構(gou)的預測與實驗室技術相當，基(ji)本(ben)解決了蛋白質的折疊問題。
今年 6 月，AlphaDev 創(chuang)造(zao)全新(xin)的排序算法，或將徹底改(gai)變(bian)計算機科學的效(xiao)率和成果。
相比 OpenAI 更(geng)通用的路線，DeepMind 多年來(lai)深耕垂(chui)直(zhi)領(ling)域。
語言模型的下一(yi)個重大飛躍(yue)在哪里?Gemini 或許指引了下一(yi)代語言模型的方向。
背水一戰
很明顯(xian)，Gemini 是谷歌的背(bei)水(shui)一戰。
谷歌開創(chuang)的(de)許(xu)多技術，比如 Transformer 架構，讓最近的(de) AI 洪流成為可能。
因為對(dui)于技術(shu)的開發(fa)和(he)部署太(tai)過謹慎，在 ChatGPT 和(he)其他生(sheng)成(cheng)式 AI 構成(cheng)的競(jing)爭面前(qian)，它反而顯得(de)暫時落后。
為了對打 ChatGPT，谷歌連(lian)續拋出多(duo)個動作，比如推出 Bard，并(bing)且將生成式(shi) AI 集(ji)成到搜索引擎和(he)其他產(chan)品中。
為(wei)了集中力量(liang)辦大事，在 4 月，谷歌(ge)干脆(cui)把 Hassabis 的 DeepMind 和谷歌(ge)的主(zhu)要人工智能實(shi)驗室谷歌(ge)大腦合并，合體為(wei)谷歌(ge) DeepMind。
對(dui)于(yu)合(he)體后的全新團隊(dui)，Haasabis 顯然非常自信。他表(biao)示，全新的團隊(dui)匯集了兩股對(dui)最近(jin)的人(ren)工智能(neng)進步至關重要(yao)的力(li)量。
「如果你看看我們(men)在人工領域的位置，你會相信，未來(lai) 80% 或 90% 的創新，就會來(lai)自其中一個團隊(dui)。在過(guo)去十年里，兩個團隊(dui)都做(zuo)出(chu)(chu)了極其出(chu)(chu)色的成(cheng)果。」
新的想法
訓練像 OpenAI 的(de) GPT-4 這樣的(de)大(da)型(xing)語言模型(xing)，需(xu)要將來自(zi)書籍、網頁(ye)和其他來源的(de)大(da)量精選數據集的(de)輸入「Transformer」中(zhong)。
Transformer 使(shi)用訓練數據中的模式來熟(shu)練預測后續文本中應該出現的每一(yi)個字(zi)母和(he)單詞。
這(zhe)種看(kan)似簡單的機制，卻在回答問題和生成文本或代碼方面非常強(qiang)大(da)。
但這個(ge)看似簡單的(de)技術(shu)原理也被很多行業大佬或者人工智能專家們(men)詬(gou)病(bing)。
馬斯克：目前(qian) AI 技術的本質就(jiu)是統計(ji)學
LeCun：現在的 AI 的智能水平還不如狗
OpenAI 在(zai) GPT 系列模(mo)型(xing)上的突破，就是在(zai) Transformer 的核(he)心(xin)技術之上，很激(ji)進地采用了 RLHF 來強化模(mo)型(xing)的能力。
而 DeepMind 在強化學習方(fang)面(mian)同樣有非常豐富(fu)的經驗。
這(zhe)就讓人有非常充足(zu)的理由期待(dai) Gemini 在未來可能會展現出來的創新能力。
更加關鍵的(de)是，Hassabis 和(he)他(ta)的(de)團隊也會(hui)試(shi)圖(tu)用人工智(zhi)能其他(ta)領域的(de)核(he)心技術來(lai)增(zeng)強大型(xing)語言模(mo)型(xing)的(de)能力(li)。
DeepMind 的技術(shu)積累非常廣泛。
從機器(qi)人技術到到神經科學，他(ta)們武器(qi)庫里(li)有各種各樣的裝備可供他(ta)們挑選。
比如像 LeCun 這樣的(de)(de) AI 大佬就表示，Transformer 將語言模型的(de)(de)能力過度限(xian)制在了文本(ben)的(de)(de)范圍之(zhi)內。
像人類和(he)動物(wu)?樣，從世界的(de)物(wu)理經驗中學習(xi)可能才是發(fa)展(zhan)人工智(zhi)能的(de)最(zui)優解。
也許在 Gemini 身上，人工智能(neng)將展示出其他方向的(de)潛(qian)力。
不確定的未來
Hassabis 的(de)任務是加速谷歌(ge)的(de)人(ren)工智能技術的(de)發展，同時(shi)管理(li)未知和(he)潛在的(de)嚴重的(de)風險(xian)險(xian)。
大(da)語言模型的(de)飛速進步讓許多(duo)人(ren)工智(zhi)能(neng)專(zhuan)家開始擔心這項技(ji)術是(shi)否(fou)會(hui)打開潘(pan)多(duo)拉的(de)魔盒，讓人(ren)類社(she)會(hui)付出(chu)無法(fa)接受的(de)代價。
Hassabis 表示，人(ren)工智能可能給(gei)人(ren)類社會帶來的收益不(bu)可估量。
人類必須要持續發(fa)展這(zhe)項技術。
強制暫停(ting)發展 AI 技術完(wan)全沒有可(ke)操作性。
但是這(zhe)并不(bu)(bu)意味著 Hassabis 和他(ta)領導的 DeepMind 會不(bu)(bu)計(ji)后果(guo)地推進技術的發展。
畢竟，谷歌和 DeepMind 之所(suo)以(yi)把 AI 技術的領袖位置(zhi)拱手讓給 OpenAI。
很大一部分原(yuan)因就是對待 AI 發展采用了「過于負(fu)責(ze)任」的態度。
