谷歌，是真的破釜沉舟了。
傳說中合并(bing)了(le) AlphaGo 和類(lei) GPT-4 大模型(xing)的 Gemini，終(zhong)于(yu)要來了(le)嗎?
一(yi)個是用強(qiang)化學習擊敗人類(lei)圍棋冠軍、創造歷史(shi)的 AI 系(xi)統，一(yi)個是目前霸榜幾(ji)乎所有大模(mo)型榜單、一(yi)騎絕塵的最強(qiang)多模(mo)態大模(mo)型，兩個 AI 一(yi)合(he)體，簡直(zhi)要無敵了(le)!
谷歌(ge)(ge) DeepMind CEO Hassabis 近日對(dui)外媒 Wired 表示，Gemini 還(huan)(huan)在(zai)開發中(zhong)，還(huan)(huan)需要幾(ji)個(ge)月，而(er)谷歌(ge)(ge) DeepMind 已經準備砸進(jin)數千萬美元(yuan)，甚至數億。
此前，Sam Altman 曾透露，創(chuang)建 GPT-4 的成本超過了 1 億(yi)美元。谷歌 DeepMind，當然也不能輸。
Gemini 會將 AlphaGo 與 GPT-4 等大模(mo)型(xing)的(de)(de)語言(yan)功(gong)能(neng)合并，系統解決問題(ti)和(he)規劃(hua)的(de)(de)能(neng)力(li)將大大增強。
Gemini 是一個(ge)大(da)語(yu)言模型，類似(si)于 GPT-4
預計花(hua)費數千萬到(dao)數億美元(yuan)，與開發(fa) GPT-4 的成本相當
除了 AlphaGo，還會有別(bie)的創新
Gemini 會(hui)整合使用了(le)強化學(xue)習和樹搜索的(de) AlphaGO。
強化學習允許 AI 通過從反(fan)(fan)復嘗試和反(fan)(fan)饋中學習，解決(jue)挑戰(zhan)性難題(ti)
樹搜索方法有(you)助于探索和記住場景中(zhong)可(ke)能的移(yi)動，比如在游戲場景中(zhong)
DeepMind 在強(qiang)化學(xue)習方面的豐(feng)富經驗，會為 Gemini 帶來嶄新功能(neng)。
其他領域技術(如機(ji)器人和(he)神經科(ke)學(xue))也(ye)會整合到 Gemini 中
下一個算法，要超越 ChatGPT
根據 OpenAI CEO Sam Altman 的(de)說(shuo)法，GPT-5 距離發(fa)布尚(shang)(shang)有時日，至(zhi)少 6 個(ge)月內不會開(kai)始(shi)訓練(lian)。而 Gemini 的(de)發(fa)布時間(jian)尚(shang)(shang)未確定，可(ke)能(neng)在(zai)幾個(ge)月之內。
尚在(zai)開發(fa)中的 Gemini，也(ye)是(shi)一個處(chu)理文本的大語言(yan)模型，性質上和 GPT-4 類似(si)。
但谷歌(ge) DeepMind CEO Demis Hassabis 表示，Gemini 會結(jie)合進 AlphaGo 中使(shi)用的(de)技術(shu)，這將賦予系統(tong)全新的(de)規劃、解決問題的(de)能力。
2016 年，AlphaGo 擊敗圍棋世(shi)界(jie)冠軍李(li)世(shi)石(shi)的那一幕，如今(jin)依然(ran)歷歷在目。
Hassabis 表示，「可以這么(me)說(shuo)，Gemini 把 AlphaGo 系統的一(yi)些(xie)優(you)勢，和大語(yu)言模型驚(jing)人的語(yu)言能力結合(he)在一(yi)起了。并且，我(wo)們還有一(yi)些(xie)其他有趣的創新(xin)。」
據說，Gemini 具(ju)有(you)以(yi)前模型中(zhong)沒有(you)的(de)多模態功能，在集成工具(ju)和(he) API 方面非常高(gao)效。而且，Gemini 將提供多種規(gui)模，旨在支持未來內存和(he)規(gui)劃上的(de)創新(xin)。
在三月份，曾經有這樣一個說法：Gemini 會像 GPT-4 一樣，具有一萬億個參數。而且，據說 Gemini 將使用數以萬計的谷歌 TPU AI 芯片進行訓練。
在上(shang)個月的(de)谷歌開發者 I / O 大(da)會上(shang)，谷歌就曾(ceng)提到，從一開始(shi)，Gemini 的(de)目標就是(shi)多模態、高(gao)效集(ji)成工具、API。
而當時谷(gu)歌的(de)預(yu)告(gao)是：「雖然還在早期，但我們已經在 Gemini 中，看到了在之前的(de)模(mo)型中從未見過的(de)多(duo)模(mo)態能力，這讓人(ren)印象太深刻了。」
AlphaGo 背后(hou)的技術，就是強化學習，這是 DeepMind 首創(chuang)的技術。
RL 代(dai)理隨著(zhu)時(shi)間的推移與(yu)環境交(jiao)互，通過反復試驗(yan)來學習策略，從而(er)最大(da)限度地提高長期累積獎(jiang)勵
通過強化學習(xi)，AI 能夠通過反(fan)(fan)復嘗試和接受反(fan)(fan)饋來調整自己的表現(xian)，因而學會處理很棘手的問題，比如在(zai)圍棋或(huo)電子游戲中(zhong)選擇(ze)如何采取下(xia)一步行動。
另外，AlphaGo 還使用了蒙特卡(ka)洛(luo)樹搜(sou)索(MCTS)方法，來探索和(he)記(ji)住棋盤上所有(you)可(ke)能(neng)的動作。
這已經不是 Hassabis 第一次攪動起科技巨頭的大規模人工智能淘金熱了。
2014 年，DeepMind 使用強化學習，讓 AI 學會了玩簡單的視頻(pin)游戲(xi)，這一成果驚為天(tian)人，直接(jie)讓 DeepMind 被谷歌收購。
谷歌的注果然押對了。
接下來幾年(nian)，DeepMind 隔一段(duan)時間就產(chan)出一個驚艷全世(shi)界的成(cheng)果(guo)。
深(shen)度學習和(he)強(qiang)化學習正在解決許(xu)多經(jing)典的人工智能問題(ti)，例如邏輯、推(tui)理和(he)知識(shi)表(biao)示
2016 年，石(shi)破天驚的(de) AlphaGo，直接點燃了(le)深度(du)學習和第一輪 AI 產業(ye)的(de)熱(re)潮。
2017 年，AlphaGo Zero 沒有使用人類數據，就迅速超(chao)越了 AlphaGo。
AlphaGo Zero
2020 年，AlphaFold 對于蛋白質結構的預測與(yu)實驗室技術相當，基本解決了蛋白質的折疊問題(ti)。
今年 6 月(yue)，AlphaDev 創造全新的排序算法，或將徹底改變計(ji)算機科學的效率和成果。
相(xiang)比 OpenAI 更(geng)通用(yong)的(de)路線，DeepMind 多年來深(shen)耕(geng)垂直領域。
語言模型(xing)(xing)的下一個重大(da)飛躍在(zai)哪(na)里?Gemini 或(huo)許(xu)指引了(le)下一代語言模型(xing)(xing)的方(fang)向。
背水一戰
很明顯，Gemini 是(shi)谷歌的背水(shui)一戰。
谷歌開創的(de)許多技術，比(bi)如 Transformer 架構，讓最近的(de) AI 洪流成為可能。
因為(wei)對于技術的開發和部署太過(guo)謹慎，在(zai) ChatGPT 和其他生(sheng)成式 AI 構成的競爭面前，它反(fan)而顯(xian)得(de)暫時落后。
為了對打 ChatGPT，谷(gu)歌連續拋出多個動作(zuo)，比如推出 Bard，并且將生(sheng)成(cheng)式 AI 集成(cheng)到搜索引(yin)擎和其他產品中。
為了集中力量辦大事，在(zai) 4 月，谷歌干脆把 Hassabis 的 DeepMind 和谷歌的主要人(ren)工(gong)智能實驗室(shi)谷歌大腦合(he)并，合(he)體為谷歌 DeepMind。
對于合體后的全新(xin)團隊，Haasabis 顯然(ran)非常自信。他表示，全新(xin)的團隊匯集(ji)了兩股對最(zui)近的人工(gong)智能進步至關(guan)重要的力(li)量(liang)。
「如果你看看我們(men)在人(ren)工領域的位(wei)置，你會(hui)相(xiang)信，未來 80% 或 90% 的創新(xin)，就(jiu)會(hui)來自其中一個團隊(dui)。在過去(qu)十年里，兩個團隊(dui)都做出了極其出色的成果。」
新的想法
訓練(lian)像 OpenAI 的 GPT-4 這(zhe)樣的大型語言模型，需要將來(lai)自(zi)書籍、網頁和其他來(lai)源(yuan)的大量(liang)精選數(shu)據集的輸(shu)入「Transformer」中。
Transformer 使用(yong)訓練(lian)數據(ju)中的(de)模式來熟練(lian)預測后續文本中應該出現的(de)每一個(ge)字(zi)母(mu)和(he)單(dan)詞(ci)。
這種看似簡單(dan)的機制，卻在(zai)回(hui)答問(wen)題(ti)和生成文本或代碼方面非常強大。
但這個看似(si)簡(jian)單的技術原(yuan)理也被很(hen)多行業(ye)大(da)佬或者人工(gong)智能專家們(men)詬(gou)病。
馬斯克：目前 AI 技術(shu)的本質就是統(tong)計學
LeCun：現在的 AI 的智能水平還不如狗
OpenAI 在 GPT 系列模型(xing)上的(de)突破，就(jiu)是(shi)在 Transformer 的(de)核心(xin)技術之上，很激(ji)進地采用了 RLHF 來強化模型(xing)的(de)能力。
而 DeepMind 在(zai)強化學(xue)習(xi)方(fang)面同樣有非常豐富的經驗(yan)。
這就讓人有非常(chang)充足的(de)理由期待(dai) Gemini 在未來可能(neng)會展現(xian)出來的(de)創(chuang)新能(neng)力。
更(geng)加關鍵的(de)(de)是，Hassabis 和他的(de)(de)團隊也會(hui)試圖用人(ren)工智能其他領(ling)域的(de)(de)核心技術(shu)來增(zeng)強大型語(yu)言(yan)模型的(de)(de)能力。
DeepMind 的技(ji)術積累非常(chang)廣泛。
從機(ji)器人(ren)技(ji)術到到神經科學，他們武器庫里有各種各樣(yang)的(de)裝備可供他們挑選(xuan)。
比如像 LeCun 這(zhe)樣的(de)(de) AI 大佬就表示，Transformer 將(jiang)語言模型的(de)(de)能力過度限制在了文(wen)本的(de)(de)范圍之內。
像人類和(he)動(dong)物(wu)?樣，從世界的物(wu)理經驗中學習可能才是發展人工(gong)智能的最優(you)解。
也許在 Gemini 身上，人(ren)工智能將(jiang)展示出其他方(fang)向的(de)潛力。
不確定的未來
Hassabis 的(de)任務(wu)是加速(su)谷歌的(de)人工智能(neng)技術的(de)發展，同時管理(li)未知(zhi)和(he)潛在的(de)嚴重(zhong)的(de)風險(xian)險(xian)。
大語言模型的(de)(de)(de)飛速進步(bu)讓許(xu)多人工智能專家開始(shi)擔心這(zhe)項(xiang)技術是否會打開潘(pan)多拉的(de)(de)(de)魔盒(he)，讓人類社會付出(chu)無法接受的(de)(de)(de)代價。
Hassabis 表示，人工智能(neng)可(ke)能(neng)給人類(lei)社會帶來的收益不可(ke)估量。
人類必須要持(chi)續發展這項技(ji)術。
強制暫停發展(zhan) AI 技術完全沒有可操作(zuo)性。
但是這并不意味著 Hassabis 和他領導(dao)的 DeepMind 會(hui)不計后(hou)果地推進技術(shu)的發展。
畢(bi)竟，谷(gu)歌和 DeepMind 之所以把 AI 技(ji)術的(de)領袖(xiu)位置拱手讓給 OpenAI。
很大一部(bu)分(fen)原因就是對待 AI 發展采用(yong)了「過于負責(ze)任」的(de)態度。
