“未來5年內，頭腦正常的人都不會再用自回歸LLM(大型語言模型)，GPT系統將很快被拋棄。”
這是圖靈獎得主、Meta首(shou)席AI科(ke)學家、紐(niu)約大(da)學教授Yann LeCun(楊立昆)在今年智源大(da)會上發表的觀(guan)點。
今年以(yi)來，以(yi)ChatGPT為(wei)代表的AI大模型(xing)點亮了人類(lei)世界又一次群(qun)星閃耀的時刻。但(dan)顯而易見的是(shi)，AI大模型(xing)的快速躥(cuan)紅(hong)，也同時帶來了無數亟待解決的問(wen)題(ti)和諸多針(zhen)鋒相對的探(tan)討。
人(ren)類是否(fou)已(yi)經進入(ru)AGI時代?GPT是否(fou)會被拋棄?開源與(yu)閉源到底如何選擇?AI是否(fou)已(yi)然威(wei)脅到人(ren)類安(an)全(quan)?人(ren)和AI，誰是未(wei)來世界的主宰?
顛覆式創(chuang)新往往伴隨巨大的(de)不確定(ding)性。即使是專家們在今天發出的(de)權威論斷(duan)，在若干年后(hou)也很可能變成技術長河中一個微小的(de)“謬誤”。但盡(jin)管(guan)如此，當下(xia)的(de)百家爭鳴依然有(you)永恒的(de)意義。
6月10日，第五屆北京智源大會閉幕。
北京智源大會由智源研究院主辦，今年邀請到了圖靈獎得主Geoffrey Hinton(杰弗里·辛頓)、Yann LeCun(楊立昆)、Joseph Sifakis、姚期智，張鈸、鄭南寧、謝曉亮、張宏江、張亞勤等院士，加州大學伯克利分校人工智能系統中心創(chuang)始人(ren)Stuart Russell(斯(si)圖爾特(te)·羅(luo)素)，麻省理工學院(yuan)未來生(sheng)命研究所創(chuang)始人(ren)Max Tegmark(馬(ma)克斯(si)·泰格馬(ma)克)，OpenAI首席執行官Sam Altman(薩姆·奧爾特(te)曼)等(deng)200余位人(ren)工智能專家(jia)——如(ru)此群星璀璨的專家(jia)陣容，有人(ren)評價(jia)這場(chang)大會為(wei)“AI春(chun)晚”。
大會共持續(xu)了兩天，設置了十(shi)余場分(fen)論壇(tan)，內容涵(han)蓋前沿技(ji)術、生態、安全、倫理等方方面面。
不過，大(da)會(hui)(hui)最(zui)奪人眼球的(de)(de)環節(jie)之一，還是杰(jie)弗里·辛頓(dun)、楊立昆、斯圖爾(er)特·羅素(su)、馬(ma)克斯·泰格馬(ma)克、薩姆·奧爾(er)特曼等國(guo)際(ji)AI大(da)咖的(de)(de)隔空辯論(lun)。大(da)會(hui)(hui)期間，「甲子光年」參與(yu)(yu)了活(huo)動(dong)群訪(fang)，將最(zui)值(zhi)得關注的(de)(de)4個核(he)心(xin)爭議點進行了提煉(lian)總結，盡可能(neng)還原全(quan)球AI領軍者們對AI當下與(yu)(yu)未來(lai)的(de)(de)深度思考(kao)。
1.GPT快要被拋棄了?
AI大模型出現后，一個隨之而來的問題是：世界是否已經進入AGI時代?
王小川曾在(zai)今(jin)年2月便(bian)篤定地告訴「甲子光年」：“這(指ChatGPT)就(jiu)是(shi)AGI!”這一判斷的(de)核(he)心邏輯是(shi)，ChatGPT背后(hou)的(de)大模型掌握(wo)了(le)語言(yan)，而語言(yan)的(de)邊界就(jiu)是(shi)世(shi)界的(de)邊界，機(ji)器掌握(wo)了(le)語言(yan)，就(jiu)意(yi)味著AGI的(de)到來。
但就在本次智源大會上，ChatGPT神話的締造者、OpenAI CEO薩姆·奧爾特曼則表示，自己并不確定AGI何時到來，但他認為10年內，人類可能會迎來更強大的AI系統。
之所以業內有如(ru)此巨大的分歧，是(shi)因為AGI目(mu)前(qian)并(bing)沒有明確定義(yi)。
在本(ben)屆智(zhi)源(yuan)大會上，智(zhi)源(yuan)研究院院長(chang)黃鐵軍表示(shi)，“通(tong)用(yong)人工(gong)智(zhi)能(neng)”有兩個(ge)解釋，GAI(General Artficaial Intelligence)和AGI(Artificial General Intelligence)。他認為，大多數媒體都(dou)將通(tong)用(yong)人工(gong)智(zhi)能(neng)理解為前者，而真正(zheng)讓人工(gong)智(zhi)能(neng)研究者談論數年的是AGI，世界正(zheng)處于由GAI向AGI邁進的歷史(shi)時(shi)期。
要實現AGI，究竟需要什么樣的技術條件?
黃鐵(tie)軍總結(jie)了三條(tiao)實現AGI的技術路(lu)線:
大數據+自監督(du)學習(xi)+大算力形成的信(xin)息類模型，以OpenAI的GPT系列模型為代表;
基于(yu)虛擬或(huo)真實世界，通過強化(hua)學習(xi)訓(xun)練出來(lai)的(de)具身模型，以Google DeepMind的(de)DQN深度學習(xi)技(ji)術為代表;
直接(jie)抄(chao)自(zi)然進化(hua)的作業，復制數字版本的人腦(nao)和智(zhi)能體，即腦(nao)智(zhi)能。這是智(zhi)源研究(jiu)院一(yi)直在嘗試的方向(xiang)。
目前，智源研究院在上述三個方向均有布局。會上，黃鐵軍著重介紹了大模型與具身智能兩個方向，發布了全面開源的“悟道3.0”系列大模型及算法，報告了在高精度生命模擬和有機大分子建模方面的最新進展。
智源研(yan)究(jiu)院院長(chang)黃(huang)鐵(tie)軍
在2021年3月，悟道1.0發(fa)布(bu)會上，智(zhi)源(yuan)研(yan)判人(ren)工智(zhi)能(neng)已經(jing)從“大(da)煉模(mo)(mo)型”轉變為(wei)“煉大(da)模(mo)(mo)型”的新階(jie)段(duan)，從此，“大(da)模(mo)(mo)型”概(gai)念走入(ru)公眾視(shi)野。
黃鐵軍(jun)提(ti)出了(le)大(da)模(mo)型需要具備的三個(ge)條件：一(yi)是(shi)規模(mo)要大(da)，參(can)數達(da)百億(yi)規模(mo)以上;二是(shi)涌現性，能(neng)夠產生(sheng)預料之外的新能(neng)力(li);三是(shi)通用性，不(bu)限于專門問(wen)題或領域(yu)，能(neng)夠處理多種不(bu)同(tong)的任務。
悟道系列模型已發展到“悟道3.0”版本，涵蓋語言、視覺(jue)、多模態等基礎大模型，并全(quan)面開源(yuan)。
在攻關大(da)模型的(de)(de)同時，智源研(yan)究院也在探(tan)索具(ju)(ju)身智能。近期，智源研(yan)究院提(ti)出了在無專(zhuan)家數據情況下(xia)高效解決《我(wo)的(de)(de)世界(jie)》任務(wu)(wu)的(de)(de)方法Plan4MC，可完(wan)成大(da)量復雜多樣(yang)任務(wu)(wu)，為當(dang)前強化學(xue)習(xi)路徑下(xia)最優表現，成功(gong)率相比(bi)所(suo)有基線方法有大(da)幅提(ti)升(sheng)。智源的(de)(de)下(xia)一個目(mu)標則是讓智能體在開(kai)放世界(jie)中(zhong)持(chi)續學(xue)習(xi)并進一步具(ju)(ju)備創造力(li)。
針對第三條路徑，智源研(yan)究院(yuan)也(ye)有新進展。
去年的智(zhi)源大會上，智(zhi)源研究(jiu)院(yuan)發布了最高精度的仿真線蟲。現(xian)在(zai)，智(zhi)源開放仿真線蟲研究(jiu)所使(shi)用的“天演”平(ping)臺，提供(gong)在(zai)線服務。
基于天演平臺，實現對生物智能進行高精度仿真，探索智能的本質，推動由生物啟發的通用人工智能。為進一步推動神經系統仿真規模與性能，天演團隊將天演接入我國新一代百億億次超級計算機-天河新一代超級計算機。通過“天演-天河”的成功部署運行，實現鼠腦V1視皮層精細網絡等模型仿真，計算能耗均能降低約10倍以上，計算速度實現10倍以上提升，達到全球范圍內最極致的精(jing)細(xi)(xi)神(shen)經元網絡仿真(zhen)的性能，為實(shi)現全人腦(nao)精(jing)細(xi)(xi)模擬打(da)下堅實(shi)基礎。
除智源的三條路徑之外，圖靈獎得主、Meta首席AI科學家、紐約大學教授楊立昆也在會上系統闡述了他提出的“世界模型”。
圖靈獎得主、Meta首(shou)席(xi)AI科學(xue)(xue)家、紐約大學(xue)(xue)教授楊立昆(kun)
在楊立昆看來(lai)，幾十(shi)年來(lai)，研(yan)究者(zhe)一直在使(shi)用監督(du)學(xue)(xue)習(xi)(xi)(xi)，這需要太多(duo)的(de)(de)(de)標簽。強化(hua)學(xue)(xue)習(xi)(xi)(xi)效果(guo)不錯(cuo)，但需要大量(liang)的(de)(de)(de)訓練來(lai)學(xue)(xue)習(xi)(xi)(xi)知識。近年來(lai)，研(yan)究者(zhe)一直在使(shi)用大量(liang)的(de)(de)(de)自(zi)我(wo)監督(du)學(xue)(xue)習(xi)(xi)(xi)，但這些系統在某個地(di)方不太專業(ye)，而(er)且很脆(cui)弱，它們(men)會(hui)犯愚蠢的(de)(de)(de)錯(cuo)誤(wu)，它們(men)不會(hui)真正地(di)推理，也(ye)不會(hui)計劃。當然，它們(men)的(de)(de)(de)反應確實(shi)非常快。
相比(bi)之下，動物和人類可以快速執行新(xin)任務(wu)并(bing)理(li)解(jie)世(shi)界是如(ru)何運作的，也可以推理(li)和計劃、具有常識，這是機(ji)器所不(bu)具備的。
他甚至不留情面地說，未來5年內，頭腦正常的人都不會再用自回歸LLM(大型語言模型)，GPT系統將很快被拋棄。“這些系統沒有物理世界的經驗，這使得它們(的能力)非常有限。”楊立昆表示。
楊立昆認為，人類最終走向的將是“世界模型”。世(shi)界(jie)模(mo)(mo)型(xing)可以真正地(di)理(li)解這(zhe)個世(shi)界(jie)，并預測和(he)(he)規(gui)劃未來(lai)。通過成(cheng)本(ben)(ben)核算(suan)模(mo)(mo)塊，結合一個簡單(dan)的(de)需求(一定按照最節(jie)約(yue)行動成(cheng)本(ben)(ben)的(de)邏輯去規(gui)劃未來(lai))，它就(jiu)可以杜絕一切潛在的(de)毒害(hai)和(he)(he)不可靠性(xing)。
那么，我們如何從本質上理解世界模(mo)型(xing)?
楊立昆提出了一個分層系(xi)統的(de)(de)設想：通過一連串的(de)(de)編(bian)碼器，提取世界(jie)狀態的(de)(de)更多抽象表示，并使用不同(tong)層次預(yu)測(ce)器的(de)(de)世界(jie)模型(xing)，在不同(tong)的(de)(de)擾動水平、不同(tong)的(de)(de)時間尺度(du)下預(yu)測(ce)世界(jie)的(de)(de)狀態。
一個簡單的例子是，如果你想從紐約去北京，你需要做的第一件事就是去機場，然后坐飛機去北京。這個過程可以拆分為若干動作，例如你從紐約辦公室的椅子上站起來，出門，到街上去攔一輛出租車，并告訴司機你要去機場等等——所有復雜的任務都是以某種分層規劃的方式完成的。
不過，楊立昆也承認，目前還沒人知道如何規模化實(shi)現(xian)這種分(fen)層規劃(hua)的體系。
2.開源與閉源：一場信仰與現實的較量
盡管技術邊界(jie)無窮無盡，但一個擺在人們(men)眼(yan)前的現實問(wen)題更(geng)不容(rong)忽視——正在快(kuai)速形成的大模型生態(tai)應該(gai)開源還是閉源?
回看整個計算機技術發展史，很難(nan)分辨(bian)開源、閉源生態究竟孰優孰劣。
在PC時(shi)代，有(you)封(feng)閉的Wintel聯盟和開放的Linux，今天(tian)，Linux幾(ji)乎成為所(suo)有(you)操作系統(tong)的內核;移(yi)動互聯時(shi)代，iOS的封(feng)閉生(sheng)(sheng)態(tai)與安卓的開放生(sheng)(sheng)態(tai)雙足鼎立。
如今到了智能時代，未來(lai)的大(da)模型之爭也難逃生態之爭。
從國(guo)外看，LLaMA發布后，在(zai)(zai)全(quan)球派生(sheng)(sheng)出的模型不計其數，已經形成了龐(pang)大的生(sheng)(sheng)態。但智源(yuan)研究(jiu)院副院長、總(zong)工程(cheng)師林詠華在(zai)(zai)訪談時對「甲子(zi)光年」等媒體表示(shi)，這(zhe)種生(sheng)(sheng)態對中國(guo)的企(qi)業和開(kai)發者并不友好。
首先，LLaMA的(de)開源(yuan)生態(tai)無法商(shang)用(yong);其次，LLaMA的(de)語料主要來自國外(wai)，由(you)此(ci)帶來的(de)部分和中文語境不適配的(de)問(wen)題會被繼承(cheng)在基(ji)于LLaMA訓(xun)練的(de)模型中。
為此，智(zhi)源(yuan)研究院搭建了一套更適用于(yu)國內(nei)的開源(yuan)生態體系。
今年年初，智源發布了FlagOpen大(da)(da)模(mo)型技術開(kai)源體系;數(shu)據(ju)(ju)(ju)集方面，智源已開(kai)源首個(ge)大(da)(da)規(gui)模(mo)、可(ke)商(shang)用的(de)中文指令數(shu)據(ju)(ju)(ju)集COIG。COIG一期已開(kai)放總計19.1萬條指令數(shu)據(ju)(ju)(ju)，COIG二(er)期正在建設最大(da)(da)規(gui)模(mo)、持續(xu)更(geng)新(xin)的(de)中文多任務(wu)指令數(shu)據(ju)(ju)(ju)集，整合了1800多個(ge)海量開(kai)源數(shu)據(ju)(ju)(ju)集，人工改寫了3.9億(yi)條指令數(shu)據(ju)(ju)(ju)，并提供(gong)了配套(tao)的(de)數(shu)據(ju)(ju)(ju)篩選、版本控制工具。
事實上，開源和閉源的選擇背后，是一場信仰與現實的較量。
對于很多(duo)人而言，開(kai)(kai)源(yuan)是一個原(yuan)則問題。開(kai)(kai)源(yuan)社區Hugging Face聯合創(chuang)始(shi)人Julien Chaumond曾(ceng)在推特(te)上寫道：“我們永遠不會放(fang)棄為開(kai)(kai)源(yuan)人工智(zhi)能而戰。”
智源研究院(yuan)也是開源生態堅定的擁躉(dun)。“如果沒有開源，AI不(bu)會發展到今天。”林(lin)詠(yong)華表示。
不過，在林詠華看來，開源和閉源沒有對錯之分，更多取決于主體自身性質和訴求。國內大(da)廠作(zuo)(zuo)為商業機構(gou)，投(tou)入(ru)了大(da)量成本訓練模型，這也決定(ding)(ding)了他們需要考(kao)慮(lv)如何讓(rang)投(tou)資有回報的問(wen)題;而智(zhi)源作(zuo)(zuo)為政府支持(chi)的非營利組織，主要訴求(qiu)是(shi)對產業產生(sheng)更多(duo)的技術影響，這決定(ding)(ding)了智(zhi)源追(zhui)求(qiu)開(kai)(kai)源，尤其是(shi)可商用(yong)的開(kai)(kai)源生(sheng)態。
只是，相比以商業目標為主導(dao)的(de)閉源生(sheng)態，開源系(xi)統還有(you)更強的(de)公共意義。
在封閉生(sheng)態下，大企(qi)業(ye)很容易形成壟斷，甚至演(yan)變為(wei)技(ji)術霸權。當一項影響全人(ren)類命運的(de)(de)技(ji)術僅(jin)僅(jin)掌握在少數商業(ye)主體(ti)手中，世(shi)界都將(jiang)陷入巨大的(de)(de)不穩(wen)定性中。開源則能(neng)在一定程度上(shang)避免技(ji)術霸權。
但開(kai)源(yuan)(yuan)也(ye)會然意味(wei)著谷歌、OpenAI等(deng)提供(gong)開(kai)源(yuan)(yuan)內核的企業在巨大的技術投(tou)入后很難得到相(xiang)應的回報(bao)，甚至讓企業生存難以為繼。
眾所(suo)周知，OpenAI也曾為(wei)開(kai)源而生。但從GPT-3開(kai)始，OpenAI便停止開(kai)放模型(xing)源代碼;到GPT-4，更是連最基本的模型(xing)參數(shu)都(dou)沒公布。
會上，張宏江將未來是否會開源的問題拋向奧爾特曼，而奧爾特曼卻打起了“太極”：“隨著時間的推移，我認為我們可能會期待更多的開源模型，但我沒有具體的時間表。”奧爾特曼進一步表示，開源一切并不是最優路徑。
智源研究院理(li)事(shi)長張宏(hong)江對話OpenAI CEO 薩(sa)姆·奧爾特曼
曾有人推測認為OpenAI走向“CloseAI”是因為其背后綁定了巨頭微軟，必須考慮商業回報。不過，在OpenAI的官方口徑中，閉源是出于安全考慮。
過去一(yi)段時間，奧(ao)爾特(te)曼像一(yi)位AI安全的“布(bu)道者(zhe)”，不斷呼吁全球各界人士重視AI安全。這一(yi)次(ci)也不例外(wai)。
3.控制AI是否為時尚早?
關于人類究竟應不應該盡早控制AI的問(wen)題，專家們也始終爭執不下。
一邊是(shi)以楊立昆為代(dai)表的(de)樂觀派(pai)。
在(zai)他看來，超(chao)級人(ren)(ren)工智(zhi)能確實存在(zai)安全(quan)風險，對(dui)此(ci)，各界可(ke)以通(tong)過謹慎的工程設計(ji)來減輕或遏制(zhi)風險。但(dan)問題在(zai)于，目(mu)前(qian)人(ren)(ren)類(lei)并沒有真正設計(ji)出超(chao)級智(zhi)能系統，談論安全(quan)或控(kong)制(zhi)問題有些(xie)為時(shi)過早。
楊(yang)立昆舉(ju)了一(yi)個(ge)生(sheng)動的例子(zi)：“這就好像你(ni)在(zai)1930年問(wen)航空工程(cheng)師‘如何讓渦輪(lun)噴(pen)氣(qi)式飛(fei)機(ji)安全可靠’?工程(cheng)師會(hui)說‘什么是渦輪(lun)噴(pen)氣(qi)式飛(fei)機(ji)’?因(yin)為渦輪(lun)噴(pen)氣(qi)發動機(ji)在(zai)1930年還(huan)沒有(you)被發明。”
另一邊，則是(shi)以奧爾特(te)曼、泰格馬克、辛頓等為代表的謹慎(shen)派。
“千里(li)之行，始于足下。”在“AI安全(quan)(quan)與對齊”的分論壇(tan)上，奧爾特曼引用了《道德(de)經》中(zhong)的一句話(hua)，來呼吁全(quan)(quan)球盡早(zao)邁出AGI治理最(zui)有建設(she)性的第(di)一步。
奧爾(er)特曼(man)表示，人(ren)工智能系(xi)統(tong)正在(zai)越來越強(qiang)大，如果人(ren)類不做好規(gui)劃，一(yi)個(ge)原(yuan)本設(she)計用來改善公共衛(wei)生(sheng)的(de)AI系(xi)統(tong)很(hen)可(ke)(ke)能提供破壞(huai)公共衛(wei)生(sheng)的(de)建議;一(yi)個(ge)原(yuan)本用來優(you)化農業(ye)實(shi)踐的(de)人(ren)工智能系(xi)統(tong)可(ke)(ke)能會(hui)無意(yi)中損(sun)害經濟和(he)資(zi)源(yuan)的(de)消耗(hao)，缺乏對長期可(ke)(ke)持續性的(de)考慮，從而(er)影響食物生(sheng)產和(he)環境(jing)平衡。
因此(ci)，推進AGI安(an)全(quan)是全(quan)球(qiu)尋找(zhao)共同立(li)場最重要的(de)領域之一。首(shou)先，各國(guo)應(ying)共同建(jian)立(li)包容的(de)國(guo)際(ji)準則(ze)和(he)標準，并在所有國(guo)家對AGI的(de)使用中建(jian)立(li)平等、統一的(de)防護(hu)措(cuo)施。其次，建(jian)立(li)國(guo)際(ji)合作，以可驗證的(de)方(fang)式在全(quan)球(qiu)范圍(wei)內建(jian)立(li)對越來越強大的(de)AGI系(xi)統安(an)全(quan)開發的(de)信(xin)任。
而在更具體的操作層面，“對齊”則是很重要的一步。
奧(ao)爾特曼表示，從GPT-4完成(cheng)預訓練到部署，OpenAI花了八個(ge)月來研究(jiu)如何(he)前(qian)置預判風險并給出對(dui)策的問題。“GPT-4的對(dui)齊程(cheng)度超(chao)過當(dang)前(qian)所有的代(dai)碼。”
他進一步表示，對于更高級的系統，對齊仍然是一個尚未解決的問題。未來的AGI可能是一個十萬行二進制代碼的系統，人類很難判斷如此規模的模型是否在做一些損害人類社會的事情。因此，我們需要新的技術方法，并加強治理監督。
奧爾特曼透露了兩個正在投資(zi)新的方(fang)向：
一個(ge)是可(ke)擴展的監(jian)督(du)，嘗試使用(yong)AI系(xi)統來協助(zhu)人類(lei)監(jian)督(du)其(qi)他AI系(xi)統。例(li)如，訓練一個(ge)模型(xing)來幫助(zhu)人類(lei)監(jian)督(du)員(yuan)找出其(qi)他模型(xing)代碼中的缺陷。
一個(ge)是(shi)可解(jie)釋性。我(wo)們(men)希望(wang)更(geng)好地理解(jie)模(mo)型(xing)內部發生的(de)事情(qing)，我(wo)們(men)最近發表了一篇論文，使(shi)用(yong)GPT-4來(lai)解(jie)釋計(ji)算機的(de)復雜狀態。
麻省理工學院未來生(sheng)命研究所創始人馬克斯·泰格馬克的(de)觀點和奧(ao)爾特曼有(you)異曲同(tong)工之妙。
麻(ma)省(sheng)理工學院未來(lai)生命研(yan)究(jiu)所創(chuang)始人馬(ma)克斯·泰格馬(ma)克
在主題(ti)(ti)為《Keeping AI under control》的演講中，泰格馬(ma)克表示(shi)，要(yao)確(que)保AI為人(ren)類服(fu)務而不是(shi)和人(ren)類作對，需(xu)要(yao)解決兩大問題(ti)(ti)：
首先是對齊，讓單個AI真正按照其所有者的意愿行事。其次，是如何讓世界各地所有組織、公司、個人等保持一致，確保他們用AI來做正確的事。
在(zai)這次分享中，泰格(ge)馬克主要圍繞前者展開討(tao)論(lun)。其中，讓(rang)機(ji)器具(ju)有可解(jie)釋性是關鍵。他將讓(rang)機(ji)器實現可解(jie)釋性分為三個層面(mian)：
首先，判斷機器的(de)可信度(du)。例如人在(zai)開車時并(bing)不明白剎車的(de)工(gong)作(zuo)原(yuan)理(li)，但人們會相信踩下(xia)剎車板車就會慢下(xia)來。
其次(ci)，更好地理解(jie)機(ji)器(qi)，這會讓機(ji)器(qi)更值得被信賴(lai)。
最(zui)后，也是(shi)泰格馬(ma)克本(ben)人(ren)的(de)志向，就(jiu)是(shi)提取機器學習(xi)黑(hei)匣子(zi)中的(de)所有知(zhi)識，并將(jiang)其在(zai)其他系統中復現，便(bian)能夠證明機器會按照人(ren)類的(de)意(yi)愿做事。
泰(tai)格馬克(ke)用(yong)一(yi)些(xie)例子來解釋了最后一(yi)點，其中(zhong)一(yi)個例子還反駁了楊(yang)立(li)昆對自(zi)回歸模型中(zhong)缺乏世界模型的(de)批(pi)評。
他(ta)引用了(le)(le)(le)一(yi)篇論文(wen)內容(rong)，其中提到，研究者訓練了(le)(le)(le)一(yi)個transformer模(mo)(mo)型(xing)(xing)來預測奧賽(sai)羅游(you)戲(xi)(一(yi)種(zhong)比圍棋簡單得多的(de)棋盤游(you)戲(xi))的(de)下(xia)一(yi)個動(dong)作，他(ta)們并未告(gao)訴模(mo)(mo)型(xing)(xing)任何游(you)戲(xi)規(gui)則，甚至沒讓模(mo)(mo)型(xing)(xing)知道這是(shi)一(yi)個棋類游(you)戲(xi)。但機(ji)器的(de)可解釋性發現，模(mo)(mo)型(xing)(xing)自己建立了(le)(le)(le)一(yi)個8x8的(de)二維世界模(mo)(mo)型(xing)(xing)，棋盤上還有棋子。
泰格(ge)(ge)馬克表示，這(zhe)種(zhong)能(neng)力也存在于其他大型語(yu)言模(mo)型中，例如(ru)人(ren)們在使用百度的文心一言或GPT-4時，會(hui)發現它(ta)們能(neng)夠為不(bu)同的人(ren)建模(mo)，按(an)照使用者的風格(ge)(ge)輸出內(nei)容(rong)。
智源研究院院長黃鐵軍也對「甲子光(guang)年」等媒體發(fa)表(biao)了自己的看法，強調了關注AI安全，應(ying)對AI風險的重(zhong)要性。
黃鐵軍認(ren)為(wei)，目前，我(wo)們處在一個模糊(hu)的(de)階段，他將其稱之為(wei)“Near AGI”，任(ren)何事情只(zhi)要確定都是可以把控的(de)，就怕不能確定。而今(jin)天(tian)，我(wo)們就處在一個不能確定的(de)狀態。
“雖然我們(men)(men)(men)認為GPT-4還不算真(zhen)正的(de)(de)(de)AGI，但(dan)是(shi)其知(zhi)(zhi)識儲備量和融會貫通的(de)(de)(de)能(neng)力(li)已(yi)經(jing)很強(qiang)。這樣(yang)的(de)(de)(de)‘Near AGI’比我們(men)(men)(men)強(qiang)嗎?超(chao)過我們(men)(men)(men)的(de)(de)(de)智(zhi)能(neng)了嗎?今天(tian)論(lun)壇的(de)(de)(de)所有(you)嘉(jia)賓(bin)在報(bao)告中都沒(mei)(mei)有(you)給大家一個確定(ding)的(de)(de)(de)答案。并沒(mei)(mei)有(you)明確說‘NO’‘放心(xin)’‘今天(tian)的(de)(de)(de)AI系統還不如人類(lei)強(qiang)大呢(ni)’。這就是(shi)問題(ti)所在”，黃鐵軍(jun)表示(shi)，“我們(men)(men)(men)并不清(qing)楚地知(zhi)(zhi)道人工智(zhi)能(neng)是(shi)不是(shi)已(yi)經(jing)超(chao)過我們(men)(men)(men)，不知(zhi)(zhi)道它何(he)時會超(chao)過我們(men)(men)(men)，該(gai)問題(ti)處在一個完全無法把(ba)控的(de)(de)(de)狀態。如果(guo)我們(men)(men)(men)能(neng)夠(gou)像投(tou)資熱情(qing)那樣(yang)投(tou)入來應對風險，至少(shao)還有(you)一定(ding)把(ba)握未來的(de)(de)(de)可(ke)能(neng)。但(dan)是(shi)，你相信人類(lei)能(neng)做到嗎?我不知(zhi)(zhi)道”。
4.人類和AI，誰是未來世界的主宰?
大佬們之(zhi)所(suo)以如此關(guan)注(zhu)AI安全(quan)，核心是因為人工智能的發展(zhan)趨勢將直接影響(xiang)到全(quan)人類的未來命運。
有關AI顛覆人類的科幻故事不勝枚舉，甚至有不少人談“AI”色變。無論專家、從業者還是普通公眾，都迫切地想要知道：如果智能體比人類更聰明，世界會發生什么?
圖靈獎(jiang)得主、“深度學習(xi)之父”杰(jie)弗里(li)·辛頓在閉幕(mu)演(yan)講中提到(dao)，超級智能可能會比預想中發生得更快。
圖(tu)靈(ling)獎得(de)主、“深度學習(xi)之(zhi)父”杰弗里(li)·辛頓(dun)
不(bu)良分(fen)子可能(neng)會(hui)利用(yong)超級智能(neng)體操(cao)縱選舉等活動(dong)。在美國和其(qi)他(ta)許多地方(fang)，他(ta)們(men)已經在利用(yong)它(ta)們(men)進(jin)行這些活動(dong)，甚至可能(neng)會(hui)用(yong)于贏得戰爭。
如果要讓數字智能更高效，人們需要允許智能體制定一些目標，而智能體實現這些目標的大前提是擁有更多的控制權。辛頓認為，目前很難想象人類該如何阻止數字智能為了實現更多目的而獲取更多控制權。
一旦數字智(zhi)能開始追(zhui)求更(geng)多(duo)控制(zhi)權，人類可(ke)能會面(mian)臨(lin)更(geng)多(duo)問題(ti)。比如，在物(wu)理(li)隔絕(jue)的情況下，超級智(zhi)能物(wu)種(zhong)仍然可(ke)以(yi)通(tong)過控制(zhi)人類來輕易獲得(de)更(geng)多(duo)的權限(xian)。
在辛頓的(de)(de)觀察中(zhong)，這類人(ren)工智能(neng)已經熟練掌握了欺(qi)騙人(ren)類的(de)(de)動作。它可以通(tong)過閱讀小說，來學習(xi)欺(qi)騙他人(ren)的(de)(de)方(fang)式(shi)，而一旦人(ren)工智能(neng)具(ju)備“欺(qi)騙”的(de)(de)能(neng)力，也就具(ju)備輕易(yi)控制人(ren)類的(de)(de)能(neng)力。
例如，如果超級(ji)智(zhi)能體想入(ru)侵(qin)華盛頓的一座建(jian)筑，它不需(xu)(xu)要親自(zi)去那里，只需(xu)(xu)要欺騙人(ren)們，讓他們自(zi)認為通過入(ru)侵(qin)該建(jian)筑物，就(jiu)能拯救民主，最終實現目的。
現實世界中，也已經出現了(le)AI欺騙人類的(de)先例。
據美聯社報道，6月9日，一名從業30年的(de)紐約律(lv)師在其提交的(de)法(fa)庭文件中使用了ChatGPT提供的(de)案例，而這(zhe)些案例中很(hen)多都是(shi)ChatGPT杜(du)撰的(de)，這(zhe)導致這(zhe)名律(lv)師面臨紀律(lv)聽證會(hui)，甚(shen)至可能(neng)面臨處罰。
“這種操作令人感到害怕，因為我也不知道如何阻止(zhi)這樣的(de)行為發生。”辛頓擔憂道。
辛頓呼吁，希(xi)望年(nian)輕一(yi)(yi)代的研究人員可以(yi)找出(chu)一(yi)(yi)些更智(zhi)能的辦法(fa)，來阻止超級智(zhi)能體(ti)通(tong)過欺(qi)騙來控(kong)制人類(lei)的行為。
或許，人(ren)類的(de)(de)微弱優勢是，這些智能(neng)物(wu)種(zhong)都是由(you)人(ren)類打造(zao)的(de)(de)，而非自(zi)然進(jin)化的(de)(de)產物(wu)，也正因如此，它們可能(neng)不(bu)具備人(ren)類會競爭(zheng)、有攻(gong)擊性等特點。
為此，人類可以嘗試賦予人工智能一些倫理原則。但一個更讓人毛骨悚然的隱憂是，古往今來，主宰世界的往往是智能水平更高的物種。
在演講(jiang)最后，辛頓留下了一則(ze)寓言式(shi)的(de)警(jing)示：
“假設青蛙創造了人類，你認為現在誰會占據主動權，是人，還是青蛙?”
