“未來5年內，頭腦正常的人都不會再用自回歸LLM(大型語言模型)，GPT系統將很快被拋棄。”
這是圖(tu)靈獎得主、Meta首席AI科(ke)學家、紐約(yue)大學教授Yann LeCun(楊立昆)在今年智源(yuan)大會(hui)上發表的(de)觀點。
今(jin)年以來，以ChatGPT為(wei)代表的(de)AI大(da)模型(xing)點(dian)亮了(le)人類世界又一次群星閃耀(yao)的(de)時刻。但顯而易見的(de)是，AI大(da)模型(xing)的(de)快速躥紅(hong)，也同時帶來了(le)無數亟待(dai)解決(jue)的(de)問題和諸(zhu)多針(zhen)鋒相對的(de)探討。
人類(lei)是(shi)否(fou)已經進入AGI時代?GPT是(shi)否(fou)會被拋棄?開源與閉源到(dao)底如何(he)選(xuan)擇?AI是(shi)否(fou)已然威脅到(dao)人類(lei)安(an)全?人和AI，誰是(shi)未來世界的主宰?
顛覆式創(chuang)新往(wang)往(wang)伴隨巨大的不確定性。即使是專家(jia)們在今(jin)天發(fa)出的權(quan)威(wei)論斷，在若干年(nian)后也很可能變成(cheng)技術長河中一個微小的“謬誤”。但(dan)盡管如此，當(dang)下的百家(jia)爭鳴(ming)依然有永恒的意義(yi)。
6月10日，第五屆北京智源大(da)會閉(bi)幕。
北京智源大會由智源研究院主辦，今年邀請到了圖靈獎得主Geoffrey Hinton(杰弗里·辛頓)、Yann LeCun(楊立昆)、Joseph Sifakis、姚期智，張鈸、鄭南寧、謝曉亮、張宏江、張亞勤等院士，加州大學伯克利分校人工智能系統中心(xin)創(chuang)(chuang)始人(ren)Stuart Russell(斯(si)圖(tu)爾(er)特·羅素)，麻省理工學院未來(lai)生命(ming)研究所創(chuang)(chuang)始人(ren)Max Tegmark(馬(ma)克(ke)斯(si)·泰格(ge)馬(ma)克(ke))，OpenAI首席執行官(guan)Sam Altman(薩姆·奧爾(er)特曼)等200余位人(ren)工智能專(zhuan)(zhuan)家(jia)——如此群(qun)星(xing)璀璨的專(zhuan)(zhuan)家(jia)陣容，有人(ren)評價(jia)這(zhe)場大會為(wei)“AI春晚”。
大會共持(chi)續了兩天，設置了十(shi)余(yu)場(chang)分論壇，內容涵(han)蓋前沿技術、生(sheng)態、安全、倫理等方(fang)方(fang)面面。
不過，大(da)會最奪人眼球的環(huan)節(jie)之(zhi)一，還(huan)是杰弗(fu)里·辛頓、楊立昆、斯圖爾特·羅素(su)、馬克(ke)斯·泰格馬克(ke)、薩姆·奧爾特曼等國際AI大(da)咖的隔空辯論。大(da)會期(qi)間，「甲子光年(nian)」參與(yu)了活(huo)動群訪，將最值得關注的4個核心爭議點(dian)進行了提煉總結(jie)，盡可能還(huan)原全球AI領軍者們對AI當(dang)下與(yu)未(wei)來的深度思(si)考。
1.GPT快要被拋棄了?
AI大模型(xing)出現(xian)后，一(yi)個隨之而來的問題是(shi)(shi)：世界是(shi)(shi)否(fou)已(yi)經進(jin)入AGI時代?
王(wang)小(xiao)川曾在今年2月便篤定(ding)地(di)告訴「甲子光年」：“這(zhe)(指ChatGPT)就(jiu)(jiu)是(shi)AGI!”這(zhe)一判斷(duan)的(de)核(he)心邏輯是(shi)，ChatGPT背后的(de)大(da)模(mo)型(xing)掌(zhang)握(wo)了語(yu)(yu)言(yan)，而語(yu)(yu)言(yan)的(de)邊界就(jiu)(jiu)是(shi)世界的(de)邊界，機器掌(zhang)握(wo)了語(yu)(yu)言(yan)，就(jiu)(jiu)意味著(zhu)AGI的(de)到來。
但就在本次智源大會上，ChatGPT神話的締造者、OpenAI CEO薩姆·奧爾特曼則表示，自己并不確定AGI何時到來，但他認為10年內，人類可能會迎來更強大的AI系統。
之所以業內有(you)如此(ci)巨(ju)大的分歧，是因(yin)為AGI目前(qian)并沒有(you)明確定義。
在(zai)本屆智(zhi)源大會上，智(zhi)源研(yan)究院院長黃(huang)鐵軍(jun)表(biao)示，“通(tong)用(yong)(yong)人(ren)工智(zhi)能”有兩(liang)個解釋，GAI(General Artficaial Intelligence)和AGI(Artificial General Intelligence)。他認為(wei)，大多數媒體都將通(tong)用(yong)(yong)人(ren)工智(zhi)能理解為(wei)前者，而真正讓人(ren)工智(zhi)能研(yan)究者談論數年的(de)是(shi)AGI，世界正處于(yu)由GAI向AGI邁進的(de)歷史時期。
要實現AGI，究竟(jing)需(xu)要什么樣(yang)的技(ji)術(shu)條件?
黃鐵軍總結了三條(tiao)實現AGI的技術(shu)路線:
大(da)數(shu)據+自(zi)監(jian)督學(xue)習+大(da)算力(li)形成的信息類模(mo)型(xing)(xing)，以OpenAI的GPT系列模(mo)型(xing)(xing)為代表;
基于虛擬或(huo)真(zhen)實(shi)世界，通過強化學習(xi)訓練出來的具身(shen)模型，以Google DeepMind的DQN深(shen)度學習(xi)技(ji)術為(wei)代表;
直接抄自然進化的作業，復制數字版本的人腦和智能(neng)體，即腦智能(neng)。這是智源研究院(yuan)一直在(zai)嘗(chang)試的方(fang)向。
目前，智源研究院在上述三個方向均有布局。會上，黃鐵軍著重介紹了大模型與具身智能兩個方向，發布了全面開源的“悟道3.0”系列大模型及算法，報告了在高精度生命模擬和有機大分子建模方面的最新進展。
智源研究院(yuan)院(yuan)長(chang)黃鐵軍
在2021年(nian)3月，悟道1.0發布會上，智源研判人工智能已經從“大(da)煉模(mo)型(xing)”轉變(bian)為“煉大(da)模(mo)型(xing)”的(de)新階段，從此，“大(da)模(mo)型(xing)”概念走入公眾(zhong)視野。
黃鐵軍提(ti)出了(le)大模型需要(yao)(yao)具備的(de)(de)三(san)個條件：一是規模要(yao)(yao)大，參數達百億(yi)規模以上(shang);二(er)是涌現性(xing)，能(neng)(neng)夠(gou)(gou)產生預料之外的(de)(de)新能(neng)(neng)力(li);三(san)是通用(yong)性(xing)，不限(xian)于專(zhuan)門(men)問題或領域，能(neng)(neng)夠(gou)(gou)處理(li)多種不同(tong)的(de)(de)任務。
悟(wu)道(dao)系列模(mo)型已發展到(dao)“悟(wu)道(dao)3.0”版本，涵蓋語言、視(shi)覺(jue)、多模(mo)態等基礎(chu)大模(mo)型，并全面開源。
在(zai)攻(gong)關(guan)大(da)(da)模型的(de)同時，智(zhi)(zhi)源(yuan)(yuan)研(yan)究院(yuan)也在(zai)探索具(ju)身智(zhi)(zhi)能。近(jin)期，智(zhi)(zhi)源(yuan)(yuan)研(yan)究院(yuan)提出了在(zai)無(wu)專家數據情況下(xia)高效解決《我的(de)世界(jie)》任務的(de)方法Plan4MC，可完(wan)成大(da)(da)量復雜多(duo)樣任務，為當前強化學習路徑下(xia)最優表現，成功率相(xiang)比所有基線方法有大(da)(da)幅提升。智(zhi)(zhi)源(yuan)(yuan)的(de)下(xia)一個目標則是讓(rang)智(zhi)(zhi)能體(ti)在(zai)開放世界(jie)中持(chi)續(xu)學習并進(jin)一步具(ju)備(bei)創造力(li)。
針對第三條路徑，智源研究(jiu)院也有(you)新進展。
去年的(de)智源大(da)會上，智源研(yan)(yan)究院發布了最高精度的(de)仿真(zhen)線蟲。現(xian)在，智源開放仿真(zhen)線蟲研(yan)(yan)究所(suo)使用的(de)“天(tian)演”平臺(tai)，提供在線服務。
基于天演平臺，實現對生物智能進行高精度仿真，探索智能的本質，推動由生物啟發的通用人工智能。為進一步推動神經系統仿真規模與性能，天演團隊將天演接入我國新一代百億億次超級計算機-天河新一代超級計算機。通過“天演-天河”的成功部署運行，實現鼠腦V1視皮層精細網絡等模型仿真，計算能耗均能降低約10倍以上，計算速度實現10倍以上提升，達(da)到全球范圍(wei)內(nei)最極致的精細神經元網絡仿真的性能，為實現全人腦精細模(mo)擬打下(xia)堅實基礎。
除智源的三條路徑之外，圖靈獎得主、Meta首席AI科學家、紐約大學教授楊立昆也在會上系統闡述了他提出的“世界模型”。
圖靈獎得主(zhu)、Meta首席AI科(ke)學家、紐(niu)約(yue)大(da)學教授楊立(li)昆
在(zai)楊立昆看來，幾十年來，研(yan)究者一直在(zai)使(shi)用(yong)(yong)監督(du)學(xue)習(xi)(xi)，這需要(yao)(yao)太多的(de)(de)標簽。強(qiang)化(hua)學(xue)習(xi)(xi)效果(guo)不(bu)(bu)錯，但(dan)需要(yao)(yao)大(da)(da)量的(de)(de)訓練(lian)來學(xue)習(xi)(xi)知識(shi)。近(jin)年來，研(yan)究者一直在(zai)使(shi)用(yong)(yong)大(da)(da)量的(de)(de)自我監督(du)學(xue)習(xi)(xi)，但(dan)這些(xie)系統在(zai)某個(ge)地(di)方不(bu)(bu)太專(zhuan)業，而(er)且很脆(cui)弱，它們會(hui)犯愚蠢(chun)的(de)(de)錯誤，它們不(bu)(bu)會(hui)真正地(di)推(tui)理，也不(bu)(bu)會(hui)計劃。當然(ran)，它們的(de)(de)反應確(que)實非常快。
相比之下(xia)，動(dong)物和人類可以快速執(zhi)行新(xin)任務并理(li)解世界是(shi)(shi)如(ru)何運作的(de)，也可以推理(li)和計劃、具(ju)有常識，這是(shi)(shi)機器所不具(ju)備的(de)。
他甚至不留情面地說，未來5年內，頭腦正常的人都不會再用自回歸LLM(大型語言模型)，GPT系統將很快被拋棄。“這些系統沒有物理世界的經驗，這使得它們(的能力)非常有限。”楊立昆表示。
楊立昆認為，人類最終走向的將是“世界模型”。世界模型可以(yi)真正地理(li)解這(zhe)個世界，并(bing)預測和規(gui)劃未來(lai)。通過(guo)成本(ben)核(he)算模塊，結合(he)一個簡單的(de)(de)需求(qiu)(一定按照最節約行動成本(ben)的(de)(de)邏輯去規(gui)劃未來(lai))，它(ta)就可以(yi)杜(du)絕(jue)一切潛在的(de)(de)毒害和不可靠性。
那(nei)么，我們如何從本質(zhi)上理解(jie)世界模型?
楊立昆提出了一個分層系(xi)統(tong)的設想(xiang)：通過(guo)一連串的編碼器(qi)，提取(qu)世界狀態(tai)(tai)的更多(duo)抽(chou)象(xiang)表示(shi)，并(bing)使用不同(tong)層次預測(ce)器(qi)的世界模型，在不同(tong)的擾動水平(ping)、不同(tong)的時間尺度下預測(ce)世界的狀態(tai)(tai)。
一個簡單的例子是，如果你想從紐約去北京，你需要做的第一件事就是去機場，然后坐飛機去北京。這個過程可以拆分為若干動作，例如你從紐約辦公室的椅子上站起來，出門，到街上去攔一輛出租車，并告訴司機你要去機場等等——所有復雜的任務都是以某種分層規劃的方式完成的。
不過，楊(yang)立昆也承認，目前還沒人知道如何規模(mo)化實現(xian)這(zhe)種分層規劃的體系。
2.開源與閉源：一場信仰與現實的較量
盡(jin)管技術邊界(jie)無窮無盡(jin)，但(dan)一個擺在(zai)人們眼前的現實(shi)問題更(geng)不容(rong)忽視——正(zheng)在(zai)快速形成的大模型(xing)生態應該開(kai)源還(huan)是閉源?
回看整個計算機技術(shu)發展(zhan)史，很難分辨開(kai)源、閉源生態究(jiu)竟(jing)孰優孰劣。
在PC時代，有(you)封閉的(de)Wintel聯(lian)盟和(he)開放的(de)Linux，今(jin)天，Linux幾乎成為所有(you)操作系統的(de)內核;移動互聯(lian)時代，iOS的(de)封閉生態與安卓的(de)開放生態雙足鼎(ding)立。
如(ru)今到了(le)智能時代，未來的(de)大模(mo)型之爭(zheng)也難逃生態(tai)之爭(zheng)。
從國(guo)外看，LLaMA發(fa)布后，在(zai)全球派(pai)生(sheng)(sheng)出的(de)模型不計其(qi)數，已經(jing)形成了龐大(da)的(de)生(sheng)(sheng)態(tai)。但智源(yuan)研究院副院長、總工程師(shi)林詠華在(zai)訪談時對「甲(jia)子(zi)光年」等媒(mei)體表示(shi)，這種生(sheng)(sheng)態(tai)對中國(guo)的(de)企業(ye)和開發(fa)者并不友好。
首先，LLaMA的(de)開源(yuan)生態無法商用;其次，LLaMA的(de)語料主要來自國(guo)外，由此帶(dai)來的(de)部分(fen)和中文(wen)語境不適(shi)配(pei)的(de)問題會被繼承在基(ji)于LLaMA訓練的(de)模型中。
為此，智源研究(jiu)院(yuan)搭建了一套更適用于(yu)國內的開源生(sheng)態體系。
今年(nian)年(nian)初，智(zhi)源(yuan)(yuan)發(fa)布(bu)了(le)(le)FlagOpen大(da)模(mo)(mo)型技術開(kai)源(yuan)(yuan)體系;數(shu)據(ju)(ju)集(ji)方面，智(zhi)源(yuan)(yuan)已(yi)開(kai)源(yuan)(yuan)首個大(da)規模(mo)(mo)、可商(shang)用的(de)中文指令(ling)數(shu)據(ju)(ju)集(ji)COIG。COIG一期已(yi)開(kai)放總(zong)計19.1萬(wan)條(tiao)(tiao)指令(ling)數(shu)據(ju)(ju)，COIG二期正在建設(she)最(zui)大(da)規模(mo)(mo)、持續更(geng)新的(de)中文多(duo)任務(wu)指令(ling)數(shu)據(ju)(ju)集(ji)，整(zheng)合了(le)(le)1800多(duo)個海量開(kai)源(yuan)(yuan)數(shu)據(ju)(ju)集(ji)，人工改(gai)寫了(le)(le)3.9億條(tiao)(tiao)指令(ling)數(shu)據(ju)(ju)，并提供(gong)了(le)(le)配套的(de)數(shu)據(ju)(ju)篩選、版本控制工具。
事實上，開源和閉源的選擇背后，是一場信仰與現實的較量。
對于很多(duo)人(ren)(ren)而言(yan)，開(kai)(kai)源(yuan)(yuan)是(shi)一(yi)個(ge)原則(ze)問題。開(kai)(kai)源(yuan)(yuan)社區Hugging Face聯合創始(shi)人(ren)(ren)Julien Chaumond曾在推特(te)上寫道：“我們永遠不會放(fang)棄為開(kai)(kai)源(yuan)(yuan)人(ren)(ren)工智能而戰。”
智源(yuan)研究院也(ye)是開源(yuan)生態堅定的擁躉。“如果沒有開源(yuan)，AI不會(hui)發(fa)展(zhan)到今天。”林(lin)詠華(hua)表(biao)示。
不過，在林詠華看來，開源和閉源沒有對錯之分，更多取決于主體自身性質和訴求。國內大廠作為商業機(ji)構，投(tou)入了(le)(le)大量(liang)成(cheng)本訓練模型，這也決定了(le)(le)他們需(xu)要考慮如何讓(rang)投(tou)資有回(hui)報的問題;而智源(yuan)作為政府(fu)支(zhi)持的非營利(li)組織(zhi)，主要訴求是(shi)對產業產生更(geng)多的技術(shu)影響，這決定了(le)(le)智源(yuan)追求開源(yuan)，尤其是(shi)可商用的開源(yuan)生態(tai)。
只(zhi)是，相比以商業(ye)目標為主導的閉源生態，開源系統還有更強的公共(gong)意(yi)義。
在(zai)封閉生(sheng)態下，大企業(ye)很(hen)容易形成壟斷(duan)，甚至演變為技術(shu)霸(ba)權(quan)(quan)。當一(yi)項影(ying)響全人類命(ming)運的技術(shu)僅僅掌(zhang)握(wo)在(zai)少數商業(ye)主體手中，世界都將陷入(ru)巨大的不(bu)穩(wen)定(ding)性中。開源則(ze)能在(zai)一(yi)定(ding)程度上(shang)避免技術(shu)霸(ba)權(quan)(quan)。
但開(kai)源(yuan)也會然意(yi)味(wei)著谷歌、OpenAI等提供開(kai)源(yuan)內核的(de)(de)企業在巨大的(de)(de)技術投(tou)入后很難(nan)得到相應的(de)(de)回報，甚(shen)至讓企業生存(cun)難(nan)以為繼。
眾所周知，OpenAI也曾為開(kai)源而生。但(dan)從GPT-3開(kai)始，OpenAI便停止開(kai)放(fang)模型(xing)源代(dai)碼;到GPT-4，更是連(lian)最基本的模型(xing)參(can)數(shu)都(dou)沒公布。
會上，張宏江將未來是否會開源的問題拋向奧爾特曼，而奧爾特曼卻打起了“太極”：“隨著時間的推移，我認為我們可能會期待更多的開源模型，但我沒有具體的時間表。”奧爾特曼進一步表示，開源一切并不是最優路徑。
智源(yuan)研(yan)究(jiu)院(yuan)理事長張宏江對(dui)話(hua)OpenAI CEO 薩姆·奧爾(er)特曼
曾有人推測認為OpenAI走向“CloseAI”是因為其背后綁定了巨頭微軟，必須考慮商業回報。不過，在OpenAI的官方口徑中，閉源是出于安全考慮。
過去一段時(shi)間，奧爾(er)特曼像一位AI安(an)全的“布(bu)道者”，不斷(duan)呼吁(yu)全球各界人士重視AI安(an)全。這一次也不例外。
3.控制AI是否為時尚早?
關于人類究(jiu)竟應不(bu)應該(gai)盡早(zao)控制AI的(de)問題(ti)，專家們(men)也始終爭執不(bu)下。
一邊是以楊(yang)立昆為(wei)代(dai)表(biao)的樂觀派(pai)。
在(zai)他看來(lai)，超(chao)級(ji)人工智(zhi)能確實存在(zai)安全風(feng)險(xian)，對此(ci)，各(ge)界可以通(tong)過謹慎的(de)工程(cheng)設(she)計(ji)來(lai)減輕或(huo)遏制風(feng)險(xian)。但問(wen)題在(zai)于，目前(qian)人類并沒有(you)真正設(she)計(ji)出超(chao)級(ji)智(zhi)能系統，談(tan)論安全或(huo)控制問(wen)題有(you)些為時過早(zao)。
楊立昆舉了(le)一個生動的例子：“這(zhe)就好像(xiang)你在(zai)1930年(nian)問航空工程師(shi)‘如何(he)讓(rang)渦(wo)輪(lun)噴(pen)氣(qi)式(shi)飛機(ji)安全可靠(kao)’?工程師(shi)會(hui)說‘什么(me)是渦(wo)輪(lun)噴(pen)氣(qi)式(shi)飛機(ji)’?因為(wei)渦(wo)輪(lun)噴(pen)氣(qi)發動機(ji)在(zai)1930年(nian)還沒有被發明。”
另一邊(bian)，則是以奧爾特(te)曼(man)、泰(tai)格馬克、辛頓等為代(dai)表的謹(jin)慎派。
“千(qian)里之行，始于足下。”在“AI安全(quan)與對齊”的(de)(de)分(fen)論(lun)壇上，奧(ao)爾特曼引(yin)用了(le)《道德經》中(zhong)的(de)(de)一句話，來呼吁全(quan)球盡早邁出AGI治(zhi)理(li)最有(you)建設性(xing)的(de)(de)第一步(bu)。
奧爾特曼(man)表示，人(ren)工智能(neng)系統正在越來(lai)越強大，如果(guo)人(ren)類不做(zuo)好(hao)規劃，一個原本設(she)計用來(lai)改善公共(gong)衛生(sheng)的(de)AI系統很可(ke)能(neng)提供破壞公共(gong)衛生(sheng)的(de)建議;一個原本用來(lai)優化農業實踐的(de)人(ren)工智能(neng)系統可(ke)能(neng)會無意中損(sun)害經濟和(he)資源的(de)消耗，缺乏(fa)對長期可(ke)持(chi)續(xu)性的(de)考(kao)慮，從而影(ying)響食物生(sheng)產和(he)環境平衡。
因此，推進AGI安全(quan)是全(quan)球尋找共同立(li)場(chang)最重要的領域之一。首(shou)先，各國(guo)(guo)應共同建(jian)立(li)包容的國(guo)(guo)際(ji)準則(ze)和(he)標準，并在所有國(guo)(guo)家對AGI的使用中建(jian)立(li)平等、統(tong)一的防護措施。其次，建(jian)立(li)國(guo)(guo)際(ji)合作，以可(ke)驗(yan)證的方式在全(quan)球范圍內建(jian)立(li)對越來越強大的AGI系統(tong)安全(quan)開(kai)發(fa)的信(xin)任。
而在更具體的操作層面，“對齊”則是很重要的一步。
奧爾(er)特(te)曼表示，從(cong)GPT-4完成預訓練到部署，OpenAI花了(le)八個月來(lai)研究如何前(qian)置預判風(feng)險并給出對策(ce)的問(wen)題。“GPT-4的對齊程(cheng)度超(chao)過(guo)當前(qian)所有的代(dai)碼(ma)。”
他進一步表示，對于更高級的系統，對齊仍然是一個尚未解決的問題。未來的AGI可能是一個十萬行二進制代碼的系統，人類很難判斷如此規模的模型是否在做一些損害人類社會的事情。因此，我們需要新的技術方法，并加強治理監督。
奧爾特曼透露(lu)了兩(liang)個正(zheng)在(zai)投資新(xin)的(de)方向：
一個是可擴展(zhan)的(de)監督，嘗試使用AI系統來協助人類監督其(qi)他AI系統。例如，訓練一個模(mo)型來幫助人類監督員找出其(qi)他模(mo)型代碼中的(de)缺陷(xian)。
一個(ge)是可(ke)解釋(shi)性。我(wo)們(men)希望(wang)更好地理解模型內部發(fa)生(sheng)的事情(qing)，我(wo)們(men)最近發(fa)表(biao)了(le)一篇論文，使用GPT-4來(lai)解釋(shi)計算機的復雜狀態。
麻省理工(gong)(gong)學院(yuan)未(wei)來生命研(yan)究所(suo)創始人馬(ma)克(ke)斯·泰格馬(ma)克(ke)的觀點和奧爾(er)特曼有異曲(qu)同工(gong)(gong)之妙。
麻省(sheng)理工學(xue)院未來生命研究所創始人馬克(ke)斯·泰格馬克(ke)
在主題(ti)為《Keeping AI under control》的演講中，泰(tai)格(ge)馬(ma)克(ke)表示，要確保AI為人(ren)類服務而不是(shi)和人(ren)類作對，需(xu)要解決兩(liang)大問題(ti)：
首先是對齊，讓單個AI真正按照其所有者的意愿行事。其次，是如何讓世界各地所有組織、公司、個人等保持一致，確保他們用AI來做正確的事。
在(zai)這次分(fen)享中(zhong)，泰格馬克主要(yao)圍繞前者(zhe)展開討(tao)論。其中(zhong)，讓機器具有可解(jie)釋(shi)性是關鍵。他(ta)將讓機器實現可解(jie)釋(shi)性分(fen)為(wei)三個層面(mian)：
首先，判(pan)斷機器的可信度。例如(ru)人(ren)(ren)在開車(che)時并不明白剎(cha)車(che)的工(gong)作原理，但人(ren)(ren)們會相信踩下剎(cha)車(che)板車(che)就會慢下來。
其次(ci)，更好地理解機器(qi)(qi)，這會讓機器(qi)(qi)更值得被信(xin)賴。
最后，也是泰格馬克(ke)本(ben)人的志向(xiang)，就是提取機(ji)器(qi)學習黑匣(xia)子中(zhong)的所有知識，并將(jiang)其(qi)在其(qi)他系統(tong)中(zhong)復現(xian)，便能夠(gou)證明機(ji)器(qi)會按(an)照人類(lei)的意愿(yuan)做(zuo)事。
泰格(ge)馬克用(yong)一(yi)些例子(zi)來(lai)解(jie)釋了最后一(yi)點，其(qi)中一(yi)個例子(zi)還(huan)反駁了楊立昆對自回(hui)歸模(mo)型中缺乏世界模(mo)型的(de)批評(ping)。
他(ta)引用了一(yi)篇論文(wen)內容，其(qi)中提到，研(yan)究(jiu)者訓練了一(yi)個(ge)transformer模(mo)型(xing)(xing)(xing)來預測奧賽(sai)羅游戲(一(yi)種比(bi)圍棋(qi)(qi)(qi)簡單得多的(de)棋(qi)(qi)(qi)盤(pan)游戲)的(de)下一(yi)個(ge)動(dong)作，他(ta)們(men)并未告訴模(mo)型(xing)(xing)(xing)任何游戲規(gui)則，甚至沒讓(rang)模(mo)型(xing)(xing)(xing)知(zhi)道這是(shi)一(yi)個(ge)棋(qi)(qi)(qi)類游戲。但機器(qi)的(de)可(ke)解釋性發現，模(mo)型(xing)(xing)(xing)自己建立了一(yi)個(ge)8x8的(de)二維世界模(mo)型(xing)(xing)(xing)，棋(qi)(qi)(qi)盤(pan)上還有(you)棋(qi)(qi)(qi)子。
泰格馬克(ke)表示，這種能力也存在于其(qi)他大型語言模型中，例如人們(men)在使用百(bai)度的文心一言或(huo)GPT-4時，會發現它們(men)能夠(gou)為不同的人建模，按照(zhao)使用者(zhe)的風格輸出內容。
智源研究院院長(chang)黃鐵軍(jun)也(ye)對(dui)「甲子光年」等(deng)媒體發(fa)表了自己的看法，強(qiang)調了關注AI安全，應對(dui)AI風險(xian)的重要性。
黃(huang)鐵軍認為，目前(qian)，我(wo)們處在一(yi)個模糊的(de)階(jie)段，他將其稱(cheng)之為“Near AGI”，任何事情只(zhi)要確(que)定(ding)都是可以把控的(de)，就怕不能確(que)定(ding)。而今(jin)天，我(wo)們就處在一(yi)個不能確(que)定(ding)的(de)狀態。
“雖然我(wo)們(men)(men)認為GPT-4還不(bu)算真正的(de)(de)AGI，但是其知識儲(chu)備(bei)量和融會(hui)貫通(tong)的(de)(de)能(neng)力已(yi)經很強。這樣(yang)的(de)(de)‘Near AGI’比我(wo)們(men)(men)強嗎?超過我(wo)們(men)(men)的(de)(de)智(zhi)(zhi)能(neng)了嗎?今天論壇(tan)的(de)(de)所有嘉賓在(zai)報告中都沒有給大家一(yi)個確定(ding)(ding)的(de)(de)答案。并(bing)沒有明確說‘NO’‘放心’‘今天的(de)(de)AI系(xi)統還不(bu)如人(ren)類強大呢’。這就是問題(ti)所在(zai)”，黃(huang)鐵軍(jun)表示，“我(wo)們(men)(men)并(bing)不(bu)清楚地知道人(ren)工智(zhi)(zhi)能(neng)是不(bu)是已(yi)經超過我(wo)們(men)(men)，不(bu)知道它(ta)何時會(hui)超過我(wo)們(men)(men)，該問題(ti)處(chu)在(zai)一(yi)個完全無法(fa)把(ba)控的(de)(de)狀態。如果我(wo)們(men)(men)能(neng)夠(gou)像(xiang)投(tou)資(zi)熱情那樣(yang)投(tou)入來應對風險，至少還有一(yi)定(ding)(ding)把(ba)握未來的(de)(de)可能(neng)。但是，你相(xiang)信人(ren)類能(neng)做到(dao)嗎?我(wo)不(bu)知道”。
4.人類和AI，誰是未來世界的主宰?
大佬們之所(suo)以如此關注AI安全，核心(xin)是因為人工(gong)智能的發展趨勢(shi)將直接影(ying)響到(dao)全人類的未來命運(yun)。
有關AI顛覆人類的科幻故事不勝枚舉，甚至有不少人談“AI”色變。無論專家、從業者還是普通公眾，都迫切地想要知道：如果智能體比人類更聰明，世界會發生什么?
圖靈(ling)獎(jiang)得主、“深度學習之父(fu)”杰弗(fu)里(li)·辛頓在閉幕演(yan)講中提(ti)到，超(chao)級智能可能會比預想中發生(sheng)得更(geng)快。
圖靈獎得主(zhu)、“深(shen)度學習(xi)之父”杰弗里·辛頓
不良分子可(ke)能會利(li)用超(chao)級(ji)智能體操縱選舉等(deng)活(huo)動。在美國和其他許多地(di)方，他們(men)已經在利(li)用它們(men)進(jin)行(xing)這(zhe)些活(huo)動，甚至可(ke)能會用于贏(ying)得戰爭(zheng)。
如果要讓數字智能更高效，人們需要允許智能體制定一些目標，而智能體實現這些目標的大前提是擁有更多的控制權。辛頓認為，目前很難想象人類該如何阻止數字智能為了實現更多目的而獲取更多控制權。
一旦數字智能開(kai)始追求更多(duo)控(kong)制(zhi)權，人類可能會面臨(lin)更多(duo)問題(ti)。比如，在物理(li)隔絕的情(qing)況(kuang)下，超(chao)級智能物種(zhong)仍然可以通過控(kong)制(zhi)人類來輕易獲得更多(duo)的權限。
在(zai)辛頓的(de)觀察中，這類人工(gong)(gong)智能(neng)(neng)已經熟(shu)練掌握了欺騙(pian)人類的(de)動作。它可(ke)以通過閱讀小說，來學(xue)習欺騙(pian)他人的(de)方式，而一旦人工(gong)(gong)智能(neng)(neng)具備“欺騙(pian)”的(de)能(neng)(neng)力，也就(jiu)具備輕易控制人類的(de)能(neng)(neng)力。
例如，如果超(chao)級智能(neng)體想入侵華盛頓的一座(zuo)建(jian)筑，它不需(xu)要(yao)親自去那里，只需(xu)要(yao)欺騙人們(men)，讓他(ta)們(men)自認為(wei)通過入侵該建(jian)筑物(wu)，就能(neng)拯(zheng)救民主，最終(zhong)實(shi)現目的。
現(xian)實世界中，也已經出(chu)現(xian)了(le)AI欺騙人類的先例(li)。
據美聯社報道，6月9日，一名(ming)從業30年(nian)的(de)紐(niu)約(yue)律師在其提交的(de)法庭文件中(zhong)使用了ChatGPT提供的(de)案例(li)，而這些案例(li)中(zhong)很多都(dou)是ChatGPT杜(du)撰(zhuan)的(de)，這導致這名(ming)律師面臨紀律聽證會，甚至可(ke)能面臨處罰。
“這種操作令人(ren)感到害怕(pa)，因(yin)為(wei)我也不知道(dao)(dao)如何阻止(zhi)這樣的(de)行(xing)為(wei)發生。”辛頓(dun)擔憂道(dao)(dao)。
辛頓呼吁，希(xi)望(wang)年輕一(yi)代的研究人員可以(yi)找出一(yi)些更智能的辦(ban)法，來阻止超(chao)級智能體通過(guo)欺(qi)騙(pian)來控制人類的行為。
或許，人(ren)類(lei)的(de)微弱優勢(shi)是，這些智能(neng)物種都(dou)是由人(ren)類(lei)打造的(de)，而非自然進(jin)化的(de)產物，也正因如此(ci)，它(ta)們可能(neng)不具備人(ren)類(lei)會競爭、有攻擊性(xing)等特點。
為此，人類可以嘗試賦予人工智能一些倫理原則。但一個更讓人毛骨悚然的隱憂是，古往今來，主宰世界的往往是智能水平更高的物種。
在演(yan)講(jiang)最(zui)后(hou)，辛頓(dun)留下(xia)了一則寓言式的警示：
“假設青蛙創造了人類，你認為現在誰會占據主動權，是人，還是青蛙?”
