OpenAI 正尋求新方法對抗“AI 幻覺”
據 CNBC 報道，本周三，OpenAI 宣(xuan)布計(ji)劃采取(qu)一種新的 AI 模型訓(xun)練方法，以解決“AI 幻覺”難(nan)題。
“AI 幻覺”指(zhi)的(de)是(shi)聊天機器人用編(bian)造(zao)的(de)信(xin)息(xi)進行回應，這是(shi) AI 的(de)自(zi)信(xin)反應。當(dang)模型(xing)有(you)“幻覺”(輸出(chu)欺騙性(xing)數據(ju)的(de)傾向(xiang))時(shi)，其使(shi)用的(de)的(de)訓練數據(ju)并不能證明輸出(chu)的(de)合(he)理性(xing)。比如，ChatGPT 或 Bard 等模型(xing)有(you)時(shi)看似在滔(tao)滔(tao)不絕陳述事實，但實際內容卻是(shi)“一本正經(jing)胡(hu)說八道”。
OpenAI 研究人員在報道中寫道，“即使是最先進的模型也很容易生成虛假信息——在不確定情況時，它們往往表現出捏造事實的傾向。這種幻覺在需要多步推理的(de)領域尤(you)其嚴重，其中一(yi)個環節上的(de)邏輯(ji)錯誤就(jiu)足以破壞整個解(jie)答過程。”
OpenAI 為幻覺問題提出了新的策略：在 AI 模型訓練當中設置新的獎勵機制，不僅獎勵其獲得正確的最終結論，更要獎勵它們在得出答案的過程中做出的每個正確推理步驟。
研究人員表示，這種方法被稱為“過程監督”，而(er)非“結果監(jian)督”。由于能(neng)夠(gou)鼓勵模(mo)型(xing)更多(duo)遵循人類的(de)“思維”方法鏈，所以過(guo)程(cheng)監(jian)督方法也許能(neng)提高 AI 輸出的(de)可解釋(shi)性。
OpenAI 公司數學生成(mathgen)研究員 Karl Cobbe 在采訪中指出，“檢測和緩解模型中的邏輯錯誤或者幻覺，將是構建高一致性 AGI(通用人工智能)的(de)關鍵一步。”雖然 OpenAI 之前沒有發明出過(guo)程監督方(fang)法，但(dan)如今亡羊補牢，為(wei)時未晚。“這項研究(jiu)的(de)動機在于解決(jue)幻(huan)覺問(wen)題(ti)，使(shi)得模型具備(bei)解決(jue)挑戰性推理問(wen)題(ti)的(de)強大能力。”
Cobbe 還提到，OpenAI 已經發布(bu)一套附帶數據集，其(qi)中(zhong)包含 80 萬(wan)個人類標(biao)注，用于訓(xun)練研究(jiu)論(lun)文中(zhong)描述的這(zhe)套模型。
解決“AI 幻覺”難題任重道遠
隨著 AI 技術得到(dao)廣泛應用(yong)，“AI 幻覺”帶來的潛在問題也開始(shi)浮現(xian)，并引發大眾(zhong)擔憂(you)。
以谷歌 2 月發布Bard時的宣傳為(wei)例(li)，這款(kuan)聊天機器人對詹姆斯·韋伯太空(kong)望遠鏡做(zuo)出了錯誤描述(shu)(shu)。最(zui)近，ChatGPT 又在紐(niu)約聯(lian)邦(bang)法院一份文件中引述(shu)(shu)了“不(bu)存在的”案件，涉案律師可(ke)能(neng)因(yin)此面臨處罰。
美國律師 Steven A. Schwartz 向 ChatGPT 求助，想要為自己訴哥倫比亞國家航空一(yi)案找點支持案例，ChatGPT 卻給出了根本不存在的判例建(jian)議。Schwartz 聲稱他(ta)“沒有(you)意識到 ChatGPT 給出的內(nei)容(rong)可能是假的”。但從他(ta)跟機器人(ren)的聊天記錄來(lai)看，他(ta)還是保持了一(yi)絲懷(huai)疑，想要進一(yi)步(bu)檢查這些信(xin)息。但很遺憾，他(ta)選擇詢問(wen) ChatGPT 來(lai)確認內(nei)容(rong)真實性，系統(tong)則(ze)再次做(zuo)出誤導，向他(ta)保證這些虛構判例完全真實合法。
此(ci)前在接(jie)受《紐約時(shi)(shi)報》采訪時(shi)(shi)，OpenAI 的(de)聯合(he)創始人 Ilya Stutskever 曾(ceng)坦(tan)言 AI 幻覺是(shi)個大問題，但很有(you)可能被(bei)“治愈”：我們現在的(de)做(zuo)法是(shi)雇(gu)人教會 ChatGPT 如何表現。你(ni)只(zhi)需要(yao)與它互動，它就(jiu)能從(cong)你(ni)的(de)反應中推斷出(chu)你(ni)想要(yao)的(de)東(dong)西，比如，你(ni)對輸(shu)出(chu)結果不滿意(yi)。因此(ci)，它應該在下一次做(zuo)些(xie)不同的(de)事情。我認為這種(zhong)方法很有(you)可能(a quite a high chance)完(wan)全(quan)解決(jue)幻覺的(de)問題。
隨著 OpenAI 最新(xin) AI 模型訓練方法的公布，如何解決(jue)“AI 幻覺”難(nan)題再次引發(fa)討論。
電子(zi)隱私(si)信息中(zhong)心高級顧問(wen)兼(jian) AI 與人(ren)權項目負(fu)責(ze)人(ren) Ben Winters 對 OpenAI 的訓練(lian)方(fang)法表示懷(huai)疑，稱實際效(xiao)果(guo)要在檢查了完整的數據(ju)集和隨附示例(li)后才能確(que)定。
Winters 強調，“我只是覺得單憑這(zhe)一種措施，不(bu)足以在實際(ji)應(ying)用場景當中顯(xian)著降低 AI 生成錯誤(wu)信(xin)息和(he)不(bu)正確(que)結(jie)果(guo)的問題……另外(wai)，他們會不(bu)會把研究(jiu)成果(guo)全面納(na)入產品(pin)也非(fei)常重(zhong)要。如果(guo)不(bu)是，這(zhe)反(fan)而會引發其他嚴(yan)重(zhong)問題，比如操縱(zong)模型有選擇地(di)向(xiang)公眾發布(bu)信(xin)息。”
考慮到還不清(qing)楚 OpenAI 論文(wen)有(you)沒(mei)有(you)經(jing)過同行評審(shen)或者其他(ta)形式的評審(shen)，布(bu)朗大學技術(shu)責任中心主任 Suresh Venkatasubramanian 認為這項研究的意義更多在于初步觀察，而非實際應用。
Venkatasubramanian 指出，“在(zai)對此(ci)給(gei)予肯定之(zhi)前，首先得(de)等待這(zhe)項成果在(zai)研究領(ling)域得(de)到(dao)證(zheng)實。這(zhe)個世界上，很多結果總會定期出現(xian)。因為大(da)語(yu)言(yan)模(mo)(mo)型(xing)(xing)的(de)(de)工作(zuo)方(fang)式總體上并不(bu)穩定，所以在(zai)某一(yi)種設(she)置、模(mo)(mo)型(xing)(xing)和(he)上下文中(zhong)起效(xiao)的(de)(de)東(dong)西，很可能在(zai)另一(yi)種設(she)置、模(mo)(mo)型(xing)(xing)和(he)上下文中(zhong)毫(hao)無作(zuo)用。人們最擔心的(de)(de)「幻覺(jue)」，其實是模(mo)(mo)型(xing)(xing)可能捏造的(de)(de)引(yin)用和(he)參考資料(liao)。但(dan)文中(zhong)沒有能解(jie)決(jue)這(zhe)個問題的(de)(de)證(zheng)據。……我(wo)不(bu)是說一(yi)定解(jie)決(jue)不(bu)了，只是說這(zhe)篇論文缺乏相關證(zheng)據。”
在強調 ChatGPT 局限性方面，OpenAI 做得還不夠
OpenAI 能夠意識 ChatGPT 的“AI 幻覺(jue)”問題，但在(zai)強調 ChatGPT 局限性方面，OpenAI 做得還不夠。
在 ChatGPT 的主頁(ye)上，OpenAI 發布的一條(tiao)警告內(nei)容(rong)稱“可能偶爾會(hui)產生不正(zheng)確信息(xi)”，這(zhe)也是其系統功能和(he)局限性部(bu)分的九條(tiao)須知之一。但這(zhe)條(tiao)警告內(nei)容(rong)放在任何(he)信息(xi)源上都同樣適用，對(dui)于 ChatGPT 這(zhe)樣一種強(qiang)(qiang)大、身處(chu)炒作大潮的風口浪尖且容(rong)易被嚴重誤解的技術(shu)成果，OpenAI 在引導用戶方面做得還(huan)遠遠不夠，OpenAI 應該投入更(geng)多精力，明確強(qiang)(qiang)調(diao) ChatGPT 無法穩定區分事(shi)實(shi)和(he)“幻覺”。
據 The Verge 報道，過去幾(ji)個月(yue)間，很(hen)多人都被 ChatGPT 的(de)(de)“胡說八道”所(suo)愚弄(nong)和(he)影響。值(zhi)得慶幸的(de)(de)是，大多數(shu)案例都微不(bu)足道，幾(ji)乎沒有造(zao)成負面(mian)沖(chong)擊，ChatGPT 最多也就是捏造(zao)了一篇(pian)(pian)新聞報道、一篇(pian)(pian)學術論文或者(zhe)一本不(bu)存在的(de)(de)書(shu)。但(dan)在個別案例中，ChatGPT 的(de)(de)錯誤(wu)信息確(que)實可能引發(fa)嚴重后果。
今年 5 月，得(de)克薩(sa)斯州農(nong)工大(da)(da)學(xue)的(de)一(yi)位教授就使用(yong)聊(liao)天(tian)機(ji)器人檢(jian)查(cha)學(xue)生(sheng)是(shi)不是(shi)在靠 AI 寫水文章。ChatGPT 倒是(shi)非(fei)常熱情(qing)，表示所有(you)論文都是(shi)由(you) AI 生(sheng)成的(de)，但卻拿不出(chu)什(shen)么真(zhen)憑(ping)實據。教授深信不疑而(er)且大(da)(da)為(wei)光火，威脅(xie)要讓學(xue)生(sheng)們掛科甚(shen)至(zhi)畢(bi)不了業(ye)，好(hao)在最終大(da)(da)家發(fa)現了這個錯誤。
這(zhe)些(xie)事件并不會徹底毀掉人們對于 ChatGPT 等聊天機器人的(de)期待(dai)和(he)認可。只要(yao)配(pei)合正確的(de)場景和(he)適當的(de)保(bao)護措施(shi)，這(zhe)些(xie) AI 工具仍然能在(zai)信息檢索等任務中(zhong)發揮巨大作用。目前也有(you)各種有(you)趣的(de)研究正在(zai)推(tui)進，表(biao)明此類系統也許(xu)能在(zai)未(wei)來更好地尊重客觀事實。
但當下(xia)，這類 AI 產品的(de)(de)局限性(xing)需(xu)要(yao)(yao)引起人們足夠(gou)的(de)(de)重視。企業需(xu)要(yao)(yao)向大眾強調 AI 產品的(de)(de)局限性(xing)，媒體也需(xu)要(yao)(yao)承擔相應的(de)(de)報道責任。
干(gan)預(yu)措(cuo)施并不需要(yao)特別復雜，但(dan)必須得有(you)。比(bi)如，為什么(me) ChatGPT 無法識別用(yong)戶想要(yao)的(de)是事(shi)實性依據，并提醒對(dui)方“請注意檢查信息來源”?在用(yong)戶要(yao)求(qiu)它判斷(duan)(duan)特定文本是否由 AI 生成時，ChatGPT 為什么(me)就不能明確表示“對(dui)不起(qi)，我沒有(you)能力做(zuo)出判斷(duan)(duan)”?
當(dang)(dang)然，OpenAI 一(yi)直在努力(li)改進這(zhe)些(xie)問題。自 ChatGPT 推出以來，它(ta)已經變得越來越坦率、會直言(yan)自己存(cun)在局(ju)限性。最經典的(de)(de)表述就是(shi)“作為一(yi)個(ge) AI 語(yu)言(yan)模型，我……”。但不一(yi)致問題仍然存(cun)在，比(bi)如(ru)，當(dang)(dang)問它(ta)“你能檢(jian)測(ce)出 AI 生(sheng)成(cheng)的(de)(de)文本嗎?”它(ta)回(hui)答(da)說“檢(jian)測(ce)結果不一(yi)定準確。”但向(xiang)它(ta)輸入了一(yi)大段內(nei)容，并提出同樣的(de)(de)問題時，它(ta)只(zhi)是(shi)簡(jian)單回(hui)答(da)“是(shi)的(de)(de)，這(zhe)段文字是(shi)由 AI 生(sheng)成(cheng)的(de)(de)。”
此外，當(dang)要求 ChatGPT 提供(gong)一份測(ce)量專業書籍推薦清單時，它給(gei)出的答案共(gong)有 10 本(ben)書，其中不少質量很高，但有 2 本(ben)則是完(wan)全虛構的。如果不是在刻意檢查，可能根本(ben)就(jiu)不會注意到這(zhe)個問題。當(dang)用戶和 ChatGPT 交流多了，并(bing)且驗證后就(jiu)會發現，ChatGPT 這(zhe)類 AI 產品經常(chang)“胡說八道”。
面對這樣的現狀，“可能偶爾(er)會產(chan)生不正確(que)信(xin)息(xi)”之類的免責聲明顯然遠遠不夠(gou)。
參考鏈接：
//www.cnbc.com/2023/05/31/openai-is-pursuing-a-new-way-to-fight-ai-hallucinations.html
//www.theverge.com/2023/5/30/23741996/openai-chatgpt-false-information-misinformation-responsibility
本文(wen)轉(zhuan)載(zai)來源：
//www.infoq.cn/news/RL7iFW2SqO0Ppv4msCsL
