OpenAI 正尋求新方法對抗“AI 幻覺”
據 CNBC 報道，本周(zhou)三，OpenAI 宣(xuan)布(bu)計劃采取一種新的 AI 模型訓練(lian)方(fang)法，以解決“AI 幻(huan)覺(jue)”難題。
“AI 幻覺(jue)”指的(de)(de)是聊天機(ji)器人用編造(zao)的(de)(de)信息進(jin)行回應，這是 AI 的(de)(de)自信反應。當模型有“幻覺(jue)”(輸出(chu)欺騙(pian)性(xing)(xing)數據(ju)的(de)(de)傾向)時，其使用的(de)(de)的(de)(de)訓練數據(ju)并(bing)不能證明輸出(chu)的(de)(de)合理性(xing)(xing)。比如，ChatGPT 或(huo) Bard 等模型有時看似在滔(tao)滔(tao)不絕陳(chen)述事(shi)實，但實際內容卻是“一(yi)本正經胡說八道(dao)”。
OpenAI 研究人員在報道中寫道，“即使是最先進的模型也很容易生成虛假信息——在不確定情況時，它們往往表現出捏造事實的傾向。這(zhe)種(zhong)幻覺在需要多步推理的領域尤其嚴重(zhong)，其中一(yi)個(ge)環節上的邏輯錯誤就足以破壞(huai)整(zheng)個(ge)解答過(guo)程。”
OpenAI 為幻覺問題提出了新的策略：在 AI 模型訓練當中設置新的獎勵機制，不僅獎勵其獲得正確的最終結論，更要獎勵它們在得出答案的過程中做出的每個正確推理步驟。
研究人員表示，這種方法被稱為“過程監督”，而非“結果監(jian)督(du)”。由于能夠鼓勵模型(xing)更多遵(zun)循人(ren)類的(de)(de)“思維”方法(fa)鏈，所以過程(cheng)監(jian)督(du)方法(fa)也許能提高 AI 輸(shu)出的(de)(de)可解釋(shi)性。
OpenAI 公司數學生成(mathgen)研究員 Karl Cobbe 在采訪中指出，“檢測和緩解模型中的邏輯錯誤或者幻覺，將是構建高一致性 AGI(通用人工智能)的(de)關鍵一步。”雖(sui)然(ran) OpenAI 之前沒有發明出過程監督(du)方法(fa)，但如(ru)今(jin)亡羊(yang)補牢，為時未(wei)晚。“這項研究(jiu)的(de)動(dong)機(ji)在于解(jie)決(jue)幻覺(jue)問題，使得模型具備解(jie)決(jue)挑戰性(xing)推理問題的(de)強(qiang)大(da)能力。”
Cobbe 還提到，OpenAI 已經發布一套(tao)附(fu)帶數據集，其中(zhong)包含 80 萬個人類(lei)標注，用于訓練研究論文中(zhong)描述的(de)這(zhe)套(tao)模型。
解決“AI 幻覺”難題任重道遠
隨著 AI 技術得到(dao)廣泛應(ying)用，“AI 幻覺”帶來的潛(qian)在問題也開始浮(fu)現，并引發(fa)大眾擔憂。
以谷歌(ge) 2 月發(fa)布Bard時的宣(xuan)傳(chuan)為例，這(zhe)款聊天機器人對詹姆斯·韋(wei)伯(bo)太空望遠鏡做(zuo)出了錯誤描述。最(zui)近，ChatGPT 又在紐約聯(lian)邦法院一份文件中引述了“不存在的”案件，涉案律師可能因(yin)此(ci)面臨(lin)處(chu)罰。
美國律師 Steven A. Schwartz 向(xiang) ChatGPT 求助，想要為自己(ji)訴哥倫(lun)比亞國家(jia)航空一案(an)找點支持(chi)案(an)例，ChatGPT 卻給(gei)出了根(gen)本不存(cun)在的判例建議。Schwartz 聲稱他(ta)“沒有意識到 ChatGPT 給(gei)出的內容(rong)可(ke)能是假的”。但從他(ta)跟機(ji)器人的聊天記錄來看，他(ta)還是保持(chi)了一絲懷疑，想要進(jin)一步檢(jian)查這(zhe)些信息。但很遺(yi)憾(han)，他(ta)選擇詢問 ChatGPT 來確(que)認(ren)內容(rong)真(zhen)實(shi)性(xing)，系統則再次做(zuo)出誤導，向(xiang)他(ta)保證(zheng)這(zhe)些虛構判例完全真(zhen)實(shi)合(he)法。
此(ci)前在接(jie)受《紐約時(shi)報》采(cai)訪時(shi)，OpenAI 的(de)(de)聯合(he)創始(shi)人(ren) Ilya Stutskever 曾坦(tan)言 AI 幻覺是個(ge)大問(wen)題，但很有(you)可能被“治愈(yu)”：我(wo)們現(xian)在的(de)(de)做法(fa)是雇人(ren)教會 ChatGPT 如何表現(xian)。你(ni)(ni)只(zhi)需要(yao)與它互動(dong)，它就能從你(ni)(ni)的(de)(de)反應(ying)中推斷出(chu)你(ni)(ni)想要(yao)的(de)(de)東西，比(bi)如，你(ni)(ni)對輸出(chu)結果不滿意。因此(ci)，它應(ying)該(gai)在下一次做些(xie)不同的(de)(de)事情。我(wo)認為這種方法(fa)很有(you)可能(a quite a high chance)完全解決幻覺的(de)(de)問(wen)題。
隨著 OpenAI 最(zui)新 AI 模型訓(xun)練(lian)方法的公布，如(ru)何解(jie)決“AI 幻覺”難(nan)題再次引發討論。
電(dian)子(zi)隱(yin)私信息中(zhong)心高級顧(gu)問兼 AI 與人(ren)權項目負(fu)責人(ren) Ben Winters 對 OpenAI 的訓練方法表示懷疑，稱實(shi)際效果要(yao)在檢查了完整(zheng)的數據集和隨附示例后才能(neng)確(que)定。
Winters 強(qiang)調(diao)，“我只是(shi)(shi)覺得(de)單憑這一種措施，不足以(yi)在實際應用(yong)場景(jing)當中顯著降低(di) AI 生成錯誤(wu)信(xin)息和不正確(que)結果的問(wen)題(ti)……另外(wai)，他們會(hui)(hui)不會(hui)(hui)把(ba)研(yan)究成果全面納入產品也非常重要(yao)。如果不是(shi)(shi)，這反而會(hui)(hui)引(yin)發其他嚴(yan)重問(wen)題(ti)，比如操縱(zong)模(mo)型有選擇地向公眾發布信(xin)息。”
考慮到(dao)還不清楚 OpenAI 論(lun)文有沒(mei)有經過(guo)同行評(ping)審或者其他形式的評(ping)審，布朗大(da)學技術責任(ren)中心主(zhu)任(ren) Suresh Venkatasubramanian 認為這項研究的意(yi)義更多在(zai)于初(chu)步觀察，而非實(shi)際應用。
Venkatasubramanian 指出，“在(zai)對此(ci)給予(yu)肯定(ding)(ding)(ding)之前，首先(xian)得等待(dai)這(zhe)項(xiang)成果在(zai)研究(jiu)領域得到證(zheng)實。這(zhe)個世界上(shang)，很多(duo)結(jie)果總會(hui)定(ding)(ding)(ding)期出現(xian)。因(yin)為(wei)大(da)語言模型(xing)(xing)的(de)工(gong)作方式總體上(shang)并不(bu)穩定(ding)(ding)(ding)，所(suo)以在(zai)某一種(zhong)設置(zhi)、模型(xing)(xing)和上(shang)下文(wen)(wen)中(zhong)(zhong)起效的(de)東西，很可(ke)能(neng)在(zai)另一種(zhong)設置(zhi)、模型(xing)(xing)和上(shang)下文(wen)(wen)中(zhong)(zhong)毫(hao)無(wu)作用。人們最擔心(xin)的(de)「幻覺」，其實是模型(xing)(xing)可(ke)能(neng)捏造的(de)引用和參考資料。但文(wen)(wen)中(zhong)(zhong)沒有能(neng)解決這(zhe)個問題的(de)證(zheng)據(ju)。……我不(bu)是說(shuo)一定(ding)(ding)(ding)解決不(bu)了，只是說(shuo)這(zhe)篇論文(wen)(wen)缺乏相關證(zheng)據(ju)。”
在強調 ChatGPT 局限性方面，OpenAI 做得還不夠
OpenAI 能夠(gou)意識 ChatGPT 的“AI 幻覺”問題，但在(zai)強調 ChatGPT 局限性方面，OpenAI 做(zuo)得(de)還(huan)不夠(gou)。
在(zai) ChatGPT 的(de)主頁(ye)上(shang)，OpenAI 發布的(de)一條(tiao)警告內(nei)容稱“可能偶爾會產生不(bu)正確信息”，這(zhe)也是其系統功(gong)能和局限性部分的(de)九條(tiao)須知(zhi)之一。但這(zhe)條(tiao)警告內(nei)容放在(zai)任(ren)何(he)信息源(yuan)上(shang)都同(tong)樣(yang)適用(yong)，對于 ChatGPT 這(zhe)樣(yang)一種(zhong)強(qiang)(qiang)大、身處炒作大潮的(de)風(feng)口浪尖且容易被嚴重誤解(jie)的(de)技術(shu)成果，OpenAI 在(zai)引導用(yong)戶(hu)方面做得還遠遠不(bu)夠，OpenAI 應該投入更多(duo)精力(li)，明(ming)確強(qiang)(qiang)調 ChatGPT 無法穩定區(qu)分事實(shi)和“幻覺”。
據 The Verge 報(bao)道(dao)，過去幾(ji)(ji)個(ge)月(yue)間(jian)，很多(duo)人都(dou)被 ChatGPT 的“胡說八道(dao)”所(suo)愚弄(nong)和影響。值(zhi)得慶(qing)幸(xing)的是，大多(duo)數案例都(dou)微不(bu)足道(dao)，幾(ji)(ji)乎沒有造成負面沖擊(ji)，ChatGPT 最多(duo)也就是捏造了一篇新聞報(bao)道(dao)、一篇學術論文或(huo)者(zhe)一本不(bu)存在的書。但在個(ge)別(bie)案例中，ChatGPT 的錯誤信息(xi)確實可能引發嚴(yan)重后果。
今年 5 月，得克薩斯州農(nong)工(gong)大(da)學的(de)一位教(jiao)授就使用(yong)聊天機器人檢(jian)查(cha)學生(sheng)是(shi)(shi)(shi)不(bu)(bu)是(shi)(shi)(shi)在靠 AI 寫水(shui)文章。ChatGPT 倒是(shi)(shi)(shi)非常熱情，表示所有論文都(dou)是(shi)(shi)(shi)由 AI 生(sheng)成的(de)，但卻拿(na)不(bu)(bu)出什(shen)么真(zhen)憑實據(ju)。教(jiao)授深信不(bu)(bu)疑而且(qie)大(da)為光火，威脅要讓學生(sheng)們掛科甚至(zhi)畢不(bu)(bu)了業(ye)，好(hao)在最終大(da)家發現(xian)了這個錯誤。
這些(xie)事件(jian)并不會徹底(di)毀掉(diao)人(ren)們對于(yu) ChatGPT 等聊天(tian)機器(qi)人(ren)的(de)期(qi)待和(he)認(ren)可。只要配合正確(que)的(de)場景和(he)適當(dang)的(de)保護措施，這些(xie) AI 工具仍然能(neng)在(zai)信息檢(jian)索等任(ren)務(wu)中發揮巨大作(zuo)用。目前也有(you)各種有(you)趣(qu)的(de)研究正在(zai)推進，表明(ming)此類(lei)系統也許能(neng)在(zai)未(wei)來(lai)更好(hao)地尊重客觀事實。
但當下，這類(lei) AI 產品的(de)(de)(de)局限性(xing)需要(yao)(yao)引(yin)起(qi)人們(men)足夠的(de)(de)(de)重視。企(qi)業需要(yao)(yao)向(xiang)大眾(zhong)強調 AI 產品的(de)(de)(de)局限性(xing)，媒體也需要(yao)(yao)承擔相應的(de)(de)(de)報道責(ze)任。
干預(yu)措施并不需要(yao)(yao)特(te)別復雜，但必須(xu)得有。比如，為什么(me) ChatGPT 無法識別用戶想要(yao)(yao)的(de)是事(shi)實性依據(ju)，并提醒對(dui)方“請注(zhu)意檢(jian)查信息來源(yuan)”?在用戶要(yao)(yao)求它判斷(duan)特(te)定文本(ben)是否由(you) AI 生成時，ChatGPT 為什么(me)就不能明(ming)確表示“對(dui)不起，我沒有能力做出判斷(duan)”?
當然，OpenAI 一直(zhi)在(zai)努力改(gai)進(jin)這些問(wen)題(ti)。自 ChatGPT 推出(chu)以來，它已(yi)經(jing)(jing)變(bian)得(de)越來越坦率、會直(zhi)言自己存(cun)在(zai)局限(xian)性。最經(jing)(jing)典的表述就是(shi)“作為一個(ge) AI 語言模(mo)型，我(wo)……”。但(dan)不一致問(wen)題(ti)仍(reng)然存(cun)在(zai)，比如，當問(wen)它“你能(neng)檢測出(chu) AI 生(sheng)成(cheng)(cheng)的文(wen)本(ben)嗎?”它回答說“檢測結果不一定準確。”但(dan)向它輸入了(le)一大(da)段內容，并提出(chu)同樣的問(wen)題(ti)時，它只(zhi)是(shi)簡(jian)單(dan)回答“是(shi)的，這段文(wen)字是(shi)由 AI 生(sheng)成(cheng)(cheng)的。”
此外，當要求 ChatGPT 提供一份測量(liang)專業書(shu)籍(ji)推薦清單(dan)時(shi)，它給出的答案共有 10 本(ben)書(shu)，其中(zhong)不(bu)少質量(liang)很高，但有 2 本(ben)則是完(wan)全虛(xu)構的。如(ru)果不(bu)是在刻意檢查，可能根本(ben)就(jiu)不(bu)會注意到(dao)這(zhe)(zhe)個(ge)問題(ti)。當用戶和 ChatGPT 交流多了，并且驗證后就(jiu)會發現，ChatGPT 這(zhe)(zhe)類 AI 產品經常“胡說八(ba)道”。
面對這(zhe)樣(yang)的(de)現(xian)狀，“可能偶爾會(hui)產生(sheng)不(bu)正確信息”之類的(de)免(mian)責聲明顯(xian)然(ran)遠(yuan)遠(yuan)不(bu)夠。
參考鏈接：
//www.cnbc.com/2023/05/31/openai-is-pursuing-a-new-way-to-fight-ai-hallucinations.html
//www.theverge.com/2023/5/30/23741996/openai-chatgpt-false-information-misinformation-responsibility
本文轉(zhuan)載來源：
//www.infoq.cn/news/RL7iFW2SqO0Ppv4msCsL
