IT之家 4 月 26 日消息，人工智能（AI）的發展日新月異，但也存在一些難題，比如 AI 模型有時會出現“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟(ruan)件開發者(zhe)給 AI 模型設置(zhi)“護(hu)欄”，防止它(ta)們產生不良(liang)的輸出。
NeMo Guardrails 是一個軟件層，位(wei)于(yu)用戶和(he) AI 模型(xing)(xing)之間，可以(yi)在模型(xing)(xing)輸(shu)出不良內(nei)容之前進行攔截和(he)修改。例(li)如，如果開發者想要創建(jian)一個客服聊天機器人，可以使用(yong) NeMo Guardrails 來限制它只能談論(lun)相(xiang)關的產(chan)品，而不能談論(lun)競爭(zheng)對手的產(chan)品或其他不相(xiang)關的話題(ti)。如果用(yong)戶提出這樣的問題(ti)，機器人可以引導對話回(hui)到開發者希望的話題(ti)上。
英(ying)偉(wei)達還提供了另一個例子，一個用于(yu)(yu)(yu)回(hui)答內部企業人(ren)力(li)資(zi)源問(wen)題的(de)(de)聊天機器(qi)(qi)人(ren)。在這(zhe)個例子中，英(ying)偉(wei)達能(neng)夠使用 NeMo Guardrails 來阻止基(ji)于(yu)(yu)(yu) ChatGPT 的(de)(de)機器(qi)(qi)人(ren)回(hui)答關于(yu)(yu)(yu)公司財務狀況的(de)(de)問(wen)題或訪問(wen)其他員工的(de)(de)私人(ren)數據。
此外，該(gai)軟(ruan)件還能夠(gou)利用一個 AI 模(mo)型(xing)來檢測另一個 AI 模(mo)型(xing)的“幻覺”，通過向第二(er)個 AI 模型(xing)提問來核(he)實第一(yi)(yi)個 AI 模型(xing)的答案。如果兩個模型(xing)給出不(bu)一(yi)(yi)致的答案，那么(me)軟件就會返回“我不(bu)知道(dao)”的回答。
英偉達還(huan)表(biao)示，這個“護欄”軟(ruan)(ruan)件還(huan)有助于提高安(an)全性，可以強制 AI 模型只(zhi)與白名單列表(biao)中的第三方(fang)軟(ruan)(ruan)件進行交互。
NeMo Guardrails 是開(kai)(kai)源的，并(bing)通過英偉達服(fu)務提供，可以(yi)用(yong)(yong)于商業應用(yong)(yong)，開(kai)(kai)發(fa)者(zhe)將使用(yong)(yong) Colang 編程語言來為(wei) AI 模型編寫(xie)自定義規則。
據IT之家搜索了解，包(bao)括谷歌(ge)和微軟支持的(de) OpenAI 等(deng)其他 AI 公(gong)司(si)，也使用(yong)了一種稱為強化學習的(de)方法來防止 LLM 應用(yong)產生有害的(de)輸出。這種方法使用(yong)人類測試者來創(chuang)建關于哪些答案是可接受(shou)或不可接受(shou)的(de)數據，然后(hou)使用(yong)這些數據來訓(xun)練 AI 模型。
英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創建這項技術所需芯片的市(shi)場主(zhu)導(dao)地位，其(qi)股價在(zai) 2023 年(nian)迄今為止上漲了 85%，成為標(biao)準普(pu)爾 500 指數中漲幅最(zui)大的股票。
