IT之家 4 月 26 日消息，人工智能（AI）的發展日新月異，但也存在一些難題，比如 AI 模型有時會出現“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發布了一款新的軟件，名為 NeMo Guardrails，可以幫助(zhu)軟(ruan)件(jian)開(kai)發(fa)者給(gei) AI 模型設置“護(hu)欄(lan)”，防止它們(men)產(chan)生不良的(de)輸出(chu)。
NeMo Guardrails 是一個軟件層，位于(yu)用戶和(he) AI 模型(xing)(xing)之間，可以在模型(xing)(xing)輸(shu)出不良(liang)內容(rong)之前進行攔(lan)截和(he)修(xiu)改。例如，如果(guo)開發者(zhe)想(xiang)要(yao)創(chuang)建一(yi)個客(ke)服聊(liao)天(tian)機器(qi)人，可以使用 NeMo Guardrails 來(lai)限制它(ta)只(zhi)能談(tan)論相關的(de)(de)產(chan)品(pin)，而不(bu)能談(tan)論競爭對(dui)(dui)手的(de)(de)產(chan)品(pin)或其他不(bu)相關的(de)(de)話題(ti)。如果(guo)用戶提出這(zhe)樣的(de)(de)問題(ti)，機器(qi)人可以引導對(dui)(dui)話回到開發者(zhe)希(xi)望的(de)(de)話題(ti)上。
英(ying)偉(wei)達還(huan)提供了另一個(ge)(ge)例(li)子，一個(ge)(ge)用(yong)于回(hui)答(da)內部企業人力(li)資(zi)源問(wen)(wen)題(ti)的聊天(tian)機(ji)器(qi)人。在這(zhe)個(ge)(ge)例(li)子中，英(ying)偉(wei)達能夠使(shi)用(yong) NeMo Guardrails 來阻止基于 ChatGPT 的機(ji)器(qi)人回(hui)答(da)關于公司財務狀況的問(wen)(wen)題(ti)或訪問(wen)(wen)其他員工的私人數據。
此外，該軟件還能(neng)夠利用一(yi)個 AI 模型(xing)來檢(jian)測另一(yi)個 AI 模型(xing)的“幻(huan)覺”，通過向第二(er)個(ge) AI 模(mo)型(xing)(xing)提問來核實第一(yi)個(ge) AI 模(mo)型(xing)(xing)的答案。如果兩個(ge)模(mo)型(xing)(xing)給出(chu)不一(yi)致的答案，那么軟件就會返(fan)回“我不知道”的回答。
英偉達還表示，這(zhe)個“護欄”軟件還有助于提高安(an)全性，可以強制(zhi) AI 模(mo)型只(zhi)與白名(ming)單列(lie)表中(zhong)的第三方軟件進行交互(hu)。
NeMo Guardrails 是開源(yuan)的(de)，并通過英偉達服務(wu)提(ti)供，可以用(yong)(yong)于商業應用(yong)(yong)，開發者將使用(yong)(yong) Colang 編程(cheng)語言來為(wei) AI 模型(xing)編寫自定義規則。
據IT之家搜索了解(jie)，包括谷歌和微軟支持的 OpenAI 等(deng)其他 AI 公司，也使用了一種稱為(wei)強(qiang)化學習(xi)的方法來(lai)防(fang)止 LLM 應用產生有(you)害的輸出。這種方法使用人類(lei)測試者來(lai)創建關于哪(na)些答案是可接(jie)受或不可接(jie)受的數據，然(ran)后使用這些數據來(lai)訓練(lian) AI 模型。
英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創建這項技術所需芯片的市場主(zhu)導地位，其股價(jia)在 2023 年迄(qi)今為止上漲了 85%，成為標準(zhun)普爾 500 指數中漲幅最(zui)大的股票。
