近日，OpenAI 創始人Sam Altman與 Humanloop CEO Raza Habib 以及(ji)其他 20 位開(kai)發者面(mian)對面(mian)進行了一(yi)場閉(bi)門(men)交流，交流中他們(men)討(tao)論了 OpenAI 的(de)近況(kuang)與未來的(de)規劃(hua)。HumanLoop 是一(yi)家幫助開(kai)發者在大語言(yan)模型上構建應(ying)用的(de)公(gong)司。
有參加了(le)此(ci)次(ci)交流會的開發者表(biao)示，因為這是閉門交流會，所以 Altman 在交談(tan)中(zhong)表(biao)現出了(le)開放(fang)的心態，討論內容既涉及開發者面臨的實際問題(ti)，也延伸到了(le)商業競爭、AI 監管和開源等問題(ti)。
此(ci)次對話的(de)重點內(nei)容(rong)被 Raza Habib 記錄了(le)下(xia)來并公布在了(le)網(wang)絡上。但隨后(hou)，應OpenAI的(de)要求，此(ci)內(nei)容(rong)已被刪(shan)除。然而，這一刪(shan)帖(tie)的(de)舉動(dong)引發了(le)外界的(de)強烈好奇和質疑(yi)。
有網友(you)表示：“一(yi)家從互(hu)聯網上收集(ji)信息(xi)做產品的(de)公司，居然要求(qiu)從互(hu)聯網上‘刪除’一(yi)篇(pian)文章，這種行為真的(de)很(hen)諷刺(ci)。”
外界紛紛猜測OpenAI刪帖(tie)的(de)(de)原因，在(zai) HackNews 上，一位現場(chang)的(de)(de)參會(hui)者認為之所(suo)以刪帖(tie)是(shi)因為 OpenAI 不希望在(zai)公(gong)開(kai)場(chang)合(he)談(tan)論(lun)一些公(gong)司重點規劃。
也有網友(you)認為(wei)，OpenAI 這種(zhong)行為(wei)有炒作的嫌(xian)疑，畢竟 GPU 不(bu)足已經不(bu)再是什(shen)么秘(mi)密了，看(kan)看(kan)英(ying)偉達的股價(jia)就知道(dao)了。
OpenAI 也嚴重依賴 GPU
在(zai) Altman 與 Raza 的討論中(zhong)證實，目前(qian) OpenAI 正受到GPU資源的嚴重限制，導致不少短期計劃已經被迫推遲。幾家大客(ke)戶還抱(bao)怨了 API 的可(ke)靠(kao)性(xing)和速度表現(xian)。Altman 認同這(zhe)些(xie)意見，并解釋稱主要問題源自 GPU 供應(ying)不足。
更長的 32k 上下文還無法全面推廣。OpenAI 還沒能克服 O(n^2)注意力擴展問題，所以盡管(guan) 10 萬(wan)到百萬(wan)級 token 的上(shang)下文窗(chuang)口預計(ji)將在今(jin)年內實現，但(dan)進一(yi)步擴展還需要(yao)突破(po)性研究的加持。
微調 API 目前同樣受到 GPU 資源的限制。因為還(huan)沒用(yong)上(shang) Adapters 或 LoRa 等高效(xiao)微調(diao)(diao)方(fang)法，所以 OpenAI 的微調(diao)(diao)運行和(he)管理仍須占用(yong)大量算力。未(wei)來微調(diao)(diao)的支持效(xiao)果(guo)會更好，OpenAI 甚至可能為社區(qu)貢獻模型設立專門(men)的市場。
專用容量產品也無法獨善其身。OpenAI 目前(qian)提供(gong)專用容(rong)量(liang)，為客戶提供(gong)模型的私有(you)副本。但要獲取這(zhe)項服務(wu)，客戶需要預先支付 10 萬美(mei)元。
在大語言模型和AIGC大爆發后，各 AI 企業對于 GPU 的需求比以往任何事時候都要緊迫。英偉達的高端 GPU 芯片價(jia)格(ge)已(yi)經達到了每片數萬美元，AI 基礎設施公司正在以(yi)數萬臺(tai)的價(jia)格(ge)購買它(ta)們。
馬斯克也曾(ceng)表示他已經(jing)(jing)為(wei)他的(de)新 AI 初創(chuang)公司(si) X.AI 購(gou)買了 3 萬多塊英偉達(da)頂級的(de) H100 GPU 芯片，每個價(jia)格超過 3 萬美(mei)元。此外，Meta 和微軟已經(jing)(jing)是今年英偉達(da)GPU 的(de)最(zui)大買家之一(yi)(Meta 可(ke)能排名第一(yi)，因(yin)為(wei)Facebook、Instagram、WhatsApp 和 Messenger 應用(yong)(yong)程序中有很(hen)多 AI 增強(qiang)的(de)東(dong)西要用(yong)(yong)到(dao) GPU)。
這就是為(wei)什么從 Sam Altman 會表示(shi) OpenAI 也(ye)很缺(que) GPU 的(de)(de)原因。Sam Altman 也(ye)曾在媒體采訪中公開(kai)強調過(guo) GPU 的(de)(de)可用性(xing)如何影(ying)響 OpenAI 今年及以后(hou)的(de)(de)計劃。
OpenAI 的短期路線圖
除了強調 GPU 的重要性外(wai)，Altman 還分享了 OpenAI 的 API 近(jin)期路線(xian)圖(暫(zan)定)。
Altman 表示，2023 年是 OpenAI 發展的重要一年，他們有一些令人興奮的計劃和目標。
價(jia)格更(geng)低、速(su)度更(geng)快的(de) GPT-4——這將是(shi) OpenAI 接下來的(de)首要任務(wu)。總體(ti)而(er)言，OpenAI 希望盡(jin)可能(neng)降(jiang)低“智(zhi)能(neng)實現成(cheng)本”，因此將隨時間推移不斷控(kong)制 API 價(jia)格。
更(geng)長的上下(xia)文窗(chuang)口——在不久的未(wei)來，上下(xia)文窗(chuang)口將擴展至高達百萬 token。
微調 API——微調 API 將被擴展至最新模(mo)型，但具體形式還是要(yao)根據(ju)開發者的實際需求來(lai)決定。
有狀(zhuang)態 API——如今在(zai)我們調(diao)用(yong)聊天 API 時，需(xu)要反(fan)復提交相(xiang)(xiang)同(tong)的對話歷史并(bing)一次又一次為相(xiang)(xiang)同(tong)的 token 付費。未來，OpenAI 將發布能(neng)夠記住對話歷史記錄的 API 版本(ben)。2024 年將是 OpenAI 全面(mian)(mian)擁(yong)抱多(duo)模(mo)態性的一年。GPT-4版本(ben)就演示(shi)了一部分多(duo)模(mo)態功(gong)能(neng)。這(zhe)意味(wei)著模(mo)型(xing)將能(neng)夠處理多(duo)種類型(xing)的輸入數據，例如文本(ben)、圖像(xiang)、音(yin)頻(pin)和視頻(pin)。但(dan)在(zai) GPU 資源匱(kui)乏問題得(de)到緩解之前，這(zhe)項功(gong)能(neng)還無(wu)法面(mian)(mian)向所有用(yong)戶開放(fang)。
插件“尚未完成市場匹配”，可能不會很快出現在 API 中
不少開發(fa)人(ren)員都想通過 API 訪問 ChatGPT 插(cha)件，但 Altman 表(biao)示這類(lei)插(cha)件在短期內(nei)不會發(fa)布。除了瀏覽(lan)等簡單(dan)場景之外，插(cha)件的實(shi)際使用情況表(biao)明還沒有找(zhao)到(dao)理想的產品市(shi)場契合(he)點。在他看來，很多人(ren)說是希望在 ChatGPT 中開發(fa)應用，但真正想要的其實(shi)是把 ChatGPT 納入他們(men)的應用。
OpenAI 承諾不會動客戶的“奶酪”
不少開發人員擔(dan)心 OpenAI 最(zui)終可能發布與其(qi)產品(pin)構成競爭關系的(de)新成果，所以(yi)在使(shi)用 OpenAI API 做開發時(shi)頗(po)感緊張(zhang)。Altman 強調(diao) OpenAI 不會發布除ChatGPT以(yi)外的(de)其(qi)他產品(pin)。
Altman 承認做(zuo)平臺的巨頭(tou)企業確實掌握著不(bu)少殺手級(ji)應(ying)用(yong)(yong)程序(xu)，而 ChatGPT 的目標(biao)是把這些企業轉化成(cheng)客(ke)戶來改進 API。ChatGPT 只想成(cheng)為(wei)工作場景下(xia)的超級(ji)智能(neng)助手，OpenAI 也不(bu)會涉足(zu)眾多其他 GPT 用(yong)(yong)例。
需要監管，但也需要開源
雖然 Altman 呼吁對(dui)(dui)未來的模型(xing)加以監(jian)管(guan)，但(dan)他(ta)覺得(de)當前的模型(xing)并沒有(you)什么(me)風險，并認為粗暴(bao)監(jian)管(guan)甚(shen)至(zhi)封禁絕對(dui)(dui)是個(ge)大(da)錯(cuo)誤。他(ta)重申了(le)自己對(dui)(dui)于開(kai)(kai)源(yuan)重要意義(yi)的信念，并表(biao)示 OpenAI 正在考慮開(kai)(kai)源(yuan) GPT-3 模型(xing)。之所(suo)以目前還沒有(you)開(kai)(kai)源(yuan)，主要原因(yin)是他(ta)擔心絕大(da)多數個(ge)人(ren)和企業都沒有(you)能力托管(guan)和運(yun)行(xing)這種大(da)語言模型(xing)。
擴展定律仍然成立
最近，不少文章(zhang)宣稱“超大規模(mo) AI 模(mo)型的時(shi)代已經終結(jie)”，Altman 對此(ci)做出了糾正。
OpenAI 的(de)內部數據表明，模型(xing)(xing)性能(neng)仍然遵循擴(kuo)展(zhan)定律(The scaling laws)，即擴(kuo)大模型(xing)(xing)規(gui)模將帶來(lai)更高的(de)性能(neng)。問題在(zai)于擴(kuo)展(zhan)的(de)速度將無法維持，因為 OpenAI 在(zai)短(duan)短(duan)幾年內已經把模型(xing)(xing)放大了(le)數百萬倍(bei)，而這顯然不(bu)是(shi)一條能(neng)夠長期走下去的(de)道路。
OpenAI 仍會繼(ji)續打(da)造出體(ti)量(liang)更大的模(mo)型，只(zhi)是(shi)具體(ti)規模(mo)可(ke)能每年增加 1 到 3 倍，而不再像之前(qian)那樣(yang)迅速跨(kua)越幾(ji)個(ge)數量(liang)級。
擴展定律仍然有效這一事實，對于 AGI(通用人工智能)的發展時間(jian)表有(you)著重大(da)(da)(da)影響。擴(kuo)(kuo)展定(ding)(ding)律其實是一種(zhong)假設，即我們可能已經擁(yong)有(you)了(le)建立(li) AGI 所需要的大(da)(da)(da)部(bu)分(fen)底(di)層(ceng)技術，剩余(yu)工作只是運用現有(you)方(fang)法并(bing)擴(kuo)(kuo)展出(chu)更大(da)(da)(da)的模型和數據(ju)集。如果擴(kuo)(kuo)展時代就此結束，那我們也許(xu)得重新探索(suo)通往 AGI 的前(qian)進方(fang)向(xiang)。好(hao)在(zai)定(ding)(ding)律仍在(zai)，很(hen)大(da)(da)(da)程度上預(yu)示著 AGI 橫空出(chu)世的時間(jian)也許(xu)已為期(qi)不遠(yuan)。
參考鏈接：
//web.archive.org/web/20230531203946///humanloop.com/blog/openai-plans
本文轉載來源(yuan)：
//www.infoq.cn/article/xZaNyw2QsZcxmNXUvkZv
