近日，OpenAI 創始人Sam Altman與 Humanloop CEO Raza Habib 以(yi)及其他 20 位開發者面(mian)對(dui)面(mian)進行(xing)了(le)一(yi)場閉門交(jiao)流，交(jiao)流中他們討論了(le) OpenAI 的(de)近況與未(wei)來的(de)規劃(hua)。HumanLoop 是一(yi)家幫助開發者在大語言模型(xing)上構(gou)建應用的(de)公司。
有(you)參加了(le)此次交流會的開(kai)發者(zhe)(zhe)表示，因為這(zhe)是閉門交流會，所以 Altman 在交談中表現(xian)出了(le)開(kai)放(fang)的心態(tai)，討論(lun)內容既涉(she)及開(kai)發者(zhe)(zhe)面臨的實際問題，也(ye)延伸到了(le)商(shang)業競爭、AI 監管(guan)和開(kai)源等問題。
此(ci)次對話的(de)重點內容(rong)被 Raza Habib 記錄了(le)下來并公布在(zai)了(le)網絡上。但隨后，應OpenAI的(de)要求，此(ci)內容(rong)已(yi)被刪(shan)除。然而(er)，這(zhe)一刪(shan)帖的(de)舉(ju)動引發了(le)外(wai)界的(de)強烈(lie)好奇和質疑。
有網友表(biao)示：“一家從互(hu)聯(lian)(lian)網上收集信息(xi)做產(chan)品的公司，居(ju)然(ran)要(yao)求從互(hu)聯(lian)(lian)網上‘刪除’一篇文章，這種(zhong)行為真的很諷刺。”
外界紛紛猜測OpenAI刪帖的(de)原因，在 HackNews 上，一(yi)位現場的(de)參會者(zhe)認為(wei)之所以刪帖是因為(wei) OpenAI 不(bu)希望在公開場合談論一(yi)些公司重(zhong)點規劃。
也有(you)網(wang)友認(ren)為(wei)，OpenAI 這種行為(wei)有(you)炒(chao)作(zuo)的嫌疑，畢竟 GPU 不(bu)(bu)足(zu)已經不(bu)(bu)再(zai)是什么(me)秘密了，看看英偉達(da)的股(gu)價就知道了。
OpenAI 也嚴重依賴 GPU
在 Altman 與 Raza 的討論中證實，目(mu)前 OpenAI 正受(shou)到GPU資源(yuan)的嚴重限制，導(dao)致不(bu)少短期計劃(hua)已經被迫(po)推遲。幾家大客戶還抱怨了 API 的可靠性(xing)和速度表現。Altman 認(ren)同這些意(yi)見，并解釋稱主要問題源(yuan)自 GPU 供應不(bu)足。
更長的 32k 上下文還無法全面推廣。OpenAI 還(huan)沒能克(ke)服 O(n^2)注(zhu)意力擴展(zhan)問題(ti)，所以(yi)盡管 10 萬(wan)到百萬(wan)級(ji) token 的上(shang)下文窗(chuang)口預計將在今(jin)年內(nei)實現，但(dan)進一(yi)步擴展(zhan)還(huan)需要突破性研究的加持。
微調 API 目前同樣受到 GPU 資源的限制。因為還(huan)沒用上 Adapters 或 LoRa 等高效微調方(fang)法，所以(yi) OpenAI 的微調運行和管(guan)理仍須占用大量算力(li)。未來微調的支持效果會更好，OpenAI 甚至可能為社區(qu)貢獻模型設立專門的市(shi)場(chang)。
專用容量產品也無法獨善其身。OpenAI 目(mu)前提供專用容量，為客戶(hu)提供模型的私有副本。但(dan)要獲取這項服務，客戶(hu)需(xu)要預先支(zhi)付 10 萬美元。
在大語言模型和AIGC大爆發后，各 AI 企業對于 GPU 的需求比以往任何事時候都要緊迫。英偉達的高端 GPU 芯片價格已經達到了(le)每片數(shu)萬(wan)美元(yuan)，AI 基礎設施公(gong)司正(zheng)在以(yi)數(shu)萬(wan)臺的(de)價格購買它們。
馬斯克也曾表示他已經為(wei)他的新(xin) AI 初創公司 X.AI 購買了 3 萬多(duo)塊英(ying)偉達頂級的 H100 GPU 芯片，每個價格超過(guo) 3 萬美(mei)元。此(ci)外，Meta 和(he)微軟已經是今年英(ying)偉達GPU 的最大買家之(zhi)一(yi)(Meta 可(ke)能(neng)排(pai)名第一(yi)，因(yin)為(wei)Facebook、Instagram、WhatsApp 和(he) Messenger 應用程序中有很多(duo) AI 增強的東西要(yao)用到 GPU)。
這就是為(wei)什么(me)從 Sam Altman 會(hui)表示(shi) OpenAI 也(ye)很缺 GPU 的原(yuan)因。Sam Altman 也(ye)曾在媒(mei)體(ti)采(cai)訪中公開強(qiang)調過 GPU 的可用性(xing)如何影響 OpenAI 今年及以后的計劃。
OpenAI 的短期路線圖
除了(le)強調 GPU 的重要(yao)性外，Altman 還分享了(le) OpenAI 的 API 近期路線圖(暫定(ding))。
Altman 表示，2023 年是 OpenAI 發展的重要一年，他們有一些令人興奮的計劃和目標。
價(jia)格(ge)更低、速度更快的 GPT-4——這將是(shi) OpenAI 接下來的首要任(ren)務。總體而言，OpenAI 希望盡可(ke)能降低“智能實現成本”，因此將隨(sui)時間(jian)推移不斷控制(zhi) API 價(jia)格(ge)。
更長的上(shang)下文(wen)窗口(kou)——在不久的未來，上(shang)下文(wen)窗口(kou)將擴展(zhan)至高達百萬(wan) token。
微(wei)調 API——微(wei)調 API 將被擴展(zhan)至最新(xin)模(mo)型，但具體形式還是要根據開發者的實際需(xu)求來決定。
有狀態(tai) API——如(ru)今在我(wo)們(men)調用(yong)聊天(tian) API 時，需要(yao)反復(fu)提(ti)交相同(tong)(tong)的(de)(de)對話歷史(shi)并一(yi)次又一(yi)次為(wei)相同(tong)(tong)的(de)(de) token 付(fu)費。未來，OpenAI 將發布能(neng)夠記住對話歷史(shi)記錄的(de)(de) API 版(ban)本(ben)(ben)。2024 年(nian)將是 OpenAI 全面擁(yong)抱(bao)多(duo)模態(tai)性的(de)(de)一(yi)年(nian)。GPT-4版(ban)本(ben)(ben)就演示了一(yi)部分多(duo)模態(tai)功能(neng)。這意味(wei)著模型將能(neng)夠處理多(duo)種類型的(de)(de)輸入數據，例如(ru)文本(ben)(ben)、圖(tu)像、音頻(pin)和(he)視頻(pin)。但在 GPU 資(zi)源匱乏(fa)問題(ti)得到緩(huan)解之前，這項功能(neng)還無(wu)法面向所有用(yong)戶開放(fang)。
插件“尚未完成市場匹配”，可能不會很快出現在 API 中
不(bu)少(shao)開發人(ren)員都想通過 API 訪問 ChatGPT 插件，但 Altman 表(biao)示這(zhe)類插件在短期內(nei)不(bu)會發布。除了瀏覽(lan)等簡單(dan)場景之外，插件的實(shi)際使用(yong)(yong)情況(kuang)表(biao)明(ming)還沒(mei)有(you)找到理想的產品(pin)市場契合點。在他(ta)看來，很多人(ren)說是(shi)(shi)希望在 ChatGPT 中(zhong)開發應用(yong)(yong)，但真(zhen)正想要的其實(shi)是(shi)(shi)把 ChatGPT 納入他(ta)們的應用(yong)(yong)。
OpenAI 承諾不會動客戶的“奶酪”
不少開發(fa)人員(yuan)擔心 OpenAI 最終可能發(fa)布與(yu)其產(chan)品構成競爭關系的新(xin)成果(guo)，所以(yi)在使用 OpenAI API 做開發(fa)時頗感緊張(zhang)。Altman 強調 OpenAI 不會發(fa)布除ChatGPT以(yi)外(wai)的其他產(chan)品。
Altman 承認做平臺(tai)的巨頭(tou)企業確實掌(zhang)握著不少殺手(shou)級(ji)應(ying)用程序，而 ChatGPT 的目(mu)標是把這些企業轉(zhuan)化成客戶來改進 API。ChatGPT 只想成為工作場景(jing)下的超級(ji)智能助(zhu)手(shou)，OpenAI 也不會涉足眾多其他 GPT 用例。
需要監管，但也需要開源
雖然 Altman 呼吁對(dui)未來(lai)的(de)模(mo)(mo)型加以監管(guan)，但他(ta)覺得當前(qian)的(de)模(mo)(mo)型并沒(mei)有(you)什么(me)風(feng)險，并認為(wei)粗暴監管(guan)甚至封禁絕對(dui)是個大(da)錯誤(wu)。他(ta)重申了自(zi)己對(dui)于開源(yuan)(yuan)重要(yao)意義的(de)信念，并表示 OpenAI 正(zheng)在(zai)考慮開源(yuan)(yuan) GPT-3 模(mo)(mo)型。之所(suo)以目前(qian)還沒(mei)有(you)開源(yuan)(yuan)，主要(yao)原因(yin)是他(ta)擔心(xin)絕大(da)多數個人和企業都沒(mei)有(you)能力托管(guan)和運(yun)行這(zhe)種(zhong)大(da)語(yu)言模(mo)(mo)型。
擴展定律仍然成立
最近(jin)，不少文章(zhang)宣稱“超(chao)大(da)規(gui)模(mo) AI 模(mo)型的時代已經終(zhong)結”，Altman 對(dui)此做出了糾正。
OpenAI 的內(nei)部數據表明(ming)，模型(xing)性能(neng)仍然遵(zun)循擴展(zhan)定律(The scaling laws)，即擴大模型(xing)規模將帶來更(geng)高的性能(neng)。問題在于(yu)擴展(zhan)的速度將無法維持，因為 OpenAI 在短短幾年內(nei)已經把模型(xing)放大了數百萬(wan)倍，而這顯然不是(shi)一條(tiao)能(neng)夠長(chang)期走下去(qu)的道路。
OpenAI 仍會繼續打造出(chu)體量更大的(de)模型，只是(shi)具(ju)體規(gui)模可能每年增加 1 到(dao) 3 倍，而不再像之前那(nei)樣迅速跨越幾個(ge)數量級。
擴展定律仍然有效這一事實，對于 AGI(通用人工智能)的(de)發展(zhan)時(shi)間(jian)表有(you)著(zhu)(zhu)重大影響。擴展(zhan)定(ding)律(lv)其實是一種(zhong)假設，即我們(men)可(ke)能(neng)已經擁(yong)有(you)了建(jian)立 AGI 所需要的(de)大部分(fen)底層技術，剩余工(gong)作只(zhi)是運用(yong)現有(you)方法并擴展(zhan)出更大的(de)模型(xing)和數(shu)據集。如果擴展(zhan)時(shi)代就此結束(shu)，那(nei)我們(men)也許得重新探索通往 AGI 的(de)前進方向。好在(zai)定(ding)律(lv)仍(reng)在(zai)，很大程度上(shang)預示著(zhu)(zhu) AGI 橫空出世的(de)時(shi)間(jian)也許已為期不遠。
參考(kao)鏈接：
//web.archive.org/web/20230531203946///humanloop.com/blog/openai-plans
本(ben)文轉(zhuan)載(zai)來源：
//www.infoq.cn/article/xZaNyw2QsZcxmNXUvkZv
