百度大模型加速市(shi)場化。
6月6日，百(bai)度(du)在成都舉(ju)辦(ban)了文心大(da)模型技(ji)術(shu)交流會，會上，百(bai)度(du)智能云推(tui)出“Comate”代碼助手，并(bing)正(zheng)式開放邀測。
從介紹中(zhong)可(ke)(ke)以看到，代(dai)(dai)碼(ma)助手(shou)“Comate”可(ke)(ke)以實現代(dai)(dai)碼(ma)的快(kuai)速補齊、自然(ran)語言推薦代(dai)(dai)碼(ma)、自動查找代(dai)(dai)碼(ma)錯(cuo)誤，全面提升開發(fa)(fa)者(zhe)研發(fa)(fa)效率。之后，開發(fa)(fa)者(zhe)可(ke)(ke)以通(tong)過插件(jian)等(deng)形式，在主(zhu)流(liu)開發(fa)(fa)軟件(jian)中(zhong)使(shi)用“Comate”代(dai)(dai)碼(ma)助手(shou)。
同時在活動現場，百度智(zhi)能云也(ye)公布了大模(mo)型業(ye)務的新進(jin)展。
文(wen)(wen)心一(yi)言(yan)(yan)方面(mian)，3月開始(shi)內測兩個月以來，百度(du)文(wen)(wen)心一(yi)言(yan)(yan)的(de)(de)推理(li)性(xing)能(neng)已經提(ti)升10倍;基(ji)于文(wen)(wen)心千帆大模(mo)型平臺提(ti)供(gong)的(de)(de)完備的(de)(de)工具鏈，文(wen)(wen)心一(yi)言(yan)(yan)的(de)(de)高(gao)性(xing)能(neng)模(mo)式“文(wen)(wen)心一(yi)言(yan)(yan)-Turbo”推理(li)服務性(xing)能(neng)已經提(ti)升了50倍，目前(qian)企業可以在文(wen)(wen)心千帆大模(mo)型平臺上申請測試“文(wen)(wen)心一(yi)言(yan)(yan)-Turbo/ErnieBot- Turbo” 高(gao)性(xing)能(neng)模(mo)式。
此(ci)外，文心(xin)千帆也(ye)在數據導入/任務標(biao)注、Prompt管理器、強化學(xue)習機制、大(da)模(mo)型(xing)(xing)插件產線、大(da)模(mo)型(xing)(xing)評估、大(da)模(mo)型(xing)(xing)壓縮等等能力(li)上進行(xing)了持(chi)續(xu)升級，同時(shi)還能支持(chi)更多第三方大(da)模(mo)型(xing)(xing)。
1.推出大模型時代的代碼助手Comate
具體來看，“Comate”代碼(ma)助手可以實現編碼(ma)、回(hui)看、測試(shi)等全流程(cheng)的輔助編碼(ma)。比如(ru)，在編寫程(cheng)序時，可實現代碼(ma)智能搜(sou)索、推薦、自動(dong)補全;也可查找代碼(ma)錯(cuo)誤;同時，在測試(shi)階段，也可基于代碼(ma)直接(jie)生(sheng)成(cheng)單元測試(shi)腳本，實現代碼(ma)驗證。
與國(guo)外的開(kai)發(fa)工(gong)具相(xiang)比，“Comate”基(ji)于文(wen)心大模型在中(zhong)文(wen)理(li)解上的獨特優勢，可以理(li)解代(dai)碼中(zhong)的中(zhong)文(wen)注釋，并通過上下文(wen)觸(chu)發(fa)、語義觸(chu)發(fa)等能力，完成相(xiang)應(ying)指令，更匹配中(zhong)國(guo)開(kai)發(fa)者的習慣(guan)。
據了(le)解(jie)，Comate的(de)研發最早可以追溯(su)到2021年(nian)，當時百(bai)度云在基于文心大模型進行(xing)代(dai)碼輔(fu)助工(gong)具的(de)研究，2022年(nian)4月，Comate進行(xing)了(le)內測，2022年(nian)9月代(dai)碼輔(fu)助工(gong)具開始在百(bai)度內部(bu)開發中全面應(ying)用。
“Comate”代(dai)碼助(zhu)手背后是高質量Github代(dai)碼庫以及百(bai)度內部(bu)代(dai)碼的積累。目前，“Comate”覆蓋(gai)了(le)30余種編程語言，包含 C/C++、Python、Java等多(duo)個主(zhu)流語言。此(ci)外，“Comate”支持(chi)程序員最常使(shi)用的主(zhu)流IDE，開發者可以通過插(cha)件等形式(shi)，在不(bu)同軟件中(zhong)使(shi)用“Comate”。“Comate”可確保推理(li)單次請求(qiu)300ms左右。
現場，百度(du)智能(neng)云AI平臺(tai)副(fu)總經理(li)施恩還使(shi)用“Comate”進行了實時演(yan)示(shi)(shi)，并生成(cheng)(cheng)了“貪(tan)吃(chi)蛇”小(xiao)游(you)(you)戲(xi)。演(yan)示(shi)(shi)中可以(yi)看(kan)到，“Comate”自動聯(lian)系(xi)上下文理(li)解指令，補全代碼(ma)(ma)，并在多條推薦(jian)代碼(ma)(ma)之(zhi)間切換，選擇(ze)合適(shi)代碼(ma)(ma)，直接生成(cheng)(cheng)了可運行的“貪(tan)吃(chi)蛇”小(xiao)游(you)(you)戲(xi)。
百度智能云對Comate的產品規劃是：
第(di)一階段主要實(shi)現輔助代碼撰寫，目前開發者(zhe)已(yi)經可以通過自然語言的方(fang)式寫代碼;
第二階段，“Comate”將在特(te)定(ding)領域、場景的自(zi)然(ran)語(yu)言代碼生成;
第(di)三階(jie)段將(jiang)實現全領域的(de)自然語言開發。
百度智能(neng)云AI平臺副總經理李景秋告訴(su)「甲(jia)子光年」，從整體落地(di)效(xiao)果(guo)來(lai)看，目前百度內部，Comate的(de)采納率達(da)到30%-50%，最高有50%的(de)代(dai)碼(ma)(ma)由Comate生成(cheng)。她也(ye)提到，這大大增加了(le)工(gong)(gong)程(cheng)(cheng)師(shi)的(de)編碼(ma)(ma)質量和(he)效(xiao)率，“以百度的(de)工(gong)(gong)程(cheng)(cheng)師(shi)為例，原本更(geng)高級別(bie)的(de)T6工(gong)(gong)程(cheng)(cheng)師(shi)開(kai)發(fa)的(de)代(dai)碼(ma)(ma)，現(xian)在T5、T4的(de)工(gong)(gong)程(cheng)(cheng)師(shi)也(ye)可以開(kai)發(fa)出來(lai)。”
2.百度千帆大模型再升級
文心(xin)千帆大模(mo)(mo)型(xing)平臺(tai)(tai)是(shi)一(yi)站式企業級大模(mo)(mo)型(xing)平臺(tai)(tai)，能(neng)夠(gou)提供(gong)包括文心(xin)一(yi)言在內的大模(mo)(mo)型(xing)服務，提供(gong)開發AI應(ying)用的各種(zhong)工具鏈及整套(tao)環境(jing)，還支持(chi)各類第三方的開源(yuan)和閉源(yuan)的大模(mo)(mo)型(xing)。
此(ci)次(ci)，文(wen)心(xin)千(qian)帆也進(jin)行了最新升(sheng)級，推出了文(wen)心(xin)一言(yan)的高(gao)性能模式——ErnieBot-turbo，并在數據標注、調優、插件(jian)市場和服務(wu)部署方向(xiang)進(jin)行全面迭(die)代：
借助ErnieBot-turbo大(da)模型，一(yi)方(fang)面可(ke)以(yi)批量(liang)生成標注數據，大(da)大(da)降低(di)數據標注成本;另一(yi)方(fang)面在(zai)一(yi)些高頻、核心場景，其推理服(fu)務的整體性總(zong)共提(ti)升了50倍。
大模型調(diao)優方(fang)(fang)面，ErnieBot-turbo大模型支(zhi)持SFT訓(xun)(xun)練;同(tong)時針對不同(tong)場(chang)景和效果(guo)提供(gong)多種訓(xun)(xun)練方(fang)(fang)式。
插(cha)件(jian)(jian)市場方(fang)面也有了新的(de)動(dong)作，百度透(tou)露，文心千帆(fan)將開放插(cha)件(jian)(jian)協議，能夠(gou)讓第三方(fang)企業(ye)基于插(cha)件(jian)(jian)協議共享(xiang)插(cha)件(jian)(jian)。比如能源企業(ye)，就(jiu)可以通過插(cha)件(jian)(jian)的(de)方(fang)式(shi)，給他提供檢索增強(qiang)的(de)樣(yang)板，把內(nei)部的(de)數據完全接入，同時(shi)實(shi)現更好(hao)的(de)大模型效果。
服務部署的(de)升級上(shang)，百度宣布在整體服務部署上(shang)可以支(zhi)持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模(mo)型(xing)服務，支(zhi)持對(dui)模(mo)型(xing)進行評估、壓(ya)縮及部署，且還能支(zhi)持基于應用的(de)QPS分(fen)流(liu)。
Prompt工程方面，百度(du)千帆目前升級(ji)提供一部分預制(zhi)的Prompt模(mo)板，支持Prompt模(mo)板的增刪改查，支持參數插值的調用(yong)模(mo)板，支持通過服務(wu)接(jie)口形式(shi)調用(yong)Prompt模(mo)板，用(yong)于獲得更好的推理(li)效果。
未(wei)來，基(ji)于(yu)文心千帆(fan)不(bu)斷(duan)的升級，百度也(ye)將(jiang)把大模型商業(ye)化(hua)落地(di)真正落地(di)到(dao)不(bu)同場(chang)景。目(mu)前，面向企業(ye)市場(chang)，文心千帆(fan)有(you)公有(you)云服務和私有(you)化(hua)部(bu)署兩種落地(di)模式。
其中(zhong)，公有云(yun)提供推理、微(wei)調(diao)、托(tuo)管三(san)種服務模式(shi)面向不(bu)同開發能力和不(bu)同需求的(de)企(qi)業和開發者。比(bi)如，通用(yong)大模型(xing)或(huo)者微(wei)調(diao)出來的(de)行業大模型(xing)，都可以直接(jie)托(tuo)管在百度智(zhi)能云(yun)的(de)云(yun)端。
私有化部署支持軟件授權、軟硬一體、租賃服務三種交付模式。
軟件授權指的(de)就是，百度智能云將打包(bao)的(de)AI軟件系(xi)統授權給(gei)客戶，由客戶自(zi)行搭建部署在(zai)本(ben)地(di)的(de)數據(ju)中心(xin)或私有云環境(jing)中，百度負(fu)責軟件的(de)安(an)裝調試、培訓與維(wei)護支(zhi)持等;企業自(zi)己需要具備AI運維(wei)能力，并承擔相應的(de)服務器成本(ben)。
軟(ruan)(ruan)硬一體(ti)模式(shi)交付成(cheng)本和(he)(he)價格最高，指的(de)(de)(de)是百度智能云提(ti)供包括AI軟(ruan)(ruan)件(jian)系(xi)統授權、配置AI服務器集(ji)群、存儲系(xi)統交付等整(zheng)體(ti)解(jie)決(jue)方(fang)案的(de)(de)(de)部署、調試(shi)和(he)(he)日常(chang)的(de)(de)(de)技術支持與(yu)維護。租賃模式(shi)相對價格沒那么高，指的(de)(de)(de)是百度智能云提(ti)供機器和(he)(he)平(ping)臺(tai)的(de)(de)(de)租賃，訓練完(wan)客戶的(de)(de)(de)數據，百度將自己的(de)(de)(de)設備回收(shou)。
百(bai)度(du)智能云AI平臺副總經(jing)理(li)施恩(en)告訴「甲子光(guang)年」，目前，軟件授(shou)權和軟硬一體是百(bai)度(du)智能云優先推進的模(mo)式，也是市場主(zhu)流的模(mo)式，同時(shi)對百(bai)度(du)而言這(zhe)兩種交付(fu)模(mo)式也更標(biao)準化。
大模型將(jiang)進一(yi)(yi)步(bu)拉動AI公有云市(shi)場的(de)增長，接下(xia)來，百度(du)智能(neng)云也有機會借此進一(yi)(yi)步(bu)乘勢(shi)追擊，進一(yi)(yi)步(bu)收窄與頭部云廠(chang)商的(de)差距。
