百度大模(mo)型加速市場(chang)化。
6月6日，百度(du)(du)在(zai)成都舉辦了文心大(da)模型技術交(jiao)流會，會上，百度(du)(du)智能云推出“Comate”代碼助手，并正(zheng)式開(kai)放邀測。
從(cong)介紹中(zhong)可以(yi)看到，代(dai)碼(ma)助手(shou)“Comate”可以(yi)實(shi)現(xian)代(dai)碼(ma)的快速補(bu)齊、自然語言推薦代(dai)碼(ma)、自動查找代(dai)碼(ma)錯誤，全面提(ti)升開發(fa)者研發(fa)效率(lv)。之(zhi)后(hou)，開發(fa)者可以(yi)通(tong)過插件等形式，在(zai)主流開發(fa)軟件中(zhong)使用“Comate”代(dai)碼(ma)助手(shou)。
同時(shi)在活動現場，百度智能云(yun)也公布(bu)了大模型(xing)業務的新進展。
文(wen)心(xin)一(yi)言方面，3月開始(shi)內測(ce)兩個(ge)月以來(lai)，百(bai)度(du)文(wen)心(xin)一(yi)言的(de)推(tui)(tui)理性(xing)(xing)能(neng)已經提升(sheng)10倍(bei);基于文(wen)心(xin)千帆(fan)大(da)模(mo)型平(ping)(ping)臺提供的(de)完備的(de)工(gong)具鏈(lian)，文(wen)心(xin)一(yi)言的(de)高(gao)性(xing)(xing)能(neng)模(mo)式“文(wen)心(xin)一(yi)言-Turbo”推(tui)(tui)理服務性(xing)(xing)能(neng)已經提升(sheng)了50倍(bei)，目前企業可以在文(wen)心(xin)千帆(fan)大(da)模(mo)型平(ping)(ping)臺上申請測(ce)試“文(wen)心(xin)一(yi)言-Turbo/ErnieBot- Turbo” 高(gao)性(xing)(xing)能(neng)模(mo)式。
此外，文心千帆也在數(shu)據導入(ru)/任(ren)務標(biao)注、Prompt管理器、強化學(xue)習(xi)機制(zhi)、大(da)模(mo)型插件產線、大(da)模(mo)型評估、大(da)模(mo)型壓縮等等能(neng)力(li)上進行了持續(xu)升(sheng)級，同(tong)時還能(neng)支持更(geng)多(duo)第三方大(da)模(mo)型。
1.推出大模型時代的代碼助手Comate
具體來看，“Comate”代碼(ma)(ma)(ma)(ma)助手可以實現編(bian)碼(ma)(ma)(ma)(ma)、回看、測(ce)試(shi)等全(quan)流程的輔助編(bian)碼(ma)(ma)(ma)(ma)。比(bi)如，在編(bian)寫程序時，可實現代碼(ma)(ma)(ma)(ma)智(zhi)能(neng)搜索、推(tui)薦、自(zi)動補全(quan);也(ye)可查找代碼(ma)(ma)(ma)(ma)錯誤(wu);同時，在測(ce)試(shi)階段(duan)，也(ye)可基(ji)于(yu)代碼(ma)(ma)(ma)(ma)直(zhi)接生成(cheng)單(dan)元測(ce)試(shi)腳(jiao)本，實現代碼(ma)(ma)(ma)(ma)驗證。
與國外(wai)的(de)開發工具(ju)相比，“Comate”基于文(wen)(wen)心(xin)大模型在(zai)中文(wen)(wen)理解上的(de)獨特(te)優勢(shi)，可以理解代碼中的(de)中文(wen)(wen)注釋(shi)，并(bing)通過上下文(wen)(wen)觸(chu)發、語義(yi)觸(chu)發等能(neng)力，完成(cheng)相應指(zhi)令，更匹(pi)配(pei)中國開發者的(de)習(xi)慣。
據了解，Comate的研(yan)發最早可以追(zhui)溯到2021年，當時百度(du)云在(zai)基于文心大(da)模型進(jin)行(xing)代碼輔助工具的研(yan)究，2022年4月，Comate進(jin)行(xing)了內(nei)測，2022年9月代碼輔助工具開始在(zai)百度(du)內(nei)部(bu)開發中(zhong)全面(mian)應(ying)用。
“Comate”代碼助(zhu)手背后是高質量Github代碼庫以及百(bai)度內部代碼的積累。目前，“Comate”覆蓋了(le)30余種(zhong)編程語言，包(bao)含 C/C++、Python、Java等多個(ge)主流語言。此(ci)外(wai)，“Comate”支(zhi)持程序員最常(chang)使用的主流IDE，開(kai)發者可(ke)以通(tong)過(guo)插件(jian)等形式，在(zai)不(bu)同軟件(jian)中使用“Comate”。“Comate”可(ke)確保推理單次請求(qiu)300ms左右。
現場，百度智(zhi)能云AI平臺副(fu)總經理(li)施恩還(huan)使用“Comate”進行了實時演(yan)示，并(bing)生(sheng)成了“貪吃蛇”小(xiao)游戲。演(yan)示中可以看到，“Comate”自(zi)動(dong)聯系上下(xia)文理(li)解指令(ling)，補全代碼(ma)，并(bing)在多條推(tui)薦代碼(ma)之間切換，選擇合(he)適代碼(ma)，直接生(sheng)成了可運行的“貪吃蛇”小(xiao)游戲。
百度智能云(yun)對Comate的產品(pin)規劃是：
第一(yi)階段主要實現輔(fu)助代碼(ma)撰寫，目前開發者已經可(ke)以通過自(zi)然語言的方式(shi)寫代碼(ma);
第二階段，“Comate”將在特定(ding)領域、場景的自然語言(yan)代碼生成;
第三階(jie)段將實現(xian)全領域的自然語言開發。
百(bai)度智能云(yun)AI平臺副總經理李(li)景(jing)秋(qiu)告訴「甲子光年」，從整體(ti)落地效果來看，目前百(bai)度內部，Comate的(de)采(cai)納(na)率(lv)(lv)達到30%-50%，最高有(you)50%的(de)代碼由Comate生成。她也提到，這(zhe)大大增加了(le)工(gong)程師(shi)(shi)(shi)的(de)編碼質量和(he)效率(lv)(lv)，“以百(bai)度的(de)工(gong)程師(shi)(shi)(shi)為例(li)，原本更高級別的(de)T6工(gong)程師(shi)(shi)(shi)開發的(de)代碼，現(xian)在T5、T4的(de)工(gong)程師(shi)(shi)(shi)也可(ke)以開發出來。”
2.百度千帆大模型再升級
文(wen)(wen)心千帆大(da)模(mo)型(xing)平(ping)臺是(shi)一站式(shi)企業級大(da)模(mo)型(xing)平(ping)臺，能夠提(ti)供包括文(wen)(wen)心一言在內的(de)大(da)模(mo)型(xing)服務，提(ti)供開(kai)發AI應用的(de)各種工具(ju)鏈及整套環境，還支持各類第(di)三(san)方的(de)開(kai)源(yuan)和閉(bi)源(yuan)的(de)大(da)模(mo)型(xing)。
此次，文心千帆也進行(xing)了(le)最(zui)新(xin)升級，推出了(le)文心一言(yan)的高性能模式——ErnieBot-turbo，并在數據標注、調優(you)、插件市場和服(fu)務部署方(fang)向進行(xing)全(quan)面迭代：
借助ErnieBot-turbo大(da)模(mo)型，一方(fang)面(mian)可以批量生(sheng)成標注數據，大(da)大(da)降低數據標注成本;另一方(fang)面(mian)在一些(xie)高頻、核心(xin)場景，其推理服務(wu)的(de)整體性總共提(ti)升了50倍。
大模(mo)型(xing)(xing)調優(you)方(fang)面，ErnieBot-turbo大模(mo)型(xing)(xing)支持SFT訓練(lian);同時針對不同場景和效果提(ti)供多(duo)種訓練(lian)方(fang)式(shi)。
插件(jian)市場方面也有(you)了新的(de)(de)動(dong)作，百度透露，文心千帆(fan)將開放插件(jian)協議(yi)，能夠讓(rang)第三方企(qi)業基于(yu)插件(jian)協議(yi)共(gong)享(xiang)插件(jian)。比如能源企(qi)業，就可以(yi)通過插件(jian)的(de)(de)方式，給他(ta)提(ti)供檢(jian)索(suo)增強(qiang)的(de)(de)樣板(ban)，把內部的(de)(de)數(shu)據完全接入，同時實現更好的(de)(de)大模型效果。
服(fu)務(wu)部(bu)(bu)署(shu)(shu)的升級(ji)上，百度宣布在(zai)整(zheng)體(ti)服(fu)務(wu)部(bu)(bu)署(shu)(shu)上可以支持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模型服(fu)務(wu)，支持對模型進行評估、壓縮及部(bu)(bu)署(shu)(shu)，且還(huan)能(neng)支持基于應用的QPS分流。
Prompt工(gong)程方面，百度千帆目前升級(ji)提供一(yi)部(bu)分(fen)預制的Prompt模(mo)(mo)板，支(zhi)持Prompt模(mo)(mo)板的增刪(shan)改查，支(zhi)持參數插值的調(diao)用模(mo)(mo)板，支(zhi)持通過服務接口形式調(diao)用Prompt模(mo)(mo)板，用于獲得更好的推理效果。
未來，基于文心千(qian)(qian)帆(fan)不(bu)斷的升級，百度也(ye)將(jiang)把(ba)大模(mo)型商(shang)業(ye)化落地真正(zheng)落地到不(bu)同場景。目(mu)前，面向企業(ye)市場，文心千(qian)(qian)帆(fan)有(you)公有(you)云(yun)服(fu)務和(he)私有(you)化部(bu)署兩種落地模(mo)式。
其中，公有云(yun)提供推理、微調、托管三種服務模(mo)式面(mian)向不(bu)同開(kai)發能力(li)和(he)不(bu)同需求的企業(ye)和(he)開(kai)發者。比如，通用大模(mo)型(xing)或者微調出來(lai)的行(xing)業(ye)大模(mo)型(xing)，都可以直接(jie)托管在百度智能云(yun)的云(yun)端。
私有化部署支持軟件授權、軟硬一體、租賃服務三種交付模式。
軟(ruan)件(jian)授(shou)權指的(de)(de)就是，百度(du)智能(neng)云將打包(bao)的(de)(de)AI軟(ruan)件(jian)系統授(shou)權給客(ke)戶(hu)，由(you)客(ke)戶(hu)自行(xing)搭建部署(shu)在(zai)本(ben)地的(de)(de)數據中心或私有云環境中，百度(du)負責軟(ruan)件(jian)的(de)(de)安裝(zhuang)調(diao)試、培訓與維(wei)護支持等;企(qi)業自己(ji)需要具備AI運維(wei)能(neng)力(li)，并承(cheng)擔相(xiang)應的(de)(de)服務(wu)器(qi)成(cheng)本(ben)。
軟硬(ying)一體模(mo)式(shi)交(jiao)付成本(ben)和價(jia)格最高(gao)，指的(de)(de)是百(bai)(bai)度智能云提供包括AI軟件系統授權、配置AI服務器集群、存儲系統交(jiao)付等整體解決方(fang)案的(de)(de)部署、調試(shi)和日常的(de)(de)技術(shu)支持與維護。租賃模(mo)式(shi)相對價(jia)格沒(mei)那么(me)高(gao)，指的(de)(de)是百(bai)(bai)度智能云提供機(ji)器和平臺的(de)(de)租賃，訓(xun)練完(wan)客(ke)戶的(de)(de)數據，百(bai)(bai)度將自己(ji)的(de)(de)設備(bei)回收。
百(bai)(bai)度(du)智能(neng)云AI平臺(tai)副總(zong)經(jing)理施恩告訴「甲子光年(nian)」，目前(qian)，軟件(jian)授(shou)權和軟硬一體是百(bai)(bai)度(du)智能(neng)云優先(xian)推(tui)進的模式，也是市(shi)場主流的模式，同時對百(bai)(bai)度(du)而言這兩種交付(fu)模式也更標準化。
大(da)模型將(jiang)進(jin)一(yi)步拉動(dong)AI公有(you)云(yun)市場的增長，接下來(lai)，百度智能(neng)云(yun)也有(you)機會借此進(jin)一(yi)步乘勢追(zhui)擊，進(jin)一(yi)步收窄與頭部云(yun)廠(chang)商(shang)的差距。
