2 月 10 日消息,據科創板日報報道,華為計算產品線相關負責人就“華為在類似 ChatGPT 方向的布局”回應稱,公司 2020 年開始在大模型有布局,2021 年發布了鵬城盤古大模型,是業(ye)界首(shou)個千億級生(sheng)成和理解中文 NLP 大模型。
在 2021 年 4 月的華為開(kai)(kai)發(fa)者大會 2021(Cloud)上,華為云發(fa)布盤(pan)古(gu)系列(lie)超大規模預(yu)訓(xun)練模型,包括 30 億(yi)參數的視覺(CV)預(yu)訓(xun)練模型,以及與循(xun)環(huan)智能、鵬(peng)城實驗室(shi)聯合(he)開(kai)(kai)發(fa)的千億(yi)參數、40TB 訓(xun)練數據的中文語言(NLP)預(yu)訓(xun)練模型。
華為云人工智能領域首席(xi)科(ke)學家、IEEE Fellow 田(tian)奇彼時表示(shi):“預訓練大(da)(da)模型(xing)是解決 AI 應用(yong)(yong)開發(fa)定制(zhi)化(hua)和(he)碎片化(hua)的重要方法。華(hua)為(wei)云盤古大(da)(da)模型(xing)可以實現一(yi)個 AI 大(da)(da)模型(xing)在眾多場景通用(yong)(yong)、泛化(hua)和(he)規模化(hua)復制(zhi),減少對數據(ju)標注的依賴(lai),并使用(yong)(yong) ModelArts 平臺,讓 AI 開發(fa)由作坊式(shi)轉變(bian)為(wei)工業(ye)化(hua)開發(fa)的新模式(shi)。”
根(gen)據此前信息,盤古 NLP 大模(mo)(mo)(mo)型(xing)是當(dang)時全球最大的千(qian)億參數(shu)中(zhong)文(wen)語(yu)言(yan)預訓練模(mo)(mo)(mo)型(xing),由華為云、循環智能(neng)和鵬(peng)城實驗(yan)室聯合(he)開發,預訓練階段學習(xi)了 40TB 中(zhong)文(wen)文(wen)本數(shu)據,并通過行業數(shu)據的樣本調優(you)提升模(mo)(mo)(mo)型(xing)在場景中(zhong)的應用(yong)性能(neng)。
▲ 華(hua)為開發者大會 2021(Cloud)發布(bu)的盤古(gu)大模(mo)型
報道稱,華為表示,在大模型產業化方面已發起了智能遙感開源生態聯合體、多模態人工智能產業聯合體,智能流體力學產業聯合體等,將以聯合體的模式把科研院所、產業廠商等結合起來,更好地讓大模型產業形成正向的閉環回路。
據了解,人工智能研究實驗室 OpenAI 于 2022 年 11 月 30 日發布了全新聊天機器人模型 ChatGPT。這是一款人工智能技術驅動的自然語言處理工具,旨在根據用戶的提示(shi)模仿類似人類的對話。
2 月 7 日,百度官方還確認,其類似 ChatGPT 的項目名字確定為文心一言,英文名 ERNIE Bot,三月份完成內測,面向公眾開放。目前該產品在做上線前的沖刺準備工作。百度方面表示,ChatGPT 相關技術,百度都有。百度在人工智能四層架構中,有全棧布局。包括底層的芯片、深度學習框架、大模型以及最上層的搜索等應用。文(wen)心一言,位于(yu)模型層(ceng)。