全文(wen)字(zi)數：3600字(zi)，閱讀時(shi)間：13分鐘
本文來自(zi)智次方直播：AI落地(di)應(ying)用(yong)：大模型的無限(xian)可能(neng)
金秋9月，智次方與智用人工智能應(ying)用研(yan)究院攜手推出AI大模(mo)型(xing)系列(lie)公(gong)開課，從認(ren)知、應(ying)用、商(shang)業、安全等不同(tong)方向，帶您領略AI大模(mo)型(xing)的魅力(li)與(yu)應(ying)用前(qian)景。
9月(yue)13日晚，智用(yong)研(yan)究院AI產品總監(jian) 周奇(qi)民老(lao)師以“AI落地應用(yong)：大模型的無限可能”為主(zhu)題進行了(le)一次深度(du)內容分(fen)享。
以下根據直播內容(rong)整理：
01
AIGC是什么
目前AIGC成(cheng)為了越來(lai)越多(duo)人關注(zhu)的概念。AlGC 全稱(cheng)為 Al Generated Content(人工(gong)智能(neng)生成(cheng)內容)，指基于大型(xing)預(yu)訓練(lian)模型(xing)、生成(cheng)對抗(kang)網絡 (GAN)、擴(kuo)散模型(xing)等人工(gong)智能(neng)技術(shu)，通(tong)過其(qi)泛(fan)化能(neng)力(li)生成(cheng)各種內容。
狹義的AIGC更關注文本、圖(tu)像、音頻(pin)、視頻(pin)等內容(rong)生成，等同于Generative Al概(gai)念。
其實在現階段來說，主要是(shi)在做文本生成，而且文本生成能力已經非(fei)常出色。
比如可以用ChatGPT寫小說等等。其實從(cong)科學家或者開發者的(de)(de)角度來看，GPT 4 本質(zhi)上(shang)是一(yi)個文本預測(ce)(ce)模型(xing)，GPT 中(zhong)的(de)(de) T 代表Transformer，這個模型(xing)是一(yi)個逐字(zi)生成的(de)(de)文本模型(xing)，你給它(ta)一(yi)段上(shang)下(xia)文，它(ta)會預測(ce)(ce)下(xia)一(yi)個字(zi)的(de)(de)概率最(zui)高的(de)(de)那個字(zi)，然后根據生成的(de)(de)字(zi)再作為上(shang)下(xia)文預測(ce)(ce)下(xia)一(yi)個字(zi)。
圖(tu)(tu)像(xiang)生(sheng)成(cheng)方面，其實在(zai)四五(wu)年前(qian)就(jiu)已經存在(zai)了，但在(zai)過去的(de)(de)(de)概念中，人們(men)認為(wei)生(sheng)成(cheng)的(de)(de)(de)圖(tu)(tu)像(xiang)質量很差，人臉五(wu)官也歪七八扭的(de)(de)(de)。而現在(zai)，通過不斷訓練和優化算法，生(sheng)成(cheng)的(de)(de)(de)圖(tu)(tu)像(xiang)已經非(fei)常接近真(zhen)實人物的(de)(de)(de)照片(pian)了。例(li)如，我(wo)們(men)可以輸入一段(duan)文本描(miao)述，Midjourney就(jiu)能直接生(sheng)成(cheng)圖(tu)(tu)片(pian)，并且(qie)圖(tu)(tu)像(xiang)質量很高(gao)。而且(qie)你會(hui)發現人臉的(de)(de)(de)樣(yang)子(zi)、風吹起來的(de)(de)(de)效果、蓬松的(de)(de)(de)頭發、衣服的(de)(de)(de)質感、光線的(de)(de)(de)打(da)光效果，以及背景(jing)的(de)(de)(de)虛化等細(xi)節都已經讓這張圖(tu)(tu)片(pian)很難分辨真(zhen)假。
音頻(pin)(pin)生成(cheng)方面，如(ru)果(guo)之前(qian)大家有(you)看過一(yi)些(xie)短視(shi)(shi)頻(pin)(pin)，比(bi)如(ru)“注意看眼前(qian)的(de)男人叫小帥”，這(zhe)些(xie)視(shi)(shi)頻(pin)(pin)中使用(yong)的(de)配(pei)音都(dou)是(shi)來自(zi)微軟的(de)文(wen)字合(he)成(cheng)語音服務，名為文(wen)本合(he)成(cheng)語音TTS(Text to speech)。除了傳統的(de)音頻(pin)(pin)生成(cheng)方式，現在還有(you)很多新(xin)的(de)技(ji)術(shu)，比(bi)如(ru)Suno AI。以前(qian)我想用(yong)文(wen)本生成(cheng)一(yi)段(duan)(duan)音樂(le)，但是(shi)無法將(jiang)人聲與背(bei)景音樂(le)完全融合(he)。而(er)現在可以根(gen)據你的(de)文(wen)本生成(cheng)一(yi)整段(duan)(duan)音樂(le)，包括和(he)弦、人聲、音調、編排(pai)、和(he)聲，所有(you)的(de)東西一(yi)氣呵成(cheng)。這(zhe)項(xiang)技(ji)術(shu)剛剛在前(qian)幾天發布，所以AI的(de)發展速度相當迅(xun)速。
視頻(pin)生成方(fang)面，我輸(shu)入一段(duan)文字“有一只(zhi)狗(gou)穿著超人的披風在天(tian)上飛(fei)，幫我生成4 秒鐘的視頻(pin)”，現在已經完全可以(yi)實(shi)現了。
還有跨模態生成，其實就是(shi)文本、圖像、音(yin)頻(pin)、視(shi)頻(pin)之(zhi)間(jian)來回切換。
如果我們稍微擴(kuo)大視(shi)角，廣義的AIGC還(huan)包(bao)括蛋(dan)白質結構生成、環(huan)境模擬、人(ren)工智(zhi)能體、虛擬人(ren)等橫跨各(ge)個領域的內容生成。
在(zai)(zai)蛋白(bai)(bai)質(zhi)結(jie)構生(sheng)成領域，如果有從事生(sheng)物行業的(de)(de)(de)，可(ke)(ke)能會發現(xian)蛋白(bai)(bai)質(zhi)的(de)(de)(de)三(san)維結(jie)構與其氨基酸的(de)(de)(de)序(xu)(xu)列(lie)是(shi)(shi)高度相關的(de)(de)(de)。什么意(yi)思呢?比如說有一個氨基酸序(xu)(xu)列(lie)，就能猜(cai)(cai)測生(sheng)成的(de)(de)(de)蛋白(bai)(bai)質(zhi)的(de)(de)(de)三(san)維結(jie)構是(shi)(shi)什么樣的(de)(de)(de)。以(yi)前在(zai)(zai)沒(mei)有人(ren)工智(zhi)能的(de)(de)(de)情況下，序(xu)(xu)列(lie)到三(san)維結(jie)構之間存在(zai)(zai)很大的(de)(de)(de)差距。很多事情都依賴(lai)于通過(guo)(guo)人(ren)工計(ji)算(suan)或經驗法則(ze)來處理。過(guo)(guo)去的(de)(de)(de)經驗可(ke)(ke)以(yi)總結(jie)成一些(xie)例子(zi)，根據這(zhe)些(xie)例子(zi)可(ke)(ke)以(yi)猜(cai)(cai)測下一個新的(de)(de)(de)蛋白(bai)(bai)質(zhi)的(de)(de)(de)序(xu)(xu)列(lie)。
在環境模擬領域，比如元宇宙就是將(jiang)(jiang)現實世(shi)(shi)界(jie)(jie)完(wan)全復制(zhi)到虛擬世(shi)(shi)界(jie)(jie)。比(bi)如說可以(yi)通(tong)過機器(qi)掃描每個細節和(he)材質，或者基于人工(gong)智(zhi)能體將(jiang)(jiang)現實世(shi)(shi)界(jie)(jie)的空間復制(zhi)到虛擬世(shi)(shi)界(jie)(jie)中(zhong)，這(zhe)也是一種環境(jing)模擬。
02
AIGC能對行業做什么
以前我們采用的是專業人員生成(cheng)內容的模(mo)式PGC，后面(mian)發展為(wei)UGC模(mo)式，即所有人都可以成(cheng)為(wei)創作者(zhe)。例如很多社交媒體小紅(hong)書、抖(dou)音等，你(ni)發布一(yi)(yi)個視(shi)頻，你(ni)就(jiu)是博主(zhu)。現在(zai)UGC的下(xia)一(yi)(yi)步是AIGC，可能不再需(xu)要人來從事這項工(gong)作，只需(xu)要讓AI來完(wan)成(cheng)。人類能做(zuo)什么呢?我們可以提供創意，或(huo)者(zhe)干脆不給創意，讓AI自己去想。它現在(zai)已(yi)經能夠逐漸轉變為(wei)AIGC這樣的模(mo)式，因為(wei)它具備(bei)高(gao)生產效率(lv)、豐富創造力和(he)強(qiang)導向性的優(you)點。
那AIGC的出現會影響哪些行業(ye)呢(ni)?
我(wo)(wo)們(men)第一(yi)(yi)直覺能想到的(de)就(jiu)(jiu)是媒體行(xing)業，比如說我(wo)(wo)們(men)記錄(lu)一(yi)(yi)個新聞(wen)熱點(dian)(iPhone 發(fa)布)，需要(yao)寫(xie)一(yi)(yi)篇文章，我(wo)(wo)還需要(yao)手動打字嗎?不需要(yao)。我(wo)(wo)直接告(gao)訴ChatGPT現在(zai)有個新的(de)熱點(dian) iPhone 15 發(fa)布了(le)，請針對這(zhe)個時事(shi)做出評(ping)判。馬上一(yi)(yi)分(fen)鐘(zhong)就(jiu)(jiu)給你(ni)寫(xie)好(hao)1000 字的(de)新聞(wen)稿(gao)，直接復制粘貼發(fa)送，就(jiu)(jiu)這(zhe)么簡(jian)單。
對(dui)于電商(shang)行業，比如我是一家開淘寶(bao)店賣衣服(fu)的，關于淘寶(bao)店的宣(xuan)傳文案、衣服(fu)照(zhao)片、網站代(dai)碼等都可以讓 AI 來幫我做(zuo)。
對于影視行業，拍電影的分鏡、劇本、音樂配音、音效全部交(jiao)給AI。
對(dui)于娛樂行業，比(bi)如說大家玩的游戲-原神，原神里面的這個 3D 建模直接用(yong)AI 給你做了，你都不需要(yao)這么多設計師了。
所以說(shuo)AIGC 在內(nei)容生成行業(ye)的影(ying)響肯定是會(hui)波及到這些行業(ye)的。
03
AIGC的文本生成應用
AIGC有很大的潛力和充足的發展空間。
那下面我會以大家最熟(shu)悉的ChatGPT為例，展示它在文本生(sheng)成方面的四(si)個應用。
第一個，用通(tong)俗的(de)語言，以小(xiao)學生能聽懂(dong)的(de)口吻來解(jie)(jie)釋量子(zi)物(wu)理。這(zhe)體現了總結能力(li)和角色扮演能力(li)。你(ni)甚至(zhi)可以把論文扔給ChatGPT，它就(jiu)可以幫你(ni)總結和解(jie)(jie)釋論文內容。
第二個，幫我(wo)用李白的(de)口(kou)吻寫一(yi)首關于生(sheng)成(cheng)式AI的(de)詩，考驗它(ta)的(de)創造能力。以(yi)前我(wo)們認為(wei)AI不(bu)能創造，但現(xian)在不(bu)同了。現(xian)在它(ta)可以(yi)生(sheng)成(cheng)一(yi)些從無到有(you)的(de)東西。
第(di)三個，如(ru)果一(yi)個人斷言(yan)自己總是(shi)(shi)說(shuo)謊，但告訴你(ni)他(ta)現(xian)在正在說(shuo)謊，那(nei)么你(ni)可以推斷他(ta)現(xian)在是(shi)(shi)說(shuo)真話還是(shi)(shi)假話。考驗它的邏輯推理(li)能力。
第四個，代(dai)(dai)碼能(neng)力(li)。它能(neng)夠信手拈來地編(bian)寫代(dai)(dai)碼，而且(qie)速度非常快。
如(ru)果(guo)你之前關注過這方面(mian)的(de)(de)(de)新(xin)聞，或者(zhe)你是開發人(ren)員，那么你應該(gai)(gai)知道GitHub的(de)(de)(de)代(dai)碼生(sheng)態是個(ge)非(fei)常豐富的(de)(de)(de)。因為GitHub上(shang)面(mian)有許多不(bu)同的(de)(de)(de)開發者(zhe)，他們將自己的(de)(de)(de)代(dai)碼上(shang)傳到該(gai)(gai)網站，形成一個(ge)開源的(de)(de)(de)生(sheng)態系統，供(gong)大家相互學習。
然而(er)，GitHub 最(zui)近推(tui)出了(le)一(yi)個(ge)名為 GitHub Copilot 的服(fu)(fu)務(wu)。這個(ge) Copilot 服(fu)(fu)務(wu)可以(yi)根據 GitHub 上的所(suo)有代(dai)碼，幫(bang)助開(kai)(kai)(kai)發者生(sheng)成文本(ben)。例如，你(ni)(ni)(ni)要寫一(yi)段(duan)注釋(shi)，你(ni)(ni)(ni)可以(yi)描述你(ni)(ni)(ni)想要編寫的俄(e)羅斯方(fang)塊游戲，Copilot 就會為你(ni)(ni)(ni)生(sheng)成一(yi)整段(duan)文本(ben)，直接(jie)在 Visual Studio 這個(ge)開(kai)(kai)(kai)發工具中幫(bang)助你(ni)(ni)(ni)生(sheng)成。這樣，你(ni)(ni)(ni)就不(bu)需(xu)要手動復制(zhi)粘貼，也(ye)(ye)不(bu)需(xu)要跳到(dao)(dao) ChatGPT 平臺讓(rang)他幫(bang)你(ni)(ni)(ni)寫代(dai)碼，因為這個(ge)功能(neng)已經內嵌在開(kai)(kai)(kai)發工具中，代(dai)碼生(sheng)成過程(cheng)非常流暢。此外，如果你(ni)(ni)(ni)復制(zhi)了(le)一(yi)段(duan)代(dai)碼，不(bu)知道(dao)它的用途，你(ni)(ni)(ni)可以(yi)直接(jie)復制(zhi)粘貼到(dao)(dao) ChatGPT 平臺，讓(rang)它幫(bang)你(ni)(ni)(ni)解(jie)釋(shi)。它也(ye)(ye)能(neng)夠勝任這項任務(wu)。
總(zong)而(er)言(yan)之，文本生成、推(tui)理能力(li)和代(dai)碼能力(li)都可以(yi)實現。
04
AIGC的文本生成+代碼解釋器應用
GPT4強(qiang)大的插(cha)件生(sheng)態可(ke)以(yi)讓GPT實現(xian)更多可(ke)能(neng)性，使(shi)(shi)用高級數據分析(xi)插(cha)件(原(yuan)代(dai)碼解釋器)使(shi)(shi)其(qi)根據需求直接(jie)生(sheng)成代(dai)碼。并且對(dui)自(zi)己生(sheng)成的代(dai)碼運行(xing)輸出，如果遇(yu)到報錯也能(neng)自(zi)行(xing)調試修(xiu)改代(dai)碼直至(zhi)能(neng)正(zheng)常(chang)運行(xing)。
比如說(shuo)你現(xian)在上傳一(yi)張包含(han)文(wen)(wen)(wen)字(zi)的圖片(pian)，要求把(ba)文(wen)(wen)(wen)字(zi)抽取出(chu)來(lai)。然后它(ta)能解析你的問題，立馬就在一(yi)個新建(jian)的環(huan)境(jing)中幫你寫一(yi)段(duan) Python 的代碼，并在它(ta)的環(huan)境(jing)中運行。然后直接(jie)幫你識別(bie)出(chu)這些文(wen)(wen)(wen)字(zi)。
文(wen)字(zi)識(shi)別(bie)也叫OCR，它(ta)最基礎的(de)(de)用法是識(shi)別(bie)文(wen)字(zi)，但實際上(shang)它(ta)還能(neng)做(zuo)很多其他的(de)(de)事情。意味著什(shen)么(me)?意味著只(zhi)要(yao)是能(neng)運行(xing)代碼的(de)(de)，它(ta)都能(neng)做(zuo)。比如(ru)說我上(shang)傳一張(zhang)七彩斑斕的(de)(de)圖(tu)片，要(yao)求將它(ta)轉(zhuan)換成不(bu)同的(de)(de)風格(ge)，并制作成一個視頻。它(ta)能(neng)立(li)即解析。你只(zhi)需(xu)點擊下載(zai)就可以使用了(le)。
另外，也能做(zuo)數(shu)據分析(xi)可視化(hua)。假(jia)設我(wo)(wo)有一份房價(jia)數(shu)據表(biao)格(ge)(ge)文件(jian)，我(wo)(wo)上傳給ChatGPT，我(wo)(wo)告訴(su)它根據數(shu)據，幫(bang)我(wo)(wo)預測(ce)下一個(ge)月的價(jia)格(ge)(ge)趨勢。對，然后它就能解析(xi)你(ni)的意圖，分析(xi)你(ni)的文件(jian)，編寫并運(yun)行代碼，生成(cheng)表(biao)格(ge)(ge)，并進行價(jia)格(ge)(ge)預測(ce)。
05
生成(cheng)式AI的組合應用(yong)
當(dang)然，上述所有服務均只是生成式AI最基(ji)礎的應用，各應用之間也可以(yi)互(hu)相結(jie)合，以(yi)多模態(tai)的形式整合賦能千(qian)行百業。
以(yi)前的文(wen)字(zi)生成(cheng)圖(tu)片都是不(bu)可控的，但是現(xian)在出現(xian)了很多新技(ji)術，你(ni)可以(yi)訓練一個自己(ji)的AI模型(xing)來固定這些圖(tu)片中(zhong)的一個元素。
過去，如(ru)果要開一(yi)(yi)(yi)家淘寶(bao)店，就得請模特、設計衣(yi)服等等各(ge)種細節(jie)，現(xian)在AI就能為(wei)你完成(cheng)(cheng)。我(wo)用一(yi)(yi)(yi)個線稿設計圖(tu)，讓AI幫我(wo)生(sheng)成(cheng)(cheng)一(yi)(yi)(yi)張衣(yi)服的圖(tu)片(pian)(pian)。然后再生(sheng)成(cheng)(cheng)100張衣(yi)服的圖(tu)片(pian)(pian)，再用這些圖(tu)片(pian)(pian)訓練一(yi)(yi)(yi)個自己的模型。然后用這個模型去生(sheng)成(cheng)(cheng)模特穿(chuan)衣(yi)的圖(tu)片(pian)(pian)，這個模特每次(ci)穿(chuan)的衣(yi)服都是我(wo)設計的，可以(yi)使用不同的姿勢、光影和角度來制作這些圖(tu)片(pian)(pian)。
AIGC也可以應(ying)用于智(zhi)能(neng)(neng)客(ke)服(fu)。現(xian)在(zai)智(zhi)能(neng)(neng)客(ke)服(fu)已(yi)經很像真人了。你只需要一(yi)張照片，就可以實現(xian)各個器官跟著文(wen)本、語音去動(dong)。
我們也可(ke)以將 ChatGPT等大模型嵌(qian)入企業(ye)的一些內部系統(例如OA 系統)，比如說員工想請假(jia)，由ChatGPT 去理解他的意圖，然后(hou)去調用(yong)OA 系統，直接就可(ke)以去提(ti)交請假(jia)工單了。
剛(gang)剛(gang)提到(dao)的文本、圖像(xiang)、音頻、視頻只是冰山(shan)一(yi)角(jiao)，還有(you)許(xu)多其他可能性值得我們去挖(wa)掘。
06
大模型的“幻覺”現象
大(da)家知(zhi)道(dao)Transformer模型的原理其實就是(shi)單字(zi)接(jie)龍(long)。如果大(da)家了解 GPT-2，它(ta)(ta)是(shi)開源的。如果你了解開發(fa)，你可以自(zi)己(ji)下載一個模型，你會發(fa)現(xian)，比如我想說(shuo)一句話：“今天(tian)天(tian)氣真(zhen)好(hao)。”然后我把“今天(tian)天(tian)氣真(zhen)”這(zhe)五個字(zi)輸入模型，它(ta)(ta)會去(qu)計算下一個字(zi)在幾千、幾萬個中文漢字(zi)中出(chu)現(xian)的概(gai)率(lv)(lv)最高。它(ta)(ta)計算出(chu)來(lai)了，概(gai)率(lv)(lv)最高的字(zi)是(shi)“好(hao)”，所以它(ta)(ta)就把“好(hao)”這(zhe)個字(zi)添加進(jin)去(qu)。所以說(shuo)，它(ta)(ta)的原理并沒有基(ji)于真(zhen)實現(xian)實的原理，它(ta)(ta)只是(shi)根據算法(fa)計算出(chu)來(lai)的。
假設你(ni)問它(ta)一個關于天(tian)氣的(de)問題，如果(guo)你(ni)不(bu)連接(jie)任何天(tian)氣系統的(de)接(jie)口，不(bu)問氣象局今天(tian)的(de)天(tian)氣如何，它(ta)就(jiu)會(hui)胡說八道(dao)。因為(wei)它(ta)底層的(de)原理(li)就(jiu)是根(gen)據算法計算出概率最(zui)高的(de)字來生成下一個字。
所以幻(huan)覺是無法避免(mian)的(de)，這是它的(de)本質機制。但是在使用 GPT 的(de)過程中，你可以采取(qu)一些措(cuo)施來避免(mian)大部分(fen)的(de)幻(huan)覺。
舉個例子，你可(ke)以給它(ta)設計一個角色，告(gao)訴它(ta)只能基于(yu)我(wo)的(de)(de)數據源來回答問題，對于(yu)其他不(bu)知道的(de)(de)事情，要回答“不(bu)知道”，并附上剛剛從氣象局獲得的(de)(de)數據。這樣，它(ta)就能根據真實數據來生(sheng)成回答。這個過程(cheng)我(wo)們稱為“grounding”，可(ke)以在一定程(cheng)度(du)上減輕(qing)幻覺。所以說，幻覺是(shi)無法(fa)(fa)完全避免(mian)的(de)(de)，這是(shi)算法(fa)(fa)本身無法(fa)(fa)避免(mian)的(de)(de)特性(xing)。但(dan)是(shi)我(wo)們有辦法(fa)(fa)來緩(huan)解幻覺的(de)(de)影響(xiang)。
我今天(tian)的分享就到這里，謝謝大家。
