10月24日，由聲網和(he)RTE開發(fa)者社區聯(lian)合(he)主(zhu)辦的(de)(de)RTE2023第九屆實時互聯(lian)網大會在(zai)北京(jing)舉辦，聲網與眾多(duo)RTE領(ling)域技(ji)術(shu)專(zhuan)(zhuan)家、產(chan)品精英、創業者、開發(fa)者一起，共同開啟了以“智能·高清”為主(zhu)題的(de)(de)全(quan)新探討。本屆RTE大會將持續2天，開展1場主(zhu)論(lun)壇及20+專(zhuan)(zhuan)場活動，包括(kuo)RTE領(ling)域技(ji)術(shu)開發(fa)、趨勢洞見、行業觀察(cha)、創業投資(zi)等多(duo)維度內容(rong)分享(xiang)，覆蓋了AIGC、出海(hai)、數字化(hua)轉型(xing)等時下最熱門的(de)(de)話(hua)題。
在24日主(zhu)論壇(tan)上，聲(sheng)(sheng)網創始人(ren)兼CEO趙斌(bin)、聲(sheng)(sheng)網合伙人(ren)兼客(ke)戶成功副總裁孫雨(yu)潤帶來(lai)了(le)《智能(neng)·高清 開啟(qi)實(shi)時(shi)(shi)互(hu)動(dong)(dong)體驗新時(shi)(shi)代(dai)》的(de)(de)主(zhu)旨演講。Founders Space創始人(ren)兼CEO 史蒂夫?霍夫曼(man) (Steve Hoffman)從(cong)國(guo)際投資人(ren)視(shi)角，洞察了(le)AI賦能(neng)RTE未來(lai)的(de)(de)諸(zhu)多可能(neng)性。聲(sheng)(sheng)網首席科學家、CTO鐘聲(sheng)(sheng)聚焦AI時(shi)(shi)代(dai)實(shi)時(shi)(shi)互(hu)動(dong)(dong)的(de)(de)趨(qu)勢，帶來(lai)了(le)最前沿的(de)(de)技(ji)(ji)術觀(guan)點和(he)解(jie)讀。聯合國(guo)人(ren)口基金(UNFPA)駐(zhu)華代(dai)表(biao)處副代(dai)表(biao)兼負責人(ren)歐雯(wen)姍(Ira Ovesen)則從(cong)“科技(ji)(ji)無國(guo)界”的(de)(de)角度，介紹了(le)實(shi)時(shi)(shi)互(hu)動(dong)(dong)技(ji)(ji)術為(wei)世界帶來(lai)的(de)(de)改變。
此外(wai)，聲網首(shou)席(xi)運(yun)營(ying)官劉(liu)斌、喜馬拉雅首(shou)席(xi)科(ke)學家盧(lu)恒、Soul APP技(ji)術副總(zong)(zong)(zong)裁張高政、小紅書音視頻架(jia)構(gou)負(fu)責(ze)人陳靖、商湯科(ke)技(ji)商務總(zong)(zong)(zong)監 數字(zi)文娛事業(ye)部副總(zong)(zong)(zong)裁李(li)星冶，還以”AI如何賦能實時(shi)互動體(ti)驗(yan)改善及(ji)場景升級“為(wei)主題進行了圓桌(zhuo)討論(lun)。
智能·高清 開啟實時互(hu)動體(ti)驗新時代
回顧2023年(nian)，AIGC大模型(xing)驅(qu)動(dong)著各行業迎來(lai)新業務(wu)機會(hui)，AR、VR、XR等(deng)技術能力的(de)(de)迭代(dai)為實(shi)時互動(dong)在(zai)(zai)各個領域(yu)的(de)(de)應用提供了更(geng)多可能。在(zai)(zai)直(zhi)播社交領域(yu)，彈幕玩(wan)法成為直(zhi)播新風口，這(zhe)些變(bian)化(hua)都影(ying)響(xiang)著RTE行業的(de)(de)進化(hua)。
智能和高清(qing)正(zheng)在(zai)推動(dong)(dong)實(shi)時(shi)互(hu)動(dong)(dong)體(ti)驗進(jin)入(ru)全新時(shi)代，在(zai)大會開場(chang)演講中，趙斌宣(xuan)布：“聲(sheng)網在(zai)RTE行業首次實(shi)現(xian)廣播級4K超(chao)高清(qing)實(shi)時(shi)互(hu)動(dong)(dong)體(ti)驗。”他指出， “4K不(bu)僅僅只有分(fen)辨率(lv)一(yi)個(ge)緯度(du)，光亮強(qiang)度(du)的(de)動(dong)(dong)態范圍、色彩(cai)(cai)的(de)真(zhen)實(shi)度(du)、飽和度(du)，以及(ji)色彩(cai)(cai)漸(jian)變的(de)細膩(ni)程度(du)，都(dou)是真(zhen)正(zheng)超(chao)高清(qing)體(ti)驗里(li)不(bu)可或缺的(de)一(yi)環。”廣播級超(chao)高清(qing)可以帶來更(geng)(geng)加(jia)逼真(zhen)的(de)視覺效果，高對比度(du)和豐富(fu)的(de)色彩(cai)(cai)表現(xian)可以使影像更(geng)(geng)加(jia)生動(dong)(dong)，細節更(geng)(geng)加(jia)清(qing)晰，并以此提(ti)升(sheng)觀影體(ti)驗。
趙斌(bin)認為，虛擬人+AIGC所創造的(de)(de)情(qing)感(gan)和情(qing)緒價值或將(jiang)在(zai)未來解決社交(jiao)供需不(bu)平(ping)衡的(de)(de)現狀，并引領交(jiao)互對象發生變化(hua)。另一層面，隨著AIGC能(neng)力的(de)(de)進(jin)一步(bu)加強，越(yue)來越(yue)多的(de)(de)應用(yong)型開發將(jiang)被(bei)AIGC替代(dai)，API+AI的(de)(de)形式將(jiang)大幅提高應用(yong)開發效率。
大模(mo)型(xing)在快速發展(zhan)，但交互(hu)界面仍局(ju)限于文字聊天互(hu)動方式。趙斌提(ti)到，通過過去一年的投入和打(da)磨，聲網推出行(xing)業首創AIGC-RTC能力模(mo)塊，可支(zhi)持與任(ren)何(he)大模(mo)型(xing)平臺(tai)結合，實現更(geng)低(di)延時、更(geng)自然、更(geng)沉(chen)浸的實時語音(yin)對(dui)話，為企業協(xie)作、社(she)交 、直播、游(you)戲等多種場景提(ti)供(gong)新(xin)玩法、新(xin)機會。
在AI等核(he)心技術驅(qu)動下，實時互動QoE體驗(yan)的(de)(de)變化對于用(yong)戶(hu)留存和使用(yong)行(xing)為的(de)(de)影響日益增強。孫雨潤介紹，“根據(ju)聲網(wang)某東南亞頭(tou)部泛娛(yu)樂客戶(hu)數據(ju)顯示(shi)，當視頻(pin)從標清升(sheng)級(ji)(ji)高清，停留超過30秒觀(guan)眾(zhong)數提(ti)升(sheng)19%，觀(guan)眾(zhong)人均觀(guan)看時長(chang)提(ti)升(sheng)30%，同時觀(guan)眾(zhong)打(da)賞率(lv)大幅(fu)提(ti)升(sheng)。某國內知名社交出海App，從CDN 升(sheng)級(ji)(ji)聲網(wang)極速直播，送禮率(lv)增長(chang) 12.3%。”
AI如何賦(fu)能RTE未來
AIGC被認為是當前的技術革命，它與RTE的深度結合，又將帶來什么改變呢?Founders Space創始人兼CEO 史蒂夫?霍夫曼在分享中指出：“人工智能將(jiang)(jiang)對許多(duo)領域產生影響，在AI賦(fu)能的RTE未(wei)來，我們將(jiang)(jiang)看到(dao)每個人都(dou)會擁有更(geng)加(jia)個性化(hua)的體驗，更(geng)加(jia)動態(tai)(tai)的程序將(jiang)(jiang)隨著圖形、音頻(pin)、視頻(pin)的實時(shi)變(bian)化(hua)而(er)變(bian)化(hua)，AI將(jiang)(jiang)為(wei)我們帶來前所未(wei)有的連接方式(shi)。在更(geng)深(shen)層次上，AI還將(jiang)(jiang)為(wei)人類增加(jia)更(geng)多(duo)的生產力水平，帶來動態(tai)(tai)的虛擬(ni)世(shi)界等等，讓我們感受(shou)到(dao)更(geng)多(duo)的沉(chen)浸(jin)體驗。”
史蒂夫(fu)?霍夫(fu)曼表示：“在AI和RTE技術的加持下，新(xin)的穿(chuan)戴(dai)設(she)備(bei)可能會(hui)進入市場，比如新(xin)的皮膚電子(zi)設(she)備(bei)、感官增(zeng)強設(she)備(bei)等，它可以(yi)讓我們聽(ting)到人類聽(ting)力范圍之外的頻率。此外，腦機接口也(ye)將(jiang)讀取(qu)我們的腦電波，從而幫助我們實現冥想或對其他設(she)備(bei)的控制(zhi)。”在工(gong)(gong)業(ye)RTE場景應用(yong)下，人們可以(yi)聚在一(yi)起(qi)，實時通過(guo)虛(xu)擬或真實工(gong)(gong)廠觀看流水線運作、產品生(sheng)產等。在AI陪伴(ban)場景中，人工(gong)(gong)智(zhi)能伴(ban)侶這(zhe)一(yi)概念將(jiang)成(cheng)為人們社交生(sheng)活(huo)、娛樂、事業(ye)的一(yi)部分。
綜上，未來(lai)可(ke)能會(hui)有各種(zhong)類型的(de)伴侶應用以(yi)及新的(de)實時接(jie)口(kou)方(fang)式出現，甚(shen)至會(hui)出現一套為RTE開(kai)發(fa)的(de)全新硬件，這(zhe)些(xie)都將極(ji)大改變(bian)RTE領(ling)域的(de)發(fa)展(zhan)前景。
AI時(shi)(shi)代 實時(shi)(shi)互(hu)動何(he)去何(he)從
AI時(shi)代已經來臨(lin)，實時(shi)互(hu)動該何去何從?聲(sheng)(sheng)(sheng)網首席科學家(jia)、CTO鐘(zhong)聲(sheng)(sheng)(sheng)為(wei)我們帶來了技(ji)(ji)術視(shi)角的(de)(de)(de)(de)深度分(fen)(fen)(fen)享(xiang)。鐘(zhong)聲(sheng)(sheng)(sheng)指出，回溯過去五(wu)年(nian)，最典型(xing)的(de)(de)(de)(de)事件就是大(da)模型(xing)的(de)(de)(de)(de)突(tu)破，從2017年(nian)的(de)(de)(de)(de)Transformer，到如(ru)今的(de)(de)(de)(de)ChatGPT-4，人(ren)工智能(neng)的(de)(de)(de)(de)發(fa)展(zhan)，讓信息傳播和消費(fei)智能(neng)化的(de)(de)(de)(de)趨勢越(yue)來越(yue)明顯(xian)，萬事歸于(yu)中(zhong)心化AGI接管的(de)(de)(de)(de)趨勢和威脅也(ye)(ye)越(yue)來越(yue)明顯(xian)。大(da)模型(xing)在(zai)帶來發(fa)展(zhan)機遇的(de)(de)(de)(de)同時(shi)，也(ye)(ye)帶來了計算需(xu)(xu)求(qiu)快(kuai)速增(zeng)長、算力受能(neng)源供給力限制、大(da)模型(xing)數據資源不夠、存儲需(xu)(xu)求(qiu)增(zeng)長過快(kuai)等問題。未來，我們除了要做負責任的(de)(de)(de)(de)AI之外，在(zai)端(duan)上(shang)和邊緣上(shang)的(de)(de)(de)(de)分(fen)(fen)(fen)布(bu)式實時(shi)智能(neng)將成為(wei)價值(zhi)公平分(fen)(fen)(fen)配的(de)(de)(de)(de)重要技(ji)(ji)術手段，也(ye)(ye)是減(jian)緩中(zhong)心化AGI對人(ren)類威脅的(de)(de)(de)(de)有效途徑，這也(ye)(ye)注定會成為(wei)一(yi)個(ge)新的(de)(de)(de)(de)技(ji)(ji)術發(fa)展(zhan)趨勢。
鐘聲(sheng)認為，AGI將走進實時(shi)互(hu)(hu)動(dong)，實現人人可(ke)分(fen)身，幫助(zhu)在應用場景(jing)中復制名(ming)師、網紅，甚至普通人也(ye)將通過AI分(fen)身豐富體驗、緩解時(shi)間(jian)稀缺(que)的瓶(ping)頸。此外，他預測，具備端邊(bian)實時(shi)智能(neng)的高清實時(shi)互(hu)(hu)動(dong)能(neng)力將成新趨勢(shi)和(he)競爭焦點。
鐘聲介(jie)紹(shao)到，實(shi)時高(gao)清需(xu)要許多端上實(shi)時AI，在Low Level Vision and Audio這一需(xu)求(qiu)層(ceng)面，聲網的SDK 4.1.x, 4.2.x版本(ben)已(yi)經可以(yi)支持1080P/4K視(shi)頻的例如超分、虛擬(ni)背景(jing)、感知編碼(ma)、降噪、去回聲等(deng)底層(ceng)計算機(ji)視(shi)覺處理和高(gao)音質的計算機(ji)聽覺處理能力。在High Level Vision and Audio層(ceng)面，聲網已(yi)經部分實(shi)現對物體、聲音、場(chang)(chang)景(jing)的理解和重(zhong)構能力，包括面捕、動捕、情(qing)感計算，物體識別和場(chang)(chang)景(jing)重(zhong)建等(deng)，可以(yi)大力改善多種應用(yong)場(chang)(chang)景(jing)下的用(yong)戶體驗。
科技賦能：共筑(zhu)數字包容未來
在一(yi)個(ge)科技(ji)(ji)無國(guo)界(jie)的(de)(de)(de)世界(jie)里，人(ren)工智能、實(shi)時(shi)(shi)互動(dong)(dong)技(ji)(ji)術(shu)、生物(wu)技(ji)(ji)術(shu)、材料科學(xue)(xue)(xue)等技(ji)(ji)術(shu)創新(xin)力量構建了一(yi)個(ge)“數字包容”的(de)(de)(de)世界(jie)。過(guo)去一(yi)年(nian)，聯合(he)國(guo)人(ren)口基金與聲網通過(guo)實(shi)時(shi)(shi)互動(dong)(dong)技(ji)(ji)術(shu)，為(wei)中國(guo)偏(pian)遠地區的(de)(de)(de)一(yi)萬(wan)多(duo)名(ming)青少(shao)年(nian)提供(gong)了適齡的(de)(de)(de)健康教育。聯合(he)國(guo)人(ren)口基金(UNFPA)駐華代表處(chu)副(fu)代表兼(jian)負責(ze)人(ren)歐(ou)雯(wen)姍表示，“人(ren)工智能和(he)實(shi)時(shi)(shi)互動(dong)(dong)技(ji)(ji)術(shu)為(wei)那(nei)些仍在使用(yong)型號較老(lao)的(de)(de)(de)多(duo)媒體設備的(de)(de)(de)學(xue)(xue)(xue)校(xiao)提供(gong)了量身定制(zhi)的(de)(de)(de)解決(jue)方案。它不僅優化了直(zhi)播流的(de)(de)(de)分辨率，還增強(qiang)了在教學(xue)(xue)(xue)和(he)學(xue)(xue)(xue)習過(guo)程中的(de)(de)(de)音(yin)視頻(pin)質量。學(xue)(xue)(xue)生和(he)直(zhi)播教師(shi)可以實(shi)現(xian)像(xiang)傳(chuan)統(tong)課堂(tang)那(nei)樣身臨其境的(de)(de)(de)教學(xue)(xue)(xue)質量和(he)速度。”
同(tong)時，歐雯姍宣布(bu)，聯合(he)(he)國人口基(ji)金(jin)駐華(hua)代(dai)表處與(yu)聲網及其他合(he)(he)作(zuo)伙(huo)伴聯合(he)(he)發起了(le)“智享銀齡”科技(ji)助(zhu)老青年創新挑戰賽。她表示，“我們希望激發青年人，特(te)別是(shi)大學生和年輕畢業生，為代(dai)際數字包容貢獻想(xiang)法(fa)并(bing)做出(chu)積極行(xing)動。”
圓(yuan)桌(zhuo)：AI如何賦能實時互動體驗改善及場(chang)景(jing)升級?
AI技(ji)術的發展為(wei)各行(xing)各業(ye)帶來了(le)用戶體(ti)驗改善和場(chang)景(jing)玩法創新。針對這一話題，喜馬拉雅首席科學家盧恒、Soul APP技(ji)術副總(zong)裁(cai)張高政、小紅書(shu)音(yin)視頻架(jia)構(gou)負責人(ren)陳靖、商(shang)湯科技(ji)商(shang)務(wu)總(zong)監 數(shu)字文(wen)娛事業(ye)部副總(zong)裁(cai)李星冶、聲(sheng)網首席運營官劉斌進行(xing)了(le)圓桌討(tao)論(lun)。
談到AI技術對業(ye)務發(fa)展的影(ying)響時，盧恒表示(shi)，作為全國最大的有聲(sheng)內(nei)(nei)容(rong)(rong)(rong)平臺，喜馬拉(la)雅從文本處理(li)到音頻內(nei)(nei)容(rong)(rong)(rong)生(sheng)(sheng)成的過(guo)程中都使用了大量的AI技術，目前，AIGC生(sheng)(sheng)成的音頻內(nei)(nei)容(rong)(rong)(rong)日均播放(fang)量已超過(guo)250萬小時。張高政則表示(shi)，大模(mo)型的理(li)解能力對于UGC平臺及用戶來說都非常有利，它不僅(jin)可以快速提升內(nei)(nei)容(rong)(rong)(rong)生(sheng)(sheng)產效率，還能降低內(nei)(nei)容(rong)(rong)(rong)生(sheng)(sheng)產門檻。
AI大模型的(de)(de)發(fa)展(zhan)是機遇與挑(tiao)(tiao)戰(zhan)(zhan)(zhan)并存的(de)(de)。陳(chen)靖(jing)(jing)指出，對(dui)于很(hen)多公(gong)司而言，說清楚一(yi)些AI大模型項目的(de)(de)必要性是一(yi)個巨大挑(tiao)(tiao)戰(zhan)(zhan)(zhan)，很(hen)多項目并不像利用AI去做體驗增(zeng)強那樣(yang)，能夠跟用戶留存及(ji)轉(zhuan)化的(de)(de)一(yi)些指標建立關(guan)聯(lian)。李星冶(ye)則表(biao)示(shi)，他(ta)所看到的(de)(de)挑(tiao)(tiao)戰(zhan)(zhan)(zhan)有(you)兩點。其一(yi)，在為許(xu)多C端流量產品提供服務時，算力、帶寬、智力相關(guan)的(de)(de)彈性儲(chu)備是一(yi)個很(hen)現實的(de)(de)挑(tiao)(tiao)戰(zhan)(zhan)(zhan)，其二(er)，大模型開發(fa)廠商如何平衡投入以及(ji)預期收入之(zhi)間的(de)(de)關(guan)系，也是一(yi)個挑(tiao)(tiao)戰(zhan)(zhan)(zhan)。各(ge)位(wei)嘉賓(bin)還分享了AI大模型在實時互動領域的(de)(de)一(yi)些玩法創(chuang)新(xin)，其中(zhong)陳(chen)靖(jing)(jing)提到，提高主播觀看率的(de)(de)美顏美體功能可能是過去AI為實時互動領域貢獻最大價值的(de)(de)場景，希望今后會看到更多新(xin)的(de)(de)嘗試。
如劉斌所總(zong)結(jie)的，無論未來是挑戰還是機遇，我們(men)都應該在(zai)各(ge)自行(xing)業里去努力嘗試。我們(men)也期待，在(zai)大模(mo)型新(xin)的范式發(fa)展下，看(kan)到越來越多的場(chang)景(jing)落地(di)及業務價值。
