定(ding)義:數字虛擬人是擁有數字化(hua)外形的虛擬人物(wu)
數(shu)字虛擬(ni)(ni)人(ren)的廣(guang)義(yi)定義(yi)為(wei)數(shu)字化外形的虛擬(ni)(ni)人(ren)物,具(ju)有“虛擬”(存在(zai)于非(fei)物理世界中)+“數(shu)字”(由計(ji)算機圖(tu)形(xing)(xing)學(xue)、圖(tu)形(xing)(xing)染(ran)、動(dong)作(zuo)捕捉、深度學(xue)習、語音合(he)成等計(ji)算 機手段創造及使(shi)用)+“人”(具(ju)有多(duo)重人類(lei)特征,如外貌、人類(lei)表演/交互(hu)能力等)的綜合(he)產物。打(da)破(po)物理界限提供(gong)擬人服務與體驗是其核心(xin)價(jia)值。
實(shi)現(xian)場(chang)景(jing)角度,目前以圖片、視頻、直(zhi)(zhi)播等(deng)為主,未來VR設備(bei)/全息投(tou)影有望為數字虛擬人(ren)在現(xian)實(shi)世(shi)界的投(tou)射提(ti)供更(geng)豐富的道具和軟硬件基礎。由于(yu)各(ge)場(chang)景(jing)時延(yan)(如直(zhi)(zhi)播 等(deng)實(shi)時場(chang)景(jing)要(yao)(yao)求(qiu)低(di)時延(yan),但內(nei)容生成(cheng)場(chang)景(jing)無該(gai)要(yao)(yao)求(qiu))、驅(qu)動(dong)方式(計算(suan)驅(qu)動(dong)對模(mo)型(xing)的深度學習能(neng)力有極高要(yao)(yao)求(qiu))等(deng)不同,對技術、運營等(deng)要(yao)(yao)求(qiu)差(cha)異較(jiao)大。
技術角(jiao)度,數字虛擬(ni)(ni)人(ren)(ren)(ren)(ren)近年的(de)(de)發(fa)展來(lai)源于CG、語音識(shi)別(bie)、圖像(xiang)識(shi)別(bie)、動(dong)捕等相(xiang)關技術的(de)(de)共同(tong)成熟,除CG建模(mo)+真人(ren)(ren)(ren)(ren)驅動(dong)的(de)(de)類別(bie)外(wai)(wai),多模(mo)態技術與(yu)深度學習(xi)成為未(wei)來(lai)核心(xin) 點。 ? 我們(men)認為“人(ren)(ren)(ren)(ren)”是(shi)其中(zhong)核心(xin)的(de)(de)因素,高度擬(ni)(ni)人(ren)(ren)(ren)(ren)化(外(wai)(wai)貌(mao)形象、行為表情、交互的(de)(de)擬(ni)(ni)人(ren)(ren)(ren)(ren)程度)為用戶帶來(lai)的(de)(de)親切感、參與(yu)感、互動(dong)感與(yu)沉(chen)浸感是(shi)多數消費者的(de)(de)核心(xin)使用動(dong)力。 能否提供足夠自然逼(bi)真的(de)(de)相(xiang)處體驗,是(shi)數字虛擬(ni)(ni)人(ren)(ren)(ren)(ren)在(zai)各個場(chang)景(jing)中(zhong)取代真人(ren)(ren)(ren)(ren)重要(yao)標準。
技術(shu):視(shi)覺(jue)制(zhi)作(zuo)層(ceng)面(mian)(mian)建模(mo)、動/面(mian)(mian)捕捉、渲(xuan)染為(wei)核心(xin)制(zhi)作(zuo)技術(shu)環(huan)節
數(shu)字(zi)(zi)(zi)虛擬(ni)人的制作(zuo)(zuo)涉及(ji)(ji)眾(zhong)多技(ji)術(shu)(shu)領域(yu),且制作(zuo)(zuo)方(fang)式(shi)尚未完全定型,《2020年數(shu)字(zi)(zi)(zi)虛擬(ni)人發(fa)展白(bai)皮書》總結出(chu)在“數(shu)字(zi)(zi)(zi)虛擬(ni)人通用系統框架”,包(bao)含任務形(xing)象(xiang)、語音生(sheng)成(cheng) 模塊(kuai)(kuai)(kuai)、動(dong)畫生(sheng)成(cheng)模塊(kuai)(kuai)(kuai)、音視(shi)頻合成(cheng)顯(xian)(xian)示模塊(kuai)(kuai)(kuai)以及(ji)(ji)交互(hu)模塊(kuai)(kuai)(kuai)。 在此基礎上提煉出(chu)五(wu)橫兩(liang)縱(zong)(zong)的技(ji)術(shu)(shu)架構(gou)。“五(wu)橫”是(shi)指(zhi)用于(yu)數(shu)字(zi)(zi)(zi)人制作(zuo)(zuo)、交互(hu)的五(wu)大(da)(da)技(ji)術(shu)(shu)模塊(kuai)(kuai)(kuai),即人物生(sheng)成(cheng)、人物表達、合成(cheng)顯(xian)(xian)示、識別感知、分(fen)析決策等模塊(kuai)(kuai)(kuai)。其(qi)中, 人物表達包(bao)括語音生(sheng)成(cheng)和(he)動(dong)畫生(sheng)成(cheng),動(dong)畫生(sheng)成(cheng)則包(bao)含驅動(dong)(動(dong)作(zuo)(zuo)生(sheng)成(cheng))和(he)渲染兩(liang)大(da)(da)部分(fen)。“兩(liang)縱(zong)(zong)”是(shi)指(zhi) 2D、3D 數(shu)字(zi)(zi)(zi)人,3D 數(shu)字(zi)(zi)(zi)人需要額外使用三維建模技(ji)術(shu)(shu)生(sheng)成(cheng)數(shu) 字(zi)(zi)(zi)形(xing)象(xiang),信息維度(du)增(zeng)加,所需的計算(suan)量更大(da)(da)。 數(shu)字(zi)(zi)(zi)虛擬(ni)人視(shi)覺制作(zuo)(zuo)部分(fen)的工業化流(liu)程,涵蓋了建模、骨骼綁定、動(dong)捕(bu)、面捕(bu)、渲染、材質解算(suan)等各(ge)個環節。
技術層面
建(jian)模:相機陣列掃描(miao)靜態(tai)重建(jian)為主(zhu)流,動態(tai)光場(chang)重建(jian)為發(fa)展重點
數(shu)字虛擬人建(jian)(jian)立的(de)第一步(bu)需要進行前期的(de)形象設計(ji)以及(ji)(ji)建(jian)(jian)模。2D數(shu)字虛擬人需要原畫等形象設計(ji),而3D數(shu)字虛擬人需要額外使(shi)用三維建(jian)(jian)模技術生成(cheng)數(shu)字形象,信息維 度(du)增加,所需的(de)計(ji)算量更(geng)大,無(wu)論是基于IP或者真人設計(ji),都需要進行面捕以及(ji)(ji)身體(ti)的(de)建(jian)(jian)模。
3D建模(mo)技術(shu)目前(qian)主(zhu)要包含靜態掃描建模(mo)以及(ji)動態建模(mo)兩類: 靜態(tai)掃(sao)(sao)描(miao)建(jian)(jian)模仍(reng)為(wei)主流,其中(zhong)相機(ji)陣(zhen)列(lie)掃(sao)(sao)描(miao)重(zhong)建(jian)(jian)快速發(fa)展,目前(qian)可(ke)實現毫秒(miao)級高(gao)速拍照掃(sao)(sao)描(miao)(高(gao)性(xing)能的(de)相機(ji)陣(zhen)列(lie)精度可(ke)達到亞(ya)毫米級) , 滿足數(shu)字(zi)人(ren)(ren)(ren)(ren)掃(sao)(sao)描(miao)重(zhong)建(jian)(jian)需求(qiu), 替代結構光(guang)掃(sao)(sao)描(miao)重(zhong)建(jian)(jian)成為(wei)當前(qian)人(ren)(ren)(ren)(ren)物(wu)建(jian)(jian)模主流方(fang)式。 相比靜態(tai)重(zhong)建(jian)(jian)技術,動態(tai)光(guang)場重(zhong)建(jian)(jian)不僅可(ke)以(yi)重(zhong)建(jian)(jian)人(ren)(ren)(ren)(ren)物(wu)的(de)幾何模型, 還可(ke)一(yi)次性(xing)獲取動態(tai)的(de)人(ren)(ren)(ren)(ren)物(wu)模型數(shu)據, 并高(gao)品質重(zhong)現不同視角下觀看人(ren)(ren)(ren)(ren)體的(de)光(guang)影效果, 成為(wei)數(shu)字(zi)人(ren)(ren)(ren)(ren) 建(jian)(jian)模重(zhong)點發(fa)展方(fang)向。 海外Microsoft、Google、Intel、Facebook 等巨(ju)頭(tou)公司都在積極展開(kai)相關研究,國內(nei)清華(hua)大學(xue)、商湯(tang)科技、華(hua)為(wei)等也展開(kai)了相關研究, 并取得 國際(ji)水平的(de)同步(bu)進展。
建模(mo)綁定(ding)技(ji)術:技(ji)術突破(po)不(bu)斷
2018年,騰(teng)訊(xun)游戲旗(qi)下NExT Studios高保真數字(zi)虛擬人Siren(塞(sai)壬)亮相GDC,其高還原度媲美(mei)真人的(de)形象,以及可實時(shi)驅動的(de)表情動作(zuo)(zuo);制(zhi)作(zuo)(zuo)中(zhong)“綁(bang)定技(ji)術“環節 就(jiu)耗費(fei)了大半年時(shi)間(jian)。 2021年6月,由新(xin)華(hua)社、騰(teng)訊(xun)聯合打造的(de)全球首位數字(zi)航天(tian)員、數字(zi)記者“小諍”首次出(chu)現(xian)新(xin)華(hua)社數字(zi)視頻(pin)中(zhong),帶(dai)領用戶(hu)漫游三大空間(jian)站;小諍項目(mu)的(de)綁(bang)定流(liu)程較(jiao) Siren(塞(sai)壬)項目(mu)縮短了一半,依靠的(de)就(jiu)是(shi)創作(zuo)(zuo)團隊創新(xin)沉(chen)淀出(chu)的(de)高效(xiao)人臉制(zhi)作(zuo)(zuo)管(guan)線(xian)——xFaceBuilder。
驅動(dong)(dong)技術:智(zhi)能合成、 動(dong)(dong)作捕捉為虛擬人主流動(dong)(dong)作生產方式
驅動(dong)動(dong)作(zuo)(zuo)技術(shu)包括手(shou)動(dong)調(diao)節關鍵(jian)幀、預(yu)制動(dong)作(zuo)(zuo)、動(dong)作(zuo)(zuo)捕捉、智能合(he)成(cheng)(文 字/語音(yin)驅動(dong))等。手(shou)動(dong)調(diao)整動(dong)畫關鍵(jian)幀與(yu)預(yu)制動(dong)作(zuo)(zuo)(類似MMD)無法實 現實時互動(dong)。
智能合(he)成:其中2D、3D數字人均已實現嘴(zui)型動(dong)作(zuo)的智(zhi)能(neng)合成,其他面部/ 身體部位的動(dong)作(zuo)智(zhi)能(neng)合成未(wei)能(neng)完(wan)全實現。(報告來(lai)源:未(wei)來(lai)智(zhi)庫)
動捕:通(tong)過將捕捉采集的動作遷移至數字虛擬人是目(mu)前(qian)動作生成(cheng)主要方式, 核心技術是動作捕捉。可分為光學式、慣(guan)性式及計算機(ji)(ji)視(shi)覺(jue)動捕等。現階 段(duan)光學式和慣(guan)性式動捕占據主導(dao)。計算機(ji)(ji)視(shi)覺(jue)動捕雖然相對(dui)開發難度(du)大, 目(mu)前(qian)精度(du)較低,但就(jiu)成(cheng)本/對(dui)環(huan)境要求(qiu)低,可移動范(fan)圍大,使用場景想(xiang)象力 較大,目(mu)前(qian)已有消費級應用(部(bu)分VR設備(bei)采用),成(cheng)為聚焦(jiao)熱點。
渲染技術:硬件(jian)與算法(fa)突破,渲染真實(shi)與實(shi)時(shi)性大幅提(ti)升
渲染技術(shu),是指把模型在視(shi)點、光線、運動(dong)軌跡(ji)等因(yin)素(su)作(zuo)用下的視(shi)覺(jue)畫面計(ji)算出來 的過程(cheng)。主要由離線與實時渲染兩種類型。
離線渲(xuan)染,就是在計(ji)算出畫面(mian)時并不顯(xian)示畫面(mian),計(ji)算機根據(ju)預先定義(yi)好的(de)光線、軌 跡渲(xuan)染(ran)(ran)圖(tu)(tu)片,渲(xuan)染(ran)(ran)完成后再(zai)將圖(tu)(tu)片連續(xu)播(bo)放,實(shi)現動畫效果(guo)。優點是渲(xuan)染(ran)(ran)質量(liang)相對 好,美(mei)學(xue)和視(shi)覺效果(guo)好,缺點是無法實(shi)時控制(zhi),主(zhu)要(yao)應(ying)用(yong)于影視(shi)等(deng)方面(mian),代表性軟 件包括(kuo)Maya、3DMax等(deng)。
實時(shi)渲染,是指計(ji)算機邊(bian)計(ji)算畫面邊(bian)將其(qi)輸出顯示(shi),優點(dian)是可以(yi)實時操控,缺點(dian)是 要受系統的(de)負荷能力的(de)限制,必要時要犧牲畫面效果,主要應用于(yu)游戲等(deng)方面,代 表引(yin)擎(qing)包(bao)括Unreal Engine(虛(xu)幻)、Unity Engine等(deng)。
隨著硬件(jian)能力(li)的(de)(de)(de)提升(sheng)(sheng)和算法的(de)(de)(de)突破(po), 渲(xuan)染(ran)速(su)度、效(xiao)果真實度、畫(hua)面(mian)分辨率均大(da)幅(fu) 提升(sheng)(sheng),在(zai)虛(xu)(xu)擬(ni)人(ren)(ren)物實時(shi)渲(xuan)染(ran)方面(mian),已經能做到(dao)以(yi)假亂真。2016年(nian),EpicGames (虛(xu)(xu)幻(huan)引擎開發(fa)商)聯(lian)(lian)合 3Lateral、Cubic Motion等(deng)公司聯(lian)(lian)合開發(fa)的(de)(de)(de)可(ke)實時(shi)驅動 的(de)(de)(de)虛(xu)(xu)擬(ni)人(ren)(ren)物在(zai)當年(nian)的(de)(de)(de)Siggraph會議中做了演示,成(cheng)功在(zai)消(xiao)費級的(de)(de)(de)硬件(jian)環境下實時(shi) 渲(xuan)染(ran)了高質量的(de)(de)(de)虛(xu)(xu)擬(ni)角色(se)。2018年(nian)5月,騰(teng)訊發(fa)布(bu)虛(xu)(xu)擬(ni)人(ren)(ren)Siren,也一個支持實時(shi) 渲(xuan)染(ran)的(de)(de)(de)虛(xu)(xu)擬(ni)人(ren)(ren)物。
技術(shu)層面:交互式(shi)數字虛擬人(ren)可分為真(zhen)人(ren)/計算機驅動(dong)兩種
從驅(qu)動技術角(jiao)度來看(kan),交互型(xing)數字(zi)虛(xu)擬人可分(fen)為真人和計算機驅(qu)動兩種類型(xing)。
真人(ren)驅(qu)動型數字虛(xu)擬(ni)人(ren),以(yi)真人為核心,用(yong)戶可以(yi)通過3D建模(mo)、動(dong)(dong)(dong)作(zuo)捕(bu)捉技術、渲染等技術,在網(wang)絡(luo)上形成(cheng)(cheng)真人的(de)虛擬化(hua)身,在動(dong)(dong)(dong)作(zuo)靈活(huo)度、互動(dong)(dong)(dong)效果等方面有(you)明(ming)顯 優勢,一方面能夠在影視(shi)內(nei)容的(de)創(chuang)作(zuo)中減低生產(chan)成(cheng)(cheng)本,為影視(shi)行業降低門檻,推動(dong)(dong)(dong)影視(shi)級內(nei)容向消費級轉化(hua)。另一方面則多用(yong)于虛擬偶像、重要直(zhi)播(bo)中,幫(bang)助數字虛擬 人完成(cheng)(cheng)大型直(zhi)播(bo)、現場(chang)路演等互動(dong)(dong)(dong)性(xing)、碎片化(hua)活(huo)動(dong)(dong)(dong)。
計算機驅動型數字虛擬(ni)人,以深度學習(xi)技(ji)術為主,本(ben)質上還(huan)是算(suan)法,但會擁(yong)有(you)一個定制化的(de)(de)虛(xu)擬外表。計算(suan)驅動的(de)(de)數(shu)字虛(xu)擬人最終效(xiao)果(guo)受到語音合成(語音表述在韻律、 情(qing)感(gan)、流(liu)暢(chang)度等方面(mian)是否符合真人發聲(sheng)習(xi)慣)、NLP技(ji)術(與(yu)使用者(zhe)的(de)(de)語言交互是否順暢(chang)、是否能(neng)(neng)夠理(li)解使用者(zhe)需(xu)求)、語音識別(能(neng)(neng)否準確(que)識別使用者(zhe)需(xu)求)等技(ji)術 的(de)(de)共同影響。盡管在特(te)定方向(xiang)上,各感(gan)知類技(ji)術已有(you)的(de)(de)商業化能(neng)(neng)力已足(zu)以支撐,然而,但要達成理(li)想(xiang)的(de)(de)綜合效(xiao)果(guo),需(xu)要該(gai)公司在三個方面(mian)同時(shi)具有(you)較強(qiang)的(de)(de)綜合能(neng)(neng)力。
虛(xu)擬偶像
2022年(nian)核(he)心市場規模將達121億:根據(ju)(ju)艾媒數據(ju)(ju),虛(xu)擬(ni)(ni)偶(ou)像在(zai)網民(min)中的認可度(du)較(jiao)高,以(yi)網民(min)總數10.11億(yi)(yi)(yi)(《中國互聯網絡發展狀況統計報告》2021年6月數據(ju)(ju))計算,2021年深(shen)度(du)+淺(qian)度(du)追(zhui)星人(ren)群(qun)占 比超(chao)80%,約8億(yi)(yi)(yi)人(ren);而在(zai)追(zhui)星群(qun)眾(zhong)(zhong)中63.6%關注支(zhi)持虛(xu)擬(ni)(ni)偶(ou)像,則預(yu)計有超(chao)5億(yi)(yi)(yi)人(ren)為虛(xu)擬(ni)(ni)偶(ou)像受眾(zhong)(zhong),隨著虛(xu)擬(ni)(ni)偶(ou)像應用(yong)面鋪開,滲透率有望進(jin)一(yi)步(bu)提升。 根據(ju)(ju)艾媒數據(ju)(ju),2020年中國虛(xu)擬(ni)(ni)偶(ou)像核心市(shi)(shi)場規模為34.6億(yi)(yi)(yi)元,YOY+69.3%,預(yu)計2021-2023年中國虛(xu)擬(ni)(ni)偶(ou)像核心市(shi)(shi)場規模分別(bie)達(da)62.2/120.8/205.2億(yi)(yi)(yi)元, YOY+79.6%/+94.3%/+69.8%;2020年 虛(xu) 擬(ni)(ni) 偶(ou) 像 帶 動 市(shi)(shi) 場 規 模 為 645.6億(yi)(yi)(yi) 元,YOY+70.3%,預(yu) 計2021-2023年 分 別(bie) 達(da)1074.9/1866.1/3334.7億(yi)(yi)(yi) 元, YOY+66.5%/+73.6%/+78.7%。
用戶范圍廣(guang)、花費多(duo)、時長長:根(gen)據艾媒數據, 2021年(nian)虛(xu)擬偶(ou)(ou)(ou)像用戶(hu)中(zhong)29-30歲青年(nian)群體占比(bi)超(chao)90%, 男女比(bi)例相對(dui)均(jun)衡,高(gao)收入人群居多。 而(er)中(zhong)國網民(min)中(zhong)近50%用戶(hu)為(wei)虛(xu)擬偶(ou)(ou)(ou)像月(yue)均(jun)花(hua)費(fei)金(jin)額超(chao)500元,且(qie)86.5% 的(de)用戶(hu)為(wei)虛(xu)擬偶(ou)(ou)(ou)像的(de)花(hua)費(fei)與現實偶(ou)(ou)(ou)像持平或者更(geng)多;近75%的(de)用戶(hu)為(wei)虛(xu) 擬偶(ou)(ou)(ou)像日均(jun)花(hua)費(fei)時間超(chao)過1小時。 隨著(zhu)二(er)次元領域(yu)的(de)主要受眾群體90/00后的(de)逐漸擁有了自主消(xiao)費(fei)能力, 虛(xu)擬偶(ou)(ou)(ou)像在流(liu)量變現、內容變現等方(fang)面(mian)將會獲得更(geng)好的(de)支撐,具有非(fei)常(chang) 強的(de)忠誠度、號召力以(yi)及商業變現前景。
虛擬分身
游戲行業虛(xu)擬形象需求擴(kuo)大:虛(xu)擬(ni)分身(AVATAR)滿足(zu)個(ge)人在(zai)虛(xu)擬(ni)世(shi)界中(zhong)為自(zi)己創造(zao)獨特(te)形象的身份(fen)需求,在(zai)社(she)交、游(you)戲(xi)(xi)等領域被反復驗證。游(you)戲(xi)(xi)需要玩家帶入角(jiao)(jiao)(jiao)色,對(dui)人設天然要求高。隨著 硬件(jian)技術(shu)迭代,游(you)戲(xi)(xi)在(zai)畫面(mian)精細度(du)和角(jiao)(jiao)(jiao)色操控自(zi)由(you)度(du)方面(mian)越發強大,游(you)戲(xi)(xi)廠商有(you)較好的虛(xu)擬(ni)形象技術(shu)沉淀(dian)。以最(zui)典(dian)型(xing)的RPG為例,在(zai)2021年近3000億游(you)戲(xi)(xi)市場規模 中(zhong),TOP100收入移動(dong)游(you)戲(xi)(xi)中(zhong), RPG(角(jiao)(jiao)(jiao)色扮演(yan)類游(you)戲(xi)(xi))占比達(da)31.3%,較20年30.9%仍有(you)一定(ding)提升。RPG游(you)戲(xi)(xi)開始(shi)只有(you)低還(huan)原度(du)/有(you)限的角(jiao)(jiao)(jiao)色選(xuan)擇,逐漸升級至 設置自(zi)由(you)度(du)極(ji)高的“捏臉(lian)”系統,可以讓玩家根(gen)據自(zi)己的審美細化設定(ding)角(jiao)(jiao)(jiao)色外觀,加強第二(er)分身的游(you)戲(xi)(xi)沉浸感、真實感。
虛擬社交構建元宇宙支撐框架,虛擬分身成為元宇宙入口。浸式體(ti)驗,虛(xu)擬(ni)(ni)(ni)社(she)(she)交(jiao)平臺(tai)用(yong)戶(hu)通(tong)過打(da)造自(zi)己的(de)虛(xu)擬(ni)(ni)(ni)形(xing)象 進行社(she)(she)交(jiao)互(hu)動,將人與人更輕松地(di)相互(hu)連接起來。社(she)(she)交(jiao) 平臺(tai)的(de)拓(tuo)展和深化,鑄造了(le)元(yuan)宇(yu)宙的(de)支撐框(kuang)架,元(yuan)宇(yu)宙 最終要實現(xian)多個(ge)個(ge)體(ti)在(zai)(zai)虛(xu)擬(ni)(ni)(ni)世界的(de)交(jiao)互(hu),在(zai)(zai)聚合用(yong)戶(hu)的(de) 過程中社(she)(she)交(jiao)平臺(tai)起到了(le)關鍵(jian)作用(yong)。 國(guo)內虛(xu)擬(ni)(ni)(ni)社(she)(she)交(jiao)頭(tou)部公(gong)司集中布局,先(xian)后上線獲測試虛(xu)擬(ni)(ni)(ni) 社(she)(she)交(jiao)產品。如(ru)字節(jie)派(pai)對島(內測)、百(bai)度(du)息壤(rang)、騰訊超 級QQ秀、網易瑤臺(tai)等(deng),SOUL、BUD、啫(zhe)喱等(deng)社(she)(she)交(jiao) APP也相繼涌現(xian)。 海外(wai)虛(xu)擬(ni)(ni)(ni)社(she)(she)交(jiao)以VR平臺(tai)為主流,包括Vrchat、Horizon 等(deng)。
基礎層:海外公司形成較深(shen)的技術壁壘
基礎層為數字虛擬人提供基礎軟硬件支撐,硬件包括顯示設備、光學器件、傳感器、芯片等,基礎軟件包括建模軟件、渲染引擎。顯示設備是數字人的載體,既包括手 機電視、投影、LED顯示等2D顯示設備,也包括裸眼立體AR、VR等3D顯示設備。光學器件用于視覺傳感器、用戶顯示器的制作。傳感器用于數字人原始數據及用戶 數據的采集。芯片用于傳感器數據預處理和數字人模型渲染、AI計算。建模軟件能夠對數字虛擬人的人體、衣物進行三維建模。渲染引擎能夠對燈光、毛發、衣物等進 行渲染,主流引擎包括 Unity 公司的Unity 3D、Epic Games公司虛幻引擎等。總體來看(kan),處于基礎層的(de)廠商(shang)已經深耕行業多年,已經形成了較為深厚的(de)技(ji)術壁壘。
平(ping)臺層:建模渲染(ran)
平(ping)(ping)臺(tai)(tai)層(ceng)包括軟(ruan)硬(ying)件系(xi)統、生產(chan)技(ji)(ji)術(shu)服務平(ping)(ping)臺(tai)(tai)、AI 能力(li)(li)(li)平(ping)(ping)臺(tai)(tai)等為數字虛擬人的(de)(de)制作及開發提供(gong)(gong)(gong)技(ji)(ji)術(shu)能力(li)(li)(li)。建模系(xi)統和動作捕捉系(xi)統通過產(chan)業(ye)鏈上游的(de)(de)傳感器(qi)、光學器(qi)件 等硬(ying)件獲取真人/實物(wu)的(de)(de)各類信息,利用(yong)軟(ruan)件算法實現對人物(wu)的(de)(de)建模、動作的(de)(de)重現;渲(xuan)染平(ping)(ping)臺(tai)(tai)用(yong)于模型的(de)(de)云端渲(xuan)染。解(jie)決方案平(ping)(ping)臺(tai)(tai)基于自身技(ji)(ji)術(shu)能力(li)(li)(li)為廣大(da)客戶提供(gong)(gong)(gong)數 字人解(jie)決方案。AI 能力(li)(li)(li)平(ping)(ping)臺(tai)(tai)提供(gong)(gong)(gong)計算機視(shi)覺、智能語音、自然語言處理(li)技(ji)(ji)術(shu)能力(li)(li)(li)。平(ping)(ping)臺(tai)(tai)層(ceng)匯聚的(de)(de)企(qi)業(ye)較多,騰訊、百度、搜狗、魔(mo)琺科技(ji)(ji)、相芯(xin)科技(ji)(ji)均有提供(gong)(gong)(gong)相應數 字人技(ji)(ji)術(shu)服務平(ping)(ping)臺(tai)(tai)。
頭部(bu)廠商——騰(teng)訊:游(you)戲IP可(ke)開發(fa)虛(xu)擬(ni)人(ren)形象(xiang),加碼AI和虛(xu)擬(ni)人(ren)制作技術研究
供了大量的素材(cai);②旗下(xia)NExT Studios、騰訊云(yun) 和(he) AI Lab 深入研(yan)究虛(xu)擬人制 作(zuo)技(ji)術(shu)和(he)AI技(ji)術(shu)。
游戲IP:先后推出QQ炫舞(wu)-星瞳,英雄聯盟-KDA女(nv)團。 ? NExT Studios:擁有獨立的(de)照相建模實驗(yan)室、高質量人(ren)(ren)臉制作管線、給予光學 動捕的(de)動畫生產管線,極大提高了虛擬(ni)人(ren)(ren)的(de)制作效率(lv)。(報告(gao)來源:未來智庫)
AI Lab:由 100 余位來自世界(jie)知(zhi)名(ming)院校的科學家,以及(ji) 300 多位經驗豐富的應 用工(gong)程師組成,并與世界(jie)頂級院校與機構(gou)合作(zuo)。目前已打造出(chu)AI虛擬人(ren)“艾(ai) 靈”,可(ke)以展(zhan)(zhan)示AI作(zuo)詩、AI書法等國風(feng)才藝(yi),也(ye)可(ke)以與歌手展(zhan)(zhan)開跨(kua)次元合作(zuo)。
騰訊云:提供虛(xu)(xu)擬人實時(shi)渲(xuan)染解決方案(an)。接入(ru)輕量級SDK,即可(ke)將虛(xu)(xu)擬人和(he)(he)場(chang) 景(jing)(jing)搬上云端(duan)實時(shi)渲(xuan)染,享受穩定、高畫質、低延(yan)時(shi)體驗。支持(chi)(chi)使用(yong) iOS 及安卓 設備(bei)采集(ji)語(yu)音、臉(lian)部(bu)及身體動作(zuo),同時(shi)也支持(chi)(chi)動捕設備(bei)數據傳(chuan)輸(shu)至云端(duan)。支持(chi)(chi) 觀(guan)眾進入(ru)虛(xu)(xu)擬場(chang)景(jing)(jing)與主(zhu)播(bo)(bo)互動等超前玩法(fa),打造(zao)更強的參與感和(he)(he)沉浸(jin)感。兼容 原創虛(xu)(xu)擬人、虛(xu)(xu)擬場(chang)景(jing)(jing)等多(duo)類型數字資產(chan),支持(chi)(chi)與直(zhi)播(bo)(bo)、演唱會等場(chang)景(jing)(jing)耦合。
頭(tou)部廠商——阿里:開發虛(xu)擬人(ren)應用于電商,達摩院 XR實(shi)驗室完善底(di)層技術
阿里(li)在虛(xu)擬人方面(mian)主(zhu)要分為兩個方向:①開發(fa)虛(xu)擬人應用于電商;②達摩院 XR實驗室深入研究(jiu)虛(xu)擬人技術。
應用于電商的虛擬(ni)人(ren):①電商(shang)(shang)AI虛擬(ni)模(mo)特(te)塔璣。商(shang)(shang)家(jia)只(zhi)需要上傳一(yi)張商(shang)(shang)品(pin)(pin)的(de)平鋪(pu)圖(tu),就可以生(sheng)成模(mo)特(te)的(de)實拍圖(tu),用于店鋪(pu)的(de)商(shang)(shang)品(pin)(pin)詳情頁。AI模(mo)特(te)利用創新算法技術(shu)在目 標人臉(Target Face)模(mo)塊基礎上,生(sheng)成成千(qian)上萬種五官(guan)組合,形成全世界(jie)獨一(yi)無二(er)的(de)虛擬(ni)人臉,降低了(le)商(shang)(shang)家(jia)被盜圖(tu)的(de)風(feng)險(xian)。同時利用算法技術(shu)將服裝平鋪(pu)圖(tu)轉(zhuan)化(hua)成 3D圖(tu)“穿”在模(mo)特(te)身上,直接降低了(le)商(shang)(shang)家(jia)上新的(de)人力和財力成本。②淘(tao)寶人生(sheng)。用戶可定制自(zi)己的(de)虛擬(ni)形象。③邀(yao)請虛擬(ni)人代言:引入天貓(mao)超級品(pin)(pin)牌日數(shu)字主理(li)人 AYAYI。
XR實驗室:為阿里達摩(mo)院下X實驗室中的XR實驗室,致力于(yu)研(yan)究物品與人物的三位建(jian)模、高真實感(gan)渲染(ran)、自(zi)然人機交互、大(da)場(chang)景地圖與定位、機器人抓取操縱(zong)領域。 將(jiang)產品運(yun)用(yong)于(yu):
①全息店(dian)鋪(pu)(pu):通過自研硬件設(she)備對室內外空間掃(sao)描建(jian)立VR店(dian)鋪(pu)(pu)模型,并在移動端提供(gong)VR展現。可基于VR店(dian)鋪(pu)(pu)模型疊(die)加各類空間信(xin)息和服務(wu),如(ru)(ru)商品信(xin) 息、訂購導(dao)覽等,也可以在VR店(dian)鋪(pu)(pu)模型中嵌入虛(xu)擬人(ren),如(ru)(ru)虛(xu)擬導(dao)購員等。
②AR平行世界:通過(guo)自研硬件設備對室內(nei)外(wai)空間掃(sao)描建立(li)三維高精地(di)圖(tu),并通過(guo)攝像(xiang)頭在(zai)地(di) 圖(tu)中(zhong)實(shi)現高精度定(ding)位,實(shi)現AR導(dao)航、AR信息疊加、AR打(da)卡拍(pai)照、AR虛擬客服等能力(li)。同時(shi)提供內(nei)容生產(chan)平臺,幫助企業輕(qing)松實(shi)現各類效果(guo)定(ding)制(zhi)化。
③IDC智能(neng)運(yun)維(wei) 機器(qi)人:由XR LAB自(zi)主設計開發的(de)(de)(de)、具備(bei)機械臂控制能(neng)力(li)的(de)(de)(de)數(shu)據機房運(yun)維(wei)機器(qi)人,通過視覺與(yu)觸覺融合(he)的(de)(de)(de)復雜操作控制算法,具備(bei)在(zai)數(shu)據中(zhong)(zhong)心(xin)(xin)實(shi)現“自(zi)動更(geng)換(huan)硬盤(pan)、 精細化巡檢、自(zi)動資產盤(pan)點”的(de)(de)(de)三大核心(xin)(xin)業務能(neng)力(li),為(wei)數(shu)據中(zhong)(zhong)心(xin)(xin)提供(gong)無人值守、無人巡檢和數(shu)據安全的(de)(de)(de)完(wan)整解決方案。









