定義:數字虛(xu)擬(ni)人是擁有(you)數字化外形的(de)虛(xu)擬(ni)人物
數(shu)(shu)字虛(xu)擬人的廣(guang)義定義為數(shu)(shu)字化外形(xing)的虛(xu)擬人物(wu),具有(you)“虛擬”(存在(zai)于(yu)非物理世界中(zhong))+“數字”(由計(ji)算(suan)機圖形(xing)(xing)學(xue)、圖形(xing)(xing)染、動作(zuo)捕捉、深度學(xue)習(xi)、語音合(he)成(cheng)等計(ji)算(suan) 機手段創造及使用)+“人(ren)(ren)”(具有(you)多重(zhong)人(ren)(ren)類(lei)特征,如外貌(mao)、人(ren)(ren)類(lei)表(biao)演/交互能(neng)力等)的綜(zong)合(he)產物。打破物理界限提供(gong)擬人(ren)(ren)服務與體驗是(shi)其核心價值。
實現場景(jing)角度,目前以圖片(pian)、視頻(pin)、直播等為(wei)主,未來VR設(she)備/全(quan)息(xi)投影有望為(wei)數(shu)字虛擬人在現實世界的(de)(de)投射提供更豐富的(de)(de)道具(ju)和(he)軟硬件基礎(chu)。由于各場景(jing)時延(yan)(如直播 等實時場景(jing)要(yao)(yao)求(qiu)低時延(yan),但內容生(sheng)成場景(jing)無該要(yao)(yao)求(qiu))、驅(qu)動方式(計算(suan)驅(qu)動對模型的(de)(de)深度學(xue)習能力有極高要(yao)(yao)求(qiu))等不同,對技術(shu)、運(yun)營(ying)等要(yao)(yao)求(qiu)差異較(jiao)大。
技(ji)術(shu)角度(du)(du),數字虛(xu)擬(ni)人(ren)近年的(de)發(fa)展來源于CG、語音識別、圖像識別、動(dong)捕等相關技(ji)術(shu)的(de)共同成熟,除(chu)CG建模+真(zhen)人(ren)驅動(dong)的(de)類別外,多模態(tai)技(ji)術(shu)與深度(du)(du)學習(xi)成為(wei)(wei)未(wei)來核(he)心(xin) 點(dian)。 ? 我們認為(wei)(wei)“人(ren)”是(shi)其中(zhong)核(he)心(xin)的(de)因(yin)素,高(gao)度(du)(du)擬(ni)人(ren)化(外貌(mao)形象、行為(wei)(wei)表情(qing)、交互的(de)擬(ni)人(ren)程度(du)(du))為(wei)(wei)用戶帶來的(de)親切感(gan)(gan)、參與感(gan)(gan)、互動(dong)感(gan)(gan)與沉浸(jin)感(gan)(gan)是(shi)多數消費者的(de)核(he)心(xin)使用動(dong)力。 能否提供足(zu)夠(gou)自然(ran)逼真(zhen)的(de)相處體驗,是(shi)數字虛(xu)擬(ni)人(ren)在各(ge)個場(chang)景(jing)中(zhong)取代(dai)真(zhen)人(ren)重(zhong)要標(biao)準(zhun)。
技(ji)術:視覺制作(zuo)層(ceng)面(mian)建模(mo)、動/面(mian)捕捉、渲染為核心制作(zuo)技(ji)術環節
數(shu)字(zi)(zi)虛(xu)擬人(ren)(ren)(ren)的制作涉及眾多技(ji)(ji)術(shu)(shu)領域,且制作方(fang)式(shi)尚(shang)未(wei)完全定型,《2020年數(shu)字(zi)(zi)虛(xu)擬人(ren)(ren)(ren)發展白皮(pi)書》總(zong)結出在“數(shu)字(zi)(zi)虛(xu)擬人(ren)(ren)(ren)通用系統框(kuang)架(jia)”,包(bao)含(han)任務形(xing)象(xiang)、語(yu)音生(sheng)成(cheng)(cheng)(cheng) 模(mo)塊、動(dong)(dong)(dong)畫生(sheng)成(cheng)(cheng)(cheng)模(mo)塊、音視(shi)頻合(he)成(cheng)(cheng)(cheng)顯(xian)示(shi)模(mo)塊以及交(jiao)互模(mo)塊。 在此(ci)基礎上(shang)提煉出五(wu)橫(heng)兩縱的技(ji)(ji)術(shu)(shu)架(jia)構。“五(wu)橫(heng)”是指用于(yu)數(shu)字(zi)(zi)人(ren)(ren)(ren)制作、交(jiao)互的五(wu)大技(ji)(ji)術(shu)(shu)模(mo)塊,即人(ren)(ren)(ren)物生(sheng)成(cheng)(cheng)(cheng)、人(ren)(ren)(ren)物表達、合(he)成(cheng)(cheng)(cheng)顯(xian)示(shi)、識別感知(zhi)、分析決策(ce)等(deng)模(mo)塊。其中, 人(ren)(ren)(ren)物表達包(bao)括語(yu)音生(sheng)成(cheng)(cheng)(cheng)和動(dong)(dong)(dong)畫生(sheng)成(cheng)(cheng)(cheng),動(dong)(dong)(dong)畫生(sheng)成(cheng)(cheng)(cheng)則包(bao)含(han)驅動(dong)(dong)(dong)(動(dong)(dong)(dong)作生(sheng)成(cheng)(cheng)(cheng))和渲(xuan)染兩大部(bu)分。“兩縱”是指 2D、3D 數(shu)字(zi)(zi)人(ren)(ren)(ren),3D 數(shu)字(zi)(zi)人(ren)(ren)(ren)需要(yao)額外使用三(san)維建(jian)模(mo)技(ji)(ji)術(shu)(shu)生(sheng)成(cheng)(cheng)(cheng)數(shu) 字(zi)(zi)形(xing)象(xiang),信息維度增加,所需的計算(suan)量(liang)更大。 數(shu)字(zi)(zi)虛(xu)擬人(ren)(ren)(ren)視(shi)覺制作部(bu)分的工業化流程,涵蓋了建(jian)模(mo)、骨(gu)骼綁定、動(dong)(dong)(dong)捕、面捕、渲(xuan)染、材質解算(suan)等(deng)各個環節。
技(ji)術層(ceng)面
建(jian)模:相機(ji)陣(zhen)列掃描靜態重(zhong)(zhong)建(jian)為主流,動(dong)態光場重(zhong)(zhong)建(jian)為發展重(zhong)(zhong)點
數字虛擬人建(jian)(jian)(jian)立的第一步(bu)需(xu)(xu)要(yao)(yao)進行前(qian)期(qi)的形(xing)(xing)象設計(ji)以(yi)及(ji)建(jian)(jian)(jian)模。2D數字虛擬人需(xu)(xu)要(yao)(yao)原畫等形(xing)(xing)象設計(ji),而3D數字虛擬人需(xu)(xu)要(yao)(yao)額外使用三(san)維建(jian)(jian)(jian)模技術生成數字形(xing)(xing)象,信息維 度增(zeng)加(jia),所需(xu)(xu)的計(ji)算量更(geng)大(da),無論是基于IP或者真人設計(ji),都需(xu)(xu)要(yao)(yao)進行面捕以(yi)及(ji)身體的建(jian)(jian)(jian)模。
3D建模技術目(mu)前主要包含(han)靜態掃描建模以及動態建模兩類: 靜態掃(sao)描(miao)建(jian)(jian)模(mo)(mo)仍為(wei)主流,其中相(xiang)機(ji)陣列掃(sao)描(miao)重(zhong)(zhong)建(jian)(jian)快速發(fa)展(zhan),目前可(ke)實現毫秒級高速拍照掃(sao)描(miao)(高性能的(de)相(xiang)機(ji)陣列精度可(ke)達到亞(ya)毫米級) , 滿足數字人(ren)掃(sao)描(miao)重(zhong)(zhong)建(jian)(jian)需求(qiu), 替(ti)代結構光掃(sao)描(miao)重(zhong)(zhong)建(jian)(jian)成(cheng)為(wei)當前人(ren)物建(jian)(jian)模(mo)(mo)主流方式。 相(xiang)比靜態重(zhong)(zhong)建(jian)(jian)技術,動態光場重(zhong)(zhong)建(jian)(jian)不(bu)僅(jin)可(ke)以重(zhong)(zhong)建(jian)(jian)人(ren)物的(de)幾何模(mo)(mo)型, 還可(ke)一(yi)次性獲取動態的(de)人(ren)物模(mo)(mo)型數據, 并(bing)高品質(zhi)重(zhong)(zhong)現不(bu)同視(shi)角下(xia)觀看人(ren)體(ti)的(de)光影效果(guo), 成(cheng)為(wei)數字人(ren) 建(jian)(jian)模(mo)(mo)重(zhong)(zhong)點發(fa)展(zhan)方向。 海外Microsoft、Google、Intel、Facebook 等巨(ju)頭公司(si)都在積極展(zhan)開相(xiang)關(guan)研究,國內清華大學、商湯科(ke)技、華為(wei)等也展(zhan)開了相(xiang)關(guan)研究, 并(bing)取得 國際水平的(de)同步進展(zhan)。
建模綁定技術(shu):技術(shu)突破不(bu)斷
2018年,騰訊(xun)游戲(xi)旗(qi)下NExT Studios高保真(zhen)數(shu)字(zi)虛擬人(ren)Siren(塞壬(ren))亮相GDC,其高還原度(du)媲美真(zhen)人(ren)的(de)形象,以及可實時驅動的(de)表情動作;制作中“綁定技術“環節(jie) 就耗費(fei)了(le)大半(ban)年時間(jian)。 2021年6月(yue),由新華社(she)、騰訊(xun)聯合打造的(de)全(quan)球首位(wei)數(shu)字(zi)航天(tian)員、數(shu)字(zi)記者“小(xiao)諍(zheng)”首次出(chu)現新華社(she)數(shu)字(zi)視頻中,帶領(ling)用(yong)戶(hu)漫游三大空間(jian)站;小(xiao)諍(zheng)項目的(de)綁定流程較 Siren(塞壬(ren))項目縮(suo)短了(le)一半(ban),依靠(kao)的(de)就是創作團隊(dui)創新沉淀出(chu)的(de)高效人(ren)臉制作管(guan)線——xFaceBuilder。
驅動(dong)技術:智能合成(cheng)、 動(dong)作捕捉為(wei)虛擬人主流動(dong)作生產方(fang)式
驅動(dong)(dong)動(dong)(dong)作技(ji)術(shu)包括手(shou)(shou)動(dong)(dong)調節關(guan)(guan)鍵幀、預制動(dong)(dong)作、動(dong)(dong)作捕捉、智能合成(文 字(zi)/語音驅動(dong)(dong))等。手(shou)(shou)動(dong)(dong)調整動(dong)(dong)畫關(guan)(guan)鍵幀與預制動(dong)(dong)作(類似MMD)無法(fa)實 現實時互動(dong)(dong)。
智能合成(cheng):其中2D、3D數(shu)字人(ren)均已(yi)實(shi)(shi)現嘴型動(dong)作的智能(neng)合成,其他面部/ 身體部位的動(dong)作智能(neng)合成未能(neng)完全(quan)實(shi)(shi)現。(報告來源:未來智庫)
動捕:通過將(jiang)捕(bu)(bu)捉采集(ji)的動(dong)(dong)(dong)(dong)作遷(qian)移(yi)至(zhi)數(shu)字(zi)虛(xu)擬人是目(mu)前動(dong)(dong)(dong)(dong)作生(sheng)成主要(yao)方(fang)式, 核心技術是動(dong)(dong)(dong)(dong)作捕(bu)(bu)捉。可分(fen)為(wei)光學(xue)式、慣性式及計算機(ji)視覺(jue)動(dong)(dong)(dong)(dong)捕(bu)(bu)等。現(xian)階(jie) 段光學(xue)式和(he)慣性式動(dong)(dong)(dong)(dong)捕(bu)(bu)占據(ju)主導。計算機(ji)視覺(jue)動(dong)(dong)(dong)(dong)捕(bu)(bu)雖然相對開發難(nan)度(du)大(da), 目(mu)前精度(du)較低,但(dan)就成本/對環境要(yao)求(qiu)低,可移(yi)動(dong)(dong)(dong)(dong)范圍大(da),使用(yong)場景想象(xiang)力(li) 較大(da),目(mu)前已有消費級應用(yong)(部分(fen)VR設備采用(yong)),成為(wei)聚焦(jiao)熱(re)點。
渲染(ran)技(ji)術:硬件與(yu)算法(fa)突破,渲染(ran)真實與(yu)實時性大幅提升(sheng)
渲(xuan)染(ran)(ran)技術,是(shi)指把模型在視點、光線(xian)、運(yun)動軌跡等因素作用(yong)下的視覺(jue)畫面計(ji)算(suan)出來 的過程。主(zhu)要由離線(xian)與實時(shi)渲(xuan)染(ran)(ran)兩種類型。
離線(xian)渲染,就(jiu)是在(zai)計算出(chu)畫面時并不顯示畫面,計算機根據(ju)預先定義好的光線(xian)、軌 跡渲染圖片(pian),渲染完成(cheng)后再(zai)將圖片(pian)連續(xu)播(bo)放,實(shi)現動(dong)畫效(xiao)果。優點(dian)是渲染質量相對 好,美(mei)學(xue)和(he)視(shi)覺效(xiao)果好,缺(que)點(dian)是無(wu)法實(shi)時控(kong)制,主要應用于影(ying)視(shi)等方(fang)面,代表性(xing)軟(ruan) 件包(bao)括Maya、3DMax等。
實時渲染,是(shi)(shi)(shi)指計算機邊計算畫面邊將其輸出顯示,優(you)點(dian)(dian)是(shi)(shi)(shi)可以(yi)實時(shi)操(cao)控(kong),缺點(dian)(dian)是(shi)(shi)(shi) 要(yao)受系(xi)統的負荷(he)能力的限制,必要(yao)時(shi)要(yao)犧牲畫面效(xiao)果,主要(yao)應用于(yu)游戲等(deng)方面,代 表引擎包括Unreal Engine(虛幻)、Unity Engine等(deng)。
隨(sui)著硬(ying)件能(neng)力的(de)提升和算法的(de)突破(po), 渲(xuan)(xuan)(xuan)染(ran)速度、效果真(zhen)實(shi)度、畫面分辨率均大幅(fu) 提升,在虛擬人物(wu)實(shi)時(shi)(shi)渲(xuan)(xuan)(xuan)染(ran)方面,已(yi)經能(neng)做(zuo)到(dao)以假亂真(zhen)。2016年,EpicGames (虛幻引擎開發商(shang))聯合 3Lateral、Cubic Motion等公(gong)司聯合開發的(de)可實(shi)時(shi)(shi)驅動 的(de)虛擬人物(wu)在當年的(de)Siggraph會(hui)議(yi)中(zhong)做(zuo)了(le)演示,成功在消(xiao)費(fei)級的(de)硬(ying)件環(huan)境(jing)下實(shi)時(shi)(shi) 渲(xuan)(xuan)(xuan)染(ran)了(le)高質量的(de)虛擬角色。2018年5月,騰訊發布虛擬人Siren,也一個支持實(shi)時(shi)(shi) 渲(xuan)(xuan)(xuan)染(ran)的(de)虛擬人物(wu)。
技術層(ceng)面(mian):交互式數字(zi)虛擬人(ren)可(ke)分為(wei)真(zhen)人(ren)/計算(suan)機驅動兩(liang)種(zhong)
從驅(qu)動技(ji)術角度來看,交互型數字虛擬(ni)人可(ke)分為真人和計(ji)算機驅(qu)動兩種類型。
真(zhen)人驅動型數字虛擬人,以真人(ren)為核心,用戶可(ke)以通過3D建(jian)模、動(dong)(dong)作(zuo)捕捉技(ji)術(shu)、渲(xuan)染(ran)等技(ji)術(shu),在網(wang)絡上形(xing)成(cheng)真人(ren)的虛(xu)擬(ni)(ni)(ni)化(hua)身(shen),在動(dong)(dong)作(zuo)靈活度、互動(dong)(dong)效(xiao)果等方面有(you)明顯 優(you)勢,一方面能夠在影視內(nei)容的創(chuang)作(zuo)中減低(di)生產成(cheng)本(ben),為影視行(xing)業降低(di)門檻,推動(dong)(dong)影視級(ji)內(nei)容向消費(fei)級(ji)轉化(hua)。另一方面則多用于虛(xu)擬(ni)(ni)(ni)偶像、重要直播(bo)中,幫助數字虛(xu)擬(ni)(ni)(ni) 人(ren)完成(cheng)大型直播(bo)、現場(chang)路演等互動(dong)(dong)性、碎片化(hua)活動(dong)(dong)。
計算機驅動型數字(zi)虛擬(ni)人,以深度學習技術為主,本質上還(huan)是(shi)算法(fa),但會(hui)擁(yong)有一個定制化的(de)(de)虛擬外表。計算驅動的(de)(de)數字虛擬人最終效(xiao)果受(shou)到語(yu)音合(he)(he)成(語(yu)音表述在(zai)韻律(lv)、 情(qing)感、流(liu)暢度等(deng)方面是(shi)否(fou)符合(he)(he)真人發聲習慣)、NLP技術(與使(shi)用者的(de)(de)語(yu)言(yan)交(jiao)互是(shi)否(fou)順暢、是(shi)否(fou)能(neng)夠理(li)解使(shi)用者需求(qiu))、語(yu)音識別(能(neng)否(fou)準確(que)識別使(shi)用者需求(qiu))等(deng)技術 的(de)(de)共同(tong)影響。盡管在(zai)特定方向上,各感知(zhi)類(lei)技術已有的(de)(de)商業化能(neng)力已足以支撐,然而(er),但要(yao)達成理(li)想的(de)(de)綜(zong)合(he)(he)效(xiao)果,需要(yao)該公(gong)司在(zai)三個方面同(tong)時具有較強的(de)(de)綜(zong)合(he)(he)能(neng)力。
虛(xu)擬(ni)偶(ou)像(xiang)
2022年(nian)核心市場規模(mo)將達121億:根據艾媒(mei)數(shu)(shu)據,虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang)在網(wang)民中的認可度(du)較高,以網(wang)民總數(shu)(shu)10.11億(yi)(yi)(《中國互聯(lian)網(wang)絡(luo)發展狀況統計報告》2021年(nian)6月數(shu)(shu)據)計算,2021年(nian)深度(du)+淺度(du)追星(xing)人(ren)群占 比超(chao)80%,約8億(yi)(yi)人(ren);而(er)在追星(xing)群眾中63.6%關(guan)注支持虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang),則預計有超(chao)5億(yi)(yi)人(ren)為(wei)虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang)受眾,隨(sui)著虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang)應用面鋪開,滲透率有望(wang)進(jin)一步提升。 根據艾媒(mei)數(shu)(shu)據,2020年(nian)中國虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang)核心市場(chang)規(gui)(gui)模(mo)為(wei)34.6億(yi)(yi)元(yuan),YOY+69.3%,預計2021-2023年(nian)中國虛(xu)(xu)擬偶(ou)(ou)(ou)像(xiang)(xiang)核心市場(chang)規(gui)(gui)模(mo)分(fen)別達(da)62.2/120.8/205.2億(yi)(yi)元(yuan), YOY+79.6%/+94.3%/+69.8%;2020年(nian) 虛(xu)(xu) 擬 偶(ou)(ou)(ou) 像(xiang)(xiang) 帶 動(dong) 市 場(chang) 規(gui)(gui) 模(mo) 為(wei) 645.6億(yi)(yi) 元(yuan),YOY+70.3%,預 計2021-2023年(nian) 分(fen) 別 達(da)1074.9/1866.1/3334.7億(yi)(yi) 元(yuan), YOY+66.5%/+73.6%/+78.7%。
用戶范(fan)圍廣、花費(fei)多、時長長:根據艾媒(mei)數據, 2021年虛擬(ni)(ni)(ni)(ni)偶像(xiang)(xiang)(xiang)用戶(hu)(hu)中(zhong)(zhong)29-30歲青年群體占比超(chao)90%, 男女(nv)比例相對均(jun)衡,高收入人群居多(duo)。 而中(zhong)(zhong)國網民中(zhong)(zhong)近50%用戶(hu)(hu)為(wei)(wei)虛擬(ni)(ni)(ni)(ni)偶像(xiang)(xiang)(xiang)月均(jun)花(hua)費金額超(chao)500元,且86.5% 的(de)(de)(de)用戶(hu)(hu)為(wei)(wei)虛擬(ni)(ni)(ni)(ni)偶像(xiang)(xiang)(xiang)的(de)(de)(de)花(hua)費與現(xian)實偶像(xiang)(xiang)(xiang)持(chi)平(ping)或者更多(duo);近75%的(de)(de)(de)用戶(hu)(hu)為(wei)(wei)虛 擬(ni)(ni)(ni)(ni)偶像(xiang)(xiang)(xiang)日均(jun)花(hua)費時(shi)間(jian)超(chao)過1小時(shi)。 隨(sui)著二次元領域的(de)(de)(de)主(zhu)要受眾群體90/00后的(de)(de)(de)逐漸擁(yong)有(you)了自主(zhu)消費能力, 虛擬(ni)(ni)(ni)(ni)偶像(xiang)(xiang)(xiang)在(zai)流量變(bian)現(xian)、內容變(bian)現(xian)等(deng)方面將(jiang)會(hui)獲得更好(hao)的(de)(de)(de)支撐,具(ju)有(you)非常(chang) 強的(de)(de)(de)忠誠度、號召力以(yi)及商業變(bian)現(xian)前景(jing)。
虛擬分身
游戲行業虛擬形象需(xu)求擴大:虛(xu)擬(ni)分身(shen)(AVATAR)滿足個(ge)人在虛(xu)擬(ni)世界(jie)中(zhong)為自己創造獨特(te)形(xing)象的(de)(de)身(shen)份需(xu)求,在社交(jiao)、游(you)(you)戲(xi)等領域被反復(fu)驗證。游(you)(you)戲(xi)需(xu)要(yao)玩家(jia)帶入(ru)角色,對人設(she)天然(ran)要(yao)求高(gao)。隨著 硬(ying)件技術迭代,游(you)(you)戲(xi)在畫面精細(xi)度(du)和(he)角色操控自由(you)度(du)方面越(yue)發(fa)強大,游(you)(you)戲(xi)廠(chang)商有較好的(de)(de)虛(xu)擬(ni)形(xing)象技術沉淀。以最典型(xing)的(de)(de)RPG為例,在2021年(nian)近(jin)3000億游(you)(you)戲(xi)市場(chang)規模 中(zhong),TOP100收入(ru)移動游(you)(you)戲(xi)中(zhong), RPG(角色扮演類游(you)(you)戲(xi))占(zhan)比(bi)達31.3%,較20年(nian)30.9%仍有一定(ding)提升。RPG游(you)(you)戲(xi)開始只有低還原度(du)/有限的(de)(de)角色選擇,逐漸升級至 設(she)置自由(you)度(du)極高(gao)的(de)(de)“捏(nie)臉”系統,可(ke)以讓(rang)玩家(jia)根據自己的(de)(de)審美細(xi)化設(she)定(ding)角色外觀(guan),加強第二分身(shen)的(de)(de)游(you)(you)戲(xi)沉浸感(gan)、真實感(gan)。
虛擬社交構建元宇宙支撐框架,虛擬分身成為元宇宙入口。浸式體驗(yan),虛擬(ni)社(she)(she)交(jiao)(jiao)(jiao)(jiao)平(ping)(ping)臺(tai)用戶通過(guo)打造(zao)自己(ji)的(de)虛擬(ni)形象 進行社(she)(she)交(jiao)(jiao)(jiao)(jiao)互(hu)動(dong),將人與人更(geng)輕松地相(xiang)互(hu)連接起來。社(she)(she)交(jiao)(jiao)(jiao)(jiao) 平(ping)(ping)臺(tai)的(de)拓(tuo)展和深化,鑄造(zao)了元宇宙的(de)支撐框架(jia),元宇宙 最(zui)終要(yao)實現多個個體在(zai)虛擬(ni)世(shi)界的(de)交(jiao)(jiao)(jiao)(jiao)互(hu),在(zai)聚合用戶的(de) 過(guo)程中社(she)(she)交(jiao)(jiao)(jiao)(jiao)平(ping)(ping)臺(tai)起到了關鍵(jian)作(zuo)用。 國內(nei)虛擬(ni)社(she)(she)交(jiao)(jiao)(jiao)(jiao)頭部公司集中布(bu)局,先后上線獲測(ce)試虛擬(ni) 社(she)(she)交(jiao)(jiao)(jiao)(jiao)產品。如字節派對(dui)島(內(nei)測(ce))、百(bai)度息壤、騰訊超 級QQ秀、網易瑤臺(tai)等,SOUL、BUD、啫(zhe)喱等社(she)(she)交(jiao)(jiao)(jiao)(jiao) APP也(ye)相(xiang)繼涌現。 海外(wai)虛擬(ni)社(she)(she)交(jiao)(jiao)(jiao)(jiao)以VR平(ping)(ping)臺(tai)為(wei)主流,包括Vrchat、Horizon 等。
基礎(chu)層:海外公司形成較(jiao)深(shen)的(de)技(ji)術壁壘
基礎層為數字虛擬人提供基礎軟硬件支撐,硬件包括顯示設備、光學器件、傳感器、芯片等,基礎軟件包括建模軟件、渲染引擎。顯示設備是數字人的載體,既包括手 機電視、投影、LED顯示等2D顯示設備,也包括裸眼立體AR、VR等3D顯示設備。光學器件用于視覺傳感器、用戶顯示器的制作。傳感器用于數字人原始數據及用戶 數據的采集。芯片用于傳感器數據預處理和數字人模型渲染、AI計算。建模軟件能夠對數字虛擬人的人體、衣物進行三維建模。渲染引擎能夠對燈光、毛發、衣物等進 行渲染,主流引擎包括 Unity 公司的Unity 3D、Epic Games公司虛幻引擎等。總體來看,處于基(ji)礎層的廠商已經深(shen)耕行業多(duo)年,已經形成了較為深(shen)厚的技術壁(bi)壘(lei)。
平(ping)臺(tai)層:建模渲染
平(ping)(ping)(ping)臺(tai)(tai)(tai)層包括軟(ruan)(ruan)硬(ying)件(jian)系(xi)統、生產技(ji)(ji)(ji)術服務平(ping)(ping)(ping)臺(tai)(tai)(tai)、AI 能(neng)力(li)平(ping)(ping)(ping)臺(tai)(tai)(tai)等為(wei)數字(zi)虛擬人(ren)的(de)制作(zuo)及開發提供技(ji)(ji)(ji)術能(neng)力(li)。建(jian)模(mo)系(xi)統和動作(zuo)捕捉(zhuo)系(xi)統通過產業鏈上游的(de)傳感器、光學器件(jian) 等硬(ying)件(jian)獲取(qu)真人(ren)/實物的(de)各類信息,利(li)用軟(ruan)(ruan)件(jian)算(suan)法實現對人(ren)物的(de)建(jian)模(mo)、動作(zuo)的(de)重現;渲染(ran)平(ping)(ping)(ping)臺(tai)(tai)(tai)用于模(mo)型的(de)云端渲染(ran)。解決(jue)方案(an)平(ping)(ping)(ping)臺(tai)(tai)(tai)基于自身技(ji)(ji)(ji)術能(neng)力(li)為(wei)廣大(da)客戶提供數 字(zi)人(ren)解決(jue)方案(an)。AI 能(neng)力(li)平(ping)(ping)(ping)臺(tai)(tai)(tai)提供計算(suan)機視(shi)覺、智能(neng)語(yu)音、自然(ran)語(yu)言處理技(ji)(ji)(ji)術能(neng)力(li)。平(ping)(ping)(ping)臺(tai)(tai)(tai)層匯聚的(de)企業較多,騰(teng)訊、百度、搜狗、魔琺科(ke)技(ji)(ji)(ji)、相(xiang)芯科(ke)技(ji)(ji)(ji)均有提供相(xiang)應數 字(zi)人(ren)技(ji)(ji)(ji)術服務平(ping)(ping)(ping)臺(tai)(tai)(tai)。
頭(tou)部廠商——騰(teng)訊(xun):游戲IP可開發虛(xu)擬人(ren)形象,加碼(ma)AI和虛(xu)擬人(ren)制作技術研究
供了大(da)量的素材;②旗下(xia)NExT Studios、騰(teng)訊云 和(he) AI Lab 深入研究虛擬人制 作(zuo)技術(shu)和(he)AI技術(shu)。
游戲(xi)IP:先后推出QQ炫(xuan)舞(wu)-星(xing)瞳(tong),英雄(xiong)聯盟-KDA女團(tuan)。 ? NExT Studios:擁有(you)獨立(li)的(de)照相(xiang)建模實驗室、高質量人臉制作管(guan)線、給予光學 動捕的(de)動畫生產管(guan)線,極大提高了(le)虛擬(ni)人的(de)制作效率(lv)。(報(bao)告來源(yuan):未來智(zhi)庫)
AI Lab:由 100 余位來自世界(jie)知(zhi)名(ming)院(yuan)校的科(ke)學家,以(yi)及 300 多位經驗豐富的應 用工程師組成(cheng),并(bing)與(yu)世界(jie)頂級院(yuan)校與(yu)機構合作(zuo)。目前已(yi)打造出(chu)AI虛擬人“艾 靈”,可(ke)以(yi)展示AI作(zuo)詩、AI書法等國風(feng)才藝,也可(ke)以(yi)與(yu)歌(ge)手展開跨次元合作(zuo)。
騰訊云:提供(gong)虛(xu)擬(ni)人(ren)實(shi)時(shi)渲染解決方案(an)。接入(ru)輕量級(ji)SDK,即可將(jiang)虛(xu)擬(ni)人(ren)和(he)場 景搬上云端(duan)實(shi)時(shi)渲染,享受穩定、高畫(hua)質(zhi)、低延時(shi)體驗(yan)。支(zhi)(zhi)持使(shi)用 iOS 及(ji)安(an)卓 設備(bei)采集語音、臉(lian)部及(ji)身(shen)體動(dong)(dong)作(zuo),同時(shi)也支(zhi)(zhi)持動(dong)(dong)捕(bu)設備(bei)數(shu)據傳(chuan)輸至(zhi)云端(duan)。支(zhi)(zhi)持 觀眾進入(ru)虛(xu)擬(ni)場景與(yu)主(zhu)播互動(dong)(dong)等超前玩法(fa),打造更強的參與(yu)感和(he)沉浸感。兼(jian)容 原(yuan)創虛(xu)擬(ni)人(ren)、虛(xu)擬(ni)場景等多類型數(shu)字資產,支(zhi)(zhi)持與(yu)直播、演唱會等場景耦合。
頭部(bu)廠商——阿里:開發虛擬人應用于電商,達(da)摩院 XR實(shi)驗室完善底層技術
阿里在虛(xu)擬(ni)人(ren)方面(mian)主要(yao)分為(wei)兩個方向:①開發虛(xu)擬(ni)人(ren)應用于電商(shang);②達摩(mo)院(yuan) XR實(shi)驗(yan)室深入研究(jiu)虛(xu)擬(ni)人(ren)技術。
應用于電商的虛擬人:①電商(shang)(shang)AI虛擬(ni)模特塔璣。商(shang)(shang)家(jia)(jia)只需要上傳(chuan)一張商(shang)(shang)品(pin)的(de)(de)(de)(de)平鋪(pu)圖(tu)(tu)(tu),就可以生(sheng)成(cheng)模特的(de)(de)(de)(de)實拍圖(tu)(tu)(tu),用(yong)(yong)于店鋪(pu)的(de)(de)(de)(de)商(shang)(shang)品(pin)詳情頁(ye)。AI模特利用(yong)(yong)創新算法技(ji)術在目 標(biao)人(ren)(ren)臉(Target Face)模塊(kuai)基礎上,生(sheng)成(cheng)成(cheng)千上萬種五官組合,形成(cheng)全世界獨一無二的(de)(de)(de)(de)虛擬(ni)人(ren)(ren)臉,降低(di)了商(shang)(shang)家(jia)(jia)被盜圖(tu)(tu)(tu)的(de)(de)(de)(de)風險。同時利用(yong)(yong)算法技(ji)術將服裝(zhuang)平鋪(pu)圖(tu)(tu)(tu)轉化成(cheng) 3D圖(tu)(tu)(tu)“穿”在模特身上,直接降低(di)了商(shang)(shang)家(jia)(jia)上新的(de)(de)(de)(de)人(ren)(ren)力(li)和財力(li)成(cheng)本。②淘寶(bao)人(ren)(ren)生(sheng)。用(yong)(yong)戶可定制自己的(de)(de)(de)(de)虛擬(ni)形象。③邀請虛擬(ni)人(ren)(ren)代言:引入天貓超級品(pin)牌日(ri)數字主(zhu)理人(ren)(ren) AYAYI。
XR實驗室(shi):為阿(a)里達摩院下X實驗(yan)室中的XR實驗(yan)室,致力(li)于(yu)研究(jiu)物(wu)品(pin)與(yu)人物(wu)的三(san)位建模、高真實感渲染、自然人機交互、大(da)場景地圖與(yu)定(ding)位、機器人抓取操縱(zong)領域。 將產(chan)品(pin)運用于(yu):
①全息(xi)店鋪(pu)(pu):通過自研(yan)硬(ying)件設備對室內(nei)外空間掃描(miao)建立VR店鋪(pu)(pu)模型(xing),并在移動(dong)端提供(gong)VR展現。可(ke)基于(yu)VR店鋪(pu)(pu)模型(xing)疊加各類空間信(xin)息(xi)和服(fu)務,如商(shang)品(pin)信(xin) 息(xi)、訂(ding)購(gou)導覽等,也可(ke)以在VR店鋪(pu)(pu)模型(xing)中嵌入虛擬人,如虛擬導購(gou)員(yuan)等。
②AR平行世界:通(tong)過自研硬(ying)件(jian)設備對室(shi)內(nei)(nei)外空間掃描建立(li)三(san)維高精地圖,并通(tong)過攝像頭在地 圖中實(shi)現高精度定位,實(shi)現AR導航、AR信息疊加(jia)、AR打卡拍照(zhao)、AR虛擬客(ke)服等能力。同(tong)時提供內(nei)(nei)容生產平臺,幫助企業輕松實(shi)現各(ge)類效果定制化。
③IDC智能運維(wei) 機(ji)器人:由XR LAB自(zi)主設計開(kai)發的(de)、具備機(ji)械臂控制能力的(de)數據機(ji)房運維(wei)機(ji)器人,通過視覺與觸覺融合的(de)復雜操作控制算法,具備在數據中心實現“自(zi)動更換硬盤、 精(jing)細化巡檢(jian)、自(zi)動資(zi)產盤點(dian)”的(de)三大核心業務能力,為數據中心提供無人值守、無人巡檢(jian)和數據安全的(de)完整解決方案。