盡管內向外(wai)追(zhui)蹤(zong)(zong)(zong)的性能已經足以(yi)在(zai)頭(tou)(tou)顯、控制器(qi)和雙手追(zhui)蹤(zong)(zong)(zong)方面取(qu)代(dai)外(wai)向內追(zhui)蹤(zong)(zong)(zong)，但由于(yu)視(shi)場(chang)覆蓋問(wen)題，全身動捕一直(zhi)以(yi)來都是依靠外(wai)向內的追(zhui)蹤(zong)(zong)(zong)設置(zhi)來實現。不僅只是這(zhe)樣，隨(sui)著頭(tou)(tou)顯形(xing)狀(zhuang)參數的不斷小型化(hua)輕(qing)薄化(hua)，攝像頭(tou)(tou)的視(shi)場(chang)覆蓋問(wen)題將會變得越發困難(nan)。
不過，社區(qu)依然在積極(ji)探索利(li)用AI等手段來提供(gong)下半身的(de)(de)姿態(tai)估計。實際上，如果(guo)你有(you)留意映維網的(de)(de)專享，諸如Meta，卡內基·梅(mei)隆大學，蘇黎世聯(lian)邦理工學院等已經發(fa)布了各種論文研究。
現在，韓國首爾大(da)學和Meta的(de)(de)研究(jiu)人員(yuan)日前又發(fa)布了一(yi)項相關研究(jiu)。利(li)用頭顯(xian)+控制器的(de)(de)組(zu)合(he)，以及算法技(ji)巧，團隊提(ti)供了一(yi)種名為QuestEnvSim的(de)(de)解(jie)決方案。
為(wei)了實(shi)現(xian)真正的(de)臨場(chang)感，用戶的(de)Avatar必須準確地復刻肢體動(dong)作(zuo)和肢體語(yu)言，并(bing)實(shi)現(xian)與環(huan)境的(de)自然(ran)交互。基(ji)于標(biao)記(ji)的(de)追(zhui)蹤方案繁瑣和昂貴。
首爾大學和Meta團(tuan)隊的(de)目標是創建一個(ge)只依賴于消(xiao)費者VR設(she)備的(de)姿態和環境信息作為輸入的(de)追蹤方案，例如(ru)頭顯+控制器。
從稀(xi)疏傳感(gan)器合(he)(he)成(cheng)全身(shen)運動具(ju)有挑(tiao)戰性，因為諸多不(bu)(bu)同的(de)(de)(de)(de)姿態都可能(neng)符合(he)(he)給(gei)定(ding)的(de)(de)(de)(de)傳感(gan)器輸(shu)入，從而造(zao)成(cheng)不(bu)(bu)準(zhun)確(que)的(de)(de)(de)(de)估計，尤其是(shi)下半(ban)身(shen)。另外，生成(cheng)合(he)(he)理(li)的(de)(de)(de)(de)對(dui)象交互運動需要(yao)特(te)別(bie)注意。例如，當用戶與他們(men)的(de)(de)(de)(de)環(huan)境(jing)交互時(shi)(坐在(zai)沙(sha)發上或靠在(zai)桌子)，這引入了復(fu)雜的(de)(de)(de)(de)物(wu)理(li)約(yue)束。而且下半(ban)身(shen)并不(bu)(bu)總是(shi)完全受到平衡(heng)的(de)(de)(de)(de)約(yue)束，所以(yi)(yi)存在(zai)更多的(de)(de)(de)(de)模糊性。例如，當坐在(zai)沙(sha)發時(shi)，諸多不(bu)(bu)同的(de)(de)(de)(de)姿態都可能(neng)符合(he)(he)給(gei)定(ding)的(de)(de)(de)(de)傳感(gan)器輸(shu)入，所以(yi)(yi)造(zao)成(cheng)不(bu)(bu)準(zhun)確(que)的(de)(de)(de)(de)估計。
在(zai)名(ming)為《QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors》的論文(wen)中(zhong)，團(tuan)隊(dui)開(kai)發了一種將頭顯和控制(zhi)器姿態以及環境的表示作為輸入(ru)，并生成與(yu)傳感器輸入(ru)及其周圍(wei)環境相匹配的全身運動(dong)的運動(dong)追蹤算法。
具體地說，團(tuan)隊使(shi)用物(wu)理模擬的Avatar，并通過(guo)深度強化學習學習控制(zhi)策略來產生扭矩以驅(qu)動Avatar，目標是盡可能接近地追蹤(zong)用戶的頭顯和(he)控制(zhi)器姿態(tai)。
當然，社(she)區已(yi)經提出了多種類(lei)似于所述方(fang)法的(de)(de)基于物理(li)Avatar的(de)(de)運動追蹤系統。但研究人(ren)(ren)員認為，對于特定方(fang)法，除了腳(jiao)-地板接觸之外，它們(men)尚未證明(ming)其他環境交(jiao)互(hu)。至于其他方(fang)法，它們(men)采用人(ren)(ren)工(gong)力來處理(li)復雜的(de)(de)接觸動力學，而這會(hui)產生(sheng)不自(zi)然的(de)(de)運動。
首爾大學和(he)Meta不是(shi)使(shi)用(yong)人工力量，他(ta)們的(de)(de)(de)控(kong)制策略訓練成積極地使(shi)用(yong)環境來(lai)產(chan)(chan)生適(shi)當的(de)(de)(de)外(wai)部力量來(lai)驅動模擬(ni)Avatar，而其中(zhong)的(de)(de)(de)策略是(shi)從包括環境交互的(de)(de)(de)動捕數據中(zhong)學習。所以，系統產(chan)(chan)生的(de)(de)(de)動作在(zai)物理上(shang)是(shi)準確的(de)(de)(de)，在(zai)環境中(zhong)更可信(xin)。例如(ru)，如(ru)果(guo)頭戴式顯示器靠近椅子，這可能意味著(zhu)用(yong)戶已經(jing)坐(zuo)了(le)下(xia)來(lai)，而不是(shi)僅僅處于蹲伏的(de)(de)(de)狀態。
研究人員(yuan)首先證(zheng)明(ming)了稀疏上(shang)半身輸入。如果與物理模(mo)擬(ni)和環境(jing)觀察(cha)相結合，其可(ke)以(yi)在高度受限的環境(jing)中(zhong)產(chan)生真(zhen)實的全身運動，無需使用(yong)任何(he)人工力。
為了展(zhan)示系統的能(neng)力，研究人員展(zhan)示了各種各樣的例子，比(bi)如坐在椅(yi)(yi)子、沙發和(he)盒子、踏過(guo)盒子、搖椅(yi)(yi)子和(he)轉(zhuan)動(dong)辦(ban)公椅(yi)(yi)等(deng)(deng)等(deng)(deng)。其中，所有(you)的動(dong)作都是由真實用戶輸入產生，不(bu)使用任(ren)何(he)后處理，例如逆(ni)運動(dong)學、接(jie)觸解析和(he)平(ping)滑(hua)等(deng)(deng)。
當然(ran)(ran)，如果(guo)你留(liu)意上(shang)面的視(shi)頻，你依(yi)(yi)然(ran)(ran)會發現由于攝像頭(tou)視(shi)場覆(fu)蓋問題，以及諸多不同的姿態都可(ke)能符合給定的傳感器輸入，所以QuestEnvSim依(yi)(yi)然(ran)(ran)無法準(zhun)(zhun)確估(gu)計(ji)微妙(miao)的下半身(shen)姿態，尤其是視(shi)頻后半段，你會多次發現下半身(shen)的姿態估(gu)計(ji)不完全準(zhun)(zhun)確。
相(xiang)關論文：QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors
不過(guo)，研究人員相信這是稀疏傳感器與(yu)場景交互的運動追蹤(zong)所取得的最高質量結(jie)果之一。接下來，團(tuan)隊將繼續(xu)努力(li)，并不斷優化解決方(fang)案(an)。
