盡管內向外(wai)追(zhui)蹤的(de)(de)性(xing)能已(yi)經足(zu)以(yi)在(zai)頭(tou)顯、控制器(qi)和雙手追(zhui)蹤方(fang)面取代外(wai)向內追(zhui)蹤，但由于視場覆蓋問題，全(quan)身動(dong)捕(bu)一直以(yi)來都是依靠外(wai)向內的(de)(de)追(zhui)蹤設(she)置來實現。不(bu)僅只是這樣，隨(sui)著(zhu)頭(tou)顯形狀參數(shu)的(de)(de)不(bu)斷小型(xing)化(hua)(hua)輕薄(bo)化(hua)(hua)，攝像頭(tou)的(de)(de)視場覆蓋問題將會變(bian)得越發(fa)困難。
不過(guo)，社區依然在(zai)積極探索利用AI等(deng)手段來提(ti)供下半身的姿態估計(ji)。實際(ji)上，如(ru)果你有留意(yi)映維網的專享，諸如(ru)Meta，卡內基(ji)·梅隆大學，蘇黎世聯(lian)邦理(li)工學院等(deng)已經(jing)發布了各(ge)種論文研究。
現在，韓(han)國首爾(er)大學和Meta的研究(jiu)人員日前又發布了一項相關研究(jiu)。利用(yong)頭顯+控(kong)制器的組(zu)合(he)，以及(ji)算法技(ji)巧，團隊提供了一種名為QuestEnvSim的解決(jue)方案。
為了實現真正的臨場感，用戶的Avatar必須準確地復刻(ke)肢體動作和(he)肢體語言(yan)，并實現與環境(jing)的自然(ran)交互。基于(yu)標(biao)記(ji)的追蹤方案繁瑣和(he)昂貴。
首爾大學和Meta團(tuan)隊的目(mu)標是創建一個只依(yi)賴于消費(fei)者VR設備的姿態(tai)和環境信息作為輸入的追蹤(zong)方案，例如頭顯+控制(zhi)器。
從稀(xi)疏傳(chuan)感(gan)(gan)(gan)器合(he)(he)成全身運(yun)動(dong)具有挑(tiao)戰(zhan)性(xing)，因為諸多不(bu)(bu)同(tong)的(de)姿態(tai)都可能符(fu)合(he)(he)給(gei)定的(de)傳(chuan)感(gan)(gan)(gan)器輸入，從而(er)造(zao)(zao)成不(bu)(bu)準確的(de)估計(ji)，尤(you)其是下半身。另外(wai)，生成合(he)(he)理的(de)對象交(jiao)互運(yun)動(dong)需要特別(bie)注(zhu)意。例如(ru)，當(dang)(dang)用(yong)戶與(yu)他們的(de)環境交(jiao)互時(坐在(zai)沙發上(shang)或靠(kao)在(zai)桌子)，這引(yin)入了復雜的(de)物理約(yue)束。而(er)且下半身并不(bu)(bu)總是完全受到平(ping)衡的(de)約(yue)束，所以存在(zai)更(geng)多的(de)模糊性(xing)。例如(ru)，當(dang)(dang)坐在(zai)沙發時，諸多不(bu)(bu)同(tong)的(de)姿態(tai)都可能符(fu)合(he)(he)給(gei)定的(de)傳(chuan)感(gan)(gan)(gan)器輸入，所以造(zao)(zao)成不(bu)(bu)準確的(de)估計(ji)。
在名為《QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors》的(de)論文中，團隊開(kai)發了一種將(jiang)頭顯和控制器姿態以及(ji)環境的(de)表(biao)示作為輸(shu)入，并生(sheng)成與傳感(gan)器輸(shu)入及(ji)其周圍環境相匹配的(de)全身運(yun)動(dong)的(de)運(yun)動(dong)追蹤(zong)算法(fa)。
具(ju)體(ti)地說，團(tuan)隊使用(yong)物理模擬(ni)的(de)Avatar，并(bing)通過深(shen)度強化學習學習控制(zhi)策(ce)略來產生扭矩以(yi)驅動Avatar，目標是盡可能接近地追蹤用(yong)戶的(de)頭顯(xian)和(he)控制(zhi)器姿態(tai)。
當然，社區已經提出了(le)多種類似于(yu)所述方法(fa)的基于(yu)物理Avatar的運(yun)動追蹤系統。但研究人員認為，對于(yu)特定方法(fa)，除了(le)腳-地板接觸之(zhi)外(wai)，它們(men)尚未證明其(qi)他(ta)環境交互。至于(yu)其(qi)他(ta)方法(fa)，它們(men)采用(yong)人工力來處(chu)理復雜(za)的接觸動力學，而這會產生不自(zi)然的運(yun)動。
首爾大學(xue)和Meta不(bu)是使(shi)用(yong)(yong)人工力量，他(ta)們的(de)(de)控制策(ce)略訓練成積極地使(shi)用(yong)(yong)環(huan)(huan)境(jing)(jing)來產(chan)生適當的(de)(de)外部力量來驅動模擬Avatar，而其中的(de)(de)策(ce)略是從(cong)包括環(huan)(huan)境(jing)(jing)交互的(de)(de)動捕數據中學(xue)習。所以，系統產(chan)生的(de)(de)動作(zuo)在(zai)(zai)物理(li)上是準(zhun)確(que)的(de)(de)，在(zai)(zai)環(huan)(huan)境(jing)(jing)中更可信。例如，如果頭(tou)戴式(shi)顯示(shi)器(qi)靠近椅(yi)子，這(zhe)可能意味(wei)著用(yong)(yong)戶已經坐了下來，而不(bu)是僅(jin)僅(jin)處于蹲(dun)伏(fu)的(de)(de)狀態。
研究人員首先(xian)證明了稀(xi)疏上半身(shen)輸入。如果與物理模擬(ni)和環境(jing)觀察相結(jie)合，其可以(yi)在高度受限的環境(jing)中(zhong)產生真實(shi)的全身(shen)運動，無需使用任(ren)何人工力。
為(wei)了(le)展示(shi)系統的能力，研(yan)究(jiu)人員展示(shi)了(le)各種各樣的例子(zi)，比如(ru)坐在椅子(zi)、沙(sha)發和(he)盒子(zi)、踏過(guo)盒子(zi)、搖椅子(zi)和(he)轉(zhuan)動辦公椅等等。其中，所有的動作都是由真實用戶輸入產生(sheng)，不使用任何后處理，例如(ru)逆運動學(xue)、接觸(chu)解析和(he)平(ping)滑(hua)等。
當(dang)然，如果你留(liu)意上面的(de)視(shi)頻，你依(yi)然會發(fa)現(xian)由于攝(she)像(xiang)頭視(shi)場覆蓋問題，以(yi)及諸多不同的(de)姿態都(dou)可能符(fu)合(he)給(gei)定的(de)傳感器(qi)輸(shu)入，所以(yi)QuestEnvSim依(yi)然無法準(zhun)確(que)估(gu)計微妙(miao)的(de)下半身姿態，尤其(qi)是視(shi)頻后(hou)半段，你會多次(ci)發(fa)現(xian)下半身的(de)姿態估(gu)計不完全準(zhun)確(que)。
相(xiang)關論文：QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors
不過，研究人(ren)員相信(xin)這是稀疏傳感器與場景交互的運動追蹤(zong)所取得的最高質量結果(guo)之一。接下來，團隊將繼續(xu)努(nu)力，并(bing)不斷優化解(jie)決方案。
