在AR/VR中，用戶可以(yi)以(yi)特定的Avatar虛擬化身形式出現(xian)，并(bing)可映射(she)真實用戶的物理(li)動(dong)作，例(li)如(ru)《頭號玩(wan)家(jia)》中少年韋德·沃茲的VR化身帕西(xi)法爾或(huo)《星球(qiu)大戰》中的AR全(quan)息萊(lai)婭(ya)公主。
實際上，蘋果早前已經(jing)提交過多份(fen)與(yu)所述(shu)主題相關的專利申請，而日前一(yi)份(fen)名為“Moving an avatar based on real-world data”的發明中，蘋果又介紹了(le)一(yi)種(zhong)通過基于(yu)外部傳感(gan)器的信(xin)息來(lai)移(yi)動Avatar虛擬化身的方法。
簡單來(lai)說，專(zhuan)利描述的實施例允許SR系(xi)統能(neng)夠基于外部傳感器(qi)檢測的用(yong)(yong)戶(hu)移動(dong)信息來(lai)為用(yong)(yong)戶(hu)的SR表(biao)(biao)示生(sheng)成(cheng)移動(dong)序列。用(yong)(yong)戶(hu)的移動(dong)信息表(biao)(biao)征(zheng)了用(yong)(yong)戶(hu)在不同(tong)時(shi)間(jian)的身(shen)體姿勢。例如，移動(dong)信息表(biao)(biao)征(zheng)用(yong)(yong)戶(hu)在第(di)一時(shi)間(jian)的第(di)一身(shen)體姿勢和用(yong)(yong)戶(hu)在第(di)二時(shi)間(jian)的第(di)二身(shen)體姿勢。
如(ru)果(guo)不同身體姿勢之間(jian)的(de)(de)轉(zhuan)換滿(man)(man)足可(ke)接(jie)受性閾(yu)值，則根據為SR表(biao)示(shi)(shi)生成(cheng)的(de)(de)移動序列移動SR表(biao)示(shi)(shi)。例如(ru)，如(ru)果(guo)第(di)一身體姿勢和第(di)二身體姿勢之間(jian)的(de)(de)轉(zhuan)換滿(man)(man)足可(ke)接(jie)受性閾(yu)值，則根據為SR表(biao)示(shi)(shi)生成(cheng)的(de)(de)移動序列移動SR表(biao)示(shi)(shi)。
在一(yi)個實施例(li)中，可(ke)接受性(xing)閾(yu)值指定(ding)一(yi)個持(chi)續時(shi)間，如果(guo)在可(ke)接受性(xing)閾(yu)值指定(ding)的(de)持(chi)續時(shi)間內完成轉換(huan)，則轉換(huan)滿足可(ke)接受性(xing)閾(yu)值。在一(yi)個實施例(li)中，如果(guo)轉換(huan)包含與模板身體移(yi)動(dong)(dong)匹配的(de)移(yi)動(dong)(dong)，則轉換(huan)滿足可(ke)接受性(xing)閾(yu)值。
圖1是基(ji)于上述實施例(li)的(de)一(yi)個(ge)的(de)示例(li)性操作環境100，其包括由用戶108穿戴的(de)頭(tou)戴式顯示器(qi)120，兩個(ge)外部(bu)(bu)傳感器(qi)130A和130B，以(yi)及(ji)一(yi)個(ge)控(kong)制組件110。需(xu)要理解的(de)是，在其他實施例(li)中可以(yi)包括兩個(ge)或以(yi)上的(de)外部(bu)(bu)傳感器(qi)。
在一個(ge)(ge)實施例中，控(kong)制組件110配置成管理和協調用戶的SR沉(chen)浸式體驗。控(kong)制組件可以是一個(ge)(ge)本(ben)地服務器(qi)或一個(ge)(ge)遠程服務器(qi)，并以有線(xian)或無線(xian)方式來與頭顯(xian)和外部傳感器(qi)耦合。
在一個實施例中，兩個外(wai)部傳感器130A和130B配置成檢測用戶(hu)108的移(yi)動(dong)，并為控制組(zu)件110和/或頭顯120提供與用戶(hu)108相關的移(yi)動(dong)信(xin)息。
外(wai)部傳感器包括圖(tu)像傳感器，而(er)移(yi)動(dong)信息(xi)(xi)(xi)包括用戶(hu)的(de)(de)(de)圖(tu)像。其中(zhong)，移(yi)動(dong)信息(xi)(xi)(xi)132表(biao)(biao)征用戶(hu)108的(de)(de)(de)一(yi)個(ge)或(huo)多個(ge)身(shen)體(ti)(ti)姿(zi)勢(shi)。在(zai)(zai)一(yi)個(ge)實施例中(zhong)，移(yi)動(dong)信息(xi)(xi)(xi)132表(biao)(biao)征用戶(hu)108在(zai)(zai)不同時(shi)間(jian)的(de)(de)(de)身(shen)體(ti)(ti)姿(zi)勢(shi)。例如(ru)，移(yi)動(dong)信息(xi)(xi)(xi)132在(zai)(zai)第一(yi)時(shi)間(jian)表(biao)(biao)征第一(yi)身(shen)體(ti)(ti)姿(zi)勢(shi)，在(zai)(zai)第二時(shi)間(jian)表(biao)(biao)征第二身(shen)體(ti)(ti)姿(zi)勢(shi)。在(zai)(zai)一(yi)個(ge)實施例中(zhong)，移(yi)動(dong)信息(xi)(xi)(xi)132指示用戶(hu)108的(de)(de)(de)關(guan)(guan)節(jie)位置和/或(huo)關(guan)(guan)節(jie)方向。
頭顯120可(ke)以向用戶(hu)108呈現SR內(nei)容124，其中(zhong)SR內(nei)容124包括(kuo)對應(ying)于(yu)用戶(hu)108的Avartar虛擬化(hua)身126。在一(yi)個實(shi)施例(li)中(zhong)，控(kong)制組件110和(he)/或頭顯120可(ke)以基于(yu)移動信(xin)息(xi)132來致使Avatar126移動。在一(yi)個實(shi)施例(li)中(zhong)，如果移動信(xin)息(xi)132指示身體姿勢之間的轉(zhuan)換滿足可(ke)接受性閾值，則Avatar126移動。
圖(tu)2是控制(zhi)組件110的示(shi)例(li)框圖(tu)。其中，控制(zhi)組件包括SR體驗(yan)模塊(kuai)(kuai)240。SR體驗(yan)模塊(kuai)(kuai)240包括數據獲取(qu)單(dan)(dan)元(yuan)242、姿勢評估單(dan)(dan)元(yuan)244、移動生成單(dan)(dan)元(yuan)246和數據發送(song)單(dan)(dan)元(yuan)248。
在(zai)一(yi)(yi)個(ge)實施(shi)例(li)中，數(shu)據(ju)獲(huo)取(qu)單(dan)元242配(pei)置為從頭顯(xian)120和外部(bu)傳感器130A-B中的(de)至(zhi)少一(yi)(yi)個(ge)獲(huo)取(qu)數(shu)據(ju)。例(li)如(ru)，數(shu)據(ju)獲(huo)取(qu)單(dan)元242可以(yi)獲(huo)取(qu)圖1所示的(de)移動信息132，或(huo)者數(shu)據(ju)獲(huo)取(qu)單(dan)元242獲(huo)取(qu)場景105的(de)圖像。在(zai)這(zhe)種實現中，數(shu)據(ju)獲(huo)取(qu)單(dan)元242執行場景理解(jie)以(yi)識別用戶(hu)108和用戶(hu)108的(de)身體姿勢。例(li)如(ru)，數(shu)據(ju)獲(huo)取(qu)單(dan)元242可以(yi)基于所獲(huo)得的(de)數(shu)據(ju)確(que)定(ding)用戶(hu)108的(de)關節(jie)位置和/或(huo)關節(jie)方向。
在一個(ge)實施(shi)(shi)例中(zhong)，姿勢(shi)評估(gu)(gu)單元244確定身(shen)(shen)體姿勢(shi)之間的(de)轉(zhuan)(zhuan)換是否(fou)滿(man)(man)足可接(jie)受性閾值。例如在一個(ge)實施(shi)(shi)例中(zhong)，姿勢(shi)評估(gu)(gu)單元244確定從用戶108在第(di)一時(shi)間的(de)第(di)一身(shen)(shen)體姿勢(shi)到(dao)用戶108在第(di)二(er)時(shi)間的(de)第(di)二(er)身(shen)(shen)體姿勢(shi)的(de)轉(zhuan)(zhuan)換是否(fou)滿(man)(man)足可接(jie)受性閾值。
在一(yi)個(ge)實施例中，可接受性閾(yu)值與空間(jian)可接受性相關。姿勢評(ping)估(gu)單元(yuan)244確定轉換是(shi)否包括在模(mo)板(ban)(ban)可接受閾(yu)值內的移動。例如，姿勢評(ping)估(gu)單元(yuan)244確定用戶(hu)108的關節位置和(he)/或關節方(fang)向是(shi)否匹配(pei)模(mo)板(ban)(ban)關節位置和(he)/或模(mo)板(ban)(ban)關節方(fang)向。
在(zai)一個實施例(li)中(zhong)，可(ke)接受性閾值(zhi)(zhi)與時(shi)(shi)間(jian)可(ke)接受性相(xiang)關。姿(zi)勢評估單(dan)元244確定(ding)轉(zhuan)換是否(fou)在(zai)可(ke)接受性閾值(zhi)(zhi)指(zhi)示的時(shi)(shi)間(jian)量內完成。例(li)如，姿(zi)勢評估單(dan)元244確定(ding)第一時(shi)(shi)間(jian)和(he)第二時(shi)(shi)間(jian)之間(jian)的時(shi)(shi)間(jian)差是否(fou)在(zai)由可(ke)接受性閾值(zhi)(zhi)指(zhi)示的閾值(zhi)(zhi)時(shi)(shi)間(jian)段內。
在(zai)一個實施(shi)例中(zhong)，姿(zi)勢(shi)評(ping)(ping)估(gu)單(dan)(dan)元244確定(ding)可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)。在(zai)一個實施(shi)例中(zhong)，姿(zi)勢(shi)評(ping)(ping)估(gu)單(dan)(dan)元244接(jie)(jie)收指示(shi)可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)的用(yong)戶輸入。姿(zi)勢(shi)評(ping)(ping)估(gu)單(dan)(dan)元244基于(yu)用(yong)戶108的過去表(biao)現來調整可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)。例如，如果(guo)用(yong)戶108在(zai)滿足可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)方面有困難，則姿(zi)勢(shi)評(ping)(ping)估(gu)單(dan)(dan)元244放松可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)。在(zai)一些實現中(zhong)，如果(guo)用(yong)戶108太容易滿足可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)，則姿(zi)勢(shi)評(ping)(ping)估(gu)單(dan)(dan)元244收緊可接(jie)(jie)受性(xing)閾(yu)(yu)值(zhi)(zhi)。
響應于滿足(zu)可接受性(xing)閾值(zhi)的(de)(de)(de)身(shen)體(ti)(ti)姿勢之間的(de)(de)(de)轉換，生(sheng)成單(dan)元(yuan)(yuan)246為Avatar126生(sheng)成移(yi)(yi)(yi)(yi)(yi)動(dong)序列。在(zai)一個實施例，移(yi)(yi)(yi)(yi)(yi)動(dong)生(sheng)成單(dan)元(yuan)(yuan)246為Avatar126選(xuan)擇模(mo)板(ban)身(shen)體(ti)(ti)移(yi)(yi)(yi)(yi)(yi)動(dong)。移(yi)(yi)(yi)(yi)(yi)動(dong)生(sheng)成單(dan)元(yuan)(yuan)246從(cong)存(cun)儲在(zai)存(cun)儲器(qi)220中的(de)(de)(de)一組(zu)模(mo)板(ban)身(shen)體(ti)(ti)移(yi)(yi)(yi)(yi)(yi)動(dong)中選(xuan)擇模(mo)板(ban)身(shen)體(ti)(ti)移(yi)(yi)(yi)(yi)(yi)動(dong)。在(zai)一個實施例中，移(yi)(yi)(yi)(yi)(yi)動(dong)生(sheng)成單(dan)元(yuan)(yuan)246基于用戶108的(de)(de)(de)第一身(shen)體(ti)(ti)姿勢和(he)第二身(shen)體(ti)(ti)姿勢選(xuan)擇模(mo)板(ban)身(shen)體(ti)(ti)移(yi)(yi)(yi)(yi)(yi)動(dong)。在(zai)這種實現中，移(yi)(yi)(yi)(yi)(yi)動(dong)生(sheng)成單(dan)元(yuan)(yuan)246針對(dui)用戶108的(de)(de)(de)不同(tong)開(kai)始和(he)結束身(shen)體(ti)(ti)姿勢選(xuan)擇不同(tong)的(de)(de)(de)模(mo)板(ban)身(shen)體(ti)(ti)移(yi)(yi)(yi)(yi)(yi)動(dong)。
數據(ju)發送單(dan)元248配置(zhi)為向(xiang)頭顯(xian)120發送數據(ju)，例如將Avatar126的移動(dong)序列發送到(dao)頭顯(xian)120。
圖(tu)3是頭顯(xian)的示例(li)性框圖(tu)。在一個(ge)實施(shi)(shi)例(li)中，頭顯(xian)包括SR呈(cheng)現(xian)單(dan)元344，后者配置為經由(you)一個(ge)或多個(ge)SR顯(xian)示器312呈(cheng)現(xian)SR內容(rong)(rong)。在一個(ge)實施(shi)(shi)例(li)中，SR呈(cheng)現(xian)單(dan)元344從控制(zhi)組件110獲取與SR內容(rong)(rong)124相對應的數據。或者，SR呈(cheng)現(xian)單(dan)元344利(li)用(yong)移動信息(xi)132來合成SR內容(rong)(rong)124。在各種實現(xian)中，SR呈(cheng)現(xian)單(dan)元344向用(yong)戶108呈(cheng)現(xian)SR內容(rong)(rong)124。
專利圖4是外部傳(chuan)感器的示例性框圖
在一個(ge)實施例中，兩個(ge)外部傳感器130A和130B配置成檢測用戶(hu)108的(de)移動，并為控制組件(jian)110和/或頭顯120提供與用戶(hu)108相(xiang)關的(de)移動信息。
外(wai)部(bu)傳(chuan)感(gan)器包括(kuo)圖像(xiang)傳(chuan)感(gan)器，而移動信(xin)息(xi)包括(kuo)用戶(hu)的圖像(xiang)。其中(zhong)，移動信(xin)息(xi)132表(biao)征(zheng)用戶(hu)108的一(yi)(yi)個(ge)(ge)或(huo)多個(ge)(ge)身體姿勢(shi)(shi)。在一(yi)(yi)個(ge)(ge)實(shi)施例(li)中(zhong)，移動信(xin)息(xi)132表(biao)征(zheng)用戶(hu)108在不同(tong)時(shi)間的身體姿勢(shi)(shi)。例(li)如，移動信(xin)息(xi)132在第(di)一(yi)(yi)時(shi)間表(biao)征(zheng)第(di)一(yi)(yi)身體姿勢(shi)(shi)，在第(di)二時(shi)間表(biao)征(zheng)第(di)二身體姿勢(shi)(shi)。在一(yi)(yi)個(ge)(ge)實(shi)施例(li)中(zhong)，移動信(xin)息(xi)132指示用戶(hu)108的關節位置和(he)/或(huo)關節方(fang)向。
圖5A-5B說明了示例(li)性移動信息500/500A。移動信息500表(biao)征用戶(hu)在第(di)(di)(di)(di)一(yi)時(shi)間512的(de)(de)(de)第(di)(di)(di)(di)一(yi)身(shen)體姿(zi)勢510和(he)用戶(hu)在第(di)(di)(di)(di)二時(shi)間522的(de)(de)(de)第(di)(di)(di)(di)二身(shen)體姿(zi)勢520。圖5A同時(shi)示出(chu)了從第(di)(di)(di)(di)一(yi)身(shen)體姿(zi)勢510到(dao)第(di)(di)(di)(di)二身(shen)體姿(zi)勢520的(de)(de)(de)過(guo)渡530。
在(zai)圖5A的(de)示例中，轉換(huan)530滿足(zu)可(ke)接受性(xing)(xing)閾(yu)值(zhi)540。在(zai)一個實施例中，轉換(huan)530滿足(zu)可(ke)接受性(xing)(xing)閾(yu)值(zhi)540，因為(wei)轉換(huan)530包(bao)括與(yu)模板身體(ti)移(yi)動(dong)(dong)(dong)匹配(pei)的(de)移(yi)動(dong)(dong)(dong)。例如，過渡530包(bao)括與(yu)相應模板身體(ti)姿勢(shi)匹配(pei)的(de)中間身體(ti)姿勢(shi)。由于轉換(huan)530滿足(zu)可(ke)接受性(xing)(xing)閾(yu)值(zhi)540，所以控制組件110和/或頭顯120為(wei)用戶108的(de)SR表示126生成移(yi)動(dong)(dong)(dong)序列。所以，移(yi)動(dong)(dong)(dong)信(xin)息500將致使用戶108的(de)Avatar126移(yi)動(dong)(dong)(dong)。
圖5B示(shi)(shi)出(chu)了(le)示(shi)(shi)例(li)移(yi)動(dong)(dong)(dong)(dong)信(xin)息(xi)500A。移(yi)動(dong)(dong)(dong)(dong)信(xin)息(xi)500A表征用(yong)戶(hu)在(zai)第(di)三(san)時間552的(de)第(di)三(san)身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)550和用(yong)戶(hu)在(zai)第(di)四時間562的(de)第(di)四身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)560。圖5B同時示(shi)(shi)出(chu)了(le)從第(di)三(san)身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)550到第(di)四身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)560的(de)過渡(du)570。在(zai)圖5B的(de)示(shi)(shi)例(li)中，轉(zhuan)換570違反（不(bu)滿(man)足）可接受性閾值580。例(li)如，轉(zhuan)換570包(bao)(bao)括與(yu)模板(ban)身(shen)(shen)(shen)(shen)體(ti)移(yi)動(dong)(dong)(dong)(dong)不(bu)匹(pi)(pi)配的(de)移(yi)動(dong)(dong)(dong)(dong)，例(li)如過渡(du)570包(bao)(bao)括與(yu)相應模板(ban)身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)不(bu)匹(pi)(pi)配的(de)中間身(shen)(shen)(shen)(shen)體(ti)姿(zi)(zi)(zi)勢(shi)(shi)。由于轉(zhuan)換570不(bu)滿(man)足可接受性閾值580，控(kong)制組件(jian)110和/或頭顯120不(bu)為用(yong)戶(hu)108的(de)Avatar126生成移(yi)動(dong)(dong)(dong)(dong)序列。所以(yi)，移(yi)動(dong)(dong)(dong)(dong)信(xin)息(xi)500A不(bu)會致(zhi)使用(yong)戶(hu)108的(de)Avatar126移(yi)動(dong)(dong)(dong)(dong)。
在一個實施(shi)例(li)中(zhong)，可(ke)(ke)接(jie)受性閾(yu)值(zhi)(zhi)(zhi)根據滿足可(ke)(ke)接(jie)受性閾(yu)值(zhi)(zhi)(zhi)的先(xian)前(qian)轉換而改變(bian)。例(li)如，如果先(xian)前(qian)轉換的閾(yu)值(zhi)(zhi)(zhi)數量滿足圖5A的可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)540，則控制組件110和/或(huo)(huo)頭顯120將可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)540縮小到圖5B所示的可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)580。如果先(xian)前(qian)轉換的閾(yu)值(zhi)(zhi)(zhi)數量違反(fan)圖5B的可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)580，則控制組件110和/或(huo)(huo)頭顯120將可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)580加寬到圖5A所示的可(ke)(ke)接(jie)受閾(yu)值(zhi)(zhi)(zhi)540。
在一個實(shi)施例中，可(ke)(ke)接(jie)受(shou)性(xing)(xing)閾值(zhi)(zhi)的(de)變化程度是前(qian)一個過渡的(de)破(po)壞程度的(de)函數(shu)。例如，如果先前(qian)的(de)轉(zhuan)換超(chao)出可(ke)(ke)接(jie)受(shou)性(xing)(xing)閾值(zhi)(zhi)5-10%，則控制(zhi)(zhi)組件110和(he)(he)/或頭顯120將可(ke)(ke)接(jie)受(shou)性(xing)(xing)閾值(zhi)(zhi)擴(kuo)大12%。但如果之前(qian)的(de)轉(zhuan)換違反可(ke)(ke)接(jie)受(shou)性(xing)(xing)閾值(zhi)(zhi)20-30%，則控制(zhi)(zhi)組件110和(he)(he)/或頭顯120將可(ke)(ke)接(jie)受(shou)性(xing)(xing)閾值(zhi)(zhi)擴(kuo)大35%。
在一個實施例中，根據之前的轉(zhuan)換(huan)更改可(ke)(ke)接(jie)受(shou)(shou)性(xing)(xing)閾值(zhi)可(ke)(ke)以(yi)增強用戶(hu)(hu)體驗。根據之前的轉(zhuan)換(huan)更改可(ke)(ke)接(jie)受(shou)(shou)性(xing)(xing)閾值(zhi)可(ke)(ke)以(yi)考(kao)慮不同能(neng)力的用戶(hu)(hu)。縮小可(ke)(ke)接(jie)受(shou)(shou)性(xing)(xing)閾值(zhi)會鼓勵用戶(hu)(hu)改善他/她(ta)的身體姿(zi)勢轉(zhuan)換(huan)，而擴大可(ke)(ke)接(jie)受(shou)(shou)性(xing)(xing)閾值(zhi)允許用戶(hu)(hu)滿足可(ke)(ke)接(jie)受(shou)(shou)性(xing)(xing)閾值(zhi)。
相關專利(li)：Apple Patent | Moving an avatar based on real-world data
名為(wei)“Moving an avatar based on real-world data”的(de)蘋果專利(li)(li)申請最初在2021年3月提交，并(bing)在日前由美國專利(li)(li)商(shang)標局公布。
