在(zai)AR/VR中，用戶可(ke)以以特定的(de)Avatar虛擬化身形式出現，并可(ke)映射真(zhen)實用戶的(de)物理動作，例如《頭號玩家》中少(shao)年韋德·沃茲(zi)的(de)VR化身帕西法(fa)爾或(huo)《星球(qiu)大戰》中的(de)AR全(quan)息萊婭公主。
實際上，蘋(pin)果早前已經提交過(guo)多份與(yu)所述(shu)主題相關的(de)專(zhuan)利申請，而日前一(yi)份名為“Moving an avatar based on real-world data”的(de)發明中，蘋(pin)果又(you)介紹了一(yi)種通過(guo)基于外部(bu)傳感器的(de)信息來移動Avatar虛擬(ni)化身的(de)方(fang)法。
簡單(dan)來(lai)說，專(zhuan)利描述的(de)實施例(li)允(yun)許SR系統(tong)能夠基于外部傳感器檢(jian)測(ce)的(de)用(yong)戶移(yi)(yi)動信(xin)息來(lai)為用(yong)戶的(de)SR表示生成移(yi)(yi)動序(xu)列(lie)。用(yong)戶的(de)移(yi)(yi)動信(xin)息表征(zheng)了用(yong)戶在(zai)不同時間的(de)身(shen)體姿勢(shi)(shi)。例(li)如(ru)，移(yi)(yi)動信(xin)息表征(zheng)用(yong)戶在(zai)第(di)一時間的(de)第(di)一身(shen)體姿勢(shi)(shi)和用(yong)戶在(zai)第(di)二(er)時間的(de)第(di)二(er)身(shen)體姿勢(shi)(shi)。
如(ru)(ru)果不同身體(ti)姿勢(shi)(shi)之間的(de)轉換滿(man)足(zu)可接受性閾(yu)(yu)值，則根據為SR表(biao)示(shi)生成的(de)移(yi)動(dong)序列(lie)移(yi)動(dong)SR表(biao)示(shi)。例如(ru)(ru)，如(ru)(ru)果第(di)一身體(ti)姿勢(shi)(shi)和第(di)二身體(ti)姿勢(shi)(shi)之間的(de)轉換滿(man)足(zu)可接受性閾(yu)(yu)值，則根據為SR表(biao)示(shi)生成的(de)移(yi)動(dong)序列(lie)移(yi)動(dong)SR表(biao)示(shi)。
在(zai)(zai)一(yi)(yi)個實施(shi)例(li)中，可接(jie)(jie)受性(xing)閾值指定一(yi)(yi)個持(chi)(chi)續時(shi)間，如果在(zai)(zai)可接(jie)(jie)受性(xing)閾值指定的(de)持(chi)(chi)續時(shi)間內完成(cheng)轉(zhuan)換，則(ze)轉(zhuan)換滿(man)足可接(jie)(jie)受性(xing)閾值。在(zai)(zai)一(yi)(yi)個實施(shi)例(li)中，如果轉(zhuan)換包(bao)含與模板身(shen)體(ti)移動匹配的(de)移動，則(ze)轉(zhuan)換滿(man)足可接(jie)(jie)受性(xing)閾值。
圖(tu)1是基于上述實施(shi)(shi)例的(de)(de)一個(ge)的(de)(de)示例性操作環境100，其包括(kuo)(kuo)由用戶(hu)108穿戴(dai)的(de)(de)頭戴(dai)式顯示器(qi)120，兩個(ge)外(wai)部(bu)傳(chuan)感器(qi)130A和(he)130B，以(yi)及一個(ge)控制組(zu)件110。需(xu)要理解(jie)的(de)(de)是，在(zai)其他實施(shi)(shi)例中可以(yi)包括(kuo)(kuo)兩個(ge)或以(yi)上的(de)(de)外(wai)部(bu)傳(chuan)感器(qi)。
在(zai)一(yi)個(ge)實(shi)施例中，控制組(zu)件110配置成管(guan)理(li)和協(xie)調(diao)用戶的(de)SR沉浸式體驗。控制組(zu)件可以是一(yi)個(ge)本地服(fu)務器或(huo)一(yi)個(ge)遠程服(fu)務器，并以有線(xian)或(huo)無線(xian)方式來與頭顯和外部傳感器耦合。
在一個(ge)實施例中，兩個(ge)外(wai)部傳(chuan)感器130A和130B配置成(cheng)檢測用戶108的移動，并為控制(zhi)組件110和/或頭顯120提(ti)供與用戶108相關(guan)的移動信息。
外(wai)部傳感(gan)器(qi)包括圖像傳感(gan)器(qi)，而移(yi)動(dong)信(xin)息包括用(yong)戶(hu)的(de)圖像。其中(zhong)，移(yi)動(dong)信(xin)息132表征(zheng)用(yong)戶(hu)108的(de)一(yi)(yi)(yi)(yi)個或多(duo)個身體(ti)姿(zi)(zi)勢。在(zai)一(yi)(yi)(yi)(yi)個實(shi)(shi)施例(li)(li)中(zhong)，移(yi)動(dong)信(xin)息132表征(zheng)用(yong)戶(hu)108在(zai)不同時(shi)間(jian)的(de)身體(ti)姿(zi)(zi)勢。例(li)(li)如，移(yi)動(dong)信(xin)息132在(zai)第(di)一(yi)(yi)(yi)(yi)時(shi)間(jian)表征(zheng)第(di)一(yi)(yi)(yi)(yi)身體(ti)姿(zi)(zi)勢，在(zai)第(di)二時(shi)間(jian)表征(zheng)第(di)二身體(ti)姿(zi)(zi)勢。在(zai)一(yi)(yi)(yi)(yi)個實(shi)(shi)施例(li)(li)中(zhong)，移(yi)動(dong)信(xin)息132指示用(yong)戶(hu)108的(de)關(guan)節位置和(he)/或關(guan)節方向(xiang)。
頭顯(xian)120可以向用戶108呈現SR內容124，其中SR內容124包括對應于用戶108的Avartar虛擬化身(shen)126。在一(yi)個實(shi)施(shi)例中，控(kong)制(zhi)組件110和/或頭顯(xian)120可以基于移(yi)動信(xin)息132來致使Avatar126移(yi)動。在一(yi)個實(shi)施(shi)例中，如果移(yi)動信(xin)息132指示(shi)身(shen)體姿(zi)勢之間的轉換滿足可接(jie)受性(xing)閾值(zhi)，則(ze)Avatar126移(yi)動。
圖2是控(kong)制(zhi)組件110的(de)示例框(kuang)圖。其中，控(kong)制(zhi)組件包(bao)括SR體驗模塊(kuai)240。SR體驗模塊(kuai)240包(bao)括數據(ju)獲取單(dan)元(yuan)242、姿勢評估單(dan)元(yuan)244、移動生成單(dan)元(yuan)246和(he)數據(ju)發送單(dan)元(yuan)248。
在一個實(shi)(shi)施例中(zhong)，數(shu)(shu)據(ju)(ju)(ju)(ju)獲(huo)(huo)取(qu)單元242配置為(wei)從(cong)頭(tou)顯120和(he)外(wai)部傳感器(qi)130A-B中(zhong)的至少一個獲(huo)(huo)取(qu)數(shu)(shu)據(ju)(ju)(ju)(ju)。例如，數(shu)(shu)據(ju)(ju)(ju)(ju)獲(huo)(huo)取(qu)單元242可以獲(huo)(huo)取(qu)圖(tu)1所示的移動(dong)信息132，或者數(shu)(shu)據(ju)(ju)(ju)(ju)獲(huo)(huo)取(qu)單元242獲(huo)(huo)取(qu)場景105的圖(tu)像。在這種實(shi)(shi)現中(zhong)，數(shu)(shu)據(ju)(ju)(ju)(ju)獲(huo)(huo)取(qu)單元242執行(xing)場景理解以識別用(yong)戶108和(he)用(yong)戶108的身(shen)體姿勢。例如，數(shu)(shu)據(ju)(ju)(ju)(ju)獲(huo)(huo)取(qu)單元242可以基于所獲(huo)(huo)得的數(shu)(shu)據(ju)(ju)(ju)(ju)確定用(yong)戶108的關(guan)節位置和(he)/或關(guan)節方向。
在一個實(shi)(shi)施例(li)中，姿(zi)(zi)勢(shi)評(ping)估單元244確定(ding)身體姿(zi)(zi)勢(shi)之間(jian)的轉(zhuan)換(huan)是否(fou)滿足(zu)可(ke)(ke)接受(shou)(shou)性閾(yu)值。例(li)如在一個實(shi)(shi)施例(li)中，姿(zi)(zi)勢(shi)評(ping)估單元244確定(ding)從用(yong)戶108在第(di)一時間(jian)的第(di)一身體姿(zi)(zi)勢(shi)到用(yong)戶108在第(di)二(er)時間(jian)的第(di)二(er)身體姿(zi)(zi)勢(shi)的轉(zhuan)換(huan)是否(fou)滿足(zu)可(ke)(ke)接受(shou)(shou)性閾(yu)值。
在一(yi)個實施例中(zhong)，可接(jie)受(shou)(shou)性(xing)閾(yu)值與空間可接(jie)受(shou)(shou)性(xing)相關(guan)。姿勢評估(gu)單元(yuan)244確定轉換(huan)是(shi)否包括在模板(ban)(ban)可接(jie)受(shou)(shou)閾(yu)值內的移動。例如，姿勢評估(gu)單元(yuan)244確定用戶108的關(guan)節位置和/或(huo)關(guan)節方向(xiang)是(shi)否匹配模板(ban)(ban)關(guan)節位置和/或(huo)模板(ban)(ban)關(guan)節方向(xiang)。
在(zai)一(yi)個實施例(li)中，可(ke)接(jie)受(shou)性(xing)閾(yu)(yu)(yu)值(zhi)(zhi)與時間可(ke)接(jie)受(shou)性(xing)相關。姿勢評估單元(yuan)244確定轉換是(shi)否在(zai)可(ke)接(jie)受(shou)性(xing)閾(yu)(yu)(yu)值(zhi)(zhi)指(zhi)示(shi)的(de)時間量內完成(cheng)。例(li)如，姿勢評估單元(yuan)244確定第一(yi)時間和第二時間之間的(de)時間差是(shi)否在(zai)由可(ke)接(jie)受(shou)性(xing)閾(yu)(yu)(yu)值(zhi)(zhi)指(zhi)示(shi)的(de)閾(yu)(yu)(yu)值(zhi)(zhi)時間段內。
在(zai)一個(ge)實施例(li)(li)中，姿(zi)勢評(ping)(ping)估單元244確定可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)。在(zai)一個(ge)實施例(li)(li)中，姿(zi)勢評(ping)(ping)估單元244接收指(zhi)示可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)的(de)用(yong)戶(hu)(hu)輸入。姿(zi)勢評(ping)(ping)估單元244基于(yu)用(yong)戶(hu)(hu)108的(de)過去表現(xian)來調整可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)。例(li)(li)如，如果(guo)用(yong)戶(hu)(hu)108在(zai)滿足(zu)可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)方面有困難，則(ze)姿(zi)勢評(ping)(ping)估單元244放松(song)可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)。在(zai)一些實現(xian)中，如果(guo)用(yong)戶(hu)(hu)108太容易滿足(zu)可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)，則(ze)姿(zi)勢評(ping)(ping)估單元244收緊可(ke)(ke)接受(shou)(shou)性(xing)閾(yu)(yu)值(zhi)(zhi)(zhi)。
響(xiang)應于滿足可接受性閾值(zhi)的身(shen)(shen)體(ti)(ti)姿(zi)(zi)勢(shi)(shi)之間的轉(zhuan)換(huan)，生成單(dan)元(yuan)246為(wei)Avatar126生成移(yi)動(dong)序列。在(zai)一(yi)(yi)(yi)個實(shi)施例(li)，移(yi)動(dong)生成單(dan)元(yuan)246為(wei)Avatar126選(xuan)擇(ze)(ze)模(mo)板(ban)身(shen)(shen)體(ti)(ti)移(yi)動(dong)。移(yi)動(dong)生成單(dan)元(yuan)246從存儲(chu)在(zai)存儲(chu)器(qi)220中(zhong)的一(yi)(yi)(yi)組模(mo)板(ban)身(shen)(shen)體(ti)(ti)移(yi)動(dong)中(zhong)選(xuan)擇(ze)(ze)模(mo)板(ban)身(shen)(shen)體(ti)(ti)移(yi)動(dong)。在(zai)一(yi)(yi)(yi)個實(shi)施例(li)中(zhong)，移(yi)動(dong)生成單(dan)元(yuan)246基于用戶(hu)108的第一(yi)(yi)(yi)身(shen)(shen)體(ti)(ti)姿(zi)(zi)勢(shi)(shi)和第二(er)身(shen)(shen)體(ti)(ti)姿(zi)(zi)勢(shi)(shi)選(xuan)擇(ze)(ze)模(mo)板(ban)身(shen)(shen)體(ti)(ti)移(yi)動(dong)。在(zai)這種實(shi)現中(zhong)，移(yi)動(dong)生成單(dan)元(yuan)246針對用戶(hu)108的不(bu)同開始和結束(shu)身(shen)(shen)體(ti)(ti)姿(zi)(zi)勢(shi)(shi)選(xuan)擇(ze)(ze)不(bu)同的模(mo)板(ban)身(shen)(shen)體(ti)(ti)移(yi)動(dong)。
數(shu)據發送單元248配置為向頭顯120發送數(shu)據，例如將(jiang)Avatar126的移動(dong)序列發送到頭顯120。
圖3是(shi)頭顯的(de)示例性(xing)框圖。在(zai)一(yi)個(ge)(ge)實施(shi)例中(zhong)，頭顯包括SR呈現單(dan)元344，后者配置為經由一(yi)個(ge)(ge)或多個(ge)(ge)SR顯示器312呈現SR內(nei)容。在(zai)一(yi)個(ge)(ge)實施(shi)例中(zhong)，SR呈現單(dan)元344從控制組件(jian)110獲取與SR內(nei)容124相對應的(de)數據。或者，SR呈現單(dan)元344利用(yong)(yong)移動(dong)信息132來合成SR內(nei)容124。在(zai)各(ge)種(zhong)實現中(zhong)，SR呈現單(dan)元344向(xiang)用(yong)(yong)戶108呈現SR內(nei)容124。
專利圖4是外部傳感器的(de)示例(li)性框圖
在一個實施例(li)中(zhong)，兩個外(wai)部傳感器130A和130B配置成(cheng)檢測用戶(hu)108的移動，并為控制組件(jian)110和/或頭顯(xian)120提供(gong)與用戶(hu)108相關(guan)的移動信息。
外部(bu)傳感器包括圖像(xiang)(xiang)傳感器，而移(yi)動信息(xi)(xi)包括用(yong)戶的圖像(xiang)(xiang)。其(qi)中，移(yi)動信息(xi)(xi)132表征用(yong)戶108的一(yi)(yi)(yi)個(ge)或多個(ge)身(shen)體(ti)(ti)(ti)姿(zi)勢(shi)。在一(yi)(yi)(yi)個(ge)實施例(li)中，移(yi)動信息(xi)(xi)132表征用(yong)戶108在不同(tong)時(shi)間(jian)的身(shen)體(ti)(ti)(ti)姿(zi)勢(shi)。例(li)如，移(yi)動信息(xi)(xi)132在第(di)一(yi)(yi)(yi)時(shi)間(jian)表征第(di)一(yi)(yi)(yi)身(shen)體(ti)(ti)(ti)姿(zi)勢(shi)，在第(di)二時(shi)間(jian)表征第(di)二身(shen)體(ti)(ti)(ti)姿(zi)勢(shi)。在一(yi)(yi)(yi)個(ge)實施例(li)中，移(yi)動信息(xi)(xi)132指示用(yong)戶108的關(guan)節位(wei)置和(he)/或關(guan)節方向。
圖(tu)5A-5B說明了示例性移動(dong)信息500/500A。移動(dong)信息500表征用戶在第(di)(di)一時(shi)間512的第(di)(di)一身體姿(zi)(zi)勢510和用戶在第(di)(di)二(er)(er)時(shi)間522的第(di)(di)二(er)(er)身體姿(zi)(zi)勢520。圖(tu)5A同時(shi)示出(chu)了從(cong)第(di)(di)一身體姿(zi)(zi)勢510到第(di)(di)二(er)(er)身體姿(zi)(zi)勢520的過渡530。
在圖5A的(de)示例(li)中，轉(zhuan)換(huan)(huan)530滿足可接(jie)(jie)受性閾值540。在一個實施(shi)例(li)中，轉(zhuan)換(huan)(huan)530滿足可接(jie)(jie)受性閾值540，因為轉(zhuan)換(huan)(huan)530包括與模板(ban)身(shen)(shen)體(ti)(ti)移(yi)動匹(pi)配的(de)移(yi)動。例(li)如，過渡530包括與相(xiang)應模板(ban)身(shen)(shen)體(ti)(ti)姿勢匹(pi)配的(de)中間身(shen)(shen)體(ti)(ti)姿勢。由于轉(zhuan)換(huan)(huan)530滿足可接(jie)(jie)受性閾值540，所以控制(zhi)組件(jian)110和/或頭顯120為用(yong)戶(hu)108的(de)SR表示126生成(cheng)移(yi)動序列。所以，移(yi)動信息500將(jiang)致使用(yong)戶(hu)108的(de)Avatar126移(yi)動。
圖5B示出了示例移(yi)動(dong)信(xin)(xin)息500A。移(yi)動(dong)信(xin)(xin)息500A表征用(yong)(yong)戶(hu)在第(di)三(san)時間552的(de)(de)(de)第(di)三(san)身(shen)體姿(zi)勢550和(he)用(yong)(yong)戶(hu)在第(di)四時間562的(de)(de)(de)第(di)四身(shen)體姿(zi)勢560。圖5B同時示出了從第(di)三(san)身(shen)體姿(zi)勢550到第(di)四身(shen)體姿(zi)勢560的(de)(de)(de)過渡(du)570。在圖5B的(de)(de)(de)示例中，轉(zhuan)換570違(wei)反（不(bu)滿足）可(ke)接受性閾(yu)值580。例如，轉(zhuan)換570包括與模板(ban)身(shen)體移(yi)動(dong)不(bu)匹配(pei)的(de)(de)(de)移(yi)動(dong)，例如過渡(du)570包括與相應(ying)模板(ban)身(shen)體姿(zi)勢不(bu)匹配(pei)的(de)(de)(de)中間身(shen)體姿(zi)勢。由于(yu)轉(zhuan)換570不(bu)滿足可(ke)接受性閾(yu)值580，控制組(zu)件(jian)110和(he)/或(huo)頭顯120不(bu)為用(yong)(yong)戶(hu)108的(de)(de)(de)Avatar126生成移(yi)動(dong)序列。所(suo)以，移(yi)動(dong)信(xin)(xin)息500A不(bu)會致(zhi)使(shi)用(yong)(yong)戶(hu)108的(de)(de)(de)Avatar126移(yi)動(dong)。
在一個實施例(li)中，可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)性閾值(zhi)(zhi)根據滿(man)足可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)性閾值(zhi)(zhi)的(de)(de)先前轉(zhuan)換(huan)而(er)改變。例(li)如，如果先前轉(zhuan)換(huan)的(de)(de)閾值(zhi)(zhi)數(shu)量滿(man)足圖5A的(de)(de)可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)540，則控制(zhi)(zhi)組件(jian)110和/或(huo)頭(tou)顯120將可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)540縮小(xiao)到圖5B所示的(de)(de)可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)580。如果先前轉(zhuan)換(huan)的(de)(de)閾值(zhi)(zhi)數(shu)量違反圖5B的(de)(de)可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)580，則控制(zhi)(zhi)組件(jian)110和/或(huo)頭(tou)顯120將可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)580加寬到圖5A所示的(de)(de)可(ke)(ke)接(jie)受(shou)(shou)(shou)(shou)閾值(zhi)(zhi)540。
在一(yi)個實施(shi)例(li)(li)中，可接受(shou)性閾(yu)值的(de)(de)變化程度是前(qian)一(yi)個過渡的(de)(de)破壞(huai)程度的(de)(de)函(han)數。例(li)(li)如(ru)，如(ru)果(guo)先前(qian)的(de)(de)轉(zhuan)換超出可接受(shou)性閾(yu)值5-10%，則控制(zhi)(zhi)組件110和/或(huo)頭顯120將(jiang)可接受(shou)性閾(yu)值擴大12%。但(dan)如(ru)果(guo)之前(qian)的(de)(de)轉(zhuan)換違反可接受(shou)性閾(yu)值20-30%，則控制(zhi)(zhi)組件110和/或(huo)頭顯120將(jiang)可接受(shou)性閾(yu)值擴大35%。
在一(yi)個(ge)實施例(li)中，根(gen)據(ju)之前的轉(zhuan)換(huan)更(geng)改可(ke)(ke)接(jie)受性(xing)閾(yu)(yu)值(zhi)可(ke)(ke)以增(zeng)強用(yong)戶體(ti)(ti)驗(yan)。根(gen)據(ju)之前的轉(zhuan)換(huan)更(geng)改可(ke)(ke)接(jie)受性(xing)閾(yu)(yu)值(zhi)可(ke)(ke)以考慮(lv)不(bu)同(tong)能力的用(yong)戶。縮小可(ke)(ke)接(jie)受性(xing)閾(yu)(yu)值(zhi)會鼓勵用(yong)戶改善他/她(ta)的身體(ti)(ti)姿勢轉(zhuan)換(huan)，而擴(kuo)大可(ke)(ke)接(jie)受性(xing)閾(yu)(yu)值(zhi)允(yun)許用(yong)戶滿(man)足(zu)可(ke)(ke)接(jie)受性(xing)閾(yu)(yu)值(zhi)。
相關專利：Apple Patent | Moving an avatar based on real-world data
名為“Moving an avatar based on real-world data”的蘋果(guo)專利申請(qing)最初在2021年3月提交，并在日前由美國專利商標局(ju)公布。
