對于生(sheng)成人體(ti)肌肉骨骼表示(shi)(shi)的計算機(ji)應(ying)用(yong)程序(xu)，系統有必要知(zhi)道(dao)用(yong)戶(hu)身(shen)體(ti)的空間(jian)(jian)定位、方(fang)向(xiang)和運動(dong)，以提供身(shen)體(ti)運動(dong)的真實表示(shi)(shi)。例(li)如，通(tong)過在虛(xu)(xu)擬現實環境中追蹤用(yong)戶(hu)雙(shuang)手的空間(jian)(jian)位置，應(ying)用(yong)程序(xu)將能夠表示(shi)(shi)虛(xu)(xu)擬雙(shuang)手的運動(dong)，從而允許用(yong)戶(hu)與VR環境中的虛(xu)(xu)擬對象(xiang)交互(hu)。
使用可穿戴傳感(gan)器追蹤運動的(de)現有技術包(bao)括使用從附加到(dao)用戶(hu)(hu)身(shen)體不同部(bu)(bu)位(wei)的(de)多個慣(guan)性測量單元（IMU）獲取的(de)信息(xi)，以(yi)及使用外部(bu)(bu)成(cheng)像(xiang)設備(bei)（例如固(gu)定位(wei)置(zhi)(zhi)攝像(xiang)頭）重建用戶(hu)(hu)身(shen)體部(bu)(bu)位(wei)的(de)位(wei)置(zhi)(zhi)和方向。
在名(ming)為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的(de)(de)專利(li)申請中(zhong)，Meta就(jiu)介紹了(le)一(yi)種利(li)用可穿戴傳感器來獲取并預測位置(zhi)的(de)(de)方(fang)法和裝置(zhi)。具體(ti)來說，在確定一(yi)個(ge)節段的(de)(de)位置(zhi)和方(fang)法信息后，系統可以(yi)相(xiang)應地預測其他(ta)鉸接節段，從而建模完成的(de)(de)身體(ti)部位。
在(zai)運動學中(zhong)(zhong)(zhong)，剛(gang)體是顯示各(ge)種運動屬(shu)性的(de)對(dui)象，例如位置、方向、角速度、加速度。剛(gang)體的(de)一個分段(duan)(duan)(duan)的(de)運動屬(shu)性可(ke)以(yi)根據分段(duan)(duan)(duan)連(lian)接方式(shi)中(zhong)(zhong)(zhong)的(de)約束確定剛(gang)體其(qi)他分段(duan)(duan)(duan)的(de)運動屬(shu)性。例如，手臂(bei)(bei)(bei)可(ke)建(jian)(jian)模為兩(liang)段(duan)(duan)(duan)式(shi)鉸(jiao)接剛(gang)體，其(qi)上部對(dui)應于(yu)在(zai)肩關(guan)節(jie)(jie)處連(lian)接至軀(qu)干的(de)上臂(bei)(bei)(bei)，下部對(dui)應于(yu)前(qian)臂(bei)(bei)(bei)，其(qi)中(zhong)(zhong)(zhong)兩(liang)段(duan)(duan)(duan)在(zai)肘關(guan)節(jie)(jie)處連(lian)接。作為另一個示例，手可(ke)以(yi)建(jian)(jian)模為多節(jie)(jie)鉸(jiao)接體，手腕(wan)中(zhong)(zhong)(zhong)的(de)關(guan)節(jie)(jie)和每個手指形(xing)成模型(xing)(xing)中(zhong)(zhong)(zhong)多節(jie)(jie)之間的(de)接口。在(zai)一個實(shi)施(shi)例中(zhong)(zhong)(zhong)，剛(gang)體模型(xing)(xing)中(zhong)(zhong)(zhong)的(de)節(jie)(jie)段(duan)(duan)(duan)的(de)運動可(ke)以(yi)模擬為鉸(jiao)接剛(gang)體系統，其(qi)中(zhong)(zhong)(zhong)使用(yong)訓練的(de)統計(ji)模型(xing)(xing)預測模型(xing)(xing)中(zhong)(zhong)(zhong)節(jie)(jie)段(duan)(duan)(duan)相對(dui)于(yu)其(qi)他節(jie)(jie)段(duan)(duan)(duan)的(de)方向和位置信息(xi)。
人體肌肉(rou)骨(gu)骼系統(tong)可以建(jian)模(mo)為多節(jie)(jie)(jie)(jie)(jie)(jie)段(duan)鉸(jiao)(jiao)接(jie)(jie)剛(gang)體系統(tong)，關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)形成不(bu)同節(jie)(jie)(jie)(jie)(jie)(jie)段(duan)之間(jian)(jian)的(de)(de)(de)(de)接(jie)(jie)口(kou)，關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)角度定(ding)義(yi)模(mo)型中連(lian)接(jie)(jie)節(jie)(jie)(jie)(jie)(jie)(jie)段(duan)之間(jian)(jian)的(de)(de)(de)(de)空間(jian)(jian)關(guan)系。對(dui)關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)運動(dong)的(de)(de)(de)(de)限制取(qu)決于連(lian)接(jie)(jie)節(jie)(jie)(jie)(jie)(jie)(jie)段(duan)的(de)(de)(de)(de)關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)類型和限制關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)運動(dong)范圍的(de)(de)(de)(de)生物結構，如肌肉(rou)、肌腱(jian)、韌帶(dai)。例如，連(lian)接(jie)(jie)上臂(bei)(bei)與軀干的(de)(de)(de)(de)肩關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)和連(lian)接(jie)(jie)大(da)腿(tui)與軀干的(de)(de)(de)(de)髖關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)是允許(xu)伸展和彎曲運動(dong)以及旋轉運動(dong)的(de)(de)(de)(de)球窩關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)。相比之下(xia)，連(lian)接(jie)(jie)上臂(bei)(bei)和前臂(bei)(bei)的(de)(de)(de)(de)肘關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)和連(lian)接(jie)(jie)大(da)腿(tui)和小腿(tui)的(de)(de)(de)(de)膝(xi)關(guan)節(jie)(jie)(jie)(jie)(jie)(jie)允許(xu)更有限的(de)(de)(de)(de)運動(dong)范圍。如本文所述，多段(duan)鉸(jiao)(jiao)接(jie)(jie)剛(gang)體系統(tong)可用(yong)于模(mo)擬人體肌肉(rou)骨(gu)骼系統(tong)。
圖1是一(yi)個(ge)(ge)示例(li)(li)(li)性(xing)系(xi)統(tong)100。所述系(xi)統(tong)包括多(duo)個(ge)(ge)自動(dong)傳(chuan)感(gan)(gan)器(qi)(qi)110，其配置成記錄由人體各部分(fen)的(de)(de)(de)運動(dong)產生的(de)(de)(de)信(xin)(xin)號(hao)。這里的(de)(de)(de)自動(dong)傳(chuan)感(gan)(gan)器(qi)(qi)是指配置為測(ce)(ce)(ce)量(liang)身體部分(fen)的(de)(de)(de)運動(dong)，并且不需要使用(yong)(yong)外部傳(chuan)感(gan)(gan)器(qi)(qi)的(de)(de)(de)傳(chuan)感(gan)(gan)器(qi)(qi)。自動(dong)傳(chuan)感(gan)(gan)器(qi)(qi)110可(ke)(ke)包括一(yi)個(ge)(ge)或多(duo)個(ge)(ge)慣性(xing)測(ce)(ce)(ce)量(liang)單(dan)元（IMU）。在(zai)一(yi)個(ge)(ge)實施例(li)(li)(li)中，IMU可(ke)(ke)用(yong)(yong)于(yu)感(gan)(gan)測(ce)(ce)(ce)關于(yu)附著(zhu)IMU的(de)(de)(de)身體部分(fen)的(de)(de)(de)移(yi)動(dong)的(de)(de)(de)信(xin)(xin)息(xi)，并且可(ke)(ke)隨著(zhu)用(yong)(yong)戶隨時(shi)間移(yi)動(dong)而追蹤從感(gan)(gan)測(ce)(ce)(ce)數(shu)據(ju)導出的(de)(de)(de)信(xin)(xin)息(xi)，例(li)(li)(li)如(ru)(ru)位置和/或方向信(xin)(xin)息(xi)。例(li)(li)(li)如(ru)(ru)，一(yi)個(ge)(ge)或多(duo)個(ge)(ge)IMU可(ke)(ke)用(yong)(yong)于(yu)在(zai)用(yong)(yong)戶隨時(shi)間移(yi)動(dong)時(shi)追蹤靠近用(yong)(yong)戶軀(qu)干的(de)(de)(de)用(yong)(yong)戶身體部分(fen)的(de)(de)(de)移(yi)動(dong)，例(li)(li)(li)如(ru)(ru)手臂或雙腿。
自動(dong)(dong)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)110同時可(ke)包括(kuo)(kuo)多(duo)個(ge)(ge)(ge)(ge)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)，其配置(zhi)成(cheng)記錄由人體骨骼肌(ji)(ji)中的(de)(de)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)活(huo)(huo)動(dong)(dong)產生(sheng)的(de)(de)信(xin)號(hao)。這里的(de)(de)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)活(huo)(huo)動(dong)(dong)是指支配肌(ji)(ji)肉(rou)的(de)(de)脊髓運(yun)動(dong)(dong)神(shen)(shen)(shen)經(jing)(jing)元(yuan)的(de)(de)神(shen)(shen)(shen)經(jing)(jing)激(ji)活(huo)(huo)、肌(ji)(ji)肉(rou)激(ji)活(huo)(huo)、肌(ji)(ji)肉(rou)收縮或(huo)(huo)神(shen)(shen)(shen)經(jing)(jing)激(ji)活(huo)(huo)、肌(ji)(ji)肉(rou)激(ji)活(huo)(huo)和肌(ji)(ji)肉(rou)收縮的(de)(de)任何組合(he)。神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)可(ke)包括(kuo)(kuo)一(yi)個(ge)(ge)(ge)(ge)或(huo)(huo)多(duo)個(ge)(ge)(ge)(ge)肌(ji)(ji)電圖（EMG）傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)、一(yi)個(ge)(ge)(ge)(ge)或(huo)(huo)多(duo)個(ge)(ge)(ge)(ge)機(ji)械(xie)肌(ji)(ji)圖（MMG）傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)、一(yi)個(ge)(ge)(ge)(ge)或(huo)(huo)多(duo)個(ge)(ge)(ge)(ge)超聲肌(ji)(ji)圖（SMG）傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)和/或(huo)(huo)配置(zhi)為檢測(ce)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)信(xin)號(hao)的(de)(de)任何合(he)適類型(xing)的(de)(de)一(yi)個(ge)(ge)(ge)(ge)或(huo)(huo)多(duo)個(ge)(ge)(ge)(ge)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)。在一(yi)個(ge)(ge)(ge)(ge)實施(shi)例中，多(duo)個(ge)(ge)(ge)(ge)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)可(ke)用于(yu)感(gan)(gan)測(ce)與由肌(ji)(ji)肉(rou)控制的(de)(de)身體部分的(de)(de)運(yun)動(dong)(dong)相關的(de)(de)肌(ji)(ji)肉(rou)活(huo)(huo)動(dong)(dong)，其中神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)(qi)(qi)布置(zhi)為感(gan)(gan)測(ce)肌(ji)(ji)肉(rou)活(huo)(huo)動(dong)(dong)。描述運(yun)動(dong)(dong)的(de)(de)空間信(xin)息可(ke)以基于(yu)用戶隨(sui)時間移動(dong)(dong)時感(gan)(gan)測(ce)到的(de)(de)神(shen)(shen)(shen)經(jing)(jing)肌(ji)(ji)肉(rou)信(xin)號(hao)來預測(ce)。
在(zai)包(bao)括至少一個IMU和多個神經(jing)肌肉(rou)傳感(gan)器的實施例(li)中，可(ke)以將IMU和神經(jing)肌肉(rou)傳感(gan)器布置成檢(jian)(jian)(jian)測人(ren)體(ti)(ti)不(bu)同部位的運動。例(li)如，IMU可(ke)布置成檢(jian)(jian)(jian)測靠近軀干的一個或多個身(shen)體(ti)(ti)節(jie)段的運動，而神經(jing)肌肉(rou)傳感(gan)器可(ke)布置成檢(jian)(jian)(jian)測遠離軀干的一個或多個身(shen)體(ti)(ti)節(jie)段的運動。
不(bu)過，自(zi)動傳感器110可(ke)以(yi)以(yi)任何(he)合(he)適的(de)方式布置。例如(ru)在一個(ge)(ge)實施例中，至(zhi)少一個(ge)(ge)IMU和(he)多個(ge)(ge)神經肌肉傳感器可(ke)共同位于身體節段上，以(yi)使用不(bu)同類(lei)型的(de)測量(liang)來追蹤身體節段的(de)運(yun)動。置。
每個(ge)自動(dong)(dong)傳(chuan)感(gan)器(qi)110包括一個(ge)或多個(ge)運(yun)(yun)動(dong)(dong)感(gan)測(ce)組件，其配置(zhi)(zhi)為感(gan)測(ce)運(yun)(yun)動(dong)(dong)信息。在IMU的情況(kuang)下(xia)(xia)，運(yun)(yun)動(dong)(dong)感(gan)測(ce)部件可(ke)包括一個(ge)或多個(ge)加速(su)計、陀螺儀(yi)、磁強(qiang)計或其任何組合。在神經肌肉傳(chuan)感(gan)器(qi)的情況(kuang)下(xia)(xia)，運(yun)(yun)動(dong)(dong)傳(chuan)感(gan)部件可(ke)包括但不限于(yu)電(dian)極(ji)，電(dian)極(ji)配置(zhi)(zhi)用(yong)于(yu)檢測(ce)身體(ti)表面上(shang)的電(dian)位，振動(dong)(dong)傳(chuan)感(gan)器(qi)配置(zhi)(zhi)用(yong)于(yu)測(ce)量皮膚表面振動(dong)(dong)，以及(ji)聲學傳(chuan)感(gan)組件。
在(zai)一個實施(shi)(shi)例中，可以(yi)使用硬件(jian)(jian)信號(hao)處理(li)電路處理(li)一個或(huo)多個運動傳感組件(jian)(jian)的輸(shu)出(chu)。在(zai)其他實施(shi)(shi)例中，可以(yi)在(zai)軟件(jian)(jian)中執行運動感測組件(jian)(jian)的輸(shu)出(chu)的一定信號(hao)處理(li)。
在一(yi)個實(shi)施例中，可對記(ji)錄的(de)傳(chuan)感(gan)(gan)(gan)器(qi)數據進(jin)行處理，以計算(suan)額外的(de)衍(yan)生測量值，然后(hou)將(jiang)其作為(wei)統(tong)計模型的(de)輸(shu)入提供。例如(ru)，可以對來自(zi)(zi)IMU傳(chuan)感(gan)(gan)(gan)器(qi)的(de)記(ji)錄信(xin)(xin)號進(jin)行處理，以導出指定剛(gang)體段(duan)隨時(shi)間的(de)方(fang)向的(de)方(fang)向信(xin)(xin)號。可以使用自(zi)(zi)動傳(chuan)感(gan)(gan)(gan)器(qi)組(zu)件110的(de)至少一(yi)個或多個傳(chuan)感(gan)(gan)(gan)組(zu)件與(yu)自(zi)(zi)主信(xin)(xin)號處理集(ji)(ji)成，但(dan)可以不(bu)與(yu)自(zi)(zi)動傳(chuan)感(gan)(gan)(gan)器(qi)組(zu)件110的(de)一(yi)個或多個通信(xin)(xin)組(zu)件直接集(ji)(ji)成。
在一個(ge)(ge)實施例中(zhong)，多(duo)個(ge)(ge)自(zi)動(dong)傳感(gan)器110中(zhong)可布置為可穿戴設備(bei)的一部分。例如(ru)在一個(ge)(ge)非(fei)限(xian)制性(xing)(xing)示例中(zhong)，IMU傳感(gan)器和多(duo)個(ge)(ge)神(shen)經(jing)肌肉傳感(gan)器圍繞可調節和/或彈性(xing)(xing)帶周向(xiang)布置。
在一個實施例(li)中(zhong)，16個肌電傳(chuan)感器(qi)沿周向(xiang)布置(zhi)(zhi)在彈性帶(dai)(dai)周圍，而彈性帶(dai)(dai)配置(zhi)(zhi)為佩戴(dai)在用(yong)戶的下臂周圍。例(li)如(ru)，圖2示出了(le)圍繞(rao)彈性帶(dai)(dai)502周向(xiang)布置(zhi)(zhi)的EMG傳(chuan)感器(qi)504。根(gen)據具體的位(wei)置(zhi)(zhi)，彈性帶(dai)(dai)又可稱為可穿(chuan)(chuan)戴(dai)臂帶(dai)(dai)/腕帶(dai)(dai)，腿帶(dai)(dai)/踝帶(dai)(dai)。可穿(chuan)(chuan)戴(dai)臂帶(dai)(dai)或腕帶(dai)(dai)可用(yong)于預(yu)測手(shou)部運動任(ren)務(wu)的肌肉(rou)骨骼位(wei)置(zhi)(zhi)信息(xi)，而可穿(chuan)(chuan)戴(dai)腿帶(dai)(dai)或踝帶(dai)(dai)可用(yong)于預(yu)測腳步運動任(ren)務(wu)的肌肉(rou)骨骼位(wei)置(zhi)(zhi)信息(xi)。
例(li)如，如圖3所示(shi)，手508佩戴彈性帶502。這樣(yang)，EMG傳感(gan)器(qi)504可以配置(zhi)成在(zai)用(yong)戶使用(yong)手指540控(kong)制鍵(jian)盤530時記(ji)錄(lu)EMG信號。在(zai)一個(ge)(ge)實施例(li)中，彈性帶502可包括(kuo)一個(ge)(ge)或多個(ge)(ge)IMU（未示(shi)出）。
在一個實施例中(zhong)，多個可穿戴(dai)設備可用(yong)于(yu)預測涉及身(shen)體多個部位(wei)的運動(dong)(dong)的肌(ji)肉骨(gu)骼位(wei)置信(xin)息。在實時運動(dong)(dong)追蹤期(qi)間，從(cong)單個臂(bei)(bei)帶/腕帶可穿戴(dai)設備感測的信(xin)息用(yong)于(yu)重(zhong)建身(shen)體運動(dong)(dong)，例如重(zhong)建前臂(bei)(bei)、上臂(bei)(bei)和(he)手(shou)臂(bei)(bei)的位(wei)置和(he)方向。
在(zai)一個(ge)實施例中(zhong)，可(ke)以(yi)提供用(yong)于(yu)預測肌肉骨(gu)骼位置信息的(de)統計(ji)模(mo)型。如上(shang)所(suo)述(shu)，多節段鉸接剛(gang)體模(mo)型中(zhong)節段之間的(de)關節類型約(yue)束(shu)剛(gang)體的(de)運(yun)動(dong)。另外，不同的(de)個(ge)體在(zai)執行(xing)任務時(shi)往往會以(yi)其(qi)特有(you)的(de)方式移動(dong)，而這可(ke)以(yi)通過個(ge)體用(yong)戶行(xing)為的(de)統計(ji)模(mo)式來(lai)捕獲。根據一個(ge)實施例，可(ke)將對(dui)人體運(yun)動(dong)的(de)約(yue)束(shu)并(bing)入(ru)用(yong)于(yu)預測的(de)統計(ji)模(mo)型中(zhong)。另外，可(ke)以(yi)利用(yong)傳感器(qi)數據來(lai)訓練(lian)學習約(yue)束(shu)。
在一(yi)(yi)個(ge)(ge)實(shi)(shi)施例(li)中，可(ke)訓(xun)練系(xi)統100以預測用戶移(yi)動時(shi)的肌肉骨骼信(xin)(xin)息(xi)。在一(yi)(yi)個(ge)(ge)實(shi)(shi)施例(li)中，系(xi)統100可(ke)以通過記(ji)錄(lu)(lu)來(lai)(lai)自自動傳感(gan)(gan)器110的信(xin)(xin)號和在用戶執行一(yi)(yi)個(ge)(ge)或(huo)(huo)多個(ge)(ge)動作時(shi)從(cong)一(yi)(yi)個(ge)(ge)或(huo)(huo)多個(ge)(ge)用戶佩(pei)戴的位置傳感(gan)(gan)器記(ji)錄(lu)(lu)的位置信(xin)(xin)息(xi)來(lai)(lai)進行訓(xun)練。
在一個實施(shi)例中，在系統100經過訓練以(yi)基(ji)于特(te)定用(yong)戶的自主傳感器信號(hao)預測肌(ji)肉(rou)骨(gu)骼位置(zhi)信息(xi)(xi)后，用(yong)戶可利用(yong)系統100執(zhi)行(xing)虛(xu)擬(ni)或物理(li)動作而不(bu)使用(yong)位置(zhi)傳感器。例如，當系統100訓練為以(yi)高精度）預測肌(ji)肉(rou)骨(gu)骼位置(zhi)信息(xi)(xi)時(shi)，預測本身(shen)可用(yong)于確定用(yong)于生成用(yong)戶身(shen)體的肌(ji)肉(rou)骨(gu)骼表示的肌(ji)肉(rou)骨(gu)骼位置(zhi)信息(xi)(xi)。
圖(tu)4描(miao)(miao)述了使用(yong)從一(yi)(yi)個或(huo)多(duo)(duo)個用(yong)戶佩戴的(de)自(zi)主(zhu)傳感器(qi)記(ji)錄的(de)信號生(sheng)成(cheng)統計模型的(de)過程(cheng)400。過程(cheng)400可以由任何合(he)適的(de)計算設(she)備執(zhi)(zhi)行。例(li)(li)如，過程(cheng)400可以由參考圖(tu)1描(miao)(miao)述的(de)處理器(qi)112執(zhi)(zhi)行。作(zuo)為另(ling)一(yi)(yi)示例(li)(li)，可以使用(yong)一(yi)(yi)個或(huo)多(duo)(duo)個服務器(qi)執(zhi)(zhi)行過程(cheng)400的(de)一(yi)(yi)個或(huo)多(duo)(duo)個動作(zuo)。例(li)(li)如，可以使用(yong)云計算環境來執(zhi)(zhi)行動作(zuo)410中與統計模型訓練有關的(de)至少一(yi)(yi)部分。
過程400從(cong)動作402開(kai)始，其中為(wei)執行一個(ge)(ge)(ge)或多個(ge)(ge)(ge)動作的(de)一個(ge)(ge)(ge)或多個(ge)(ge)(ge)用戶獲(huo)得多個(ge)(ge)(ge)傳(chuan)感器信號。在一個(ge)(ge)(ge)實施(shi)例中，可將多個(ge)(ge)(ge)傳(chuan)感器信號記錄為(wei)過程400的(de)一部(bu)分。
在(zai)(zai)(zai)(zai)提(ti)供基于多(duo)(duo)種(zhong)類(lei)(lei)型(xing)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)（例如IMU傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)、EMG傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)、MMG傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)、SMG傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)）的(de)(de)預測中(zhong)，可以(yi)針(zhen)對每種(zhong)類(lei)(lei)型(xing)的(de)(de)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)訓(xun)練(lian)單(dan)獨的(de)(de)統計(ji)模型(xing)，并且可以(yi)組合傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)類(lei)(lei)型(xing)特定(ding)模型(xing)的(de)(de)輸出以(yi)生成(cheng)用戶身體(ti)的(de)(de)肌(ji)肉骨骼(ge)表示。在(zai)(zai)(zai)(zai)其他(ta)實(shi)施例中(zhong)，在(zai)(zai)(zai)(zai)動作(zuo)402中(zhong)從(cong)兩個(ge)或多(duo)(duo)個(ge)不(bu)同類(lei)(lei)型(xing)的(de)(de)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)獲得的(de)(de)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)信號(hao)可以(yi)提(ti)供給單(dan)個(ge)統計(ji)模型(xing)，并基于從(cong)不(bu)同類(lei)(lei)型(xing)的(de)(de)傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)記(ji)(ji)錄的(de)(de)信號(hao)進行訓(xun)練(lian)。在(zai)(zai)(zai)(zai)一個(ge)說明(ming)性(xing)實(shi)現中(zhong)，IMU傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)和(he)多(duo)(duo)個(ge)EMG傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)布置在(zai)(zai)(zai)(zai)配置成(cheng)佩(pei)戴在(zai)(zai)(zai)(zai)用戶前臂周圍的(de)(de)可穿戴設(she)備，并且由IMU和(he)EMG傳(chuan)(chuan)(chuan)(chuan)感(gan)(gan)器(qi)記(ji)(ji)錄的(de)(de)信號(hao)被共同提(ti)供作(zuo)為統計(ji)模型(xing)的(de)(de)輸入(ru)。
在一個實施例(li)中，可(ke)以指(zhi)示用(yong)戶(hu)(hu)多次執(zhi)行(xing)(xing)任(ren)務，并(bing)且可(ke)以針對(dui)用(yong)戶(hu)(hu)多次重(zhong)復的(de)(de)任(ren)務記(ji)錄傳感(gan)器(qi)(qi)信(xin)號和位(wei)置信(xin)息。在以惡搞(gao)實施例(li)中，可(ke)以基于(yu)(yu)與(yu)來自多個用(yong)戶(hu)(hu)的(de)(de)記(ji)錄信(xin)號相對(dui)應的(de)(de)訓(xun)練(lian)數據(ju)生成跨用(yong)戶(hu)(hu)統(tong)計(ji)模(mo)型，并(bing)且當用(yong)戶(hu)(hu)使用(yong)系統(tong)時，基于(yu)(yu)記(ji)錄的(de)(de)傳感(gan)器(qi)(qi)數據(ju)對(dui)統(tong)計(ji)模(mo)型進(jin)行(xing)(xing)訓(xun)練(lian)，以便統(tong)計(ji)模(mo)型學習依賴于(yu)(yu)用(yong)戶(hu)(hu)的(de)(de)特征，從而改進(jin)系統(tong)對(dui)特定用(yong)戶(hu)(hu)的(de)(de)預測能力。
如上(shang)所述，當一(yi)(yi)個(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)用戶(hu)中(zhong)的(de)每個(ge)(ge)(ge)用戶(hu)一(yi)(yi)次(ci)或多(duo)次(ci)執(zhi)(zhi)行(xing)(xing)一(yi)(yi)個(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)任(ren)務(wu)(wu)中(zhong)的(de)每個(ge)(ge)(ge)任(ren)務(wu)(wu)時，可通過記錄傳感器信號來獲(huo)(huo)得(de)在(zai)動作402處獲(huo)(huo)得(de)的(de)傳感器數(shu)據。當用戶(hu)執(zhi)(zhi)行(xing)(xing)任(ren)務(wu)(wu)時，可在(zai)動作404中(zhong)獲(huo)(huo)得(de)描述任(ren)務(wu)(wu)執(zhi)(zhi)行(xing)(xing)期(qi)間不同身(shen)體片段的(de)空(kong)間位置的(de)位置信息(xi)。在(zai)一(yi)(yi)個(ge)(ge)(ge)實施例中(zhong)，使用在(zai)執(zhi)(zhi)行(xing)(xing)任(ren)務(wu)(wu)期(qi)間追蹤身(shen)體上(shang)不同點的(de)位置的(de)一(yi)(yi)個(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)外部(bu)設備(bei)或系統來獲(huo)(huo)得(de)位置信息(xi)。
接下來，過程400進行(xing)到動(dong)作(zuo)406，其中可(ke)選地處理(li)在(zai)動(dong)作(zuo)402中獲(huo)得(de)(de)的(de)(de)自動(dong)傳感器信(xin)(xin)號和(he)/或在(zai)動(dong)作(zuo)404中獲(huo)得(de)(de)的(de)(de)位置信(xin)(xin)息。例(li)如，可(ke)以(yi)使用放大、濾波、整(zheng)流或其他(ta)類型的(de)(de)信(xin)(xin)號處理(li)來處理(li)自主傳感器信(xin)(xin)號或位置信(xin)(xin)息信(xin)(xin)號。
接(jie)(jie)下來(lai)，過程400進行到(dao)動作(zuo)(zuo)408，并(bing)基(ji)于(yu)(yu)位(wei)置(zhi)信息(xi)(xi)(xi)確定肌肉骨骼位(wei)置(zhi)特征。在一(yi)個實施例中，不是使用(yong)與位(wei)置(zhi)傳(chuan)感器相(xiang)對應的(de)(de)(de)記錄的(de)(de)(de)空間(jian)坐標作(zuo)(zuo)為訓練(lian)(lian)數(shu)據來(lai)訓練(lian)(lian)統計(ji)模型(xing)，而是基(ji)于(yu)(yu)記錄的(de)(de)(de)位(wei)置(zhi)信息(xi)(xi)(xi)來(lai)確定一(yi)組導出的(de)(de)(de)肌肉骨骼位(wei)置(zhi)特征值，并(bing)將導出的(de)(de)(de)值用(yong)作(zuo)(zuo)訓練(lian)(lian)統計(ji)模型(xing)的(de)(de)(de)訓練(lian)(lian)數(shu)據。例如，使用(yong)關于(yu)(yu)鉸(jiao)接(jie)(jie)剛體(ti)模型(xing)中連接(jie)(jie)的(de)(de)(de)剛性段(duan)對之間(jian)的(de)(de)(de)約束的(de)(de)(de)信息(xi)(xi)(xi)，位(wei)置(zhi)信息(xi)(xi)(xi)可(ke)用(yong)于(yu)(yu)確定關節(jie)角度。
接下來，過程(cheng)400前進到動作(zuo)410，并組件在動作(zuo)402和408處(chu)獲得(de)的時(shi)間序列信(xin)息，從而創建(jian)用(yong)于(yu)在動作(zuo)410處(chu)訓(xun)練(lian)統計模型的訓(xun)練(lian)數據。可以以任(ren)何合適(shi)的方式(shi)組合所獲得(de)的數據。
在動(dong)作412，可(ke)以從(cong)動(dong)作410生(sheng)成的訓(xun)練數(shu)據(ju)估計(ji)統(tong)計(ji)模(mo)型(xing)(xing)的參數(shu)值(zhi)。例(li)如，當統(tong)計(ji)模(mo)型(xing)(xing)是神經網絡(luo)時，可(ke)以從(cong)訓(xun)練數(shu)據(ju)估計(ji)神經網絡(luo)的參數(shu)。
接(jie)下來，過程400前進(jin)到動作414，并存儲(chu)訓練(lian)的統(tong)計模型(xing)。訓練(lian)后的統(tong)計模型(xing)可以使用(yong)任何合適的格式存儲(chu)。
圖5示出(chu)了(le)基(ji)于(yu)來(lai)自多(duo)個自動傳(chuan)感器(qi)的(de)(de)記錄(lu)信號和經過訓練的(de)(de)統計模(mo)型(xing)預測肌肉骨骼位置信息的(de)(de)過程500。
過程500從動(dong)(dong)作510開(kai)始，其(qi)中從布置在用(yong)戶身體表面上(shang)或(huo)附近(jin)的(de)多個自(zi)動(dong)(dong)傳感器(qi)記錄(lu)信(xin)(xin)號，以記錄(lu)執行(xing)任務期間與(yu)身體運動(dong)(dong)相(xiang)關的(de)活動(dong)(dong)。過程500然(ran)后進行(xing)到動(dong)(dong)作512，其(qi)中可選地(di)處(chu)理(li)由自(zi)主傳感器(qi)記錄(lu)的(de)信(xin)(xin)號。例(li)如(ru)，可以使用(yong)放大、濾波、整流或(huo)其(qi)他類型的(de)信(xin)(xin)號處(chu)理(li)來處(chu)理(li)信(xin)(xin)號。
過程500接著進行到動作514。其中，自(zi)動傳(chuan)感器(qi)信號提供使用(yong)(yong)上文過程400描述的(de)(de)一種或多種技術訓(xun)練的(de)(de)統(tong)計(ji)模(mo)型(xing)的(de)(de)輸入。在(zai)連(lian)(lian)(lian)續(xu)記(ji)錄(lu)信號的(de)(de)實施例(li)中，可連(lian)(lian)(lian)續(xu)或周(zhou)期性(xing)地將連(lian)(lian)(lian)續(xu)記(ji)錄(lu)的(de)(de)信號作為(wei)輸入提供給(gei)訓(xun)練的(de)(de)統(tong)計(ji)模(mo)型(xing)，用(yong)(yong)于預測給(gei)定輸入傳(chuan)感器(qi)數(shu)據(ju)集的(de)(de)肌(ji)肉骨骼位置信息(xi)（例(li)如(ru)關(guan)節角度）。
在經過(guo)訓(xun)練的(de)(de)統(tong)計模型接(jie)收到作(zuo)為一(yi)(yi)組輸(shu)入(ru)參數的(de)(de)傳(chuan)感(gan)器數據之后(hou)，過(guo)程500前進(jin)到動作(zuo)516。其中，從經過(guo)訓(xun)練的(de)(de)統(tong)計模型輸(shu)出預(yu)測的(de)(de)肌肉(rou)骨骼(ge)(ge)(ge)位置信息。如上所述，在一(yi)(yi)個實施(shi)例(li)中，預(yu)測的(de)(de)肌肉(rou)骨骼(ge)(ge)(ge)位置信息可(ke)包括表示用戶身體至少一(yi)(yi)部分的(de)(de)多段(duan)鉸(jiao)接(jie)剛(gang)體模型的(de)(de)一(yi)(yi)組肌肉(rou)骨骼(ge)(ge)(ge)位置信息值（例(li)如一(yi)(yi)組關節角度）。
在動(dong)作(zuo)516中(zhong)預(yu)測肌肉骨(gu)骼(ge)(ge)位置信(xin)息之后(hou)，過程(cheng)500進入動(dong)作(zuo)518，其中(zhong)至(zhi)少部分地基(ji)于(yu)(yu)訓練的(de)(de)統計模型輸出的(de)(de)肌肉骨(gu)骼(ge)(ge)位置信(xin)息生(sheng)成(cheng)用戶身(shen)體(ti)的(de)(de)基(ji)于(yu)(yu)計算機的(de)(de)肌肉骨(gu)骼(ge)(ge)表(biao)(biao)示(shi)。可(ke)(ke)(ke)以(yi)以(yi)任(ren)何合(he)適的(de)(de)方式(shi)生(sheng)成(cheng)基(ji)于(yu)(yu)計算機的(de)(de)肌肉骨(gu)骼(ge)(ge)表(biao)(biao)示(shi)。例如，基(ji)于(yu)(yu)計算機的(de)(de)人體(ti)肌肉骨(gu)骼(ge)(ge)模型可(ke)(ke)(ke)以(yi)包括(kuo)多(duo)(duo)個(ge)剛(gang)體(ti)段，每個(ge)剛(gang)體(ti)段對應于(yu)(yu)身(shen)體(ti)中(zhong)的(de)(de)一個(ge)或多(duo)(duo)個(ge)骨(gu)骼(ge)(ge)結構。例如，上臂可(ke)(ke)(ke)以(yi)表(biao)(biao)示(shi)為剛(gang)體(ti)，下(xia)臂可(ke)(ke)(ke)以(yi)表(biao)(biao)示(shi)為剛(gang)體(ti)，并且(qie)手上的(de)(de)每個(ge)手指可(ke)(ke)(ke)以(yi)由至(zhi)少一個(ge)剛(gang)體(ti)段表(biao)(biao)示(shi)。
當統(tong)計(ji)模(mo)型測(ce)量和處理新(xin)(xin)的(de)(de)傳感器數據以(yi)(yi)提供肌肉骨(gu)骼位(wei)置信息的(de)(de)新(xin)(xin)預測(ce)（例如一(yi)組更(geng)新(xin)(xin)的(de)(de)關節(jie)角(jiao)度(du)）時，基于(yu)計(ji)算機的(de)(de)肌肉骨(gu)骼表示(shi)可以(yi)(yi)基于(yu)根據統(tong)計(ji)模(mo)型輸出確定的(de)(de)關節(jie)角(jiao)度(du)的(de)(de)更(geng)新(xin)(xin)集合來更(geng)新(xin)(xin)。通(tong)過這種方式，基于(yu)計(ji)算機的(de)(de)肌肉骨(gu)骼表示(shi)在連續記錄自主傳感器數據時實時動態更(geng)新(xin)(xin)。
基于計算機(ji)的肌肉骨骼表(biao)示可(ke)以(yi)任何合適的方式表(biao)示和(he)存儲。
除(chu)了用(yong)于預(yu)測肌(ji)(ji)肉骨(gu)骼位置信息之外，由神經(jing)肌(ji)(ji)肉傳感器(qi)直(zhi)接記錄的神經(jing)肌(ji)(ji)肉活動可與(yu)生成的肌(ji)(ji)肉骨(gu)骼表(biao)征相結合(he)，以提供更豐富的肌(ji)(ji)肉骨(gu)骼表(biao)征。
圖6示出了(le)用于將用神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)傳(chuan)感器記錄的神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)活動與(yu)至少部分由(you)神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)活動生成(cheng)的肌(ji)(ji)(ji)肉(rou)骨(gu)骼表示相結合(he)的過(guo)程600。在動作602中，從布置在用戶(hu)身體附(fu)近或(huo)表面上(shang)的多個神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)傳(chuan)感器記錄神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)信號。在上(shang)述示例的一些(xie)實施例中，多個神(shen)(shen)(shen)經肌(ji)(ji)(ji)肉(rou)傳(chuan)感器與(yu)可穿(chuan)戴(dai)設備集成(cheng)，例如(ru)可佩戴(dai)在用戶(hu)身體部分周(zhou)圍(wei)的柔性或(huo)可調(diao)節帶(dai)。
過程600接著進(jin)行到(dao)動作(zuo)(zuo)604，其(qi)(qi)中(zhong)至少部分地基(ji)于記錄的(de)(de)神經肌肉信號(hao)或從神經肌肉信號(hao)導出的(de)(de)信號(hao)來預測肌肉骨骼(ge)位(wei)置信息(xi)。然后，過程600進(jin)入動作(zuo)(zuo)606，其(qi)(qi)中(zhong)基(ji)于訓練的(de)(de)統計模(mo)型輸出的(de)(de)預測肌肉骨骼(ge)位(wei)置信息(xi)生成基(ji)于計算(suan)機的(de)(de)肌肉骨骼(ge)表(biao)示(shi)。
如圖(tu)6所示(shi)，過程600包括使用神經肌(ji)肉信號預(yu)測(ce)肌(ji)肉活動(dong)的可選動(dong)作608。在一個實(shi)施例中(zhong)，至少部(bu)分地基于動(dong)作608中(zhong)記錄的神經肌(ji)肉信號預(yu)測(ce)的肌(ji)肉活動(dong)與動(dong)作610中(zhong)生成(cheng)的肌(ji)肉骨骼表示(shi)相結合(he)。
相關專利：Facebook Patent | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的(de)Meta專利申請最初在2021年4月(yue)提交，并在日前由美國專利商標局公布。
