對(dui)于生成人體肌(ji)肉骨骼表示(shi)(shi)(shi)的(de)計算機應用(yong)程(cheng)序(xu)，系統有必(bi)要知道用(yong)戶身體的(de)空間定位(wei)、方向和運動(dong)，以提供身體運動(dong)的(de)真實表示(shi)(shi)(shi)。例如，通過(guo)在虛擬(ni)現實環(huan)境中(zhong)追蹤(zong)用(yong)戶雙手的(de)空間位(wei)置，應用(yong)程(cheng)序(xu)將(jiang)能夠表示(shi)(shi)(shi)虛擬(ni)雙手的(de)運動(dong)，從而允許用(yong)戶與(yu)VR環(huan)境中(zhong)的(de)虛擬(ni)對(dui)象(xiang)交(jiao)互(hu)。
使用(yong)(yong)可(ke)穿戴傳感器追蹤運動的現有技術包括(kuo)使用(yong)(yong)從附加到(dao)用(yong)(yong)戶身體(ti)不同部(bu)位的多個慣性測量單元（IMU）獲取的信息，以(yi)及使用(yong)(yong)外部(bu)成像(xiang)設備（例如固定位置攝像(xiang)頭(tou)）重(zhong)建用(yong)(yong)戶身體(ti)部(bu)位的位置和方向。
在名為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的(de)(de)專利(li)申(shen)請(qing)中，Meta就介紹(shao)了(le)一種利(li)用(yong)可穿戴傳感(gan)器來獲取(qu)并(bing)預測(ce)位(wei)(wei)置的(de)(de)方法和裝(zhuang)置。具體來說，在確定一個節段(duan)的(de)(de)位(wei)(wei)置和方法信息后，系統可以相應地預測(ce)其他鉸接節段(duan)，從而(er)建(jian)模完成的(de)(de)身體部位(wei)(wei)。
在運(yun)(yun)動學中(zhong)(zhong)，剛(gang)體(ti)是顯(xian)示各種運(yun)(yun)動屬(shu)性的(de)(de)(de)對(dui)(dui)象，例(li)如(ru)位置、方向(xiang)、角(jiao)速度(du)、加速度(du)。剛(gang)體(ti)的(de)(de)(de)一(yi)個分(fen)段的(de)(de)(de)運(yun)(yun)動屬(shu)性可(ke)以(yi)根據分(fen)段連接(jie)(jie)方式中(zhong)(zhong)的(de)(de)(de)約(yue)束確(que)定剛(gang)體(ti)其他分(fen)段的(de)(de)(de)運(yun)(yun)動屬(shu)性。例(li)如(ru)，手臂(bei)可(ke)建(jian)模(mo)為兩段式鉸接(jie)(jie)剛(gang)體(ti)，其上(shang)部對(dui)(dui)應于在肩關節處連接(jie)(jie)至軀干的(de)(de)(de)上(shang)臂(bei)，下(xia)部對(dui)(dui)應于前臂(bei)，其中(zhong)(zhong)兩段在肘(zhou)關節處連接(jie)(jie)。作為另一(yi)個示例(li)，手可(ke)以(yi)建(jian)模(mo)為多(duo)(duo)節鉸接(jie)(jie)體(ti)，手腕(wan)中(zhong)(zhong)的(de)(de)(de)關節和每(mei)個手指形(xing)成模(mo)型中(zhong)(zhong)多(duo)(duo)節之間(jian)的(de)(de)(de)接(jie)(jie)口。在一(yi)個實(shi)施例(li)中(zhong)(zhong)，剛(gang)體(ti)模(mo)型中(zhong)(zhong)的(de)(de)(de)節段的(de)(de)(de)運(yun)(yun)動可(ke)以(yi)模(mo)擬為鉸接(jie)(jie)剛(gang)體(ti)系統，其中(zhong)(zhong)使用訓(xun)練的(de)(de)(de)統計(ji)模(mo)型預測(ce)模(mo)型中(zhong)(zhong)節段相對(dui)(dui)于其他節段的(de)(de)(de)方向(xiang)和位置信息。
人(ren)體(ti)肌(ji)肉骨(gu)骼(ge)系(xi)(xi)統可以建模為多(duo)節(jie)段鉸接(jie)(jie)剛(gang)體(ti)系(xi)(xi)統，關(guan)(guan)節(jie)形(xing)成不同節(jie)段之間(jian)(jian)的(de)(de)(de)接(jie)(jie)口，關(guan)(guan)節(jie)角度定(ding)義模型(xing)中連(lian)(lian)接(jie)(jie)節(jie)段之間(jian)(jian)的(de)(de)(de)空間(jian)(jian)關(guan)(guan)系(xi)(xi)。對(dui)關(guan)(guan)節(jie)運(yun)動(dong)的(de)(de)(de)限制(zhi)取決于連(lian)(lian)接(jie)(jie)節(jie)段的(de)(de)(de)關(guan)(guan)節(jie)類型(xing)和(he)(he)限制(zhi)關(guan)(guan)節(jie)運(yun)動(dong)范(fan)圍的(de)(de)(de)生物結構，如肌(ji)肉、肌(ji)腱、韌帶。例(li)如，連(lian)(lian)接(jie)(jie)上臂與(yu)軀(qu)干(gan)的(de)(de)(de)肩關(guan)(guan)節(jie)和(he)(he)連(lian)(lian)接(jie)(jie)大腿與(yu)軀(qu)干(gan)的(de)(de)(de)髖關(guan)(guan)節(jie)是允許伸(shen)展(zhan)和(he)(he)彎(wan)曲運(yun)動(dong)以及旋(xuan)轉運(yun)動(dong)的(de)(de)(de)球(qiu)窩關(guan)(guan)節(jie)。相比之下，連(lian)(lian)接(jie)(jie)上臂和(he)(he)前(qian)臂的(de)(de)(de)肘關(guan)(guan)節(jie)和(he)(he)連(lian)(lian)接(jie)(jie)大腿和(he)(he)小腿的(de)(de)(de)膝關(guan)(guan)節(jie)允許更有限的(de)(de)(de)運(yun)動(dong)范(fan)圍。如本文所述，多(duo)段鉸接(jie)(jie)剛(gang)體(ti)系(xi)(xi)統可用(yong)于模擬人(ren)體(ti)肌(ji)肉骨(gu)骼(ge)系(xi)(xi)統。
圖1是一個(ge)示例性(xing)系統100。所述系統包括(kuo)多(duo)個(ge)自動(dong)傳(chuan)(chuan)(chuan)感(gan)器110，其配(pei)置(zhi)成記(ji)錄(lu)由(you)人體(ti)(ti)(ti)各部(bu)(bu)分(fen)(fen)的(de)(de)運動(dong)產(chan)生的(de)(de)信(xin)(xin)(xin)號(hao)。這里的(de)(de)自動(dong)傳(chuan)(chuan)(chuan)感(gan)器是指(zhi)配(pei)置(zhi)為測量身體(ti)(ti)(ti)部(bu)(bu)分(fen)(fen)的(de)(de)運動(dong)，并且不(bu)需要使用外部(bu)(bu)傳(chuan)(chuan)(chuan)感(gan)器的(de)(de)傳(chuan)(chuan)(chuan)感(gan)器。自動(dong)傳(chuan)(chuan)(chuan)感(gan)器110可(ke)包括(kuo)一個(ge)或(huo)(huo)多(duo)個(ge)慣(guan)性(xing)測量單元（IMU）。在一個(ge)實施例中，IMU可(ke)用于(yu)感(gan)測關于(yu)附著IMU的(de)(de)身體(ti)(ti)(ti)部(bu)(bu)分(fen)(fen)的(de)(de)移(yi)動(dong)的(de)(de)信(xin)(xin)(xin)息(xi)，并且可(ke)隨著用戶隨時間(jian)移(yi)動(dong)而追(zhui)蹤(zong)從感(gan)測數據導出的(de)(de)信(xin)(xin)(xin)息(xi)，例如位(wei)置(zhi)和/或(huo)(huo)方向信(xin)(xin)(xin)息(xi)。例如，一個(ge)或(huo)(huo)多(duo)個(ge)IMU可(ke)用于(yu)在用戶隨時間(jian)移(yi)動(dong)時追(zhui)蹤(zong)靠近用戶軀干的(de)(de)用戶身體(ti)(ti)(ti)部(bu)(bu)分(fen)(fen)的(de)(de)移(yi)動(dong)，例如手(shou)臂(bei)或(huo)(huo)雙腿。
自動(dong)(dong)(dong)傳(chuan)感(gan)(gan)器(qi)(qi)110同(tong)時可包括多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)傳(chuan)感(gan)(gan)器(qi)(qi)，其(qi)配置成記錄由(you)人體(ti)(ti)骨骼肌(ji)(ji)(ji)中(zhong)的(de)(de)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)活(huo)(huo)動(dong)(dong)(dong)產生的(de)(de)信(xin)(xin)號。這里的(de)(de)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)活(huo)(huo)動(dong)(dong)(dong)是指支(zhi)配肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)的(de)(de)脊髓(sui)運動(dong)(dong)(dong)神(shen)(shen)(shen)經(jing)(jing)(jing)元的(de)(de)神(shen)(shen)(shen)經(jing)(jing)(jing)激活(huo)(huo)、肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)激活(huo)(huo)、肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)收縮或神(shen)(shen)(shen)經(jing)(jing)(jing)激活(huo)(huo)、肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)激活(huo)(huo)和(he)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)收縮的(de)(de)任何組合。神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)傳(chuan)感(gan)(gan)器(qi)(qi)可包括一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)肌(ji)(ji)(ji)電圖（EMG）傳(chuan)感(gan)(gan)器(qi)(qi)、一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)機械肌(ji)(ji)(ji)圖（MMG）傳(chuan)感(gan)(gan)器(qi)(qi)、一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)超聲肌(ji)(ji)(ji)圖（SMG）傳(chuan)感(gan)(gan)器(qi)(qi)和(he)/或配置為檢測(ce)(ce)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)信(xin)(xin)號的(de)(de)任何合適類型的(de)(de)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)或多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)傳(chuan)感(gan)(gan)器(qi)(qi)。在(zai)一(yi)個(ge)(ge)(ge)(ge)(ge)(ge)實施例中(zhong)，多(duo)個(ge)(ge)(ge)(ge)(ge)(ge)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)傳(chuan)感(gan)(gan)器(qi)(qi)可用于(yu)感(gan)(gan)測(ce)(ce)與由(you)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)控(kong)制的(de)(de)身體(ti)(ti)部分的(de)(de)運動(dong)(dong)(dong)相關(guan)的(de)(de)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)活(huo)(huo)動(dong)(dong)(dong)，其(qi)中(zhong)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)傳(chuan)感(gan)(gan)器(qi)(qi)布(bu)置為感(gan)(gan)測(ce)(ce)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)活(huo)(huo)動(dong)(dong)(dong)。描(miao)述運動(dong)(dong)(dong)的(de)(de)空間信(xin)(xin)息(xi)可以基于(yu)用戶隨(sui)時間移動(dong)(dong)(dong)時感(gan)(gan)測(ce)(ce)到的(de)(de)神(shen)(shen)(shen)經(jing)(jing)(jing)肌(ji)(ji)(ji)肉(rou)(rou)(rou)(rou)信(xin)(xin)號來預測(ce)(ce)。
在包括至少一個IMU和(he)多個神(shen)(shen)經肌肉傳(chuan)感(gan)(gan)器的(de)實(shi)施例中，可(ke)以(yi)將IMU和(he)神(shen)(shen)經肌肉傳(chuan)感(gan)(gan)器布置(zhi)成檢測(ce)人(ren)體(ti)不同(tong)部(bu)位(wei)的(de)運(yun)動。例如，IMU可(ke)布置(zhi)成檢測(ce)靠近軀干的(de)一個或多個身體(ti)節段的(de)運(yun)動，而神(shen)(shen)經肌肉傳(chuan)感(gan)(gan)器可(ke)布置(zhi)成檢測(ce)遠離(li)軀干的(de)一個或多個身體(ti)節段的(de)運(yun)動。
不(bu)過，自(zi)動傳(chuan)感(gan)器(qi)110可以(yi)以(yi)任何合適的方(fang)式布置(zhi)。例如(ru)在一個實施例中，至(zhi)少一個IMU和多個神經肌肉傳(chuan)感(gan)器(qi)可共(gong)同位于(yu)身體節段(duan)(duan)上，以(yi)使(shi)用不(bu)同類(lei)型(xing)的測量來追蹤身體節段(duan)(duan)的運動。置(zhi)。
每個(ge)(ge)(ge)自(zi)動(dong)傳(chuan)感(gan)器(qi)110包(bao)括一個(ge)(ge)(ge)或(huo)多個(ge)(ge)(ge)運動(dong)感(gan)測組件(jian)，其配(pei)(pei)置(zhi)(zhi)為感(gan)測運動(dong)信息。在IMU的(de)情況下，運動(dong)感(gan)測部件(jian)可(ke)包(bao)括一個(ge)(ge)(ge)或(huo)多個(ge)(ge)(ge)加速計、陀螺儀、磁(ci)強計或(huo)其任(ren)何(he)組合。在神(shen)經肌(ji)肉傳(chuan)感(gan)器(qi)的(de)情況下，運動(dong)傳(chuan)感(gan)部件(jian)可(ke)包(bao)括但不限于電極(ji)，電極(ji)配(pei)(pei)置(zhi)(zhi)用(yong)于檢(jian)測身體表(biao)面上的(de)電位，振(zhen)動(dong)傳(chuan)感(gan)器(qi)配(pei)(pei)置(zhi)(zhi)用(yong)于測量皮膚表(biao)面振(zhen)動(dong)，以(yi)及聲學傳(chuan)感(gan)組件(jian)。
在一(yi)(yi)個實(shi)施(shi)例中，可以使用硬件信號(hao)處理(li)電路處理(li)一(yi)(yi)個或(huo)多個運動(dong)傳感組件的輸(shu)出。在其他實(shi)施(shi)例中，可以在軟件中執行運動(dong)感測組件的輸(shu)出的一(yi)(yi)定信號(hao)處理(li)。
在(zai)一個(ge)實(shi)施例中，可(ke)(ke)(ke)(ke)對記(ji)錄的(de)傳(chuan)感器數(shu)據(ju)進行處(chu)理，以(yi)(yi)計(ji)算額外的(de)衍生測量值(zhi)，然(ran)后將其作為統計(ji)模(mo)型的(de)輸入提供。例如，可(ke)(ke)(ke)(ke)以(yi)(yi)對來(lai)自(zi)IMU傳(chuan)感器的(de)記(ji)錄信(xin)(xin)(xin)號進行處(chu)理，以(yi)(yi)導出指定(ding)剛體段隨時間的(de)方向的(de)方向信(xin)(xin)(xin)號。可(ke)(ke)(ke)(ke)以(yi)(yi)使用自(zi)動傳(chuan)感器組(zu)件110的(de)至少一個(ge)或多個(ge)傳(chuan)感組(zu)件與(yu)(yu)自(zi)主信(xin)(xin)(xin)號處(chu)理集(ji)成，但可(ke)(ke)(ke)(ke)以(yi)(yi)不與(yu)(yu)自(zi)動傳(chuan)感器組(zu)件110的(de)一個(ge)或多個(ge)通信(xin)(xin)(xin)組(zu)件直接集(ji)成。
在(zai)一(yi)(yi)個實施例中(zhong)，多個自動傳(chuan)感器(qi)110中(zhong)可布置為可穿戴設備的一(yi)(yi)部分。例如在(zai)一(yi)(yi)個非限制性(xing)示例中(zhong)，IMU傳(chuan)感器(qi)和(he)多個神(shen)經肌肉傳(chuan)感器(qi)圍繞可調節和(he)/或彈性(xing)帶周向布置。
在一(yi)個實施(shi)例中，16個肌(ji)電傳感器(qi)沿周(zhou)向(xiang)布置(zhi)在彈性帶(dai)(dai)周(zhou)圍，而(er)彈性帶(dai)(dai)配置(zhi)為(wei)佩戴(dai)(dai)在用戶(hu)的(de)下臂(bei)周(zhou)圍。例如，圖(tu)2示(shi)出(chu)了圍繞彈性帶(dai)(dai)502周(zhou)向(xiang)布置(zhi)的(de)EMG傳感器(qi)504。根據具(ju)體的(de)位(wei)置(zhi)，彈性帶(dai)(dai)又可(ke)(ke)稱為(wei)可(ke)(ke)穿(chuan)戴(dai)(dai)臂(bei)帶(dai)(dai)/腕(wan)帶(dai)(dai)，腿帶(dai)(dai)/踝帶(dai)(dai)。可(ke)(ke)穿(chuan)戴(dai)(dai)臂(bei)帶(dai)(dai)或腕(wan)帶(dai)(dai)可(ke)(ke)用于預測手(shou)部(bu)運動任務的(de)肌(ji)肉骨(gu)骼位(wei)置(zhi)信息，而(er)可(ke)(ke)穿(chuan)戴(dai)(dai)腿帶(dai)(dai)或踝帶(dai)(dai)可(ke)(ke)用于預測腳步運動任務的(de)肌(ji)肉骨(gu)骼位(wei)置(zhi)信息。
例(li)(li)如，如圖3所示(shi)，手508佩戴彈性帶502。這樣，EMG傳感器504可(ke)以配置(zhi)成在用戶使用手指540控制(zhi)鍵盤530時(shi)記錄EMG信號。在一(yi)(yi)個實施例(li)(li)中(zhong)，彈性帶502可(ke)包括一(yi)(yi)個或多個IMU（未示(shi)出）。
在(zai)一個(ge)實(shi)施例中，多個(ge)可(ke)(ke)穿(chuan)戴設備可(ke)(ke)用于預測涉(she)及身體多個(ge)部位(wei)的(de)(de)運(yun)動(dong)(dong)的(de)(de)肌肉骨骼位(wei)置信息(xi)(xi)。在(zai)實(shi)時運(yun)動(dong)(dong)追(zhui)蹤期間，從單個(ge)臂(bei)帶/腕帶可(ke)(ke)穿(chuan)戴設備感測的(de)(de)信息(xi)(xi)用于重建身體運(yun)動(dong)(dong)，例如重建前臂(bei)、上臂(bei)和(he)手臂(bei)的(de)(de)位(wei)置和(he)方向。
在一個(ge)實施(shi)例中，可(ke)以(yi)提供(gong)用于(yu)預測(ce)肌肉(rou)骨骼位置(zhi)信息的(de)(de)統(tong)計模(mo)(mo)型(xing)(xing)(xing)。如上所述，多節(jie)段鉸接剛體模(mo)(mo)型(xing)(xing)(xing)中節(jie)段之間的(de)(de)關(guan)節(jie)類型(xing)(xing)(xing)約束剛體的(de)(de)運(yun)動。另(ling)外，不同的(de)(de)個(ge)體在執行任(ren)務時(shi)往往會(hui)以(yi)其特有的(de)(de)方(fang)式(shi)移(yi)動，而這可(ke)以(yi)通過(guo)個(ge)體用戶行為的(de)(de)統(tong)計模(mo)(mo)式(shi)來(lai)捕獲。根據(ju)(ju)一個(ge)實施(shi)例，可(ke)將對人(ren)體運(yun)動的(de)(de)約束并(bing)入用于(yu)預測(ce)的(de)(de)統(tong)計模(mo)(mo)型(xing)(xing)(xing)中。另(ling)外，可(ke)以(yi)利用傳感(gan)器數(shu)據(ju)(ju)來(lai)訓練學(xue)習約束。
在(zai)(zai)一(yi)(yi)(yi)個實(shi)施(shi)(shi)例中，可(ke)訓(xun)(xun)練系統100以(yi)預測用(yong)戶(hu)移動(dong)時的肌肉骨骼信息(xi)。在(zai)(zai)一(yi)(yi)(yi)個實(shi)施(shi)(shi)例中，系統100可(ke)以(yi)通(tong)過記錄來(lai)自自動(dong)傳感器(qi)110的信號和在(zai)(zai)用(yong)戶(hu)執行一(yi)(yi)(yi)個或多個動(dong)作(zuo)時從一(yi)(yi)(yi)個或多個用(yong)戶(hu)佩(pei)戴的位置傳感器(qi)記錄的位置信息(xi)來(lai)進行訓(xun)(xun)練。
在一個實施例中，在系(xi)統(tong)100經過訓(xun)練以(yi)基于(yu)特(te)定(ding)用(yong)(yong)戶(hu)的自(zi)主(zhu)傳感器(qi)(qi)信(xin)(xin)號預測(ce)(ce)肌(ji)肉(rou)(rou)骨骼(ge)位置(zhi)信(xin)(xin)息(xi)后(hou)，用(yong)(yong)戶(hu)可利(li)用(yong)(yong)系(xi)統(tong)100執行(xing)虛(xu)擬或物(wu)理動作而(er)不使用(yong)(yong)位置(zhi)傳感器(qi)(qi)。例如，當系(xi)統(tong)100訓(xun)練為(wei)以(yi)高精度）預測(ce)(ce)肌(ji)肉(rou)(rou)骨骼(ge)位置(zhi)信(xin)(xin)息(xi)時，預測(ce)(ce)本身(shen)可用(yong)(yong)于(yu)確定(ding)用(yong)(yong)于(yu)生成用(yong)(yong)戶(hu)身(shen)體(ti)的肌(ji)肉(rou)(rou)骨骼(ge)表示的肌(ji)肉(rou)(rou)骨骼(ge)位置(zhi)信(xin)(xin)息(xi)。
圖(tu)4描(miao)述(shu)了使用(yong)從一(yi)個(ge)或(huo)多個(ge)用(yong)戶佩戴的自主(zhu)傳(chuan)感(gan)器記(ji)錄(lu)的信號(hao)生成統計模型的過(guo)程(cheng)(cheng)400。過(guo)程(cheng)(cheng)400可(ke)以(yi)由任何合適(shi)的計算(suan)(suan)設備執(zhi)行。例如，過(guo)程(cheng)(cheng)400可(ke)以(yi)由參(can)考圖(tu)1描(miao)述(shu)的處理器112執(zhi)行。作(zuo)(zuo)為(wei)另一(yi)示例，可(ke)以(yi)使用(yong)一(yi)個(ge)或(huo)多個(ge)服務器執(zhi)行過(guo)程(cheng)(cheng)400的一(yi)個(ge)或(huo)多個(ge)動作(zuo)(zuo)。例如，可(ke)以(yi)使用(yong)云(yun)計算(suan)(suan)環境(jing)來(lai)執(zhi)行動作(zuo)(zuo)410中與統計模型訓練有關的至少(shao)一(yi)部分。
過(guo)程400從(cong)動作402開(kai)始，其中(zhong)為執(zhi)行一個(ge)(ge)(ge)或(huo)多個(ge)(ge)(ge)動作的(de)一個(ge)(ge)(ge)或(huo)多個(ge)(ge)(ge)用(yong)戶(hu)獲(huo)得多個(ge)(ge)(ge)傳(chuan)感器信(xin)號(hao)。在一個(ge)(ge)(ge)實施例中(zhong)，可將多個(ge)(ge)(ge)傳(chuan)感器信(xin)號(hao)記錄為過(guo)程400的(de)一部分。
在(zai)(zai)(zai)提供(gong)(gong)基于多種類型(xing)(xing)(xing)傳感(gan)(gan)(gan)器(qi)(qi)(qi)（例(li)如IMU傳感(gan)(gan)(gan)器(qi)(qi)(qi)、EMG傳感(gan)(gan)(gan)器(qi)(qi)(qi)、MMG傳感(gan)(gan)(gan)器(qi)(qi)(qi)、SMG傳感(gan)(gan)(gan)器(qi)(qi)(qi)）的(de)(de)(de)(de)預測中，可(ke)(ke)以(yi)(yi)針對每種類型(xing)(xing)(xing)的(de)(de)(de)(de)傳感(gan)(gan)(gan)器(qi)(qi)(qi)訓練(lian)單獨的(de)(de)(de)(de)統計模型(xing)(xing)(xing)，并且可(ke)(ke)以(yi)(yi)組合傳感(gan)(gan)(gan)器(qi)(qi)(qi)類型(xing)(xing)(xing)特定模型(xing)(xing)(xing)的(de)(de)(de)(de)輸出以(yi)(yi)生成(cheng)用(yong)戶(hu)(hu)身(shen)體的(de)(de)(de)(de)肌肉骨(gu)骼表示。在(zai)(zai)(zai)其他實(shi)施例(li)中，在(zai)(zai)(zai)動作402中從兩(liang)個或多個不同類型(xing)(xing)(xing)的(de)(de)(de)(de)傳感(gan)(gan)(gan)器(qi)(qi)(qi)獲得(de)的(de)(de)(de)(de)傳感(gan)(gan)(gan)器(qi)(qi)(qi)信號可(ke)(ke)以(yi)(yi)提供(gong)(gong)給單個統計模型(xing)(xing)(xing)，并基于從不同類型(xing)(xing)(xing)的(de)(de)(de)(de)傳感(gan)(gan)(gan)器(qi)(qi)(qi)記錄的(de)(de)(de)(de)信號進行訓練(lian)。在(zai)(zai)(zai)一個說明性實(shi)現中，IMU傳感(gan)(gan)(gan)器(qi)(qi)(qi)和(he)(he)多個EMG傳感(gan)(gan)(gan)器(qi)(qi)(qi)布(bu)置在(zai)(zai)(zai)配置成(cheng)佩戴在(zai)(zai)(zai)用(yong)戶(hu)(hu)前臂周圍的(de)(de)(de)(de)可(ke)(ke)穿戴設備，并且由IMU和(he)(he)EMG傳感(gan)(gan)(gan)器(qi)(qi)(qi)記錄的(de)(de)(de)(de)信號被共同提供(gong)(gong)作為統計模型(xing)(xing)(xing)的(de)(de)(de)(de)輸入。
在(zai)一(yi)個實施(shi)例中，可以(yi)指示用(yong)(yong)(yong)戶(hu)(hu)多(duo)次(ci)執行任務，并(bing)且(qie)可以(yi)針對用(yong)(yong)(yong)戶(hu)(hu)多(duo)次(ci)重復的任務記(ji)(ji)錄(lu)(lu)傳感器信(xin)號和(he)位(wei)置信(xin)息。在(zai)以(yi)惡搞實施(shi)例中，可以(yi)基(ji)于(yu)與來自(zi)多(duo)個用(yong)(yong)(yong)戶(hu)(hu)的記(ji)(ji)錄(lu)(lu)信(xin)號相對應的訓(xun)(xun)練(lian)數據生成跨用(yong)(yong)(yong)戶(hu)(hu)統計(ji)模(mo)型(xing)，并(bing)且(qie)當(dang)用(yong)(yong)(yong)戶(hu)(hu)使用(yong)(yong)(yong)系統時(shi)，基(ji)于(yu)記(ji)(ji)錄(lu)(lu)的傳感器數據對統計(ji)模(mo)型(xing)進行訓(xun)(xun)練(lian)，以(yi)便統計(ji)模(mo)型(xing)學習依賴于(yu)用(yong)(yong)(yong)戶(hu)(hu)的特征，從而(er)改進系統對特定用(yong)(yong)(yong)戶(hu)(hu)的預測能力(li)。
如上所述(shu)，當(dang)一個(ge)(ge)(ge)或多(duo)(duo)個(ge)(ge)(ge)用戶(hu)中(zhong)(zhong)的(de)每個(ge)(ge)(ge)用戶(hu)一次(ci)或多(duo)(duo)次(ci)執行(xing)一個(ge)(ge)(ge)或多(duo)(duo)個(ge)(ge)(ge)任(ren)(ren)(ren)務中(zhong)(zhong)的(de)每個(ge)(ge)(ge)任(ren)(ren)(ren)務時，可通過記錄傳(chuan)感(gan)(gan)器信(xin)號(hao)來(lai)(lai)獲(huo)得在(zai)動作(zuo)(zuo)402處獲(huo)得的(de)傳(chuan)感(gan)(gan)器數據。當(dang)用戶(hu)執行(xing)任(ren)(ren)(ren)務時，可在(zai)動作(zuo)(zuo)404中(zhong)(zhong)獲(huo)得描述(shu)任(ren)(ren)(ren)務執行(xing)期(qi)間(jian)不(bu)同身體片(pian)段的(de)空間(jian)位置的(de)位置信(xin)息。在(zai)一個(ge)(ge)(ge)實施例中(zhong)(zhong)，使(shi)用在(zai)執行(xing)任(ren)(ren)(ren)務期(qi)間(jian)追蹤身體上不(bu)同點的(de)位置的(de)一個(ge)(ge)(ge)或多(duo)(duo)個(ge)(ge)(ge)外部設備或系統來(lai)(lai)獲(huo)得位置信(xin)息。
接(jie)下來，過程400進行(xing)到(dao)動作(zuo)406，其中(zhong)可(ke)選地處理在動作(zuo)402中(zhong)獲(huo)得(de)的(de)自(zi)動傳感器信(xin)(xin)號(hao)和/或在動作(zuo)404中(zhong)獲(huo)得(de)的(de)位(wei)置(zhi)信(xin)(xin)息。例(li)如，可(ke)以使用放大、濾(lv)波、整流或其他類型的(de)信(xin)(xin)號(hao)處理來處理自(zi)主傳感器信(xin)(xin)號(hao)或位(wei)置(zhi)信(xin)(xin)息信(xin)(xin)號(hao)。
接(jie)下來(lai)，過程400進(jin)行到動作(zuo)408，并基于位(wei)置(zhi)(zhi)信(xin)(xin)息確(que)定(ding)肌(ji)肉骨(gu)(gu)骼位(wei)置(zhi)(zhi)特征。在一個實(shi)施例(li)中(zhong)(zhong)，不是使用(yong)與位(wei)置(zhi)(zhi)傳感器相(xiang)對(dui)應的(de)(de)(de)記錄的(de)(de)(de)空間坐標作(zuo)為訓練(lian)數據來(lai)訓練(lian)統(tong)計模(mo)(mo)型(xing)，而是基于記錄的(de)(de)(de)位(wei)置(zhi)(zhi)信(xin)(xin)息來(lai)確(que)定(ding)一組導出(chu)的(de)(de)(de)肌(ji)肉骨(gu)(gu)骼位(wei)置(zhi)(zhi)特征值，并將導出(chu)的(de)(de)(de)值用(yong)作(zuo)訓練(lian)統(tong)計模(mo)(mo)型(xing)的(de)(de)(de)訓練(lian)數據。例(li)如，使用(yong)關于鉸(jiao)接(jie)剛(gang)體模(mo)(mo)型(xing)中(zhong)(zhong)連接(jie)的(de)(de)(de)剛(gang)性段對(dui)之間的(de)(de)(de)約束的(de)(de)(de)信(xin)(xin)息，位(wei)置(zhi)(zhi)信(xin)(xin)息可用(yong)于確(que)定(ding)關節角度。
接下(xia)來，過程400前進到動作410，并組件在動作402和408處獲(huo)得(de)的(de)(de)時間序列信息，從而創(chuang)建用于在動作410處訓練(lian)統計模(mo)型的(de)(de)訓練(lian)數據(ju)。可以以任何合適的(de)(de)方(fang)式組合所獲(huo)得(de)的(de)(de)數據(ju)。
在動(dong)作412，可(ke)以從動(dong)作410生成的訓練數(shu)(shu)據估計(ji)(ji)統計(ji)(ji)模型的參(can)數(shu)(shu)值。例(li)如(ru)，當統計(ji)(ji)模型是神(shen)經網絡時，可(ke)以從訓練數(shu)(shu)據估計(ji)(ji)神(shen)經網絡的參(can)數(shu)(shu)。
接下來，過程400前進到動作(zuo)414，并存儲訓練的統計模(mo)型。訓練后的統計模(mo)型可以使用任何(he)合適的格式存儲。
圖5示出了基于來(lai)自(zi)多個(ge)自(zi)動傳感(gan)器的(de)記錄(lu)信號和經過(guo)訓練(lian)的(de)統計模型預(yu)測(ce)肌肉骨骼位置信息的(de)過(guo)程500。
過程(cheng)500從動(dong)(dong)作510開始，其中從布置在(zai)用戶身體表面(mian)上或附近(jin)的(de)多(duo)個自(zi)動(dong)(dong)傳感(gan)器記(ji)錄(lu)信(xin)號(hao)，以(yi)記(ji)錄(lu)執行(xing)任務(wu)期間與身體運(yun)動(dong)(dong)相關的(de)活動(dong)(dong)。過程(cheng)500然后進行(xing)到(dao)動(dong)(dong)作512，其中可(ke)選(xuan)地處理由自(zi)主傳感(gan)器記(ji)錄(lu)的(de)信(xin)號(hao)。例如，可(ke)以(yi)使用放(fang)大、濾波、整流或其他類(lei)型的(de)信(xin)號(hao)處理來處理信(xin)號(hao)。
過程(cheng)500接(jie)著進(jin)行到動作514。其中，自(zi)動傳(chuan)(chuan)感器(qi)信(xin)(xin)號(hao)(hao)提(ti)(ti)供使用(yong)上(shang)文過程(cheng)400描述(shu)的(de)一種或(huo)多種技術訓練的(de)統計模(mo)(mo)型的(de)輸(shu)入(ru)(ru)。在(zai)連(lian)續(xu)記(ji)錄信(xin)(xin)號(hao)(hao)的(de)實(shi)施例中，可連(lian)續(xu)或(huo)周期性地將連(lian)續(xu)記(ji)錄的(de)信(xin)(xin)號(hao)(hao)作為輸(shu)入(ru)(ru)提(ti)(ti)供給訓練的(de)統計模(mo)(mo)型，用(yong)于預測給定輸(shu)入(ru)(ru)傳(chuan)(chuan)感器(qi)數據集(ji)的(de)肌肉骨骼位(wei)置信(xin)(xin)息（例如(ru)關(guan)節角度）。
在經過(guo)(guo)訓(xun)練(lian)的(de)(de)統計(ji)模(mo)(mo)型接收到(dao)作為一組(zu)輸(shu)入參數的(de)(de)傳感器數據之(zhi)后(hou)，過(guo)(guo)程500前進到(dao)動作516。其中(zhong)，從經過(guo)(guo)訓(xun)練(lian)的(de)(de)統計(ji)模(mo)(mo)型輸(shu)出(chu)預測的(de)(de)肌肉(rou)骨(gu)(gu)骼(ge)位置信息(xi)。如上所述，在一個(ge)實施例中(zhong)，預測的(de)(de)肌肉(rou)骨(gu)(gu)骼(ge)位置信息(xi)可(ke)包括表示用戶身體(ti)至少一部(bu)分的(de)(de)多段(duan)鉸接剛(gang)體(ti)模(mo)(mo)型的(de)(de)一組(zu)肌肉(rou)骨(gu)(gu)骼(ge)位置信息(xi)值（例如一組(zu)關(guan)節角度）。
在動作(zuo)516中預測肌(ji)肉(rou)(rou)骨(gu)(gu)(gu)(gu)骼(ge)位置信息之(zhi)后，過(guo)程500進(jin)入動作(zuo)518，其中至少部分地基于(yu)訓練(lian)的(de)(de)(de)統(tong)計模(mo)型輸(shu)出的(de)(de)(de)肌(ji)肉(rou)(rou)骨(gu)(gu)(gu)(gu)骼(ge)位置信息生成用(yong)戶身體(ti)(ti)的(de)(de)(de)基于(yu)計算機(ji)的(de)(de)(de)肌(ji)肉(rou)(rou)骨(gu)(gu)(gu)(gu)骼(ge)表(biao)(biao)示。可以(yi)(yi)以(yi)(yi)任(ren)何合(he)適的(de)(de)(de)方式生成基于(yu)計算機(ji)的(de)(de)(de)肌(ji)肉(rou)(rou)骨(gu)(gu)(gu)(gu)骼(ge)表(biao)(biao)示。例如(ru)，基于(yu)計算機(ji)的(de)(de)(de)人體(ti)(ti)肌(ji)肉(rou)(rou)骨(gu)(gu)(gu)(gu)骼(ge)模(mo)型可以(yi)(yi)包括多個(ge)(ge)剛(gang)體(ti)(ti)段，每個(ge)(ge)剛(gang)體(ti)(ti)段對(dui)應于(yu)身體(ti)(ti)中的(de)(de)(de)一(yi)個(ge)(ge)或(huo)多個(ge)(ge)骨(gu)(gu)(gu)(gu)骼(ge)結構。例如(ru)，上(shang)臂可以(yi)(yi)表(biao)(biao)示為剛(gang)體(ti)(ti)，下臂可以(yi)(yi)表(biao)(biao)示為剛(gang)體(ti)(ti)，并且手上(shang)的(de)(de)(de)每個(ge)(ge)手指可以(yi)(yi)由至少一(yi)個(ge)(ge)剛(gang)體(ti)(ti)段表(biao)(biao)示。
當統(tong)計模(mo)型測(ce)(ce)量和處理新的(de)傳(chuan)感(gan)器(qi)數(shu)(shu)據(ju)以提供肌(ji)肉(rou)骨骼(ge)位置信息的(de)新預測(ce)(ce)（例如一組更新的(de)關節(jie)角度）時(shi)，基于(yu)計算機的(de)肌(ji)肉(rou)骨骼(ge)表(biao)示可以基于(yu)根據(ju)統(tong)計模(mo)型輸出確定(ding)的(de)關節(jie)角度的(de)更新集(ji)合來更新。通過這(zhe)種方式，基于(yu)計算機的(de)肌(ji)肉(rou)骨骼(ge)表(biao)示在連續記錄自(zi)主傳(chuan)感(gan)器(qi)數(shu)(shu)據(ju)時(shi)實時(shi)動態更新。
基于計算機(ji)的肌肉(rou)骨骼表示可以任何合適的方式表示和存(cun)儲。
除了用于預(yu)測肌(ji)肉骨骼(ge)位置信息之(zhi)外，由神經(jing)肌(ji)肉傳感器直接記錄的神經(jing)肌(ji)肉活動(dong)可(ke)與生(sheng)成(cheng)的肌(ji)肉骨骼(ge)表征相(xiang)結合，以提供更豐富的肌(ji)肉骨骼(ge)表征。
圖6示出了用(yong)于將用(yong)神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)傳感器(qi)(qi)記錄的(de)(de)(de)神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)活動(dong)與至(zhi)少部(bu)分由神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)活動(dong)生成的(de)(de)(de)肌(ji)肉(rou)骨骼(ge)表示相結合(he)的(de)(de)(de)過程(cheng)600。在動(dong)作(zuo)602中(zhong)，從布(bu)置在用(yong)戶身體附近或表面(mian)上(shang)的(de)(de)(de)多個神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)傳感器(qi)(qi)記錄神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)信號。在上(shang)述示例(li)的(de)(de)(de)一些實施例(li)中(zhong)，多個神(shen)(shen)經(jing)(jing)肌(ji)肉(rou)傳感器(qi)(qi)與可穿戴(dai)設備集成，例(li)如可佩(pei)戴(dai)在用(yong)戶身體部(bu)分周圍的(de)(de)(de)柔性或可調節帶。
過程600接著(zhu)進行到動(dong)作(zuo)604，其(qi)中至少部分地基(ji)于(yu)記錄的神經肌肉(rou)信號(hao)(hao)或從(cong)神經肌肉(rou)信號(hao)(hao)導出的信號(hao)(hao)來預(yu)測肌肉(rou)骨骼(ge)位(wei)置信息。然后，過程600進入動(dong)作(zuo)606，其(qi)中基(ji)于(yu)訓練的統計模(mo)型輸出的預(yu)測肌肉(rou)骨骼(ge)位(wei)置信息生成基(ji)于(yu)計算機的肌肉(rou)骨骼(ge)表示。
如圖6所示，過程600包(bao)括使用神經(jing)肌(ji)肉(rou)信(xin)號預(yu)測肌(ji)肉(rou)活動(dong)的(de)可(ke)選動(dong)作(zuo)608。在一個(ge)實施例中，至少(shao)部(bu)分地基于(yu)動(dong)作(zuo)608中記錄的(de)神經(jing)肌(ji)肉(rou)信(xin)號預(yu)測的(de)肌(ji)肉(rou)活動(dong)與動(dong)作(zuo)610中生成的(de)肌(ji)肉(rou)骨骼表示相結合。
相關專利：Facebook Patent | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
名(ming)為“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的Meta專(zhuan)利申請最(zui)初(chu)在(zai)(zai)2021年(nian)4月提交(jiao)，并在(zai)(zai)日前由美(mei)國專(zhuan)利商標局公布(bu)。
