眼動(dong)追蹤越發成為頭(tou)顯的(de)標(biao)準配置，各家(jia)廠商(shang)都(dou)在積極探索精確、輕型、緊湊和高成本效益的(de)眼動(dong)追蹤系(xi)統。早(zao)前(qian)映維網已經分(fen)享了一系(xi)列與所述主(zhu)題相關的(de)廠商(shang)發明，而美國專(zhuan)(zhuan)利(li)商(shang)標(biao)局日前(qian)又公布(bu)了一份名為“Distributed sensor module for eye-tracking”的(de)Meta專(zhuan)(zhuan)利(li)申請。
對(dui)于(yu)眼動追(zhui)蹤，其中一(yi)個挑(tiao)戰是需(xu)要將(jiang)功(gong)耗降到最低，從而(er)優化可穿(chuan)戴設備的(de)形狀參數設計和續航(hang)能力。一(yi)種降低功(gong)耗的(de)方法是利(li)用(yong)機器學習來執行目標追(zhui)蹤，但所述方式(shi)需(xu)要一(yi)個大型網絡，而(er)這不(bu)可避免地會(hui)產生功(gong)耗，并且不(bu)能提供(gong)足夠精確的(de)結(jie)果。
為了解決上述問題，Meta希望通過一個分布式設置來減少功耗，并提供足夠精確的結果。簡單來說，可以由頭顯搭載一個傳感器模塊，并由在與頭戴式設備分離的本地計算設備中實現一個中央模塊。然后，傳感器模塊來檢測來自下采樣圖像的特征，從而執行對象追蹤，而中央模塊可處理傳感器模塊的任何潛在請求/服務。
所述(shu)分布式(shi)(shi)傳(chuan)感(gan)器(qi)模塊(kuai)包括(kuo)攝像(xiang)頭、存儲單(dan)元(yuan)、檢(jian)測單(dan)元(yuan)和計算單(dan)元(yuan)，并(bing)用于(yu)通(tong)過(guo)機器(qi)學(xue)習(xi)模型從下采樣的圖像(xiang)中有效地檢(jian)測特(te)定(ding)特(te)征。以(yi)所述(shu)方式(shi)(shi)，傳(chuan)感(gan)器(qi)模塊(kuai)可(ke)以(yi)生成(cheng)/計算特(te)定(ding)于(yu)特(te)征的圖像(xiang)，無需過(guo)度讀取圖像(xiang)中的片段(duan)并(bing)降低功耗。
在一(yi)(yi)個(ge)(ge)實施例中，攝像(xiang)頭(tou)配置(zhi)(zhi)為捕捉(zhuo)描繪用戶眼(yan)睛(jing)的(de)一(yi)(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)用戶圖像(xiang)，存儲單(dan)(dan)元配置(zhi)(zhi)為存儲圖像(xiang)，檢(jian)(jian)測單(dan)(dan)元可(ke)以從(cong)下(xia)采樣版本(ben)(ben)的(de)圖像(xiang)中檢(jian)(jian)測包括用戶眼(yan)睛(jing)特征(zheng)的(de)一(yi)(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)第一(yi)(yi)片(pian)(pian)段(duan)，并從(cong)存儲單(dan)(dan)元讀取與下(xia)采樣版本(ben)(ben)圖像(xiang)中的(de)第一(yi)(yi)片(pian)(pian)段(duan)相對應的(de)一(yi)(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)圖像(xiang)中的(de)一(yi)(yi)個(ge)(ge)或(huo)多(duo)個(ge)(ge)第二片(pian)(pian)段(duan)。然(ran)后，計(ji)算(suan)單(dan)(dan)元可(ke)以基于(yu)包括圖像(xiang)中眼(yan)睛(jing)特征(zheng)的(de)第二片(pian)(pian)段(duan)來(lai)計(ji)算(suan)用戶的(de)注視點，而不搜(sou)索原始圖像(xiang)中每個(ge)(ge)片(pian)(pian)段(duan)中的(de)特征(zheng)（這(zhe)需(xu)要額(e)外的(de)時(shi)間和能力來(lai)從(cong)原始圖像(xiang)讀取/檢(jian)(jian)測每個(ge)(ge)片(pian)(pian)段(duan)）。因此，所述(shu)傳感器模塊可(ke)以在一(yi)(yi)定程度降低功耗。
圖(tu)1示(shi)出了具(ju)有(you)bounding box110和分割遮(zhe)罩120的(de)(de)圖(tu)像(xiang)(xiang)100。在特定(ding)(ding)實(shi)施(shi)例(li)(li)(li)中，機(ji)(ji)器(qi)學(xue)習(xi)模(mo)型接受訓(xun)練(lian)以(yi)處理(li)圖(tu)像(xiang)(xiang)（例(li)(li)(li)如圖(tu)像(xiang)(xiang)100），并檢測圖(tu)像(xiang)(xiang)中的(de)(de)特定(ding)(ding)對象。在所述示(shi)例(li)(li)(li)中，機(ji)(ji)器(qi)學(xue)習(xi)模(mo)型經過訓(xun)練(lian)以(yi)識(shi)別人的(de)(de)特征。在特定(ding)(ding)實(shi)施(shi)例(li)(li)(li)中，機(ji)(ji)器(qi)學(xue)習(xi)模(mo)型可(ke)以(yi)輸(shu)出包(bao)圍檢測到的(de)(de)對象類型實(shi)例(li)(li)(li)（例(li)(li)(li)如人）的(de)(de)bounding box110。矩形bounding box可(ke)以(yi)表(biao)示(shi)為(wei)四(si)個(ge)二維坐標(biao)，并表(biao)示(shi)框的(de)(de)四(si)個(ge)角。在特定(ding)(ding)實(shi)施(shi)例(li)(li)(li)中，機(ji)(ji)器(qi)學(xue)習(xi)模(mo)型可(ke)以(yi)附加地或可(ke)選地輸(shu)出識(shi)別屬于(yu)(yu)所檢測實(shi)例(li)(li)(li)的(de)(de)特定(ding)(ding)像(xiang)(xiang)素的(de)(de)分割遮(zhe)罩120。例(li)(li)(li)如，分割遮(zhe)罩120可(ke)以(yi)表(biao)示(shi)為(wei)二維矩陣，每個(ge)矩陣元素對應于(yu)(yu)圖(tu)像(xiang)(xiang)的(de)(de)像(xiang)(xiang)素，而(er)元素的(de)(de)值對應于(yu)(yu)關聯像(xiang)(xiang)素是否(fou)屬于(yu)(yu)檢測目標(biao)。
圖(tu)2A示(shi)出了機(ji)(ji)器學習(xi)模型(xing)(xing)200的(de)(de)架(jia)構。機(ji)(ji)器學習(xi)模型(xing)(xing)200配(pei)置為(wei)將圖(tu)像210或圖(tu)像的(de)(de)預處理表示(shi)作為(wei)輸入(ru)，例(li)(li)如(ru)(ru)三維(wei)矩陣，其(qi)尺寸對(dui)應于圖(tu)像的(de)(de)高度、寬(kuan)度和顏色(se)通道，比方說紅色(se)、綠色(se)和藍色(se)。機(ji)(ji)器學習(xi)模型(xing)(xing)200識(shi)別包(bao)圍圖(tu)像210中的(de)(de)目標(biao)(biao)對(dui)象(xiang)(xiang)（例(li)(li)如(ru)(ru)人(ren)）的(de)(de)bounding box212。另外，機(ji)(ji)器學習(xi)模型(xing)(xing)200配(pei)置為(wei)讀取圖(tu)像210的(de)(de)下(xia)采(cai)樣(yang)版本（例(li)(li)如(ru)(ru)下(xia)采(cai)樣(yang)圖(tu)像218）中的(de)(de)bounding box220中的(de)(de)片(pian)段222，并檢測作為(wei)與(yu)圖(tu)像210中的(de)(de)bounding box212中的(de)(de)目標(biao)(biao)對(dui)象(xiang)(xiang)對(dui)應的(de)(de)目標(biao)(biao)區(qu)域(yu)（RoI）的(de)(de)區(qu)段222。在特定實施例(li)(li)中，RoI可包(bao)括人(ren)、汽車(che)或任(ren)何其(qi)他類型(xing)(xing)的(de)(de)對(dui)象(xiang)(xiang)。
在(zai)一(yi)個實施(shi)例(li)中，可(ke)以通過(guo)任何(he)可(ke)操作的(de)計算機視覺技術來檢(jian)測下采(cai)(cai)樣(yang)圖(tu)像(xiang)(xiang)218中的(de)RoI。例(li)如，包括RoIWarp for RoI pooling或(huo)RoaAign的(de)Mask R-CNN可(ke)以處理圖(tu)像(xiang)(xiang)210以確定(ding)作為RoI的(de)bounding box212，并(bing)通過(guo)使用ROAlign經由卷積層214、216將圖(tu)像(xiang)(xiang)210中的(de)bounding box212映(ying)射(she)到(dao)特(te)征(zheng)映(ying)射(she)（例(li)如下采(cai)(cai)樣(yang)圖(tu)像(xiang)(xiang)218中的(de)bounding box220對(dui)應(ying)于圖(tu)像(xiang)(xiang)210中的(de)bounding box212），將圖(tu)像(xiang)(xiang)210卷積到(dao)下采(cai)(cai)樣(yang)圖(tu)像(xiang)(xiang)218中，并(bing)在(zai)圖(tu)像(xiang)(xiang)210中輸出與bounding box212中的(de)特(te)征(zheng)對(dui)應(ying)的(de)分(fen)割遮罩。
在(zai)特(te)定(ding)實施(shi)例(li)(li)(li)中(zhong)，機器學習模型200配置為輸(shu)出對(dui)象(xiang)檢測（例(li)(li)(li)如(ru)(ru)(ru)圍(wei)繞(rao)人(ren)的(de)邊界框的(de)坐標(biao)）、關鍵(jian)點（例(li)(li)(li)如(ru)(ru)(ru)代(dai)表被檢測人(ren)的(de)姿勢）和/或分(fen)割(ge)遮(zhe)罩(zhao)（例(li)(li)(li)如(ru)(ru)(ru)識別對(dui)應于被檢測人(ren)的(de)像(xiang)(xiang)(xiang)素）。在(zai)特(te)定(ding)實施(shi)例(li)(li)(li)中(zhong)，每個分(fen)割(ge)遮(zhe)罩(zhao)具有(you)與輸(shu)入圖像(xiang)(xiang)(xiang)（例(li)(li)(li)如(ru)(ru)(ru)圖像(xiang)(xiang)(xiang)210）相同數量的(de)像(xiang)(xiang)(xiang)素。在(zai)特(te)定(ding)實施(shi)例(li)(li)(li)中(zhong)，分(fen)割(ge)遮(zhe)罩(zhao)中(zhong)對(dui)應于目標(biao)對(dui)象(xiang)的(de)像(xiang)(xiang)(xiang)素標(biao)記(ji)為“1”，其余(yu)像(xiang)(xiang)(xiang)素則標(biao)記(ji)為“0”，以(yi)便當分(fen)割(ge)遮(zhe)罩(zhao)覆(fu)蓋在(zai)輸(shu)入圖像(xiang)(xiang)(xiang)上(shang)時(shi)，機器學習模型200可以(yi)有(you)效(xiao)地(di)選擇與捕獲(huo)圖像(xiang)(xiang)(xiang)中(zhong)的(de)目標(biao)對(dui)象(xiang)相對(dui)應的(de)像(xiang)(xiang)(xiang)素，例(li)(li)(li)如(ru)(ru)(ru)包括圖像(xiang)(xiang)(xiang)210中(zhong)用戶特(te)征的(de)區段。
Meta指出，機(ji)器(qi)學習模(mo)型的200架構旨(zhi)在降低復雜性，從而減少(shao)處理需求(qiu)，以(yi)在資源有限的設備(bei)產生(sheng)足夠精確(que)和快速的結(jie)果，并滿足實時應用的需求(qiu)，例(li)如每秒10、15或30幀。與基(ji)于ResNet或Feature Pyramid Networks（FPN）的傳統架構相比，機(ji)器(qi)學習模(mo)型200要小(xiao)得多(duo)，并且可(ke)以(yi)更快地生(sheng)成預測，例(li)如大約快100倍。
所以，這個(ge)機器學習模型可用于檢測關于用戶(hu)眼(yan)睛的(de)(de)特征（例如用戶(hu)眼(yan)睛的(de)(de)輪廓），以便(bian)實時計算用戶(hu)的(de)(de)注視點。
圖2B示(shi)出(chu)了用于預測bounding box、分段遮(zhe)罩和(he)關鍵(jian)點的(de)(de)機(ji)(ji)器(qi)(qi)學(xue)習模型201的(de)(de)示(shi)例架構。機(ji)(ji)器(qi)(qi)學(xue)習模型201配置為獲取輸入(ru)圖像230，并且通(tong)過處理圖像230的(de)(de)下(xia)采樣(yang)(yang)版(ban)本（例如下(xia)采樣(yang)(yang)圖像234），輸出(chu)N個區段236。其中(zhong)(zhong)，區段236是(shi)下(xia)采樣(yang)(yang)圖像234中(zhong)(zhong)的(de)(de)RoI。在特(te)定(ding)實施例中(zhong)(zhong)，RoI是(shi)用戶(hu)(hu)的(de)(de)眼睛特(te)征(zheng)/關鍵(jian)點，例如，用戶(hu)(hu)眼睛的(de)(de)輪廓、虹膜的(de)(de)邊(bian)緣和(he)/或(huo)用戶(hu)(hu)眼球中(zhong)(zhong)的(de)(de)反射。
在圖(tu)(tu)2B中(zhong)(zhong)(zhong)，輸(shu)入圖(tu)(tu)像(xiang)(xiang)230包(bao)括包(bao)圍用(yong)戶(hu)眼睛特征并(bing)由一個(ge)或(huo)(huo)多個(ge)區(qu)段(duan)組成的(de)(de)bounding box232。機(ji)器學(xue)習模(mo)型(xing)201處理(li)輸(shu)入圖(tu)(tu)像(xiang)(xiang)230的(de)(de)下采樣(yang)(yang)版(ban)本（例(li)如下采樣(yang)(yang)圖(tu)(tu)像(xiang)(xiang)234），并(bing)讀取(qu)下采樣(yang)(yang)圖(tu)(tu)像(xiang)(xiang)234中(zhong)(zhong)(zhong)對(dui)應于(yu)輸(shu)入圖(tu)(tu)像(xiang)(xiang)230中(zhong)(zhong)(zhong)的(de)(de)bounding box232的(de)(de)bounding box236中(zhong)(zhong)(zhong)的(de)(de)區(qu)段(duan)，以檢(jian)測(ce)包(bao)括目(mu)標眼睛特征的(de)(de)一個(ge)或(huo)(huo)多個(ge)第一區(qu)段(duan)238。因此，當需要計算用(yong)戶(hu)的(de)(de)注視點時，用(yong)機(ji)器學(xue)習模(mo)型(xing)201實現的(de)(de)追蹤(zong)系統(tong)可以直(zhi)接(jie)讀取(qu)/檢(jian)索輸(shu)入圖(tu)(tu)像(xiang)(xiang)230中(zhong)(zhong)(zhong)與在下采樣(yang)(yang)圖(tu)(tu)像(xiang)(xiang)234中(zhong)(zhong)(zhong)用(yong)眼睛特征識別的(de)(de)第一區(qu)段(duan)238相(xiang)對(dui)應的(de)(de)區(qu)段(duan)240。
在特定實施例(li)中(zhong)，輸入圖像(xiang)(xiang)230可(ke)存儲(chu)(chu)在存儲(chu)(chu)器(qi)或任何存儲(chu)(chu)設備中(zhong)，這樣(yang)，可(ke)以簡(jian)單地從(cong)存儲(chu)(chu)器(qi)選(xuan)擇性地讀取下采樣(yang)圖像(xiang)(xiang)234和描繪眼睛特征的(de)(de)(de)全分辨率圖像(xiang)(xiang)的(de)(de)(de)部分（例(li)如下采樣(yang)圖像(xiang)(xiang)234的(de)(de)(de)至少一(yi)部分），從(cong)而最小(xiao)化(hua)消耗(hao)大(da)量(liang)功(gong)率的(de)(de)(de)存儲(chu)(chu)器(qi)訪問。
在特定(ding)實施例中，機(ji)器學(xue)習模(mo)型(xing)200、201可(ke)(ke)包(bao)括若干高級組(zu)件以檢測bounding box、關鍵點和分割掩(yan)碼。組(zu)件中的(de)每一個都可(ke)(ke)以配置為神經網(wang)絡。從概念上講，機(ji)器學(xue)習模(mo)型(xing)200、201在所示(shi)(shi)架構中配置為處理輸(shu)入(ru)圖(tu)像(xiang)并(bing)準備表示(shi)(shi)圖(tu)像(xiang)的(de)特征(zheng)映射(she)，例如卷積(ji)輸(shu)出(chu)的(de)起始(shi)。RPN獲取由神經網(wang)絡生(sheng)成的(de)特征(zheng)映射(she)，并(bing)輸(shu)出(chu)N個可(ke)(ke)能包(bao)括感興趣對象(xiang)的(de)擬議(yi)RoI。
圖(tu)3示出(chu)了根據(ju)追(zhui)蹤系(xi)統架(jia)構。追(zhui)蹤系(xi)統300包括(kuo)至(zhi)少(shao)一個(ge)傳感(gan)器模(mo)(mo)塊(kuai)(kuai)310和(he)中(zhong)央模(mo)(mo)塊(kuai)(kuai)322。傳感(gan)器模(mo)(mo)塊(kuai)(kuai)310包括(kuo)至(zhi)少(shao)一個(ge)攝(she)像(xiang)(xiang)(xiang)頭(tou)312，其捕捉用(yong)戶(hu)(hu)的(de)(de)一個(ge)或多(duo)個(ge)圖(tu)像(xiang)(xiang)(xiang)，而圖(tu)像(xiang)(xiang)(xiang)可以(yi)是描繪用(yong)戶(hu)(hu)眼睛特征(zheng)的(de)(de)用(yong)戶(hu)(hu)的(de)(de)一系(xi)列幀。傳感(gan)器模(mo)(mo)塊(kuai)(kuai)同時(shi)可以(yi)包括(kuo)存儲用(yong)戶(hu)(hu)捕捉的(de)(de)圖(tu)像(xiang)(xiang)(xiang)的(de)(de)存儲單(dan)元(yuan)(yuan)314和(he)檢測(ce)(ce)(ce)單(dan)元(yuan)(yuan)316，后者利用(yong)機器學(xue)習模(mo)(mo)型(xing)來實(shi)現(xian)，以(yi)在(zai)捕獲圖(tu)像(xiang)(xiang)(xiang)的(de)(de)下(xia)采樣(yang)版本中(zhong)檢測(ce)(ce)(ce)包含(han)用(yong)戶(hu)(hu)眼睛特征(zheng)的(de)(de)區段。傳感(gan)器模(mo)(mo)塊(kuai)(kuai)同時(shi)包括(kuo)計(ji)算單(dan)元(yuan)(yuan)318，其基于與(yu)捕獲圖(tu)像(xiang)(xiang)(xiang)的(de)(de)下(xia)采樣(yang)版本中(zhong)的(de)(de)檢測(ce)(ce)(ce)片段相對(dui)應的(de)(de)捕獲圖(tu)像(xiang)(xiang)(xiang)中(zhong)的(de)(de)片段來計(ji)算用(yong)戶(hu)(hu)的(de)(de)注視點。
另外(wai)，中(zhong)央模(mo)(mo)(mo)(mo)塊322包括(kuo)至少一個(ge)處(chu)(chu)理(li)(li)器(qi)(qi)324，處(chu)(chu)理(li)(li)器(qi)(qi)324進(jin)一步處(chu)(chu)理(li)(li)來(lai)(lai)自傳(chuan)感(gan)器(qi)(qi)模(mo)(mo)(mo)(mo)塊310的(de)(de)捕獲(huo)圖(tu)像(xiang)320中(zhong)的(de)(de)用戶的(de)(de)計算注視點(dian)和識(shi)別片段。中(zhong)央模(mo)(mo)(mo)(mo)塊進(jin)一步包括(kuo)來(lai)(lai)自一個(ge)或多個(ge)IMU 328的(de)(de)慣(guan)性測量(liang)單(dan)元（IMU）數(shu)(shu)據330，所(suo)述慣(guan)性測量(liang)單(dan)元（IMU）數(shu)(shu)據330在帶有傳(chuan)感(gan)器(qi)(qi)模(mo)(mo)(mo)(mo)塊310的(de)(de)頭戴式(shi)設備中(zhong)實現。例如(ru)，中(zhong)央模(mo)(mo)(mo)(mo)塊322基(ji)于所(suo)拍攝圖(tu)像(xiang)的(de)(de)所(suo)識(shi)別片段中(zhong)的(de)(de)特征，以及從(cong)IMU 328發送的(de)(de)IMU數(shu)(shu)據330中(zhong)提(ti)(ti)供的(de)(de)camera姿(zi)勢(shi)、速(su)度(du)、加速(su)度(du)和運動來(lai)(lai)估(gu)計用戶的(de)(de)狀態(tai)(tai)，另外(wai)，中(zhong)央模(mo)(mo)(mo)(mo)塊322可以利用用戶的(de)(de)狀態(tai)(tai)來(lai)(lai)細化(hua)捕獲(huo)圖(tu)像(xiang)中(zhong)的(de)(de)片段，并將用戶326的(de)(de)細化(hua)片段/注視點(dian)提(ti)(ti)供給傳(chuan)感(gan)器(qi)(qi)模(mo)(mo)(mo)(mo)塊310。
在(zai)(zai)(zai)特定(ding)(ding)實(shi)施(shi)例(li)(li)中(zhong)，中(zhong)央模(mo)(mo)塊(kuai)(kuai)322可(ke)以(yi)為用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)320的(de)(de)(de)(de)(de)計算(suan)注視執(zhi)行(xing)廣(guang)泛的(de)(de)(de)(de)(de)服務，以(yi)降(jiang)低功耗(hao)，例(li)(li)如在(zai)(zai)(zai)本地(di)或全(quan)局(ju)定(ding)(ding)位用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)/設備(bei)（例(li)(li)如遠程定(ding)(ding)位服務334）。在(zai)(zai)(zai)特定(ding)(ding)實(shi)施(shi)例(li)(li)中(zhong)，中(zhong)央模(mo)(mo)塊(kuai)(kuai)322處理來自IMU 328的(de)(de)(de)(de)(de)IMU數據(ju)330，以(yi)提供(gong)用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)的(de)(de)(de)(de)(de)預測姿(zi)(zi)(zi)勢并幫助生成用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)的(de)(de)(de)(de)(de)狀(zhuang)態。在(zai)(zai)(zai)特定(ding)(ding)實(shi)施(shi)例(li)(li)中(zhong)，如果需要，中(zhong)央模(mo)(mo)塊(kuai)(kuai)322可(ke)以(yi)通過基于從(cong)傳(chuan)感(gan)器模(mo)(mo)塊(kuai)(kuai)310發送的(de)(de)(de)(de)(de)捕獲(huo)圖(tu)像320中(zhong)的(de)(de)(de)(de)(de)識別片(pian)段中(zhong)的(de)(de)(de)(de)(de)特征(zheng)檢(jian)索實(shi)時映射332來定(ding)(ding)位傳(chuan)感(gan)器模(mo)(mo)塊(kuai)(kuai)310。實(shi)時映射332包括用(yong)(yong)(yong)(yong)(yong)于用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)/傳(chuan)感(gan)器模(mo)(mo)塊(kuai)(kuai)310的(de)(de)(de)(de)(de)定(ding)(ding)位的(de)(de)(de)(de)(de)映射數據(ju)334。中(zhong)央模(mo)(mo)塊(kuai)(kuai)322可(ke)以(yi)校準用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)在(zai)(zai)(zai)映射數據(ju)334的(de)(de)(de)(de)(de)姿(zi)(zi)(zi)勢，并將用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)326的(de)(de)(de)(de)(de)校準姿(zi)(zi)(zi)勢提供(gong)給傳(chuan)感(gan)器模(mo)(mo)塊(kuai)(kuai)310。在(zai)(zai)(zai)特定(ding)(ding)實(shi)施(shi)例(li)(li)中(zhong)，中(zhong)央模(mo)(mo)塊(kuai)(kuai)322可(ke)以(yi)包括存儲設備(bei)，其(qi)用(yong)(yong)(yong)(yong)(yong)于存儲捕獲(huo)的(de)(de)(de)(de)(de)圖(tu)像和(he)/或用(yong)(yong)(yong)(yong)(yong)戶(hu)(hu)(hu)的(de)(de)(de)(de)(de)計算(suan)注視點，以(yi)減輕(qing)傳(chuan)感(gan)器模(mo)(mo)塊(kuai)(kuai)310的(de)(de)(de)(de)(de)重(zhong)量。
在(zai)特定實(shi)(shi)(shi)施例中(zhong)，傳(chuan)感(gan)器模(mo)塊(kuai)310可在(zai)頭(tou)戴式設(she)備(bei)中(zhong)實(shi)(shi)(shi)現，而中(zhong)央模(mo)塊(kuai)322可在(zai)與頭(tou)戴式設(she)備(bei)分離(li)的本(ben)(ben)地計(ji)算(suan)設(she)備(bei)實(shi)(shi)(shi)現。如(ru)在(zai)兩部分系統中(zhong)。頭(tou)戴式設(she)備(bei)包括一(yi)個(ge)或多個(ge)處(chu)理(li)(li)器，配(pei)置為(wei)(wei)實(shi)(shi)(shi)現傳(chuan)感(gan)器模(mo)塊(kuai)310的攝像(xiang)頭(tou)312、存儲(chu)設(she)備(bei)314、檢測單元316和(he)計(ji)算(suan)單元318。在(zai)一(yi)個(ge)實(shi)(shi)(shi)施例中(zhong)，每個(ge)處(chu)理(li)(li)器被配(pei)置為(wei)(wei)分別實(shi)(shi)(shi)現攝像(xiang)頭(tou)312、存儲(chu)設(she)備(bei)314、檢測單元316和(he)計(ji)算(suan)單元318。本(ben)(ben)地計(ji)算(suan)設(she)備(bei)包括配(pei)置為(wei)(wei)執行中(zhong)央模(mo)塊(kuai)322的一(yi)個(ge)或多個(ge)處(chu)理(li)(li)器。
一種基(ji)(ji)于(yu)機器學習（ML）的(de)(de)輕型眼動追蹤(zong)系統(tong)可以分階段執行，以最小化(hua)功耗。執行眼動追蹤(zong)系統(tong)以對傳感器模塊捕(bu)獲的(de)(de)圖(tu)(tu)(tu)像進行下采(cai)樣(yang)，從(cong)下采(cai)樣(yang)圖(tu)(tu)(tu)像中識別(bie)目(mu)標(biao)片段（例如，基(ji)(ji)于(yu)眼睛輪廓），基(ji)(ji)于(yu)識別(bie)的(de)(de)片段加(jia)載(zai)高分辨(bian)率圖(tu)(tu)(tu)像的(de)(de)目(mu)標(biao)區(qu)域，以及基(ji)(ji)于(yu)高分辨(bian)率圖(tu)(tu)(tu)像（例如最初捕(bu)獲的(de)(de)圖(tu)(tu)(tu)像）的(de)(de)RoI中的(de)(de)反射/折射計算注視點。眼動追蹤(zong)系統(tong)僅檢索高分辨(bian)率圖(tu)(tu)(tu)像的(de)(de)RoI，所以可以減少內存訪問和功耗。
圖4A示(shi)出了傳感器模塊(kuai)處檢測特征片段(duan)的(de)示(shi)例方法(fa)400。方法(fa)400可以從步驟(zou)410開始：使(shi)用(yong)(yong)(yong)一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)攝像(xiang)(xiang)頭(tou)捕捉用(yong)(yong)(yong)戶的(de)一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)圖像(xiang)(xiang)，用(yong)(yong)(yong)戶的(de)一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)圖像(xiang)(xiang)描(miao)繪了用(yong)(yong)(yong)戶的(de)至少(shao)一(yi)只眼睛。在(zai)特定實施例中，用(yong)(yong)(yong)戶的(de)一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)圖像(xiang)(xiang)包括(kuo)從一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)攝像(xiang)(xiang)頭(tou)的(de)一(yi)個(ge)(ge)(ge)或多個(ge)(ge)(ge)視(shi)(shi)角捕獲的(de)不同注(zhu)(zhu)視(shi)(shi)方向(xiang)，從而確定用(yong)(yong)(yong)戶的(de)注(zhu)(zhu)視(shi)(shi)點(dian)。
在步驟420，方法400可(ke)(ke)以將用戶的(de)一(yi)個或多個圖像存儲(chu)在存儲(chu)單(dan)元中。在特定實(shi)施例中，存儲(chu)單(dan)元可(ke)(ke)以在具(ju)有一(yi)個或多個攝像頭的(de)頭戴式設備中實(shi)現。
在(zai)步驟430，方法(fa)400可以從存儲設備讀取用戶的(de)一個或多個圖像的(de)下(xia)采樣版(ban)本。
在步驟440，方法(fa)400可以通(tong)過(guo)使用(yong)機器學習(xi)模型處理(li)一(yi)(yi)(yi)個(ge)(ge)或(huo)多個(ge)(ge)圖(tu)像的下(xia)采樣版本，在一(yi)(yi)(yi)個(ge)(ge)或(huo)多個(ge)(ge)圖(tu)像的下(xia)采樣版本中(zhong)檢測包含(han)用(yong)戶眼(yan)睛特征的一(yi)(yi)(yi)個(ge)(ge)或(huo)多個(ge)(ge)第一(yi)(yi)(yi)區段(duan)。在特定(ding)實施例(li)中(zhong)，一(yi)(yi)(yi)個(ge)(ge)或(huo)多個(ge)(ge)第一(yi)(yi)(yi)區段(duan)包括用(yong)戶眼(yan)睛輪廓的至少一(yi)(yi)(yi)部分。
圖(tu)(tu)(tu)(tu)4B的(de)(de)(de)(de)示(shi)例方(fang)法401通過(guo)讀取與(yu)(yu)傳感器模塊處下(xia)采樣(yang)圖(tu)(tu)(tu)(tu)像(xiang)中(zhong)(zhong)(zhong)檢測到的(de)(de)(de)(de)區(qu)段(duan)(duan)(duan)相(xiang)對(dui)應的(de)(de)(de)(de)圖(tu)(tu)(tu)(tu)像(xiang)中(zhong)(zhong)(zhong)的(de)(de)(de)(de)區(qu)段(duan)(duan)(duan)來計(ji)算(suan)用戶的(de)(de)(de)(de)注視點。方(fang)法401可以在方(fang)法400中(zhong)(zhong)(zhong)的(de)(de)(de)(de)步驟440之(zhi)后(hou)的(de)(de)(de)(de)步驟450開始：從存儲單元讀取與(yu)(yu)一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)圖(tu)(tu)(tu)(tu)像(xiang)的(de)(de)(de)(de)下(xia)采樣(yang)版本中(zhong)(zhong)(zhong)的(de)(de)(de)(de)一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)第一(yi)區(qu)段(duan)(duan)(duan)相(xiang)對(dui)應的(de)(de)(de)(de)一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)圖(tu)(tu)(tu)(tu)像(xiang)中(zhong)(zhong)(zhong)的(de)(de)(de)(de)一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)第二(er)(er)區(qu)段(duan)(duan)(duan)。在特(te)定(ding)實(shi)施例中(zhong)(zhong)(zhong)，一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)第二(er)(er)區(qu)段(duan)(duan)(duan)包(bao)(bao)括用戶眼睛中(zhong)(zhong)(zhong)的(de)(de)(de)(de)反射和(he)/或(huo)(huo)(huo)(huo)折射。在特(te)定(ding)實(shi)施例中(zhong)(zhong)(zhong)，一(yi)個(ge)(ge)或(huo)(huo)(huo)(huo)多個(ge)(ge)第二(er)(er)區(qu)段(duan)(duan)(duan)包(bao)(bao)括至少一(yi)個(ge)(ge)注視方(fang)向。
在步(bu)驟(zou)460，方法401可以基于(yu)一(yi)個(ge)或多個(ge)圖像中的(de)一(yi)個(ge)或多個(ge)第二區段來計算用戶的(de)注(zhu)視點。
圖4C示(shi)出了在(zai)中(zhong)央(yang)模(mo)塊處(chu)理的圖像細(xi)化示(shi)例(li)方法(fa)402。在(zai)方法(fa)401中(zhong)的步(bu)驟(zou)(zou)460之后的步(bu)驟(zou)(zou)470，方法(fa)402可以開始向(xiang)中(zhong)央(yang)模(mo)塊發送一個或(huo)多個第二區段和(he)用戶的計算(suan)注視點。
在(zai)步(bu)驟480，方法(fa)402可以(yi)從(cong)中央(yang)模(mo)(mo)(mo)塊(kuai)接收用(yong)戶的(de)(de)第(di)三圖像(xiang)，所述圖像(xiang)基于一個或(huo)多個第(di)二片段與用(yong)戶的(de)(de)計算(suan)注視點之(zhi)間的(de)(de)比較而實(shi)現細化(hua)。在(zai)特定實(shi)施例中，中央(yang)模(mo)(mo)(mo)塊(kuai)可以(yi)在(zai)與頭戴式設(she)備(bei)分離(li)的(de)(de)本地計算(suan)設(she)備(bei)中實(shi)現。中央(yang)模(mo)(mo)(mo)塊(kuai)可處理傳感器模(mo)(mo)(mo)塊(kuai)的(de)(de)任何(he)潛(qian)在(zai)請求/服務(wu)，以(yi)降低功耗。
相關專(zhuan)利：Facebook Patent | Distributed sensor module for eye-tracking
名為“Distributed sensor module for eye-tracking”的Meta專利申請最初在(zai)2020年8月提(ti)交，并在(zai)日(ri)前由美國專利商(shang)標局公(gong)布。
