MR頭(tou)顯需要相對于物理(li)環境的(de)(de)位置(zhi)和(he)/或物理(li)環境的(de)(de)幾何(he)形狀來呈現(xian)虛擬內(nei)容。所以，MR系統必須保(bao)持位置(zhi)和(he)方向的(de)(de)精(jing)確感知，從而能夠根據用(yong)戶的(de)(de)視角變化來顯示自然的(de)(de)數字內(nei)容。
為了(le)做(zuo)到這一(yi)點(dian)，一(yi)系列的MR系統(tong)都依賴于SLAM技術。這通(tong)常要求(qiu)用戶在整個物(wu)理環境(jing)中移動，以允許MR系統(tong)捕獲足夠數量的物(wu)理環境(jing)關鍵幀，從而構建物(wu)理環境(jing)的映(ying)射(she)。然而，初始映(ying)射(she)構建非常耗時(shi)，并(bing)且極大(da)地限制了(le)MR系統(tong)提供(gong)多(duo)樣化體驗的多(duo)功(gong)能性。
為(wei)了避(bi)免初始(shi)(shi)映射(she)構建(jian)過程，MR系(xi)統可以至(zhi)少部分地(di)利用(yong)(yong)先前構建(jian)的物理(li)環境(jing)映射(she)來初始(shi)(shi)化MR體(ti)驗。然而，為(wei)了使用(yong)(yong)先前構建(jian)的物理(li)環境(jing)映射(she)來初始(shi)(shi)化MR體(ti)驗，MR系(xi)統通常(chang)必(bi)須知曉(xiao)MR系(xi)統相對于(yu)物理(li)環境(jing)的位置。換言之(zhi)，MR系(xi)統必(bi)須在物理(li)環境(jing)中進行自定位/重(zhong)定位。
另外，MR系統在關鍵(jian)幀之間(jian)進行搜索會(hui)耗費大(da)量計算和(he)時間(jian)，尤其是對于包含大(da)量關鍵(jian)幀的大(da)型(xing)現實世界空間(jian)映射。
針(zhen)對上述問題，微(wei)軟(ruan)提出(chu)了一(yi)種(zhong)旨在促進(jin)快速(su)定位的優化(hua)技術和系統。在名為“Systems and methods for gps-based and sensor-based relocalization”的專利申請中(zhong)，團隊(dui)介紹了一(yi)種(zhong)基于GPS和傳(chuan)感器的重定位系統。
圖(tu)1示出了頭(tou)戴式設備(bei)100的示例(li)(li)。頭(tou)顯(xian)100包(bao)括傳(chuan)感器150，而傳(chuan)感器150包(bao)括攝像頭(tou)155、GPS 160和(he)慣性(xing)測量(liang)單元(yuan)（IMU）165。IMU 165可包(bao)括各種(zhong)慣性(xing)追蹤組件，例(li)(li)如(ru)加速計170、陀螺儀175、指南(nan)針(zhen)180（例(li)(li)如(ru)一個或(huo)多個磁強(qiang)計）和(he)/或(huo)氣壓計185。
頭顯100的慣性(xing)追(zhui)蹤(zong)組(zu)件/系(xi)(xi)統可以與視覺追(zhui)蹤(zong)系(xi)(xi)統協同(tong)工作，以形成頭部追(zhui)蹤(zong)系(xi)(xi)統，并為頭顯100生成姿勢數據。在(zai)一(yi)個實施例中，視覺追(zhui)蹤(zong)系(xi)(xi)統包括捕(bu)捉環境的圖(tu)像數據的一(yi)個或(huo)多個攝像頭。
在一(yi)個(ge)實(shi)(shi)施例中，以(yi)上組件可(ke)以(yi)形成(cheng)視覺(jue)慣性(xing)SLAM技術，并結(jie)合一(yi)個(ge)或(huo)多個(ge)攝(she)像頭(tou)捕獲的視覺(jue)追蹤數(shu)據和(he)加速計170、陀螺儀(yi)175、傳感器(qi)155、和(he)/或(huo)羅盤（es）180來實(shi)(shi)時（或(huo)接近實(shi)(shi)時）估計頭(tou)顯00相對于(yu)環境的六自由度定位（即(ji)姿勢）。
在(zai)(zai)一個實(shi)(shi)施例中(zhong)，頭(tou)顯(xian)100的(de)視(shi)覺(jue)(jue)追蹤系統包括一對立體攝像頭(tou)，其配(pei)置為獲取用戶環境(jing)(jing)的(de)深度映(ying)射(she)并提(ti)供用戶環境(jing)(jing)的(de)視(shi)覺(jue)(jue)映(ying)射(she)。頭(tou)顯(xian)100可(ke)以(yi)利用環境(jing)(jing)的(de)視(shi)覺(jue)(jue)映(ying)射(she)數據來準確(que)地顯(xian)示關(guan)于用戶環境(jing)(jing)的(de)虛擬(ni)內容(rong)，以(yi)及促進頭(tou)顯(xian)100在(zai)(zai)環境(jing)(jing)中(zhong)的(de)幀到幀姿(zi)勢追蹤。可(ke)視(shi)化(hua)映(ying)射(she)數據同時可(ke)以(yi)在(zai)(zai)共享(xiang)的(de)混合現(xian)(xian)實(shi)(shi)環境(jing)(jing)中(zhong)實(shi)(shi)現(xian)(xian)用戶之(zhi)間(jian)的(de)位置共享(xiang)。
圖1同時示出(chu)，頭(tou)顯100可以包括GPS 160，后者獲取GPS數據(ju)以追蹤(zong)頭(tou)顯100的全(quan)球位置。
現在請(qing)注意(yi)圖2，圖2示出了可(ke)以(yi)示例環(huan)境200。環(huan)境200包(bao)括(kuo)各種區(qu)域(yu)(yu)，例如森林區(qu)域(yu)(yu)205、建筑210、建筑220和區(qu)域(yu)(yu)215。用戶250穿戴的(de)頭顯(xian)100可(ke)以(yi)獲(huo)取環(huan)境映射(she)，例如與(yu)區(qu)域(yu)(yu)215相關聯的(de)視覺映射(she)數據(ju)，然后用于促進區(qu)域(yu)(yu)215內的(de)SLAM追蹤。頭顯(xian)100同時(shi)可(ke)以(yi)在環(huan)境200內獲(huo)得GPS數據(ju)260、IMU數據(ju)265和/或圖像數據(ju)270。
當用(yong)戶250從(cong)森林區(qu)(qu)(qu)域205接近區(qu)(qu)(qu)域215時，與用(yong)戶250相(xiang)關聯的系統可能(neng)需要建立(li)其相(xiang)對于(yu)區(qu)(qu)(qu)域215的位置(zhi)，以便于(yu)SLAM在區(qu)(qu)(qu)域215內(nei)為用(yong)戶250提(ti)供準確的MR體驗。然(ran)而(er)，環(huan)境200的映射(she)可以包括(kuo)區(qu)(qu)(qu)域215的大量視覺映射(she)數據(ju)，而(er)這或會導致延遲(chi)和/或錯誤(wu)定位。
針對這(zhe)個問題，微(wei)軟提出的系統(tong)可(ke)以配(pei)置為使用諸如GPS數據260和/或IMU數據265等(deng)數據來智能(neng)地(di)/可(ke)選(xuan)擇地(di)識(shi)別和選(xuan)擇視覺映射數據的子集(ji)，以用于在(zai)環境200內定(ding)位(wei)或重定(ding)位(wei)。
圖3示(shi)出了與環境200相關聯(lian)的(de)(de)示(shi)例映(ying)(ying)射(she)(she)(she)300。如上所(suo)述，映(ying)(ying)射(she)(she)(she)300包括映(ying)(ying)射(she)(she)(she)300的(de)(de)區(qu)域(yu)(yu)315內(nei)(nei)的(de)(de)視(shi)覺映(ying)(ying)射(she)(she)(she)數(shu)據。例如，映(ying)(ying)射(she)(she)(she)300包括區(qu)域(yu)(yu)315內(nei)(nei)多個(ge)關鍵幀320和多個(ge)錨定點(dian)310形式的(de)(de)視(shi)覺映(ying)(ying)射(she)(she)(she)數(shu)據。在(zai)一(yi)個(ge)實施例中，如圖2所(suo)示(shi)，在(zai)用戶250進(jin)入環境200的(de)(de)區(qu)域(yu)(yu)215之前獲得(de)映(ying)(ying)射(she)(she)(she)300的(de)(de)區(qu)域(yu)(yu)315內(nei)(nei)的(de)(de)視(shi)覺映(ying)(ying)射(she)(she)(she)數(shu)據。換言之，映(ying)(ying)射(she)(she)(she)300的(de)(de)至少(shao)區(qu)域(yu)(yu)315可(ke)視(shi)為代表(biao)環境200的(de)(de)區(qu)域(yu)(yu)215的(de)(de)預映(ying)(ying)射(she)(she)(she)，其(qi)配(pei)置(zhi)為在(zai)區(qu)域(yu)(yu)215定位時促進(jin)位于區(qu)域(yu)(yu)215的(de)(de)MR體驗，亦即不首先要求用戶捕獲或獲取區(qu)域(yu)(yu)215的(de)(de)新視(shi)覺映(ying)(ying)射(she)(she)(she)數(shu)據。
在一(yi)個實施例中，基于(yu)(yu)使用一(yi)個或多個攝(she)像(xiang)(xiang)頭捕(bu)獲(huo)(huo)的(de)(de)(de)圖(tu)像(xiang)(xiang)來(lai)獲(huo)(huo)得(de)(de)映射300的(de)(de)(de)關鍵幀320。系統可(ke)(ke)從(cong)立體(ti)(ti)圖(tu)像(xiang)(xiang)對(dui)中提取特征，以(yi)(yi)(yi)識(shi)別(bie)區(qu)(qu)域(yu)215內環境200的(de)(de)(de)錨定(ding)點(dian)310。錨定(ding)點(dian)310可(ke)(ke)以(yi)(yi)(yi)提供參考點(dian)，并(bing)用于(yu)(yu)追蹤區(qu)(qu)域(yu)215內的(de)(de)(de)代理姿勢變化。另外，系統可(ke)(ke)以(yi)(yi)(yi)對(dui)立體(ti)(ti)圖(tu)像(xiang)(xiang)對(dui)執行深(shen)(shen)(shen)度(du)計算，以(yi)(yi)(yi)獲(huo)(huo)得(de)(de)在圖(tu)像(xiang)(xiang)捕(bu)獲(huo)(huo)期(qi)間識(shi)別(bie)各種錨定(ding)點(dian)310和立體(ti)(ti)攝(she)像(xiang)(xiang)頭對(dui)之(zhi)間的(de)(de)(de)距離(li)的(de)(de)(de)深(shen)(shen)(shen)度(du)數(shu)據。根據深(shen)(shen)(shen)度(du)數(shu)據，可(ke)(ke)以(yi)(yi)(yi)獲(huo)(huo)得(de)(de)或建立立體(ti)(ti)攝(she)像(xiang)(xiang)頭對(dui)在圖(tu)像(xiang)(xiang)捕(bu)獲(huo)(huo)期(qi)間相對(dui)于(yu)(yu)錨定(ding)點(dian)310的(de)(de)(de)位(wei)置和方向。
可以獲(huo)得從區域(yu)215內的(de)(de)多(duo)個(ge)位置捕(bu)獲(huo)的(de)(de)多(duo)個(ge)關鍵幀(zhen)320，以及多(duo)個(ge)錨(mao)定(ding)點310，并將其(qi)存儲為環(huan)境200的(de)(de)映(ying)射(she)300的(de)(de)一部(bu)分(fen)(fen)，如(ru)圖(tu)(tu)3所(suo)示，映(ying)射(she)300的(de)(de)區域(yu)315代表(biao)環(huan)境200的(de)(de)區域(yu)215。與用戶(hu)250相關聯(lian)的(de)(de)系(xi)(xi)統可以利(li)用關鍵幀(zhen)320和(he)錨(mao)定(ding)點310來追(zhui)蹤其(qi)相對于(yu)環(huan)境200的(de)(de)映(ying)射(she)300的(de)(de)映(ying)射(she)部(bu)分(fen)(fen)的(de)(de)姿勢。例如(ru)，當(dang)系(xi)(xi)統的(de)(de)初始位置和(he)方向(xiang)不可靠時，系(xi)(xi)統可以在當(dang)前時間點捕(bu)捉區域(yu)315的(de)(de)一個(ge)或多(duo)個(ge)當(dang)前圖(tu)(tu)像(xiang)。
系(xi)統可以(yi)從(cong)當前圖像中提(ti)取特(te)征(zheng)，并將特(te)征(zheng)和與各種關鍵(jian)幀(zhen)320相(xiang)關聯的(de)錨定點310進行比較。系(xi)統可識別與錨定點310相(xiang)關聯的(de)特(te)定關鍵(jian)幀(zhen)320。然(ran)后，系(xi)統可基于(yu)與錨定點310相(xiang)關聯的(de)特(te)定關鍵(jian)幀(zhen)320的(de)位(wei)置和方(fang)向(xiang)來(lai)估(gu)計其在映射(she)300內的(de)位(wei)置和方(fang)向(xiang)，亦即系(xi)統可實現(xian)定位(wei)或(huo)重定位(wei)。
隨后，系統可(ke)以追(zhui)蹤系統相對于定(ding)位點310的幀到幀姿態(tai)變化，并(bing)且系統可(ke)以使用與其他關鍵(jian)幀320相關聯的錨定(ding)點310，以在(zai)用戶250在(zai)整個區域215中移(yi)動(dong)時保(bao)持精確(que)追(zhui)蹤。
圖3示(shi)出了(le)相(xiang)對于用(yong)戶(hu)(hu)250所在環境(jing)200的(de)(de)映射300，用(yong)戶(hu)(hu)250（或與用(yong)戶(hu)(hu)相(xiang)關(guan)聯的(de)(de)系統(tong)）的(de)(de)估(gu)計位(wei)(wei)置360和(he)估(gu)計方(fang)向(xiang)365。用(yong)戶(hu)(hu)250的(de)(de)估(gu)計位(wei)(wei)置360和(he)估(gu)計方(fang)向(xiang)365至少部分地(di)對應于環境(jing)200內用(yong)戶(hu)(hu)250的(de)(de)位(wei)(wei)置250B。例如，當用(yong)戶(hu)(hu)250位(wei)(wei)于環境(jing)中的(de)(de)位(wei)(wei)置250B時，與用(yong)戶(hu)(hu)250相(xiang)關(guan)聯的(de)(de)系統(tong)可以獲得GPS數據(ju)260和(he)/或IMU數據(ju)265。
在一個實施例中，GPS數據260指(zhi)示(shi)(shi)用(yong)戶250相(xiang)(xiang)對于映射300的估計位(wei)(wei)置(zhi)360。例如，GPS數據260可(ke)以指(zhi)示(shi)(shi)與用(yong)戶250相(xiang)(xiang)關聯的GPS 160的估計經度和緯度，從(cong)而提供用(yong)戶250的估計全球位(wei)(wei)置(zhi)。應注(zhu)意，映射300內(nei)的空間位(wei)(wei)置(zhi)可(ke)與GPS坐標相(xiang)(xiang)關。
映(ying)(ying)射(she)(she)(she)300內(nei)的空間位置和GPS坐(zuo)標之間的相關(guan)性可以(yi)通過(guo)各種(zhong)方式建(jian)立(li)，例如(ru)在(zai)預映(ying)(ying)射(she)(she)(she)過(guo)程(cheng)中，可以(yi)在(zai)映(ying)(ying)射(she)(she)(she)300手動覆蓋GPS坐(zuo)標。因(yin)此，用(yong)戶250在(zai)環境200內(nei)的估(gu)計(ji)全球位置可以(yi)指示用(yong)戶250相對(dui)于(yu)映(ying)(ying)射(she)(she)(she)300的估(gu)計(ji)位置360。
在一個實施例(li)中，IMU數(shu)據(ju)265指(zhi)示相(xiang)(xiang)對于(yu)映(ying)射(she)300的(de)(de)估計方向(xiang)365。例(li)如，IMU數(shu)據(ju)265可包括(kuo)由羅(luo)盤180獲(huo)得(de)的(de)(de)航(hang)向(xiang)數(shu)據(ju)，其可指(zhi)示與用戶250相(xiang)(xiang)關(guan)聯(lian)的(de)(de)系統的(de)(de)估計航(hang)向(xiang)或偏航(hang)。IMU數(shu)據(ju)265同時(shi)可以(yi)包括(kuo)基于(yu)陀(tuo)螺儀175獲(huo)得(de)的(de)(de)角速(su)度(du)數(shu)據(ju)，以(yi)及加速(su)計170獲(huo)得(de)的(de)(de)重力矢(shi)量。
估(gu)計(ji)(ji)位(wei)置360和/或(huo)估(gu)計(ji)(ji)方向365可為識別系統(tong)搜(sou)(sou)索(suo)定(ding)位(wei)的(de)(de)映射(she)300的(de)(de)關鍵(jian)幀320子集提(ti)供基礎。圖4示出了(le)在映射(she)300內定(ding)義(yi)搜(sou)(sou)索(suo)空(kong)間400的(de)(de)示例。如圖4所示，搜(sou)(sou)索(suo)空(kong)間400基于和/或(huo)關于與用戶(hu)250相關聯的(de)(de)系統(tong)的(de)(de)估(gu)計(ji)(ji)位(wei)置360來(lai)定(ding)義(yi)。
搜索空(kong)間(jian)400識別(bie)映射(she)300的(de)多個(ge)關鍵(jian)幀320中的(de)一(yi)個(ge)或多個(ge)關鍵(jian)幀。例如，關鍵(jian)幀420A、420B、420C、420D和(he)420E識別(bie)為在(zai)基于估(gu)計位(wei)置360定(ding)義的(de)搜索空(kong)間(jian)400內。以(yi)這(zhe)種方式，系(xi)(xi)統使(shi)用(yong)(yong)估(gu)計的(de)位(wei)置360來選擇從環(huan)境200中的(de)位(wei)置捕獲的(de)關鍵(jian)幀。關鍵(jian)幀420A、420B、420C、420D和(he)420E可(ke)包括關鍵(jian)幀320的(de)子集，與用(yong)(yong)戶250相關聯(lian)的(de)系(xi)(xi)統可(ke)將(jiang)其(qi)用(yong)(yong)作進(jin)入(ru)環(huan)境200的(de)區(qu)域215時對系(xi)(xi)統進(jin)行本地化的(de)候選。
所以，與用戶250相(xiang)關聯(lian)的(de)系(xi)統減少或限制(zhi)搜索空間，并僅包括(kuo)用于(yu)執行定(ding)位(wei)(wei)的(de)映射300的(de)關鍵幀(zhen)320的(de)子(zi)集，而非全部。因此(ci)，系(xi)統可以減少與相(xiang)對(dui)于(yu)環境200的(de)區域(yu)215定(ding)位(wei)(wei)系(xi)統相(xiang)關聯(lian)的(de)延遲和(he)/或計算(suan)負擔。另(ling)外，僅利用關鍵幀(zhen)子(zi)集進行定(ding)位(wei)(wei)降低了(le)錯誤(wu)定(ding)位(wei)(wei)的(de)可能(neng)性(xing)。
高GPS置(zhi)信度410可以產(chan)生較小的搜(sou)索空間(jian)400，而(er)低GPS置(zhi)信度410則可能導致較大(da)的搜(sou)索空間(jian)400。
與(yu)GPS數據(ju)260相關聯的(de)(de)(de)置信(xin)(xin)度(du)(du)測量可(ke)包括(kuo)信(xin)(xin)噪比、可(ke)用(yong)于基于無(wu)線電的(de)(de)(de)定位設(she)備的(de)(de)(de)若(ruo)干GNSS格式(shi)、基于無(wu)線電的(de)(de)(de)定位設(she)備所使用(yong)的(de)(de)(de)無(wu)線電頻帶(dai)、天線特性等等。另外，搜(sou)索空間400的(de)(de)(de)大(da)小和/或形狀(zhuang)可(ke)至少部分(fen)取決(jue)于與(yu)IMU數據(ju)265相關聯的(de)(de)(de)置信(xin)(xin)度(du)(du)。例如，在(zai)系統至少部分(fen)地(di)基于由與(yu)IMU 165的(de)(de)(de)氣壓計(ji)185獲得(de)的(de)(de)(de)高度(du)(du)數據(ju)來定義搜(sou)索空間400的(de)(de)(de)情況時(shi)，氣壓計(ji)置信(xin)(xin)度(du)(du)415可(ke)以影響搜(sou)索空間400的(de)(de)(de)大(da)小和/或形狀(zhuang)。
除了如上所述通過(guo)定(ding)(ding)義搜(sou)索空間(jian)400和識別搜(sou)索空間(jian)400內的(de)關(guan)(guan)鍵幀子集來減少用(yong)(yong)于定(ding)(ding)位與(yu)用(yong)(yong)戶250相關(guan)(guan)聯的(de)系(xi)(xi)統的(de)映射300的(de)關(guan)(guan)鍵幀320的(de)數量(liang)之外(wai)，系(xi)(xi)統可采(cai)用(yong)(yong)附加或替(ti)代(dai)技術(shu)來進一步減少用(yong)(yong)于定(ding)(ding)位系(xi)(xi)統的(de)關(guan)(guan)鍵幀的(de)數量(liang)。
圖5示(shi)出了基于估(gu)計方(fang)向365識別搜索空(kong)間(jian)(jian)400內(nei)的(de)(de)(de)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)子集(ji)的(de)(de)(de)示(shi)例。如上所(suo)述，映射300的(de)(de)(de)每個關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)320可以(yi)(yi)包括(kuo)(kuo)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)320被捕獲的(de)(de)(de)方(fang)向的(de)(de)(de)指(zhi)示(shi)。因(yin)此，搜索空(kong)間(jian)(jian)400內(nei)的(de)(de)(de)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)420A、420B、420C、420D和420D包括(kuo)(kuo)與每個關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)相(xiang)關(guan)(guan)聯的(de)(de)(de)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)方(fang)向。系(xi)統可以(yi)(yi)將與用戶250相(xiang)關(guan)(guan)聯的(de)(de)(de)系(xi)統的(de)(de)(de)估(gu)計方(fang)向365與搜索空(kong)間(jian)(jian)400內(nei)的(de)(de)(de)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)的(de)(de)(de)關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)方(fang)向進行比(bi)較，以(yi)(yi)確定搜索空(kong)間(jian)(jian)400內(nei)的(de)(de)(de)哪個關(guan)(guan)鍵(jian)(jian)(jian)幀(zhen)子集(ji)用作定位候(hou)選(xuan)。
在一個(ge)實施(shi)例中，系統(tong)定義了閾值方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)相(xiang)似性(xing)505。然(ran)后，系統(tong)可以(yi)(yi)(yi)執行關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)(xi)500，以(yi)(yi)(yi)確定搜索空間(jian)400內的哪些關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)包(bao)括滿足或超(chao)過閾值方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)相(xiang)似性(xing)505的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)。例如(ru)，如(ru)圖5所示，關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)(xi)500可以(yi)(yi)(yi)包(bao)括分(fen)(fen)析(xi)(xi)關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)420A的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520A，以(yi)(yi)(yi)確定方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520A和(he)(he)估計(ji)方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)365之間(jian)的差異是否滿足或超(chao)過閾值方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)相(xiang)似性(xing)505。關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)(xi)500可以(yi)(yi)(yi)包(bao)括對與其他關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)相(xiang)關(guan)(guan)(guan)聯(lian)的其他方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)執行類似的分(fen)(fen)析(xi)(xi)，例如(ru)關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)420B的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520B、關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)420C的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520C、關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)420D的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520D和(he)(he)關(guan)(guan)(guan)鍵(jian)(jian)幀(zhen)420D的方(fang)(fang)向(xiang)(xiang)(xiang)(xiang)520D。
圖5進一(yi)步示(shi)出了在搜(sou)索400內圍繞關(guan)(guan)鍵(jian)(jian)幀420A、420D和(he)420E中的每一(yi)個的圓圈，指示(shi)關(guan)(guan)鍵(jian)(jian)幀420A、420D和(he)420E可(ke)以形成關(guan)(guan)鍵(jian)(jian)幀的子集，與(yu)用戶250相關(guan)(guan)聯的系(xi)統(tong)可(ke)以利用所述(shu)子集進行(xing)定位。
因此，圖5說(shuo)明了(le)系統可以(yi)對搜索空(kong)間(jian)(jian)400內(nei)的關鍵(jian)幀(zhen)(zhen)執行關鍵(jian)幀(zhen)(zhen)方向分析500，以(yi)確(que)定搜索空(kong)間(jian)(jian)400內(nei)用(yong)于定位(wei)的關鍵(jian)幀(zhen)(zhen)子集。這種技術可允許(xu)系統進一步減少用(yong)于定位(wei)的候選關鍵(jian)幀(zhen)(zhen)的數量(liang)，從而在降低(di)計算成本(ben)和/或延(yan)遲的情(qing)況下促進定位(wei)。
圖(tu)5同(tong)時示出了可以(yi)基于與IMU數(shu)據265相(xiang)關聯的(de)(de)置(zhi)信度(du)來定(ding)義(yi)或生成閾值方向(xiang)(xiang)(xiang)相(xiang)似(si)性505。系(xi)(xi)統(tong)(tong)可基于各(ge)種因素來確定(ding)IMU置(zhi)信度(du)510。在(zai)IMU置(zhi)信度(du)510較低(di)的(de)(de)情(qing)況下(xia)，系(xi)(xi)統(tong)(tong)定(ding)義(yi)更(geng)廣(guang)泛的(de)(de)閾值方向(xiang)(xiang)(xiang)相(xiang)似(si)性505，以(yi)補償估計方向(xiang)(xiang)(xiang)365的(de)(de)潛在(zai)不(bu)精確性。在(zai)其他實例中，在(zai)IMU置(zhi)信度(du)高的(de)(de)情(qing)況下(xia)，系(xi)(xi)統(tong)(tong)可定(ding)義(yi)窄閾值取向(xiang)(xiang)(xiang)相(xiang)似(si)性505，其可進(jin)一步提高重定(ding)位處理(li)的(de)(de)效率。
因此(ci)，與環境200內的(de)(de)(de)用戶250相關(guan)(guan)(guan)(guan)聯(lian)的(de)(de)(de)系統可利(li)用系統的(de)(de)(de)估(gu)計位(wei)置360（基(ji)于(yu)GPS數據260和/或IMU數據265）和/或估(gu)計方向365（基(ji)于(yu)IMU數據265）來(lai)限制環境200的(de)(de)(de)映射(she)300內的(de)(de)(de)定(ding)位(wei)搜(sou)索空間，以識別映射(she)300內的(de)(de)(de)關(guan)(guan)(guan)(guan)鍵幀(zhen)320子(zi)集，并將其用作環境200的(de)(de)(de)候選關(guan)(guan)(guan)(guan)鍵幀(zhen)本(ben)地(di)化。因此(ci)，系統可以避(bi)免使用不包括在(zai)關(guan)(guan)(guan)(guan)鍵幀(zhen)320的(de)(de)(de)子(zi)集中(zhong)的(de)(de)(de)映射(she)300的(de)(de)(de)關(guan)(guan)(guan)(guan)鍵幀(zhen)320作為用于(yu)定(ding)位(wei)的(de)(de)(de)候選關(guan)(guan)(guan)(guan)鍵幀(zhen)，這可以提(ti)高(gao)與環境200內的(de)(de)(de)定(ding)位(wei)相關(guan)(guan)(guan)(guan)聯(lian)的(de)(de)(de)效(xiao)率。
如上文(wen)參考圖2所(suo)示，當用戶(hu)位于(yu)環(huan)境(jing)200內(nei)的位置250B時，與用戶(hu)250相(xiang)關(guan)聯的系統(tong)可以獲得追(zhui)蹤數據(ju)(ju)255（包括GPS數據(ju)(ju)260、IMU數據(ju)(ju)265和圖像數據(ju)(ju)270）。在一(yi)個實施(shi)例中，與用戶(hu)250相(xiang)關(guan)聯的系統(tong)配(pei)置為在環(huan)境(jing)中的不同追(zhui)蹤模式之間選(xuan)擇性地轉換。
在不同追(zhui)蹤模式之間有選擇地(di)轉換可以避免(mian)不必要的(de)數(shu)據采集，從而(er)節省電池和/或(huo)計算資源。例(li)如，圖8是圖2中(zhong)的(de)環境200，其描繪了用戶(hu)250從區域(yu)205內的(de)位置250A移動到(dao)區域(yu)215的(de)位置250B。
如上所(suo)述(shu)，環境(jing)200的(de)映射(she)300可以省略視(shi)覺(jue)映射(she)數據，以便于在環境(jing)的(de)樹木覆蓋區域(yu)205內定位。因此，與用戶250相關聯(lian)的(de)系統可以使用第一追(zhui)蹤模(mo)式810追(zhui)蹤環境(jing)200內的(de)系統位置。
在(zai)一(yi)個實施(shi)例(li)中，第一(yi)追蹤(zong)(zong)模(mo)式(shi)810包括GPS追蹤(zong)(zong)815。在(zai)一(yi)個實施(shi)例(li)中，當(dang)在(zai)第一(yi)追蹤(zong)(zong)模(mo)式(shi)810下操作時，系統避(bi)(bi)免(mian)執行與SLAM相關聯的(de)操作，例(li)如(ru)捕(bu)獲圖像數據、提取特征、執行深度(du)計(ji)算(suan)、追蹤(zong)(zong)幀到幀六自由度(du)姿(zi)勢等，從而節省計(ji)算(suan)和/或電池資源。例(li)如(ru)，系統可依賴GPS追蹤(zong)(zong)815來維持系統相對于環境(jing)200的(de)粗(cu)略(lve)位(wei)置(zhi)感知，并且當(dang)GPS追蹤(zong)(zong)815指示(shi)系統基(ji)本上在(zai)森林(lin)區域(yu)205內時，系統可以避(bi)(bi)免(mian)獲取圖像數據。
當用(yong)戶(hu)(hu)250從(cong)位置250A過渡到位置250B時，與(yu)用(yong)戶(hu)(hu)相(xiang)關(guan)聯的(de)系(xi)統可檢測(ce)到觸(chu)發條(tiao)件(jian)830。在(zai)一(yi)個實施(shi)例(li)中，觸(chu)發條(tiao)件(jian)830配置為選擇性地從(cong)第一(yi)追(zhui)蹤(zong)(zong)模(mo)式810切換到第二追(zhui)蹤(zong)(zong)模(mo)式850。在(zai)一(yi)個實施(shi)例(li)中，第二追(zhui)蹤(zong)(zong)模(mo)式850包括(kuo)相(xiang)對于第一(yi)追(zhui)蹤(zong)(zong)模(mo)式810的(de)高保真追(zhui)蹤(zong)(zong)模(mo)式。例(li)如，第二追(zhui)蹤(zong)(zong)模(mo)式850可包括(kuo)SLAM 870，其利用(yong)圖像數據880和IMU數據890以厘米(mi)或毫(hao)米(mi)精度(du)追(zhui)蹤(zong)(zong)系(xi)統的(de)六自(zi)由(you)度(du)姿態。
相關(guan)專利：Microsoft Patent | Systems and methods for gps-based and sensor-based relocalization
名為“Systems and methods for gps-based and sensor-based relocalization”的微軟(ruan)專利(li)申請(qing)最初在2021年6月提交，并在日前由美國專利(li)商標局公布。
