MR頭顯(xian)(xian)需(xu)要相對于物理環(huan)境的(de)位置(zhi)和/或(huo)物理環(huan)境的(de)幾(ji)何形狀來呈現虛(xu)擬內容。所以，MR系統必須保持位置(zhi)和方向的(de)精確感知，從而能(neng)夠根據(ju)用戶的(de)視角變(bian)化來顯(xian)(xian)示自然的(de)數字內容。
為了做(zuo)到(dao)這(zhe)一點，一系列的MR系統(tong)(tong)都(dou)依賴(lai)于SLAM技術。這(zhe)通(tong)常(chang)要求用戶在整個物(wu)理環(huan)境中移動，以允許MR系統(tong)(tong)捕獲足夠數量的物(wu)理環(huan)境關鍵幀(zhen)，從而構建(jian)物(wu)理環(huan)境的映射(she)。然而，初始映射(she)構建(jian)非常(chang)耗時，并且極大地限制了MR系統(tong)(tong)提供多(duo)樣(yang)化(hua)體(ti)驗的多(duo)功能性。
為(wei)了避免初(chu)始(shi)映(ying)(ying)射構建過程，MR系統可以至少部分(fen)地利用先前(qian)構建的物(wu)理(li)環(huan)(huan)(huan)境映(ying)(ying)射來初(chu)始(shi)化(hua)MR體(ti)驗(yan)。然(ran)而，為(wei)了使用先前(qian)構建的物(wu)理(li)環(huan)(huan)(huan)境映(ying)(ying)射來初(chu)始(shi)化(hua)MR體(ti)驗(yan)，MR系統通常必(bi)須知(zhi)曉MR系統相對(dui)于物(wu)理(li)環(huan)(huan)(huan)境的位(wei)置。換言之，MR系統必(bi)須在物(wu)理(li)環(huan)(huan)(huan)境中(zhong)進行自定(ding)位(wei)/重(zhong)定(ding)位(wei)。
另外，MR系統在(zai)關鍵幀之間進(jin)行搜(sou)索會耗(hao)費大量計(ji)算和時間，尤其(qi)是對(dui)于包含大量關鍵幀的(de)大型現實世界空間映射。
針對上述問題(ti)，微軟提出了一種旨在促進快速定(ding)位(wei)的優(you)化技術和(he)(he)系(xi)統(tong)。在名為“Systems and methods for gps-based and sensor-based relocalization”的專利申請(qing)中，團隊(dui)介紹了一種基(ji)于GPS和(he)(he)傳(chuan)感器的重定(ding)位(wei)系(xi)統(tong)。
圖(tu)1示出了頭戴式(shi)設備100的(de)示例。頭顯(xian)100包(bao)括(kuo)傳感器150，而傳感器150包(bao)括(kuo)攝像頭155、GPS 160和慣(guan)(guan)性(xing)測量單元（IMU）165。IMU 165可包(bao)括(kuo)各種慣(guan)(guan)性(xing)追蹤(zong)組(zu)件，例如(ru)加速計170、陀螺(luo)儀175、指南(nan)針(zhen)180（例如(ru)一個或多個磁強(qiang)計）和/或氣壓計185。
頭顯100的(de)慣性追蹤組件/系(xi)統可以與視(shi)覺追蹤系(xi)統協同(tong)工作，以形成頭部追蹤系(xi)統，并為頭顯100生成姿勢數(shu)據。在一個(ge)(ge)實(shi)施(shi)例中，視(shi)覺追蹤系(xi)統包(bao)括捕捉環境的(de)圖(tu)像數(shu)據的(de)一個(ge)(ge)或多個(ge)(ge)攝像頭。
在一個(ge)實施例中，以(yi)上組(zu)件可以(yi)形成視覺(jue)慣性SLAM技術，并結(jie)合(he)一個(ge)或(huo)多個(ge)攝像頭捕獲(huo)的(de)視覺(jue)追蹤數據和加速計(ji)170、陀螺儀(yi)175、傳感(gan)器155、和/或(huo)羅盤(pan)（es）180來實時（或(huo)接近實時）估計(ji)頭顯00相對于環境的(de)六(liu)自由度定位(wei)（即姿勢(shi)）。
在一個(ge)實(shi)施例(li)中(zhong)，頭(tou)顯100的(de)視(shi)(shi)覺(jue)追蹤系統包(bao)括一對立體攝像頭(tou)，其配置為獲取用(yong)戶環(huan)(huan)(huan)境(jing)(jing)的(de)深度映射(she)(she)(she)并(bing)提供(gong)用(yong)戶環(huan)(huan)(huan)境(jing)(jing)的(de)視(shi)(shi)覺(jue)映射(she)(she)(she)。頭(tou)顯100可以(yi)利用(yong)環(huan)(huan)(huan)境(jing)(jing)的(de)視(shi)(shi)覺(jue)映射(she)(she)(she)數據(ju)來(lai)準(zhun)確地顯示關于用(yong)戶環(huan)(huan)(huan)境(jing)(jing)的(de)虛擬(ni)內容，以(yi)及促進(jin)頭(tou)顯100在環(huan)(huan)(huan)境(jing)(jing)中(zhong)的(de)幀到幀姿勢追蹤。可視(shi)(shi)化映射(she)(she)(she)數據(ju)同時(shi)可以(yi)在共(gong)享(xiang)的(de)混合現(xian)實(shi)環(huan)(huan)(huan)境(jing)(jing)中(zhong)實(shi)現(xian)用(yong)戶之間的(de)位置共(gong)享(xiang)。
圖1同時(shi)示出，頭顯(xian)100可以包括GPS 160，后者(zhe)獲取GPS數據以追蹤頭顯(xian)100的全球位置。
現在(zai)請注意圖2，圖2示(shi)出了可(ke)(ke)以示(shi)例(li)環境200。環境200包括各種區(qu)域，例(li)如森林區(qu)域205、建(jian)筑(zhu)210、建(jian)筑(zhu)220和(he)區(qu)域215。用(yong)戶(hu)250穿(chuan)戴的頭顯100可(ke)(ke)以獲取環境映(ying)射，例(li)如與區(qu)域215相關聯(lian)的視(shi)覺映(ying)射數(shu)據(ju)，然后(hou)用(yong)于促進區(qu)域215內的SLAM追蹤。頭顯100同時可(ke)(ke)以在(zai)環境200內獲得GPS數(shu)據(ju)260、IMU數(shu)據(ju)265和(he)/或(huo)圖像數(shu)據(ju)270。
當用(yong)戶(hu)250從(cong)森(sen)林區(qu)域(yu)(yu)205接近區(qu)域(yu)(yu)215時，與用(yong)戶(hu)250相關(guan)聯的系統可能需要建立其相對(dui)于(yu)區(qu)域(yu)(yu)215的位(wei)置，以便(bian)于(yu)SLAM在區(qu)域(yu)(yu)215內為用(yong)戶(hu)250提供準確的MR體驗。然而，環境200的映(ying)射(she)可以包括區(qu)域(yu)(yu)215的大量視(shi)覺映(ying)射(she)數據，而這(zhe)或(huo)會導致延遲和/或(huo)錯誤定位(wei)。
針(zhen)對這個問題，微軟提出(chu)的(de)系統可(ke)以配置(zhi)為使用諸如GPS數據(ju)(ju)260和(he)/或IMU數據(ju)(ju)265等數據(ju)(ju)來(lai)智能地/可(ke)選擇地識別和(he)選擇視覺映(ying)射(she)數據(ju)(ju)的(de)子集(ji)，以用于在環境(jing)200內定位(wei)(wei)或重定位(wei)(wei)。
圖3示出了(le)與環境200相關聯的(de)示例(li)映(ying)(ying)(ying)射(she)(she)(she)(she)300。如上所(suo)述(shu)，映(ying)(ying)(ying)射(she)(she)(she)(she)300包括(kuo)映(ying)(ying)(ying)射(she)(she)(she)(she)300的(de)區(qu)(qu)域(yu)(yu)315內(nei)(nei)的(de)視(shi)覺(jue)映(ying)(ying)(ying)射(she)(she)(she)(she)數(shu)(shu)據(ju)。例(li)如，映(ying)(ying)(ying)射(she)(she)(she)(she)300包括(kuo)區(qu)(qu)域(yu)(yu)315內(nei)(nei)多個關鍵(jian)幀320和(he)多個錨定點310形式的(de)視(shi)覺(jue)映(ying)(ying)(ying)射(she)(she)(she)(she)數(shu)(shu)據(ju)。在一(yi)個實施例(li)中(zhong)，如圖2所(suo)示，在用(yong)戶250進入環境200的(de)區(qu)(qu)域(yu)(yu)215之前獲(huo)得(de)映(ying)(ying)(ying)射(she)(she)(she)(she)300的(de)區(qu)(qu)域(yu)(yu)315內(nei)(nei)的(de)視(shi)覺(jue)映(ying)(ying)(ying)射(she)(she)(she)(she)數(shu)(shu)據(ju)。換言之，映(ying)(ying)(ying)射(she)(she)(she)(she)300的(de)至少區(qu)(qu)域(yu)(yu)315可視(shi)為代(dai)表(biao)環境200的(de)區(qu)(qu)域(yu)(yu)215的(de)預映(ying)(ying)(ying)射(she)(she)(she)(she)，其(qi)配置為在區(qu)(qu)域(yu)(yu)215定位(wei)時促(cu)進位(wei)于區(qu)(qu)域(yu)(yu)215的(de)MR體驗(yan)，亦即不(bu)首(shou)先要求用(yong)戶捕獲(huo)或獲(huo)取區(qu)(qu)域(yu)(yu)215的(de)新(xin)視(shi)覺(jue)映(ying)(ying)(ying)射(she)(she)(she)(she)數(shu)(shu)據(ju)。
在(zai)一個(ge)(ge)實施例(li)中(zhong)，基于(yu)使(shi)用一個(ge)(ge)或多個(ge)(ge)攝像頭捕獲(huo)(huo)的(de)(de)圖(tu)像來(lai)獲(huo)(huo)得(de)映射300的(de)(de)關鍵(jian)幀320。系(xi)統可(ke)從立(li)體(ti)圖(tu)像對(dui)中(zhong)提取(qu)特征(zheng)，以(yi)識別區域(yu)215內環境200的(de)(de)錨定點(dian)(dian)310。錨定點(dian)(dian)310可(ke)以(yi)提供參考(kao)點(dian)(dian)，并用于(yu)追蹤區域(yu)215內的(de)(de)代(dai)理姿(zi)勢變化。另外，系(xi)統可(ke)以(yi)對(dui)立(li)體(ti)圖(tu)像對(dui)執行深度計算，以(yi)獲(huo)(huo)得(de)在(zai)圖(tu)像捕獲(huo)(huo)期間識別各種錨定點(dian)(dian)310和(he)立(li)體(ti)攝像頭對(dui)之間的(de)(de)距離的(de)(de)深度數據。根據深度數據，可(ke)以(yi)獲(huo)(huo)得(de)或建立(li)立(li)體(ti)攝像頭對(dui)在(zai)圖(tu)像捕獲(huo)(huo)期間相對(dui)于(yu)錨定點(dian)(dian)310的(de)(de)位置(zhi)和(he)方向。
可(ke)(ke)以獲得(de)從(cong)區域(yu)215內的(de)(de)(de)多(duo)個位(wei)置捕獲的(de)(de)(de)多(duo)個關(guan)鍵幀320，以及多(duo)個錨定點(dian)(dian)310，并將其(qi)存(cun)儲(chu)為(wei)環(huan)境200的(de)(de)(de)映(ying)射(she)300的(de)(de)(de)一部分，如(ru)圖3所(suo)示，映(ying)射(she)300的(de)(de)(de)區域(yu)315代表環(huan)境200的(de)(de)(de)區域(yu)215。與用戶250相(xiang)關(guan)聯(lian)的(de)(de)(de)系(xi)統可(ke)(ke)以利用關(guan)鍵幀320和錨定點(dian)(dian)310來追蹤其(qi)相(xiang)對于環(huan)境200的(de)(de)(de)映(ying)射(she)300的(de)(de)(de)映(ying)射(she)部分的(de)(de)(de)姿勢。例如(ru)，當(dang)(dang)系(xi)統的(de)(de)(de)初(chu)始位(wei)置和方向不可(ke)(ke)靠時，系(xi)統可(ke)(ke)以在當(dang)(dang)前(qian)時間點(dian)(dian)捕捉區域(yu)315的(de)(de)(de)一個或多(duo)個當(dang)(dang)前(qian)圖像(xiang)。
系(xi)(xi)統可以(yi)從(cong)當前圖(tu)像中提取特征(zheng)，并將特征(zheng)和與各種關(guan)鍵幀(zhen)320相(xiang)關(guan)聯(lian)(lian)的錨(mao)定(ding)(ding)點(dian)310進行比較。系(xi)(xi)統可識(shi)別與錨(mao)定(ding)(ding)點(dian)310相(xiang)關(guan)聯(lian)(lian)的特定(ding)(ding)關(guan)鍵幀(zhen)320。然后(hou)，系(xi)(xi)統可基于與錨(mao)定(ding)(ding)點(dian)310相(xiang)關(guan)聯(lian)(lian)的特定(ding)(ding)關(guan)鍵幀(zhen)320的位置和方向來估計其在映(ying)射300內的位置和方向，亦即系(xi)(xi)統可實現定(ding)(ding)位或重定(ding)(ding)位。
隨(sui)后(hou)，系統可以追蹤系統相對于定位點310的(de)幀(zhen)到(dao)幀(zhen)姿態變化，并且(qie)系統可以使用與其他關鍵幀(zhen)320相關聯的(de)錨定點310，以在用戶250在整個區域215中(zhong)移(yi)動時保持(chi)精(jing)確追蹤。
圖3示出(chu)了相對于(yu)(yu)用(yong)戶(hu)250所在環(huan)境200的(de)(de)(de)映射(she)300，用(yong)戶(hu)250（或與用(yong)戶(hu)相關聯(lian)(lian)的(de)(de)(de)系統）的(de)(de)(de)估計(ji)位(wei)(wei)置360和(he)估計(ji)方(fang)向365。用(yong)戶(hu)250的(de)(de)(de)估計(ji)位(wei)(wei)置360和(he)估計(ji)方(fang)向365至少(shao)部分地對應于(yu)(yu)環(huan)境200內用(yong)戶(hu)250的(de)(de)(de)位(wei)(wei)置250B。例如(ru)，當(dang)用(yong)戶(hu)250位(wei)(wei)于(yu)(yu)環(huan)境中的(de)(de)(de)位(wei)(wei)置250B時，與用(yong)戶(hu)250相關聯(lian)(lian)的(de)(de)(de)系統可以獲(huo)得GPS數(shu)據(ju)260和(he)/或IMU數(shu)據(ju)265。
在一(yi)個(ge)實施例中，GPS數據(ju)260指(zhi)示(shi)用(yong)戶(hu)(hu)250相(xiang)對于映射(she)(she)300的(de)估(gu)計(ji)位(wei)置(zhi)360。例如，GPS數據(ju)260可(ke)以指(zhi)示(shi)與用(yong)戶(hu)(hu)250相(xiang)關聯的(de)GPS 160的(de)估(gu)計(ji)經度和緯度，從而提(ti)供用(yong)戶(hu)(hu)250的(de)估(gu)計(ji)全球位(wei)置(zhi)。應注意(yi)，映射(she)(she)300內的(de)空間位(wei)置(zhi)可(ke)與GPS坐標相(xiang)關。
映(ying)射(she)300內的(de)空間位(wei)(wei)置和GPS坐(zuo)標(biao)之間的(de)相(xiang)關性(xing)可(ke)以通過(guo)各種方式建(jian)立，例如在預(yu)映(ying)射(she)過(guo)程(cheng)中，可(ke)以在映(ying)射(she)300手動覆(fu)蓋GPS坐(zuo)標(biao)。因此，用(yong)戶(hu)250在環(huan)境200內的(de)估(gu)計全球位(wei)(wei)置可(ke)以指示用(yong)戶(hu)250相(xiang)對(dui)于映(ying)射(she)300的(de)估(gu)計位(wei)(wei)置360。
在一個實施(shi)例中(zhong)，IMU數據(ju)(ju)265指示相(xiang)(xiang)對于映射300的(de)估計(ji)(ji)方向(xiang)365。例如，IMU數據(ju)(ju)265可(ke)包括由羅(luo)盤180獲得(de)的(de)航向(xiang)數據(ju)(ju)，其可(ke)指示與用戶250相(xiang)(xiang)關(guan)聯的(de)系統的(de)估計(ji)(ji)航向(xiang)或偏航。IMU數據(ju)(ju)265同時可(ke)以包括基于陀(tuo)螺儀175獲得(de)的(de)角速度數據(ju)(ju)，以及加速計(ji)(ji)170獲得(de)的(de)重力矢(shi)量。
估(gu)(gu)計位置360和/或估(gu)(gu)計方向365可為(wei)識別系統搜索(suo)定位的(de)(de)映(ying)射(she)300的(de)(de)關(guan)鍵幀320子(zi)集(ji)提供(gong)基礎。圖(tu)4示出了在映(ying)射(she)300內定義搜索(suo)空(kong)間400的(de)(de)示例。如圖(tu)4所示，搜索(suo)空(kong)間400基于和/或關(guan)于與用戶250相關(guan)聯的(de)(de)系統的(de)(de)估(gu)(gu)計位置360來定義。
搜索(suo)空間(jian)400識別映射300的(de)(de)(de)(de)多個(ge)關(guan)(guan)鍵(jian)幀320中的(de)(de)(de)(de)一個(ge)或多個(ge)關(guan)(guan)鍵(jian)幀。例如，關(guan)(guan)鍵(jian)幀420A、420B、420C、420D和420E識別為在基于估計位(wei)置(zhi)360定義(yi)的(de)(de)(de)(de)搜索(suo)空間(jian)400內。以這(zhe)種方式，系統使用估計的(de)(de)(de)(de)位(wei)置(zhi)360來選(xuan)擇從環境(jing)200中的(de)(de)(de)(de)位(wei)置(zhi)捕獲(huo)的(de)(de)(de)(de)關(guan)(guan)鍵(jian)幀。關(guan)(guan)鍵(jian)幀420A、420B、420C、420D和420E可包括(kuo)關(guan)(guan)鍵(jian)幀320的(de)(de)(de)(de)子集，與(yu)用戶250相關(guan)(guan)聯的(de)(de)(de)(de)系統可將其用作進(jin)入環境(jing)200的(de)(de)(de)(de)區域215時對系統進(jin)行本地化的(de)(de)(de)(de)候選(xuan)。
所以(yi)，與用戶250相關聯的(de)(de)(de)系(xi)統減(jian)少或限制搜索空間，并僅(jin)包括用于執行(xing)(xing)定(ding)位的(de)(de)(de)映射(she)300的(de)(de)(de)關鍵(jian)(jian)幀(zhen)320的(de)(de)(de)子集，而(er)非全部(bu)。因此，系(xi)統可以(yi)減(jian)少與相對于環境200的(de)(de)(de)區域215定(ding)位系(xi)統相關聯的(de)(de)(de)延遲和/或計算負擔。另外，僅(jin)利用關鍵(jian)(jian)幀(zhen)子集進行(xing)(xing)定(ding)位降低了(le)錯(cuo)誤(wu)定(ding)位的(de)(de)(de)可能性。
高GPS置信度410可以產生(sheng)較(jiao)小的搜索空間(jian)400，而低GPS置信度410則(ze)可能導(dao)致較(jiao)大(da)的搜索空間(jian)400。
與(yu)GPS數(shu)(shu)據(ju)(ju)260相關聯的(de)置(zhi)信度(du)測量可(ke)包括(kuo)信噪(zao)比、可(ke)用(yong)于(yu)(yu)基于(yu)(yu)無線(xian)(xian)電的(de)定(ding)位(wei)設(she)備(bei)的(de)若干(gan)GNSS格式、基于(yu)(yu)無線(xian)(xian)電的(de)定(ding)位(wei)設(she)備(bei)所使(shi)用(yong)的(de)無線(xian)(xian)電頻帶、天線(xian)(xian)特性等等。另(ling)外，搜(sou)索空間400的(de)大小和/或形狀可(ke)至(zhi)(zhi)少(shao)部分取決于(yu)(yu)與(yu)IMU數(shu)(shu)據(ju)(ju)265相關聯的(de)置(zhi)信度(du)。例如，在系統至(zhi)(zhi)少(shao)部分地基于(yu)(yu)由與(yu)IMU 165的(de)氣壓計185獲(huo)得的(de)高度(du)數(shu)(shu)據(ju)(ju)來定(ding)義搜(sou)索空間400的(de)情況時(shi)，氣壓計置(zhi)信度(du)415可(ke)以(yi)影響搜(sou)索空間400的(de)大小和/或形狀。
除了如(ru)上所述通過定(ding)義搜(sou)索空間(jian)400和識別搜(sou)索空間(jian)400內(nei)的關(guan)鍵(jian)(jian)幀子集(ji)來減(jian)少用(yong)于(yu)定(ding)位與(yu)用(yong)戶250相關(guan)聯(lian)的系統(tong)(tong)的映射(she)300的關(guan)鍵(jian)(jian)幀320的數量(liang)之外，系統(tong)(tong)可采用(yong)附加或替代技術(shu)來進一(yi)步(bu)減(jian)少用(yong)于(yu)定(ding)位系統(tong)(tong)的關(guan)鍵(jian)(jian)幀的數量(liang)。
圖5示(shi)出了(le)基于估計方向(xiang)365識別搜索空(kong)(kong)間400內的(de)(de)(de)關鍵幀(zhen)(zhen)子(zi)集的(de)(de)(de)示(shi)例。如上所(suo)述，映射300的(de)(de)(de)每個關鍵幀(zhen)(zhen)320可(ke)以(yi)包(bao)括關鍵幀(zhen)(zhen)320被(bei)捕獲的(de)(de)(de)方向(xiang)的(de)(de)(de)指(zhi)示(shi)。因此(ci)，搜索空(kong)(kong)間400內的(de)(de)(de)關鍵幀(zhen)(zhen)420A、420B、420C、420D和420D包(bao)括與(yu)(yu)每個關鍵幀(zhen)(zhen)相關聯的(de)(de)(de)關鍵幀(zhen)(zhen)方向(xiang)。系統(tong)可(ke)以(yi)將與(yu)(yu)用(yong)戶(hu)250相關聯的(de)(de)(de)系統(tong)的(de)(de)(de)估計方向(xiang)365與(yu)(yu)搜索空(kong)(kong)間400內的(de)(de)(de)關鍵幀(zhen)(zhen)的(de)(de)(de)關鍵幀(zhen)(zhen)方向(xiang)進行比較(jiao)，以(yi)確定搜索空(kong)(kong)間400內的(de)(de)(de)哪個關鍵幀(zhen)(zhen)子(zi)集用(yong)作定位候選。
在一個實(shi)施例(li)中，系(xi)統定(ding)義(yi)了閾值方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)相似性505。然后(hou)，系(xi)統可以(yi)執(zhi)行關鍵(jian)(jian)幀(zhen)(zhen)(zhen)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)分析500，以(yi)確(que)定(ding)搜索(suo)空間400內的(de)(de)(de)哪些關鍵(jian)(jian)幀(zhen)(zhen)(zhen)包括(kuo)滿足或(huo)超(chao)過閾值方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)相似性505的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)。例(li)如(ru)，如(ru)圖5所示，關鍵(jian)(jian)幀(zhen)(zhen)(zhen)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)分析500可以(yi)包括(kuo)分析關鍵(jian)(jian)幀(zhen)(zhen)(zhen)420A的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520A，以(yi)確(que)定(ding)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520A和估計方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)365之(zhi)間的(de)(de)(de)差異(yi)是(shi)否滿足或(huo)超(chao)過閾值方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)相似性505。關鍵(jian)(jian)幀(zhen)(zhen)(zhen)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)分析500可以(yi)包括(kuo)對(dui)與其(qi)他關鍵(jian)(jian)幀(zhen)(zhen)(zhen)相關聯的(de)(de)(de)其(qi)他方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)執(zhi)行類似的(de)(de)(de)分析，例(li)如(ru)關鍵(jian)(jian)幀(zhen)(zhen)(zhen)420B的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520B、關鍵(jian)(jian)幀(zhen)(zhen)(zhen)420C的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520C、關鍵(jian)(jian)幀(zhen)(zhen)(zhen)420D的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520D和關鍵(jian)(jian)幀(zhen)(zhen)(zhen)420D的(de)(de)(de)方(fang)(fang)(fang)(fang)(fang)向(xiang)(xiang)(xiang)(xiang)(xiang)520D。
圖5進一(yi)步示出了在搜索400內(nei)圍繞關(guan)鍵幀(zhen)420A、420D和420E中的(de)每一(yi)個(ge)的(de)圓圈，指示關(guan)鍵幀(zhen)420A、420D和420E可以形成關(guan)鍵幀(zhen)的(de)子集，與用(yong)戶(hu)250相關(guan)聯的(de)系統可以利用(yong)所述子集進行(xing)定位。
因此，圖5說(shuo)明了系統可以(yi)對搜索空(kong)間400內的(de)(de)(de)關(guan)鍵(jian)(jian)幀(zhen)(zhen)執行關(guan)鍵(jian)(jian)幀(zhen)(zhen)方向分析500，以(yi)確定(ding)(ding)搜索空(kong)間400內用(yong)于定(ding)(ding)位(wei)的(de)(de)(de)關(guan)鍵(jian)(jian)幀(zhen)(zhen)子集。這(zhe)種技術可允許系統進一步減少用(yong)于定(ding)(ding)位(wei)的(de)(de)(de)候選關(guan)鍵(jian)(jian)幀(zhen)(zhen)的(de)(de)(de)數量，從而在降低計(ji)算成本和/或延遲的(de)(de)(de)情況下(xia)促進定(ding)(ding)位(wei)。
圖5同時示(shi)出了可以基于(yu)與IMU數據265相(xiang)(xiang)關聯(lian)的(de)置(zhi)信度(du)來定(ding)(ding)義或生成閾值方向(xiang)相(xiang)(xiang)似性505。系統可基于(yu)各種因素來確定(ding)(ding)IMU置(zhi)信度(du)510。在(zai)IMU置(zhi)信度(du)510較(jiao)低的(de)情況下，系統定(ding)(ding)義更廣泛的(de)閾值方向(xiang)相(xiang)(xiang)似性505，以補償估計(ji)方向(xiang)365的(de)潛(qian)在(zai)不精確性。在(zai)其(qi)他實例中，在(zai)IMU置(zhi)信度(du)高的(de)情況下，系統可定(ding)(ding)義窄閾值取向(xiang)相(xiang)(xiang)似性505，其(qi)可進一步提(ti)高重定(ding)(ding)位處理(li)的(de)效率。
因(yin)此(ci)，與(yu)環境200內(nei)(nei)的(de)(de)用(yong)(yong)戶250相關(guan)聯的(de)(de)系(xi)統可利用(yong)(yong)系(xi)統的(de)(de)估計(ji)位(wei)置360（基(ji)于(yu)GPS數據(ju)260和(he)/或IMU數據(ju)265）和(he)/或估計(ji)方(fang)向365（基(ji)于(yu)IMU數據(ju)265）來限制環境200的(de)(de)映(ying)射300內(nei)(nei)的(de)(de)定位(wei)搜索空間，以識別映(ying)射300內(nei)(nei)的(de)(de)關(guan)鍵幀320子集(ji)，并將其用(yong)(yong)作環境200的(de)(de)候(hou)選關(guan)鍵幀本地(di)化。因(yin)此(ci)，系(xi)統可以避免使用(yong)(yong)不包括(kuo)在關(guan)鍵幀320的(de)(de)子集(ji)中的(de)(de)映(ying)射300的(de)(de)關(guan)鍵幀320作為(wei)用(yong)(yong)于(yu)定位(wei)的(de)(de)候(hou)選關(guan)鍵幀，這可以提高(gao)與(yu)環境200內(nei)(nei)的(de)(de)定位(wei)相關(guan)聯的(de)(de)效率(lv)。
如上(shang)文參考圖2所(suo)示，當用(yong)戶(hu)位(wei)于(yu)環(huan)境200內的(de)位(wei)置(zhi)250B時，與用(yong)戶(hu)250相(xiang)(xiang)關聯(lian)的(de)系統可以獲得追蹤(zong)數(shu)(shu)據(ju)255（包(bao)括GPS數(shu)(shu)據(ju)260、IMU數(shu)(shu)據(ju)265和圖像數(shu)(shu)據(ju)270）。在一個實施例中(zhong)，與用(yong)戶(hu)250相(xiang)(xiang)關聯(lian)的(de)系統配置(zhi)為在環(huan)境中(zhong)的(de)不同追蹤(zong)模式(shi)之間選擇性地轉(zhuan)換。
在不同追蹤模式之間有選擇地轉換可以(yi)避免不必(bi)要的數(shu)據(ju)采集(ji)，從而節(jie)省電池和/或計算資源。例如，圖(tu)8是圖(tu)2中的環境(jing)200，其描繪了(le)用戶(hu)250從區(qu)域205內的位置250A移動(dong)到區(qu)域215的位置250B。
如(ru)上(shang)所述，環(huan)境200的(de)映(ying)(ying)射(she)300可以(yi)省(sheng)略視覺映(ying)(ying)射(she)數據(ju)，以(yi)便于在環(huan)境的(de)樹木覆蓋區(qu)域205內定(ding)位。因(yin)此，與(yu)用戶250相關聯的(de)系統可以(yi)使(shi)用第一追蹤模(mo)式(shi)810追蹤環(huan)境200內的(de)系統位置。
在一(yi)個(ge)實施例中，第一(yi)追(zhui)(zhui)蹤(zong)模式810包括GPS追(zhui)(zhui)蹤(zong)815。在一(yi)個(ge)實施例中，當在第一(yi)追(zhui)(zhui)蹤(zong)模式810下操作時，系統避免執行與SLAM相(xiang)關聯(lian)的操作，例如捕獲圖像數據、提取(qu)特(te)征、執行深度計算、追(zhui)(zhui)蹤(zong)幀(zhen)到幀(zhen)六自由度姿(zi)勢(shi)等，從而節(jie)省(sheng)計算和/或電池資源。例如，系統可(ke)依(yi)賴(lai)GPS追(zhui)(zhui)蹤(zong)815來維(wei)持系統相(xiang)對于(yu)環(huan)境200的粗(cu)略位置(zhi)感知，并且當GPS追(zhui)(zhui)蹤(zong)815指示系統基本上(shang)在森(sen)林區(qu)域205內時，系統可(ke)以(yi)避免獲取(qu)圖像數據。
當用戶250從(cong)位(wei)置(zhi)250A過渡到位(wei)置(zhi)250B時，與用戶相關(guan)聯(lian)的系(xi)統(tong)可(ke)檢(jian)測(ce)到觸發條件830。在一(yi)個實(shi)施例(li)中，觸發條件830配(pei)置(zhi)為選擇性地從(cong)第(di)一(yi)追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)810切換到第(di)二(er)追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)850。在一(yi)個實(shi)施例(li)中，第(di)二(er)追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)850包括相對于(yu)第(di)一(yi)追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)810的高(gao)保真追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)。例(li)如，第(di)二(er)追蹤(zong)(zong)(zong)模(mo)(mo)式(shi)850可(ke)包括SLAM 870，其利用圖(tu)像(xiang)數據880和IMU數據890以厘米或毫米精度追蹤(zong)(zong)(zong)系(xi)統(tong)的六(liu)自由度姿態(tai)。
相關(guan)專利：Microsoft Patent | Systems and methods for gps-based and sensor-based relocalization
名為“Systems and methods for gps-based and sensor-based relocalization”的微軟專(zhuan)利申請最(zui)初在2021年6月提交(jiao)，并在日前由美國(guo)專(zhuan)利商(shang)標局公(gong)布。
