隨(sui)著AR/VR的興起,人們暢想的一個用(yong)例是足不(bu)出(chu)戶就能(neng)身臨其境(jing)地參(can)加(jia)各種活動,比如說音(yin)樂會(hui)。對于所述(shu)情景,可(ke)以在音(yin)樂會(hui)現場使用(yong)多臺攝(she)像設備(bei)來錄制(zhi)內容并生(sheng)成(cheng)XR環境(jing)。以這種方式,即便沒有(you)親(qin)自(zi)出(chu)席,AR/VR用(yong)戶都可(ke)以通過相關體驗來獲得一種身臨其境(jing)的感(gan)覺。但由于網絡和處理(li)能(neng)力等多方面的限制(zhi),如何有(you)效交付(fu)多攝(she)像頭(tou)內容成(cheng)為了(le)廠商需(xu)要解決的一個問題。
在名為(wei)“Efficient delivery of multi-camera interactive content”的(de)專(zhuan)利申(shen)請中(zhong),蘋果就(jiu)介紹(shao)了一種用于更(geng)有效傳送多攝像頭交互式內容(rong)的(de)方(fang)法和系統(tong)。
在(zai)(zai)各種實施例中(zhong),在(zai)(zai)物理(li)環境中(zhong)捕獲內容(rong)的錄制設(she)(she)備可(ke)(ke)以(yi)確(que)定(ding)其在(zai)(zai)物理(li)環境中(zhong)的位(wei)(wei)置(zhi)(zhi),并在(zai)(zai)可(ke)(ke)用(yong)于流式傳輸(shu)錄制內容(rong)的清單中(zhong)對其位(wei)(wei)置(zhi)(zhi)進行編(bian)碼。然(ran)后,基于錄制內容(rong)呈現XR環境的設(she)(she)備可(ke)(ke)以(yi)使用(yong)編(bian)碼位(wei)(wei)置(zhi)(zhi)來(lai)確(que)定(ding)是否基于用(yong)戶在(zai)(zai)XR環境中(zhong)查看(kan)內容(rong)的位(wei)(wei)置(zhi)(zhi)來(lai)流式傳輸(shu)錄制內容(rong)。
以(yi)音(yin)樂會(hui)作為(wei)示(shi)例,如(ru)果用戶嘗(chang)試(shi)在XR環(huan)境中(zhong)的(de)音(yin)樂會(hui)舞臺(tai)(tai)附近位置查看內(nei)容(rong),則呈現設備可(ke)以(yi)下載于(yu)音(yin)樂會(hui)舞臺(tai)(tai)附近錄(lu)制(zhi)的(de)內(nei)容(rong),因為(wei)所述內(nei)容(rong)可(ke)能與(yu)用戶的(de)當(dang)前視(shi)場(chang)相(xiang)關。作為(wei)對比,在遠(yuan)離音(yin)樂會(hui)舞臺(tai)(tai)位置所錄(lu)制(zhi)的(de)內(nei)容(rong)可(ke)能與(yu)用戶的(de)當(dang)前視(shi)場(chang)無關,所以(yi)呈現設備可(ke)以(yi)基于(yu)所述內(nei)容(rong)的(de)編碼位置來確定不下載內(nei)容(rong)。
在(zai)(zai)一個實(shi)施例中,錄(lu)制設(she)備(bei)同(tong)時(shi)(shi)可以在(zai)(zai)錄(lu)制內容時(shi)(shi)確定(ding)其姿(zi)勢,并在(zai)(zai)清(qing)單中對(dui)姿(zi)勢進(jin)行編(bian)碼,以便(bian)呈現設(she)備(bei)可以確定(ding)錄(lu)制設(she)備(bei)在(zai)(zai)物(wu)理環境(jing)中的(de)(de)方向,以便(bian)確定(ding)其是否(fou)與(yu)(yu)用(yong)戶(hu)(hu)的(de)(de)視場(chang)相關。例如,當錄(lu)制設(she)備(bei)的(de)(de)姿(zi)勢指向舞臺時(shi)(shi),若用(yong)戶(hu)(hu)選擇的(de)(de)位置朝(chao)向音樂(le)會觀眾席,則錄(lu)制內容可能與(yu)(yu)用(yong)戶(hu)(hu)的(de)(de)視場(chang)不太相關。
簡(jian)單(dan)來說,蘋(pin)果(guo)構思的方法是(shi):活動現(xian)場有多(duo)臺攝像頭錄(lu)制(zhi)(zhi)內容。對于(yu)XR頭顯體驗(yan),可(ke)以確(que)定用戶(hu)在XR環境中的位(wei)置(zhi)和方向;接下來,選(xuan)擇(ze)與之最為匹配的機位(wei)所(suo)錄(lu)制(zhi)(zhi)的內容;然后,頭顯下載(zai)并呈現(xian)基于(yu)所(suo)述(shu)機位(wei)錄(lu)制(zhi)(zhi)內容渲染的沉浸式體驗(yan)。所(suo)以,這種選(xuan)擇(ze)性下載(zai)和處理機位(wei)錄(lu)制(zhi)(zhi)內容,而不是(shi)完整(zheng)下載(zai)和處理所(suo)有機位(wei)錄(lu)制(zhi)(zhi)內容能夠有效(xiao)交付多(duo)攝像頭交互是(shi)內容。
蘋果指出(chu),能夠根據(ju)物(wu)理環境中錄制設備(bei)的編(bian)碼位置和姿勢(shi)來快速(su)智能地確定用于顯示的錄制內容,這可以(yi)幫助XR設備(bei)大(da)大(da)減少(shao)流式傳輸的內容量,從而節(jie)省寶(bao)貴的網絡帶寬。

圖(tu)1示出(chu)了(le)內(nei)容遞送(song)系(xi)統(tong)10。在所示實施例中,系(xi)統(tong)10包括多(duo)個攝像(xiang)頭110A-C、存儲器120和(he)呈現設備(bei)130。攝像(xiang)頭110可(ke)以(yi)包括編碼(ma)器112。存儲器120可(ke)以(yi)包括清單122A-C和(he)視頻片(pian)段(duan)124A-C。呈現設備(bei)130可(ke)以(yi)包括流(liu)式應用132。
攝像(xiang)頭110可以(yi)從空間100內的(de)不(bu)同位(wei)置(zhi)錄制物理(li)(li)環境(jing)的(de)內容(rong),例如(ru)音樂會(hui)場館。攝像(xiang)頭110可以(yi)放置(zhi)在(zai)音樂會(hui)場館不(bu)同的(de)位(wei)置(zhi),以(yi)從不(bu)同的(de)角(jiao)度實時捕獲流媒體內容(rong)。為(wei)了(le)便于將物理(li)(li)環境(jing)中錄制的(de)內容(rong)分發到呈現相應XR環境(jing)的(de)設(she)備,攝像(xiang)頭110可各自(zi)使用相應的(de)編碼器(qi)112。
編(bian)(bian)碼(ma)器112可以(yi)包括一個或多個視(shi)頻(pin)和(he)/或音頻(pin)編(bian)(bian)解(jie)碼(ma)器,并用(yong)于以(yi)各種格式和(he)質(zhi)量級別生成編(bian)(bian)碼(ma)內(nei)容118。為了便(bian)于生成相應的XR環(huan)境,編(bian)(bian)碼(ma)器112可以(yi)確(que)定攝(she)像(xiang)頭110的一個或多個位(wei)置114和(he)姿勢116,并將(jiang)所(suo)述信息編(bian)(bian)碼(ma)到內(nei)容118中,以(yi)便(bian)于流媒體設備選擇內(nei)容。
在(zai)各種實施例(li)中(zhong),位(wei)(wei)置(zhi)114是攝像(xiang)頭110在(zai)物理環(huan)境中(zhong)錄制內容(rong)時的(de)位(wei)(wei)置(zhi)。例(li)如在(zai)所示實施例(li)中(zhong),可(ke)以(yi)使用在(zai)空間100內定義的(de)笛卡爾坐標X、Y和Z來指定位(wei)(wei)置(zhi)114。在(zai)各種實施例(li)中(zhong),姿勢116是攝像(xiang)頭110在(zai)物理環(huan)境中(zhong)錄制內容(rong)時的(de)姿勢/方向。
由于(yu)給定(ding)攝(she)像(xiang)頭110可(ke)以(yi)隨(sui)時(shi)間改(gai)變其位(wei)置114或姿(zi)(zi)勢(shi)(shi)116,攝(she)像(xiang)頭110可(ke)以(yi)對(dui)多(duo)個(ge)位(wei)置114和/或姿(zi)(zi)勢(shi)(shi)116以(yi)及多(duo)個(ge)參考時(shi)間進行(xing)編(bian)碼(ma)(ma),以(yi)指示攝(she)像(xiang)頭110所在的(de)位(wei)置及其在給定(ding)時(shi)間點(dian)的(de)當(dang)前姿(zi)(zi)勢(shi)(shi)。參考時(shi)間同時(shi)可(ke)以(yi)基于(yu)攝(she)像(xiang)頭110之間共(gong)享的(de)公共(gong)時(shi)間參考,以(yi)便能(neng)夠確定(ding)一(yi)個(ge)編(bian)碼(ma)(ma)內容118的(de)錄制時(shi)間相對(dui)于(yu)另一(yi)個(ge)編(bian)碼(ma)(ma)內容118的(de)錄制時(shi)間。
在各種(zhong)實施(shi)例中(zhong)(zhong),存(cun)儲(chu)(chu)器(qi)120配(pei)置(zhi)為存(cun)儲(chu)(chu)從攝像(xiang)頭110A-110C接收的(de)編(bian)碼(ma)內容118A-C,并促進(jin)(jin)對編(bian)碼(ma)內容118進(jin)(jin)行流式傳輸。存(cun)儲(chu)(chu)器(qi)120可(ke)以(yi)以(yi)清單(dan)122和(he)相應(ying)視頻(pin)片段(duan)124的(de)形式存(cun)儲(chu)(chu)編(bian)碼(ma)內容118。在各種(zhong)實施(shi)例中(zhong)(zhong),清單(dan)122包(bao)括(kuo)關(guan)于每(mei)個視頻(pin)片段(duan)124的(de)元數據,以(yi)便接收器(qi)可(ke)以(yi)選(xuan)擇(ze)適(shi)當(dang)的(de)視頻(pin)片段(duan)124。
在各種實施(shi)例中,諸如頭(tou)戴式顯示器的呈(cheng)現(xian)設備130配置為向用戶呈(cheng)現(xian)基于(yu)攝像頭(tou)110編碼內(nei)容118相對(dui)應的沉浸式環境(jing)。

圖2描(miao)繪(hui)了編碼內(nei)(nei)容134的(de)(de)(de)選(xuan)擇(ze)200。在(zai)所(suo)示示例中(zhong),流媒體應用132正(zheng)在(zai)從由(you)攝(she)像(xiang)(xiang)頭(tou)110創建的(de)(de)(de)三(san)組編碼內(nei)(nei)容118中(zhong)執行(xing)選(xuan)擇(ze)200。具(ju)體而(er)言,由(you)攝(she)像(xiang)(xiang)頭(tou)110A產生的(de)(de)(de)視頻片段(duan)124A可以(yi)描(miao)繪(hui)第(di)一幀(zhen)212A中(zhong)的(de)(de)(de)內(nei)(nei)容,由(you)攝(she)像(xiang)(xiang)頭(tou)110B產生的(de)(de)(de)視頻片段(duan)124B可以(yi)描(miao)繪(hui)第(di)二幀(zhen)212B中(zhong)的(de)(de)(de)內(nei)(nei)容,而(er)由(you)攝(she)像(xiang)(xiang)頭(tou)110C產生的(de)(de)(de)視頻片段(duan)124C可以(yi)描(miao)繪(hui)第(di)三(san)幀(zhen)212C中(zhong)的(de)(de)(de)內(nei)(nei)容。如圖所(suo)示,選(xuan)擇(ze)200可以(yi)從流媒體應用132下載清單122并確定位置202和姿勢204。
在各種實施(shi)例(li)中,位置(zhi)202是(shi)頭顯設備用(yong)戶在XR環境(jing)中查看內容時(shi)的(de)位置(zhi)。姿勢204是(shi)用(yong)戶在XR環境(jing)中查看內容時(shi)的(de)姿勢。
基于位置202和姿勢204,流(liu)媒體應用132可以(yi)讀取清單(dan)122以(yi)識(shi)別視(shi)(shi)(shi)頻(pin)片(pian)(pian)段(duan)124的位置114和姿勢116,以(yi)確(que)定(ding)哪個視(shi)(shi)(shi)頻(pin)片(pian)(pian)段(duan)124與用戶的當前視(shi)(shi)(shi)場相(xiang)關。
在(zai)一個示例(li)中,流(liu)媒體應(ying)用132可以確定(ding)幀(zhen)(zhen)(zhen)212A-C都與用戶的當前視(shi)場相(xiang)關。但(dan)基于所描(miao)繪(hui)的位(wei)置202和(he)姿勢204,流(liu)媒體應(ying)用132可以確定(ding)幀(zhen)(zhen)(zhen)212C位(wei)于幀(zhen)(zhen)(zhen)212A或幀(zhen)(zhen)(zhen)212B后面,從而確定(ding)下(xia)載(zai)視(shi)頻片(pian)段124A或124B,而不下(xia)載(zai)視(shi)頻片(pian)段124C。
當用(yong)(yong)戶的(de)(de)(de)(de)(de)當前(qian)位(wei)(wei)置(zhi)202和(he)(he)/或姿(zi)(zi)勢(shi)(shi)204改(gai)變時,流媒(mei)體應(ying)用(yong)(yong)132可(ke)以確定停(ting)止(zhi)(zhi)流式傳輸由一個(ge)攝(she)像頭錄(lu)制的(de)(de)(de)(de)(de)內容(rong),并轉而流式傳輸由另一個(ge)攝(she)像頭所(suo)錄(lu)制的(de)(de)(de)(de)(de)內容(rong)。例如(ru),如(ru)果用(yong)(yong)戶沿著姿(zi)(zi)勢(shi)(shi)204的(de)(de)(de)(de)(de)路徑向(xiang)前(qian)移動(dong)到(dao)音(yin)樂會(hui)舞臺,這(zhe)時幀(zhen)212A和(he)(he)212B將(jiang)位(wei)(wei)于(yu)用(yong)(yong)戶當前(qian)視(shi)(shi)(shi)場的(de)(de)(de)(de)(de)后(hou)面,但(dan)幀(zhen)212C依然直接(jie)位(wei)(wei)于(yu)視(shi)(shi)(shi)圖(tu)的(de)(de)(de)(de)(de)前(qian)面。所(suo)以,流媒(mei)體應(ying)用(yong)(yong)132可(ke)以開始(shi)下(xia)載(zai)(zai)對(dui)應(ying)于(yu)幀(zhen)212C的(de)(de)(de)(de)(de)視(shi)(shi)(shi)頻片段124C,但(dan)停(ting)止(zhi)(zhi)下(xia)載(zai)(zai)分別(bie)對(dui)應(ying)于(yu)幀(zhen)212A和(he)(he)212B的(de)(de)(de)(de)(de)段124A和(he)(he)124B。類似(si)地(di),如(ru)果用(yong)(yong)戶保持在相(xiang)同(tong)的(de)(de)(de)(de)(de)位(wei)(wei)置(zhi)202但(dan)改(gai)變姿(zi)(zi)勢(shi)(shi)204,這(zhe)時幀(zhen)212A-C不再在用(yong)(yong)戶的(de)(de)(de)(de)(de)當前(qian)視(shi)(shi)(shi)場中,則流媒(mei)體應(ying)用(yong)(yong)132可(ke)以停(ting)止(zhi)(zhi)下(xia)載(zai)(zai)視(shi)(shi)(shi)頻片段124A-C。
在(zai)一(yi)個實施例(li)中(zhong),流媒(mei)體應(ying)用132可(ke)(ke)(ke)以(yi)進一(yi)步將多個幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212的(de)內(nei)(nei)容拼接在(zai)一(yi)起,以(yi)便(bian)向用戶(hu)(hu)呈現連續視(shi)圖(tu)。如圖(tu)所示,流應(ying)用132可(ke)(ke)(ke)以(yi)根據清單(dan)122并基于用戶(hu)(hu)的(de)當(dang)前視(shi)場,確定(ding)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212B可(ke)(ke)(ke)以(yi)部分(fen)地與幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A重(zhong)(zhong)疊(die)。在(zai)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A沒(mei)有完(wan)全占據用戶(hu)(hu)的(de)當(dang)前視(shi)場的(de)情(qing)況(kuang)下,流應(ying)用132可(ke)(ke)(ke)以(yi)決定(ding)依(yi)然使(shi)(shi)用幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A作為主(zhu)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen),然后使(shi)(shi)用幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212B(假設它能夠提供一(yi)定(ding)的(de)缺失內(nei)(nei)容)作為補(bu)丁幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen),使(shi)(shi)得補(bu)丁部分(fen)214A與主(zhu)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A結合以(yi)產生(sheng)連續視(shi)圖(tu)。然而(er),幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212B的(de)重(zhong)(zhong)疊(die)部分(fen)214B可(ke)(ke)(ke)以(yi)丟棄。在(zai)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A和212B沒(mei)有實時流傳輸的(de)情(qing)況(kuang)下,流媒(mei)體應(ying)用132可(ke)(ke)(ke)以(yi)讀取清單(dan)122中(zhong)包括的(de)參考時間,以(yi)便(bian)幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)212A和212B是在(zai)重(zhong)(zhong)疊(die)的(de)時間幀(zhen)(zhen)(zhen)(zhen)(zhen)(zhen)期間所創建,亦即可(ke)(ke)(ke)以(yi)拼接在(zai)一(yi)起。

圖(tu)4示出了呈現設(she)(she)備130中的組件框圖(tu)。在所示實施例中,呈現設(she)(she)備130包括一個或多個用(yong)戶輸入設(she)(she)備410、姿勢傳感器420、包括內容預(yu)測(ce)器430的流媒(mei)體應用(yong)132、顯(xian)示器440、揚聲器450。
在(zai)(zai)各種實(shi)施例中(zhong)(zhong)(zhong),用(yong)(yong)戶(hu)(hu)輸(shu)(shu)(shu)入(ru)設備(bei)410配置(zhi)為從用(yong)(yong)戶(hu)(hu)收集信息,以(yi)(yi)便(bian)確定用(yong)(yong)戶(hu)(hu)在(zai)(zai)XR環境中(zhong)(zhong)(zhong)的(de)位置(zhi)202。例如(ru),當(dang)體驗(yan)開始時,用(yong)(yong)戶(hu)(hu)的(de)查看(kan)位置(zhi)202最初可以(yi)(yi)設置(zhi)為某個默認位置(zhi)202。然后,用(yong)(yong)戶(hu)(hu)可能(neng)想要改(gai)(gai)變位置(zhi)202,并向(xiang)(xiang)用(yong)(yong)戶(hu)(hu)輸(shu)(shu)(shu)入(ru)設備(bei)410提供相應的(de)輸(shu)(shu)(shu)入(ru),以(yi)(yi)使位置(zhi)202改(gai)(gai)變。例如(ru),在(zai)(zai)用(yong)(yong)戶(hu)(hu)輸(shu)(shu)(shu)入(ru)設備(bei)410包括搖桿的(de)實(shi)施例中(zhong)(zhong)(zhong),用(yong)(yong)戶(hu)(hu)可以(yi)(yi)向(xiang)(xiang)前(qian)推(tui)動(dong)搖桿,以(yi)(yi)向(xiang)(xiang)前(qian)移動(dong)查看(kan)位置(zhi)202。
在(zai)各種實(shi)(shi)施例(li)中(zhong),姿勢傳(chuan)(chuan)感(gan)器(qi)420配(pei)置為(wei)從用(yong)(yong)(yong)戶(hu)收集(ji)信息,以(yi)便(bian)確定(ding)用(yong)(yong)(yong)戶(hu)在(zai)XR環境中(zhong)的(de)姿勢204。姿勢傳(chuan)(chuan)感(gan)器(qi)420可以(yi)包(bao)括基(ji)于(yu)當前(qian)頭部(bu)位(wei)置和眼睛位(wei)置確定(ding)用(yong)(yong)(yong)戶(hu)姿勢204的(de)頭部(bu)姿勢傳(chuan)(chuan)感(gan)器(qi)和眼動(dong)追蹤(zong)傳(chuan)(chuan)感(gan)器(qi)。在(zai)一個(ge)實(shi)(shi)施例(li)中(zhong),姿勢傳(chuan)(chuan)感(gan)器(qi)420可對應于(yu)前(qian)面(mian)討(tao)論的(de)用(yong)(yong)(yong)戶(hu)輸入設備410。例(li)如,用(yong)(yong)(yong)戶(hu)可以(yi)通過向前(qian)或向后推動(dong)搖(yao)桿來調整(zheng)姿勢204。
如上所述,流(liu)媒體(ti)應用(yong)(yong)132可以(yi)考慮用(yong)(yong)戶的(de)(de)(de)位置(zhi)202和姿態204來(lai)選擇用(yong)(yong)于呈現(xian)的(de)(de)(de)編碼(ma)內(nei)容(rong)(rong)134。在所示的(de)(de)(de)實施例中,流(liu)媒體(ti)應用(yong)(yong)132可以(yi)通過向存儲器(qi)120發送請求432以(yi)流(liu)式傳輸由攝(she)像頭(tou)110錄(lu)制的(de)(de)(de)內(nei)容(rong)(rong),從而(er)啟動(dong)其與存儲器(qi)120的(de)(de)(de)交換并(bing)獲得所選內(nei)容(rong)(rong)134。響(xiang)應于請求432,流(liu)媒體(ti)應用(yong)(yong)132可以(yi)接收一個(ge)或多個(ge)可用(yong)(yong)于流(liu)式傳輸由攝(she)像頭(tou)110錄(lu)制的(de)(de)(de)內(nei)容(rong)(rong)134的(de)(de)(de)清單122。
基于在清單中標識的(de)(de)攝像頭110的(de)(de)位(wei)置114和姿勢(shi)116,流媒體應用132可以(yi)向存儲器120發送請求434,以(yi)提(ti)供基于位(wei)置202和姿勢(shi)204所選擇的(de)(de)錄制內容(rong)118的(de)(de)視(shi)頻片段124。
在一個實施例中,流(liu)媒(mei)(mei)體應(ying)用132可(ke)以基于預測(ce)(ce)器(qi)430的預測(ce)(ce)來(lai)進一步發送針對視(shi)頻片(pian)段124的請(qing)求(qiu)434。其(qi)中,預測(ce)(ce)器(qi)430可(ke)以基于未來(lai)位(wei)置202和204預測(ce)(ce)可(ke)能需要視(shi)頻片(pian)段124。然后,流(liu)媒(mei)(mei)體應(ying)用132可(ke)以從存儲(chu)器(qi)120接收請(qing)求(qiu)的視(shi)頻片(pian)段124并進行相應(ying)的處理(li),以產生經由顯示器(qi)440呈現的相應(ying)XR視(shi)圖436和經由揚(yang)聲器(qi)450呈現的相應(ying)XR音頻438。
在(zai)各種實施例中(zhong),預測(ce)器(qi)430追蹤位(wei)置202和姿勢204信息(xi)的先前歷史(shi),并(bing)嘗試使(shi)用(yong)(yong)諸如(ru)線性回歸(gui)的機器(qi)學(xue)習(xi)算法來(lai)推(tui)斷(duan)未(wei)來(lai)的位(wei)置202和姿勢204。在(zai)一個(ge)實施例中(zhong),預測(ce)器(qi)430的推(tui)斷(duan)可(ke)以(yi)基于正(zheng)在(zai)流式傳輸的基礎內(nei)容(rong)的屬(shu)性。例如(ru),如(ru)果(guo)用(yong)(yong)戶正(zheng)在(zai)查看內(nei)容(rong),并(bing)且已知一個(ge)項目(mu)(mu)將出現在(zai)可(ke)能會引起(qi)用(yong)(yong)戶注意的內(nei)容(rong)中(zhong),例如(ru)爆炸(zha),這時(shi)預測(ce)器(qi)430可(ke)以(yi)假設用(yong)(yong)戶可(ke)能改(gai)變(bian)位(wei)置202和/或姿勢204來(lai)查看所述項目(mu)(mu),例如(ru)爆炸(zha)。在(zai)其他(ta)實施例中(zhong),可(ke)以(yi)使(shi)用(yong)(yong)其他(ta)技術來(lai)預測(ce)未(wei)來(lai)內(nei)容(rong)118,以(yi)便從存儲器(qi)120中(zhong)進(jin)行選擇。

圖5A示出了(le)第一(yi)(yi)(yi)計(ji)(ji)算(suan)(suan)設備(bei)110執行(xing)的方法500,第一(yi)(yi)(yi)計(ji)(ji)算(suan)(suan)設備(bei)可(ke)以是攝像頭(tou)。在(zai)步(bu)驟(zou)505,第一(yi)(yi)(yi)計(ji)(ji)算(suan)(suan)設備(bei)錄制第一(yi)(yi)(yi)計(ji)(ji)算(suan)(suan)設備(bei)所(suo)在(zai)的物理(li)環境的內容(rong)。在(zai)各(ge)種實施(shi)例(li)中,內容(rong)可(ke)交付(fu)給第二計(ji)(ji)算(suan)(suan)設備(bei),所(suo)述第二計(ji)(ji)算(suan)(suan)設備(bei)可(ke)以是頭(tou)戴式攝像頭(tou)。。
在步驟510,第(di)一計算設(she)備確定第(di)一計算設(she)備在物(wu)理環境中的位置(例(li)如位置114)和(he)姿(zi)勢(例(li)如姿(zi)勢116)和(he)/或確定第(di)一計算設(she)備錄制(zhi)內容時的參考(kao)時間(例(li)如參考(kao)時間332)。
在步驟515,第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)對清單(dan)(dan)(dan)(dan)中(zhong)(zhong)(zhong)(zhong)的(de)(de)位(wei)置(zhi)進行編(bian)碼,清單(dan)(dan)(dan)(dan)可(ke)用于(yu)將第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)錄制(zhi)的(de)(de)內(nei)(nei)容(rong)流(liu)式傳輸到第(di)(di)(di)(di)二(er)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)。在各種實(shi)施(shi)例(li)中(zhong)(zhong)(zhong)(zhong),編(bian)碼位(wei)置(zhi)可(ke)由(you)(you)第(di)(di)(di)(di)二(er)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)用于(yu)確(que)定(ding)是否(fou)流(liu)式傳輸由(you)(you)第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)錄制(zhi)的(de)(de)內(nei)(nei)容(rong)。在一(yi)(yi)個實(shi)施(shi)例(li)中(zhong)(zhong)(zhong)(zhong),第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)同時(shi)(shi)對清單(dan)(dan)(dan)(dan)中(zhong)(zhong)(zhong)(zhong)的(de)(de)姿勢(shi)進行編(bian)碼,編(bian)碼后(hou)的(de)(de)姿勢(shi)可(ke)由(you)(you)第(di)(di)(di)(di)二(er)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)使用,以(yi)確(que)定(ding)在呈現(xian)相應(ying)環(huan)境(jing)的(de)(de)同時(shi)(shi)是否(fou)基(ji)于(yu)第(di)(di)(di)(di)二(er)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)的(de)(de)姿勢(shi)來流(liu)傳輸由(you)(you)第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)錄制(zhi)的(de)(de)內(nei)(nei)容(rong)。在一(yi)(yi)個實(shi)施(shi)例(li)中(zhong)(zhong)(zhong)(zhong),第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)同時(shi)(shi)對清單(dan)(dan)(dan)(dan)中(zhong)(zhong)(zhong)(zhong)的(de)(de)參考(kao)時(shi)(shi)間進行編(bian)碼,所述(shu)(shu)參考(kao)時(shi)(shi)間可(ke)由(you)(you)所述(shu)(shu)第(di)(di)(di)(di)二(er)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)使用,以(yi)便其將所述(shu)(shu)第(di)(di)(di)(di)一(yi)(yi)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)錄制(zhi)的(de)(de)內(nei)(nei)容(rong)與(yu)所述(shu)(shu)一(yi)(yi)個或多個附(fu)加(jia)計(ji)(ji)(ji)(ji)(ji)算(suan)(suan)設備(bei)(bei)(bei)(bei)(bei)錄制(zhi)的(de)(de)內(nei)(nei)容(rong)拼接在一(yi)(yi)起,從而呈現(xian)相應(ying)的(de)(de)沉浸式環(huan)境(jing)。
相關專利(li):Apple Patent | Efficient delivery of multi-camera interactive content
名為“Efficient delivery of multi-camera interactive content”的蘋果專(zhuan)利申請最初在2021年5月提交,并在日(ri)前由美國專(zhuan)利商(shang)標局(ju)公布(bu)。