在過去十幾年中，云計算已經成為主流技術，改變了很多工業、政府和組織的IT服務的運營模式，也帶來了包括商業模式和技術上的諸多革新。但是，云計算面對現在和未來的IoT的應用，也有一些不足之處。IoT起源于1999年，當時RFID技術剛剛興起，英國一名從事智能家居產業科(ke)學家Kevin Ashton預見到，如(ru)果(guo)RFID聯接到每(mei)(mei)一個物件上(shang)(shang)，或(huo)者說家里的每(mei)(mei)一個家具、電器上(shang)(shang)，就會形(xing)成一個新的網絡。這樣的網絡可(ke)以和當時興起的Internet相媲美，所以給它取(qu)名叫(jiao) IoT。
20多年后的今天，IoT已經遠遠超越了智慧家庭、智能家居的應用，成為了一個集成物理世界和計算機世界的廣闊應用領域。它不僅可以感知，還可以進行計算和控制，我們可以看到智慧城市里出現了更多IoT的應用，包括工業物聯網(Industry IoT)，自主駕駛和車載網，以及大規模的視頻監控和現在興起的元宇宙的底層VR、AR。這些新型的應用帶來了新的需求，比如如何識別、感知、進行網絡傳輸、計算和控制。這些需求都必須在非常智能化的方式下進行，而傳統的IoT技術無法勝任。因此，要支持先進的IoT應用，就需要新的IoT技術。IoT產生大量的數據，而AI的發展正是基于數據，兩者自然而然地結合在一起，誕生了人工智能物(wu)聯(lian)(lian)網(wang)(wang)AIoT。大規模(mo)的(de)(de)(de)物(wu)聯(lian)(lian)網(wang)(wang)數據使得AI在物(wu)聯(lian)(lian)網(wang)(wang)領域的(de)(de)(de)應用是(shi)非常蓬勃的(de)(de)(de)，這樣的(de)(de)(de)數據也(ye)給IoT的(de)(de)(de)應用帶來很多新(xin)的(de)(de)(de)發展。
那么，AI進入IoT的(de)(de)每(mei)一(yi)個(ge)領域之后會帶來(lai)什么?首先(xian)，分布式的(de)(de)IoT數據可(ke)(ke)以(yi)(yi)(yi)得(de)到(dao)廣泛應用(yong)(yong);其次(ci)，過去(qu)我們講的(de)(de)“Internet of Things”中的(de)(de)”Things”本(ben)身是(shi)沒有智(zhi)(zhi)能的(de)(de)，但是(shi)有了(le)(le)(le)AIoT后，它(ta)(ta)可(ke)(ke)以(yi)(yi)(yi)嵌(qian)(qian)入到(dao)物聯網里的(de)(de)每(mei)一(yi)個(ge)元素(su)中，使(shi)(shi)得(de)”Things“變成(cheng)了(le)(le)(le)”Smart Things“，這樣它(ta)(ta)就(jiu)不是(shi)一(yi)個(ge)簡單的(de)(de)設(she)備，而是(shi)嵌(qian)(qian)入到(dao)計算(suan)(suan)和(he)智(zhi)(zhi)能的(de)(de)一(yi)個(ge)系統，這使(shi)(shi)得(de)實時(shi)地在局部做一(yi)些智(zhi)(zhi)能的(de)(de)決策成(cheng)為(wei)了(le)(le)(le)可(ke)(ke)能。那么，AIoT是(shi)如(ru)何發展(zhan)起來(lai)的(de)(de)呢?AIoT的(de)(de)使(shi)(shi)能技術有很多，本(ben)次(ci)主要講云(yun)計算(suan)(suan)和(he)分布式云(yun)，即Edge cloud，它(ta)(ta)帶來(lai)了(le)(le)(le)實時(shi)性。同時(shi)Edge cloud上面(mian)的(de)(de)AI應用(yong)(yong)也變成(cheng)了(le)(le)(le)Edge AI，帶來(lai)了(le)(le)(le)智(zhi)(zhi)能性。由于(yu)能被用(yong)(yong)戶直接存取，IoT設(she)備將智(zhi)(zhi)能和(he)計算(suan)(suan)帶給了(le)(le)(le)用(yong)(yong)戶，所以(yi)(yi)(yi)邊(bian)緣(yuan)計算(suan)(suan)也成(cheng)為(wei)各個(ge)產業(ye)競爭的(de)(de)戰場(chang)。
眾(zhong)所(suo)周知，邊(bian)緣計(ji)算(suan)主要作用是(shi)把互聯網所(suo)需(xu)要的(de)(de)數據和(he)計(ji)算(suan)，從云(yun)(yun)(yun)端推(tui)廣(guang)到(dao)(dao)邊(bian)緣側來實(shi)(shi)現，讓實(shi)(shi)時數據處理和(he)智能化成為可能。邊(bian)緣計(ji)算(suan)不僅(jin)減少了對網絡的(de)(de)需(xu)求，還降低了計(ji)算(suan)和(he)決策所(suo)帶來的(de)(de)延遲(chi)，增(zeng)加了實(shi)(shi)時的(de)(de)反饋。正因為有著諸多好處，邊(bian)緣云(yun)(yun)(yun)也(ye)叫做分布(bu)式(shi)云(yun)(yun)(yun)，成為了現在的(de)(de)主流技(ji)術。2021年Gartner把邊(bian)緣云(yun)(yun)(yun)稱作十大技(ji)術趨勢之(zhi)一，各(ge)(ge)個主要的(de)(de)云(yun)(yun)(yun)服務廠(chang)商包括華為、微軟、Google和(he)亞馬遜(xun)都在推(tui)廣(guang)分布(bu)式(shi)云(yun)(yun)(yun)技(ji)術，其中(zhong)包含各(ge)(ge)自的(de)(de)平臺(tai)和(he)開源的(de)(de)軟件(jian)，包括KubeEdge、Beatyl和(he)OpenYurt，把在云(yun)(yun)(yun)上的(de)(de)Kubernetes技(ji)術推(tui)廣(guang)到(dao)(dao)邊(bian)緣，并能夠(gou)無縫地從云(yun)(yun)(yun)到(dao)(dao)邊(bian)緣實(shi)(shi)現任(ren)務的(de)(de)執行。
邊緣(yuan)(yuan)計(ji)(ji)算(suan)最開始是將云(yun)上資源受限的(de)IoT設備的(de)計(ji)(ji)算(suan)放到邊緣(yuan)(yuan)服(fu)務(wu)器上，主要還(huan)是做(zuo)計(ji)(ji)算(suan);有(you)了(le)AIoT之后(hou)，邊緣(yuan)(yuan)服(fu)務(wu)器除(chu)了(le)做(zuo)計(ji)(ji)算(suan)，還(huan)可以做(zuo)AI方(fang)面的(de)智能化決(jue)策和模型;下一步(bu)，邊緣(yuan)(yuan)的(de)服(fu)務(wu)器和節點(dian)將互相(xiang)配合，即合作式的(de)邊緣(yuan)(yuan)計(ji)(ji)算(suan)，各個(ge)合作式的(de)邊緣(yuan)(yuan)服(fu)務(wu)器上的(de)智能將變成分布式的(de)智能，這將成為邊緣(yuan)(yuan)計(ji)(ji)算(suan)的(de)一個(ge)趨(qu)勢(shi)。
以(yi)定位為例，過去使用無線(xian)(xian)定位，如Wifi、藍(lan)牙(ya)，都是模(mo)型驅動，但是物(wu)理模(mo)型受到很多(duo)限制(zhi)。其(qi)中最(zui)大的(de)(de)(de)限制(zhi)就是干(gan)擾(rao)，特別(bie)是在(zai)室外的(de)(de)(de)環境(jing)下，在(zai)多(duo)人、多(duo)物(wu)件的(de)(de)(de)情況下會很不準(zhun)確。AI的(de)(de)(de)興起讓數據(ju)(ju)驅動的(de)(de)(de)方(fang)式變得非常流(liu)行，這種方(fang)式的(de)(de)(de)好處是可(ke)以(yi)把AI模(mo)型放(fang)在(zai)一個邊(bian)緣節點(dian)上，獲得極佳的(de)(de)(de)實(shi)時(shi)性。根據(ju)(ju)深度(du)學習(xi)或(huo)深度(du)神經網絡估算距離，可(ke)以(yi)推出信號強度(du)和距離之間的(de)(de)(de)一個非線(xian)(xian)性關系。同時(shi)因為受到大量數據(ju)(ju)的(de)(de)(de)訓練，抗干(gan)擾(rao)性增(zeng)強，減(jian)少誤差。
在食品安全(quan)領域，我們可以把一些(xie)比(bi)較昂(ang)貴(gui)的(de)(de)(de)(de)設(she)備(bei)和(he)(he)(he)技術通(tong)過(guo)(guo)EdgeAI部署(shu)到低成本的(de)(de)(de)(de)邊緣節點上(shang)。例如真假(jia)(jia)紅酒的(de)(de)(de)(de)檢測(ce)，通(tong)過(guo)(guo)普通(tong)的(de)(de)(de)(de)聲波技術，如揚聲器(qi)和(he)(he)(he)麥克風(feng)，基(ji)于真實液體(ti)(ti)和(he)(he)(he)假(jia)(jia)液體(ti)(ti)具有不同的(de)(de)(de)(de)深阻抗這(zhe)一特征，來(lai)檢測(ce)出模(mo)型異常(chang)的(de)(de)(de)(de)假(jia)(jia)液體(ti)(ti)，這(zhe)個(ge)方法的(de)(de)(de)(de)準確(que)度可以達到92%-95%。另一個(ge)例子是食物(wu)新鮮度和(he)(he)(he)真假(jia)(jia)比(bi)較，通(tong)過(guo)(guo)把手機上(shang)的(de)(de)(de)(de)低成本的(de)(de)(de)(de)照片傳送(song)到昂(ang)貴(gui)的(de)(de)(de)(de)高頻(pin)光譜的(de)(de)(de)(de)圖(tu)像上(shang)，通(tong)過(guo)(guo)機器(qi)學習的(de)(de)(de)(de)方法來(lai)辨別和(he)(he)(he)識別。這(zhe)些(xie)技術都已經被廣泛應用，所以AI在邊緣計算領域的(de)(de)(de)(de)應用是一個(ge)非常(chang)重要的(de)(de)(de)(de)領域。
那么，如(ru)何把AI推廣到分(fen)布式(shi)的(de)(de)(de)(de)Edge AI上?可以通(tong)過合(he)作式(shi)的(de)(de)(de)(de)邊緣計(ji)算(suan)，即邊緣的(de)(de)(de)(de)節點(dian)之間共享數據和計(ji)算(suan)資(zi)源，合(he)作完(wan)成任務。在(zai)這個(ge)過程當中，節點(dian)要合(he)作完(wan)成分(fen)布式(shi)任務，產生分(fen)布式(shi)智能(neng)(neng)。在(zai)過去(qu)的(de)(de)(de)(de)幾年當中，分(fen)布式(shi)智能(neng)(neng)的(de)(de)(de)(de)研究主(zhu)(zhu)要集中在(zai)三個(ge)方(fang)面，一(yi)是分(fen)布式(shi)的(de)(de)(de)(de)任務調度(du)和任務執行，二是分(fen)布式(shi)機器學習，即分(fen)布式(shi)Edge AI，三是如(ru)何讓邊緣節點(dian)和分(fen)布式(shi)IoT設備在(zai)自主(zhu)(zhu)合(he)作的(de)(de)(de)(de)情況下(xia)，用分(fen)布式(shi)的(de)(de)(de)(de)方(fang)法來解決(jue)問(wen)題。
分(fen)(fen)布(bu)(bu)式(shi)任(ren)(ren)務(wu)(wu)的(de)(de)(de)(de)(de)執(zhi)(zhi)行(xing)，是對(dui)分(fen)(fen)布(bu)(bu)式(shi)智能最基礎的(de)(de)(de)(de)(de)一個(ge)(ge)研究領域(yu)，即怎樣(yang)把在不(bu)同的(de)(de)(de)(de)(de)邊(bian)(bian)(bian)緣(yuan)服務(wu)(wu)器(qi)上(shang)執(zhi)(zhi)行(xing)的(de)(de)(de)(de)(de)任(ren)(ren)務(wu)(wu)，通(tong)過分(fen)(fen)布(bu)(bu)式(shi)的(de)(de)(de)(de)(de)調(diao)度(du)共(gong)享在這些(xie)邊(bian)(bian)(bian)緣(yuan)的(de)(de)(de)(de)(de)服務(wu)(wu)器(qi)上(shang)來(lai)執(zhi)(zhi)行(xing)。一個(ge)(ge)復雜的(de)(de)(de)(de)(de)任(ren)(ren)務(wu)(wu)，比(bi)如說(shuo)車載網(wang)，需要識別交通(tong)流量(liang)和道路情況，要先(xian)分(fen)(fen)解成若干子任(ren)(ren)務(wu)(wu)，再部署(shu)到(dao)不(bu)同的(de)(de)(de)(de)(de)邊(bian)(bian)(bian)緣(yuan)服務(wu)(wu)器(qi)上(shang)，或者是部署(shu)到(dao)云上(shang)執(zhi)(zhi)行(xing)。在協(xie)作式(shi)邊(bian)(bian)(bian)緣(yuan)計(ji)(ji)算(suan)場景中做(zuo)任(ren)(ren)務(wu)(wu)調(diao)度(du)，對(dui)任(ren)(ren)務(wu)(wu)調(diao)度(du)系統和算(suan)法(fa)可(ke)伸縮性提(ti)出(chu)了(le)新的(de)(de)(de)(de)(de)挑(tiao)戰：首(shou)先(xian)，和傳統的(de)(de)(de)(de)(de)并行(xing)和分(fen)(fen)布(bu)(bu)式(shi)計(ji)(ji)算(suan)比(bi)較，邊(bian)(bian)(bian)緣(yuan)計(ji)(ji)算(suan)任(ren)(ren)務(wu)(wu)是由終端設(she)備提(ti)交，是從下(xia)往上(shang)的(de)(de)(de)(de)(de)，且(qie)任(ren)(ren)務(wu)(wu)執(zhi)(zhi)行(xing)時產生(sheng)的(de)(de)(de)(de)(de)數(shu)據也(ye)是由邊(bian)(bian)(bian)緣(yuan)節(jie)點產生(sheng)的(de)(de)(de)(de)(de)分(fen)(fen)布(bu)(bu)式(shi)數(shu)據;其次，邊(bian)(bian)(bian)緣(yuan)網(wang)絡(luo)由不(bu)同的(de)(de)(de)(de)(de)節(jie)點組成，是不(bu)穩定(ding)的(de)(de)(de)(de)(de)、帶(dai)寬(kuan)受(shou)限的(de)(de)(de)(de)(de)，因此(ci)在任(ren)(ren)務(wu)(wu)執(zhi)(zhi)行(xing)方面的(de)(de)(de)(de)(de)通(tong)信(xin)和計(ji)(ji)算(suan)資源也(ye)是耦(ou)合(he)在一起的(de)(de)(de)(de)(de)。
第二個(ge)(ge)(ge)是現在(zai)(zai)大家都在(zai)(zai)進(jin)(jin)行研究的分布式機器(qi)學(xue)(xue)習(xi)。眾所周知，分布式機器(qi)學(xue)(xue)習(xi)實(shi)(shi)際上(shang)(shang)不是一(yi)個(ge)(ge)(ge)新的領(ling)域(yu)，那(nei)如(ru)(ru)何(he)將分布式學(xue)(xue)習(xi)推廣到在(zai)(zai)邊(bian)(bian)緣(yuan)(yuan)網絡(luo)上(shang)(shang)來(lai)進(jin)(jin)行?這(zhe)就需要(yao)利用(yong)(yong)分散在(zai)(zai)各個(ge)(ge)(ge)邊(bian)(bian)緣(yuan)(yuan)節(jie)(jie)點(dian)上(shang)(shang)的本地數據和(he)(he)資源，來(lai)共同完成(cheng)機器(qi)學(xue)(xue)習(xi)過程(cheng)，主要(yao)分成(cheng)模(mo)(mo)(mo)型(xing)(xing)訓(xun)練(lian)和(he)(he)模(mo)(mo)(mo)型(xing)(xing)推理。模(mo)(mo)(mo)型(xing)(xing)訓(xun)練(lian)，是指(zhi)多個(ge)(ge)(ge)邊(bian)(bian)緣(yuan)(yuan)節(jie)(jie)點(dian)利用(yong)(yong)本地數據，協同訓(xun)練(lian)一(yi)個(ge)(ge)(ge)AI模(mo)(mo)(mo)型(xing)(xing)，然后(hou)聚合這(zhe)些邊(bian)(bian)緣(yuan)(yuan)節(jie)(jie)點(dian)的模(mo)(mo)(mo)型(xing)(xing)參數;模(mo)(mo)(mo)型(xing)(xing)推理，是指(zhi)單個(ge)(ge)(ge)和(he)(he)多個(ge)(ge)(ge)邊(bian)(bian)緣(yuan)(yuan)節(jie)(jie)點(dian)執行AI模(mo)(mo)(mo)型(xing)(xing)。在(zai)(zai)實(shi)(shi)時(shi)的邊(bian)(bian)緣(yuan)(yuan)場(chang)景下如(ru)(ru)何(he)保證(zheng)訓(xun)練(lian)和(he)(he)推理的性能、速度和(he)(he)準確度，實(shi)(shi)際上(shang)(shang)將面(mian)臨很多挑戰(zhan)，下圖是在(zai)(zai)云上(shang)(shang)、數據中(zhong)心進(jin)(jin)行分布學(xue)(xue)習(xi)和(he)(he)在(zai)(zai)邊(bian)(bian)緣(yuan)(yuan)網絡(luo)上(shang)(shang)進(jin)(jin)行分布學(xue)(xue)習(xi)的對比。
舉(ju)一(yi)(yi)個(ge)(ge)分布式合(he)作的(de)(de)(de)視(shi)頻監(jian)(jian)控的(de)(de)(de)例子，現在(zai)(zai)的(de)(de)(de)AI使(shi)能的(de)(de)(de)視(shi)頻應(ying)(ying)用(yong)(yong)往往比較復(fu)雜(za)，需(xu)(xu)要(yao)訓練和部署(shu)(shu)很多(duo)模型，組成(cheng)一(yi)(yi)個(ge)(ge)pipeline，比如怎么定義、定位物體，怎么追蹤、重新識(shi)別(bie)、塑性識(shi)別(bie)、動作識(shi)別(bie)等(deng)。所以(yi)(yi)它需(xu)(xu)要(yao)多(duo)個(ge)(ge)網絡服務(wu)器(qi)(qi)之間(jian)的(de)(de)(de)合(he)作。下(xia)圖是一(yi)(yi)個(ge)(ge)合(he)作式的(de)(de)(de)視(shi)頻監(jian)(jian)控的(de)(de)(de)框(kuang)架(jia)，最底(di)下(xia)是多(duo)個(ge)(ge)邊(bian)緣的(de)(de)(de)服務(wu)器(qi)(qi)，服務(wu)器(qi)(qi)上(shang)的(de)(de)(de)資(zi)源(yuan)(yuan)能夠被統一(yi)(yi)使(shi)用(yong)(yong)，形成(cheng)一(yi)(yi)個(ge)(ge)統一(yi)(yi)的(de)(de)(de)資(zi)源(yuan)(yuan)庫。通過資(zi)源(yuan)(yuan)管理和任務(wu)調度，對資(zi)源(yuan)(yuan)進行(xing)合(he)理、有效地(di)使(shi)用(yong)(yong)，從而加速開發(fa)和優化視(shi)頻應(ying)(ying)用(yong)(yong)的(de)(de)(de)AI模型的(de)(de)(de)性能。平臺(tai)層(ceng)可以(yi)(yi)提供(gong)機器(qi)(qi)學(xue)(xue)習的(de)(de)(de)服務(wu)、數(shu)據服務(wu)和可視(shi)化的(de)(de)(de)服務(wu)，應(ying)(ying)用(yong)(yong)層(ceng)可以(yi)(yi)實現視(shi)頻、監(jian)(jian)控的(de)(de)(de)這些(xie)應(ying)(ying)用(yong)(yong)的(de)(de)(de)調度。將上(shang)述框(kuang)架(jia)部署(shu)(shu)在(zai)(zai)校(xiao)園場景，可以(yi)(yi)監(jian)(jian)控校(xiao)園里(li)面(mian)的(de)(de)(de)人流量、用(yong)(yong)電(dian)量等(deng)，同時也可以(yi)(yi)做一(yi)(yi)些(xie)資(zi)源(yuan)(yuan)感知的(de)(de)(de)分布式的(de)(de)(de)Egde，學(xue)(xue)習更好地(di)利用(yong)(yong)邊(bian)緣資(zi)源(yuan)(yuan)去降低時延(yan)，保護隱私(si)和數(shu)據分析。
第三方面就是自(zi)(zi)主(zhu)的(de)合(he)作(zuo)，即邊緣(yuan)節(jie)點(dian)(如(ru)機(ji)(ji)(ji)(ji)器(qi)人、車(che))在(zai)(zai)動(dong)態(tai)的(de)環(huan)境(jing)(jing)(jing)下能自(zi)(zi)主(zhu)地(di)做(zuo)出(chu)決定(ding)(ding)并執行自(zi)(zi)己的(de)任務，但又進行統(tong)一(yi)的(de)合(he)作(zuo)。過(guo)去的(de)研究中(zhong)(zhong)邊緣(yuan)節(jie)點(dian)受限(xian)于一(yi)個(ge)(ge)(ge)(ge)集中(zhong)(zhong)的(de)控(kong)(kong)制(zhi)，即在(zai)(zai)發出(chu)指令(ling)之(zhi)后(hou)，再進行統(tong)一(yi)的(de)行動(dong)，感(gan)知并匯(hui)報它(ta)們(men)的(de)狀態(tai)。而(er)(er)在(zai)(zai)分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)控(kong)(kong)制(zhi)場(chang)景中(zhong)(zhong)沒有集中(zhong)(zhong)控(kong)(kong)制(zhi)，每一(yi)個(ge)(ge)(ge)(ge)邊緣(yuan)節(jie)點(dian)都(dou)是自(zi)(zi)主(zhu)的(de)，它(ta)們(men)的(de)感(gan)知作(zuo)用(yong)(yong)于環(huan)境(jing)(jing)(jing)，而(er)(er)環(huan)境(jing)(jing)(jing)是共享的(de)，且(qie)環(huan)境(jing)(jing)(jing)變化也會帶(dai)給(gei)邊緣(yuan)節(jie)點(dian)反饋(kui)(kui)(kui)，邊緣(yuan)節(jie)點(dian)根據反饋(kui)(kui)(kui)進行進一(yi)步(bu)的(de)學(xue)習和(he)(he)(he)調配。這(zhe)個(ge)(ge)(ge)(ge)時(shi)候我(wo)們(men)要(yao)(yao)做(zuo)的(de)主(zhu)要(yao)(yao)就是分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)的(de)強(qiang)化學(xue)習。就像人學(xue)習一(yi)樣(yang)，通過(guo)強(qiang)化學(xue)習，車(che)或(huo)者機(ji)(ji)(ji)(ji)器(qi)人就可(ke)以觀察周圍(wei)的(de)環(huan)境(jing)(jing)(jing)，和(he)(he)(he)其他的(de)機(ji)(ji)(ji)(ji)器(qi)人彼(bi)此間共享這(zhe)個(ge)(ge)(ge)(ge)環(huan)境(jing)(jing)(jing)和(he)(he)(he)狀態(tai)來(lai)學(xue)會協作(zuo)的(de)策略(lve)。具體來(lai)說，分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)強(qiang)化學(xue)習主(zhu)要(yao)(yao)分(fen)(fen)(fen)(fen)(fen)為分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)的(de)訓(xun)練(lian)(lian)和(he)(he)(he)分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)的(de)執行。我(wo)們(men)采用(yong)(yong)的(de)是全分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)，強(qiang)化學(xue)習本(ben)身已(yi)經非常困(kun)難(nan)(nan)(nan)，需(xu)要(yao)(yao)降維和(he)(he)(he)學(xue)習策略(lve)，那(nei)么要(yao)(yao)進行分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)的(de)強(qiang)化學(xue)習就變得更加(jia)困(kun)難(nan)(nan)(nan)。因為它(ta)不僅(jin)需(xu)要(yao)(yao)考慮同環(huan)境(jing)(jing)(jing)本(ben)身的(de)交(jiao)互，還需(xu)要(yao)(yao)考慮在(zai)(zai)這(zhe)個(ge)(ge)(ge)(ge)環(huan)境(jing)(jing)(jing)當中(zhong)(zhong)各個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)(ji)器(qi)人之(zhi)間的(de)相互影響。相互影響也對(dui)學(xue)習帶(dai)來(lai)許多(duo)挑(tiao)戰：機(ji)(ji)(ji)(ji)器(qi)人策略(lve)的(de)改變會帶(dai)來(lai)環(huan)境(jing)(jing)(jing)的(de)不穩定(ding)(ding)性;機(ji)(ji)(ji)(ji)器(qi)人的(de)分(fen)(fen)(fen)(fen)(fen)布式(shi)(shi)訓(xun)練(lian)(lian)需(xu)要(yao)(yao)單(dan)獨的(de)獎勵反饋(kui)(kui)(kui)，環(huan)境(jing)(jing)(jing)給(gei)出(chu)的(de)反饋(kui)(kui)(kui)怎么分(fen)(fen)(fen)(fen)(fen)解成對(dui)單(dan)個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)(ji)器(qi)人的(de)反饋(kui)(kui)(kui)，如(ru)何量(liang)化每個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)(ji)器(qi)人對(dui)團隊合(he)作(zuo)的(de)貢獻(xian);機(ji)(ji)(ji)(ji)器(qi)人的(de)數量(liang)增多(duo)會給(gei)學(xue)習過(guo)程帶(dai)來(lai)維數災難(nan)(nan)(nan)問題。
我(wo)(wo)們(men)(men)(men)在多(duo)(duo)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)協作(zuo)方(fang)面做了很多(duo)(duo)研究和工作(zuo)。我(wo)(wo)們(men)(men)(men)用(yong)強化(hua)學習(xi)來訓練單個(ge)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)跟蹤不(bu)同(tong)的(de)(de)(de)(de)(de)規則的(de)(de)(de)(de)(de)車道(dao)線。我(wo)(wo)們(men)(men)(men)使用(yong)不(bu)同(tong)的(de)(de)(de)(de)(de)顏色畫出車道(dao)線的(de)(de)(de)(de)(de)邊緣，通(tong)(tong)過采用(yong)機(ji)器(qi)(qi)(qi)學習(xi)算法(fa)從圖像中(zhong)去提取特征，并根(gen)據這(zhe)些特征用(yong)強化(hua)學習(xi)來控(kong)制機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)按照軌跡來行走。針對多(duo)(duo)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)合(he)作(zuo)場景，我(wo)(wo)們(men)(men)(men)采用(yong)層(ceng)級強化(hua)學習(xi)的(de)(de)(de)(de)(de)方(fang)法(fa)來解決協作(zuo)變道(dao)的(de)(de)(de)(de)(de)問題。首先，把機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)的(de)(de)(de)(de)(de)策略學習(xi)分成上下(xia)兩層(ceng)，上層(ceng)是(shi)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)和機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)之(zhi)間(jian)的(de)(de)(de)(de)(de)合(he)作(zuo)策略怎么(me)(me)進行學習(xi)，包括(kuo)去預(yu)測其他(ta)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)的(de)(de)(de)(de)(de)動作(zuo)，比(bi)如說它要超車的(de)(de)(de)(de)(de)時候，就要來預(yu)測前一個(ge)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)會(hui)不(bu)會(hui)也超車，一旦它學習(xi)到做出決策之(zhi)后，下(xia)層(ceng)主要是(shi)通(tong)(tong)過單個(ge)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)的(de)(de)(de)(de)(de)動作(zuo)執行，包括(kuo)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)的(de)(de)(de)(de)(de)具體的(de)(de)(de)(de)(de)速(su)度和方(fang)向。那么(me)(me)和傳統的(de)(de)(de)(de)(de)強化(hua)學習(xi)來比(bi)較，這(zhe)樣分層(ceng)的(de)(de)(de)(de)(de)強化(hua)區域(yu)具有更快的(de)(de)(de)(de)(de)訓練速(su)度，也更適合(he)分布式(shi)多(duo)(duo)機(ji)器(qi)(qi)(qi)人(ren)(ren)(ren)的(de)(de)(de)(de)(de)協作(zuo)。
在(zai)(zai)未來的(de)(de)(de)邊緣(yuan)計(ji)(ji)算(suan)當中(zhong)(zhong)，分(fen)(fen)布式(shi)智(zhi)能的(de)(de)(de)進行將(jiang)依賴于合作式(shi)的(de)(de)(de)邊緣(yuan)計(ji)(ji)算(suan)。合作式(shi)邊緣(yuan)計(ji)(ji)算(suan)目前的(de)(de)(de)三大研究方(fang)(fang)向為(wei)任務(wu)調度、分(fen)(fen)布式(shi)的(de)(de)(de)機(ji)器學(xue)習和(he)分(fen)(fen)布式(shi)的(de)(de)(de)自(zi)主學(xue)習。具體來說，我們將(jiang)研究如(ru)(ru)何在(zai)(zai)實時的(de)(de)(de)情況下做到可(ke)靠的(de)(de)(de)機(ji)器學(xue)習，可(ke)靠的(de)(de)(de)任務(wu)調度，乃至容錯等方(fang)(fang)面;如(ru)(ru)何在(zai)(zai)不(bu)同的(de)(de)(de)機(ji)器人，不(bu)同的(de)(de)(de)車、物體中(zhong)(zhong)進行個性(xing)化(hua)，并保護(hu)數據(ju)隱私(si);如(ru)(ru)何提升邊緣(yuan)節點(dian)的(de)(de)(de)決策速度，并通過離線計(ji)(ji)算(suan)和(he)離線智(zhi)能方(fang)(fang)面的(de)(de)(de)研究減少(shao)邊緣(yuan)節點(dian)對云(yun)或集中(zhong)(zhong)控制的(de)(de)(de)依賴。
