在過去十幾年中，云計算已經成為主流技術，改變了很多工業、政府和組織的IT服務的運營模式，也帶來了包括商業模式和技術上的諸多革新。但是，云計算面對現在和未來的IoT的應用，也有一些不足之處。IoT起源于1999年，當時RFID技術剛剛興起，英國一名從事智能家居產(chan)業(ye)科(ke)學家Kevin Ashton預見到，如果RFID聯接到每(mei)一(yi)個(ge)(ge)物件上，或者說家里的每(mei)一(yi)個(ge)(ge)家具、電器上，就(jiu)會(hui)形成一(yi)個(ge)(ge)新的網絡(luo)(luo)。這樣的網絡(luo)(luo)可以和當(dang)時(shi)興(xing)起的Internet相(xiang)媲美，所(suo)以給它取名叫 IoT。
20多年后的今天，IoT已經遠遠超越了智慧家庭、智能家居的應用，成為了一個集成物理世界和計算機世界的廣闊應用領域。它不僅可以感知，還可以進行計算和控制，我們可以看到智慧城市里出現了更多IoT的應用，包括工業物聯網(Industry IoT)，自主駕駛和車載網，以及大規模的視頻監控和現在興起的元宇宙的底層VR、AR。這些新型的應用帶來了新的需求，比如如何識別、感知、進行網絡傳輸、計算和控制。這些需求都必須在非常智能化的方式下進行，而傳統的IoT技術無法勝任。因此，要支持先進的IoT應用，就需要新的IoT技術。IoT產生大量的數據，而AI的發展正是基于數據，兩者自然而然地結合在一起，誕生了人工智能物(wu)聯(lian)(lian)網AIoT。大規模的(de)(de)(de)物(wu)聯(lian)(lian)網數據使得AI在物(wu)聯(lian)(lian)網領域的(de)(de)(de)應用(yong)是(shi)非常蓬勃的(de)(de)(de)，這樣的(de)(de)(de)數據也(ye)給IoT的(de)(de)(de)應用(yong)帶來很多(duo)新的(de)(de)(de)發展。
那么(me)，AI進入(ru)IoT的(de)(de)(de)每一(yi)個(ge)領域之后(hou)會帶(dai)來什么(me)?首(shou)先，分(fen)布(bu)式的(de)(de)(de)IoT數據可以(yi)得(de)到(dao)廣泛應用(yong);其次，過(guo)去我們講(jiang)的(de)(de)(de)“Internet of Things”中的(de)(de)(de)”Things”本(ben)身是(shi)沒有智能(neng)的(de)(de)(de)，但(dan)是(shi)有了(le)(le)AIoT后(hou)，它可以(yi)嵌(qian)入(ru)到(dao)物聯網里的(de)(de)(de)每一(yi)個(ge)元(yuan)素中，使得(de)”Things“變成(cheng)了(le)(le)”Smart Things“，這樣(yang)它就不(bu)是(shi)一(yi)個(ge)簡(jian)單(dan)的(de)(de)(de)設備，而(er)是(shi)嵌(qian)入(ru)到(dao)計(ji)算(suan)和(he)(he)智能(neng)的(de)(de)(de)一(yi)個(ge)系(xi)統，這使得(de)實時(shi)地在局部(bu)做一(yi)些智能(neng)的(de)(de)(de)決策成(cheng)為了(le)(le)可能(neng)。那么(me)，AIoT是(shi)如(ru)何(he)發展起來的(de)(de)(de)呢?AIoT的(de)(de)(de)使能(neng)技術(shu)有很多，本(ben)次主要講(jiang)云計(ji)算(suan)和(he)(he)分(fen)布(bu)式云，即(ji)Edge cloud，它帶(dai)來了(le)(le)實時(shi)性(xing)。同時(shi)Edge cloud上面(mian)的(de)(de)(de)AI應用(yong)也變成(cheng)了(le)(le)Edge AI，帶(dai)來了(le)(le)智能(neng)性(xing)。由(you)于能(neng)被用(yong)戶直接存取(qu)，IoT設備將智能(neng)和(he)(he)計(ji)算(suan)帶(dai)給了(le)(le)用(yong)戶，所以(yi)邊緣計(ji)算(suan)也成(cheng)為各個(ge)產業競爭(zheng)的(de)(de)(de)戰場。
眾所周知(zhi)，邊(bian)緣(yuan)計(ji)算(suan)(suan)主要(yao)作(zuo)用是把(ba)互(hu)聯網(wang)所需(xu)要(yao)的數據和(he)(he)(he)計(ji)算(suan)(suan)，從云(yun)端(duan)推(tui)廣(guang)(guang)(guang)到邊(bian)緣(yuan)側來(lai)實現(xian)，讓(rang)實時數據處(chu)理和(he)(he)(he)智(zhi)能(neng)化(hua)成為(wei)可能(neng)。邊(bian)緣(yuan)計(ji)算(suan)(suan)不僅減(jian)少了(le)(le)(le)對網(wang)絡的需(xu)求(qiu)，還降低了(le)(le)(le)計(ji)算(suan)(suan)和(he)(he)(he)決策所帶來(lai)的延遲，增加了(le)(le)(le)實時的反饋。正因為(wei)有著(zhu)諸多(duo)好處(chu)，邊(bian)緣(yuan)云(yun)也叫(jiao)做分(fen)布式(shi)云(yun)，成為(wei)了(le)(le)(le)現(xian)在的主流(liu)技術(shu)。2021年Gartner把(ba)邊(bian)緣(yuan)云(yun)稱作(zuo)十大技術(shu)趨勢之一，各(ge)個主要(yao)的云(yun)服(fu)務廠(chang)商(shang)包括(kuo)華為(wei)、微軟(ruan)、Google和(he)(he)(he)亞馬(ma)遜都在推(tui)廣(guang)(guang)(guang)分(fen)布式(shi)云(yun)技術(shu)，其中包含(han)各(ge)自的平臺和(he)(he)(he)開源的軟(ruan)件，包括(kuo)KubeEdge、Beatyl和(he)(he)(he)OpenYurt，把(ba)在云(yun)上(shang)的Kubernetes技術(shu)推(tui)廣(guang)(guang)(guang)到邊(bian)緣(yuan)，并能(neng)夠無(wu)縫(feng)地從云(yun)到邊(bian)緣(yuan)實現(xian)任(ren)務的執(zhi)行。
邊緣計算(suan)最開始是將(jiang)云上(shang)資(zi)源受限的(de)IoT設備的(de)計算(suan)放到邊緣服(fu)務(wu)器(qi)(qi)上(shang)，主要還(huan)是做(zuo)計算(suan);有了AIoT之后(hou)，邊緣服(fu)務(wu)器(qi)(qi)除了做(zuo)計算(suan)，還(huan)可以做(zuo)AI方面的(de)智能(neng)化(hua)決策和(he)模型;下一步(bu)，邊緣的(de)服(fu)務(wu)器(qi)(qi)和(he)節點將(jiang)互相配合，即合作式(shi)的(de)邊緣計算(suan)，各個(ge)合作式(shi)的(de)邊緣服(fu)務(wu)器(qi)(qi)上(shang)的(de)智能(neng)將(jiang)變(bian)成分布式(shi)的(de)智能(neng)，這將(jiang)成為邊緣計算(suan)的(de)一個(ge)趨勢。
以定位為(wei)例(li)，過去(qu)使用無線定位，如Wifi、藍牙，都是模(mo)型(xing)驅動，但是物理模(mo)型(xing)受到很(hen)多(duo)(duo)限制(zhi)。其中最(zui)大的(de)(de)(de)限制(zhi)就是干擾，特別(bie)是在(zai)室外的(de)(de)(de)環境下，在(zai)多(duo)(duo)人、多(duo)(duo)物件的(de)(de)(de)情況下會很(hen)不準確。AI的(de)(de)(de)興(xing)起讓數(shu)據(ju)驅動的(de)(de)(de)方(fang)(fang)式變(bian)得非(fei)常(chang)流行，這種方(fang)(fang)式的(de)(de)(de)好處是可以把AI模(mo)型(xing)放在(zai)一個邊緣節點(dian)上，獲得極佳的(de)(de)(de)實時性(xing)。根據(ju)深(shen)度(du)學(xue)習或深(shen)度(du)神經網絡估算距離(li)，可以推出信號(hao)強度(du)和距離(li)之間的(de)(de)(de)一個非(fei)線性(xing)關系。同時因為(wei)受到大量數(shu)據(ju)的(de)(de)(de)訓練，抗干擾性(xing)增強，減少(shao)誤差。
在食(shi)(shi)品安(an)全領域，我們可以(yi)把一(yi)些比較昂貴的(de)(de)(de)設(she)備(bei)和(he)技(ji)術(shu)(shu)通過(guo)EdgeAI部署(shu)到低(di)成本的(de)(de)(de)邊緣節(jie)點上(shang)。例如(ru)真(zhen)假紅酒的(de)(de)(de)檢(jian)(jian)測(ce)，通過(guo)普通的(de)(de)(de)聲波技(ji)術(shu)(shu)，如(ru)揚聲器和(he)麥克風，基于(yu)真(zhen)實液(ye)(ye)體(ti)(ti)和(he)假液(ye)(ye)體(ti)(ti)具有不同(tong)的(de)(de)(de)深阻抗這一(yi)特征(zheng)，來(lai)檢(jian)(jian)測(ce)出模型異(yi)常的(de)(de)(de)假液(ye)(ye)體(ti)(ti)，這個(ge)方法(fa)(fa)的(de)(de)(de)準確度可以(yi)達(da)到92%-95%。另一(yi)個(ge)例子是(shi)食(shi)(shi)物新鮮度和(he)真(zhen)假比較，通過(guo)把手(shou)機上(shang)的(de)(de)(de)低(di)成本的(de)(de)(de)照片傳送到昂貴的(de)(de)(de)高頻光譜的(de)(de)(de)圖像上(shang)，通過(guo)機器學(xue)習(xi)的(de)(de)(de)方法(fa)(fa)來(lai)辨別和(he)識別。這些技(ji)術(shu)(shu)都已經被(bei)廣(guang)泛應用，所以(yi)AI在邊緣計算領域的(de)(de)(de)應用是(shi)一(yi)個(ge)非常重要(yao)的(de)(de)(de)領域。
那么，如何把AI推廣到分布(bu)(bu)式(shi)(shi)(shi)的(de)(de)Edge AI上?可(ke)以通過合(he)(he)(he)作式(shi)(shi)(shi)的(de)(de)邊(bian)緣(yuan)計算，即(ji)(ji)邊(bian)緣(yuan)的(de)(de)節(jie)點之間共享數據和(he)計算資源，合(he)(he)(he)作完(wan)成(cheng)任(ren)務(wu)。在(zai)這(zhe)個過程(cheng)當(dang)中(zhong)，節(jie)點要合(he)(he)(he)作完(wan)成(cheng)分布(bu)(bu)式(shi)(shi)(shi)任(ren)務(wu)，產生分布(bu)(bu)式(shi)(shi)(shi)智能。在(zai)過去的(de)(de)幾年當(dang)中(zhong)，分布(bu)(bu)式(shi)(shi)(shi)智能的(de)(de)研究主要集(ji)中(zhong)在(zai)三個方面，一是(shi)分布(bu)(bu)式(shi)(shi)(shi)的(de)(de)任(ren)務(wu)調度和(he)任(ren)務(wu)執行，二是(shi)分布(bu)(bu)式(shi)(shi)(shi)機器學習，即(ji)(ji)分布(bu)(bu)式(shi)(shi)(shi)Edge AI，三是(shi)如何讓邊(bian)緣(yuan)節(jie)點和(he)分布(bu)(bu)式(shi)(shi)(shi)IoT設備在(zai)自(zi)主合(he)(he)(he)作的(de)(de)情況下(xia)，用分布(bu)(bu)式(shi)(shi)(shi)的(de)(de)方法來解決問題。
分(fen)(fen)布式(shi)(shi)(shi)任(ren)(ren)(ren)務(wu)的(de)(de)執(zhi)行(xing)，是(shi)對(dui)(dui)分(fen)(fen)布式(shi)(shi)(shi)智能最基礎的(de)(de)一個(ge)(ge)研究領域(yu)，即(ji)怎(zen)樣(yang)把在(zai)不(bu)同(tong)的(de)(de)邊(bian)緣(yuan)服(fu)(fu)務(wu)器(qi)(qi)上(shang)(shang)(shang)執(zhi)行(xing)的(de)(de)任(ren)(ren)(ren)務(wu)，通(tong)過分(fen)(fen)布式(shi)(shi)(shi)的(de)(de)調度(du)共享(xiang)在(zai)這些邊(bian)緣(yuan)的(de)(de)服(fu)(fu)務(wu)器(qi)(qi)上(shang)(shang)(shang)來執(zhi)行(xing)。一個(ge)(ge)復雜的(de)(de)任(ren)(ren)(ren)務(wu)，比如(ru)說車載網，需要識別交通(tong)流(liu)量和(he)道路情況(kuang)，要先(xian)分(fen)(fen)解成若(ruo)干(gan)子任(ren)(ren)(ren)務(wu)，再部署到(dao)不(bu)同(tong)的(de)(de)邊(bian)緣(yuan)服(fu)(fu)務(wu)器(qi)(qi)上(shang)(shang)(shang)，或者(zhe)是(shi)部署到(dao)云(yun)上(shang)(shang)(shang)執(zhi)行(xing)。在(zai)協作式(shi)(shi)(shi)邊(bian)緣(yuan)計(ji)(ji)算(suan)(suan)場景中(zhong)做任(ren)(ren)(ren)務(wu)調度(du)，對(dui)(dui)任(ren)(ren)(ren)務(wu)調度(du)系(xi)統和(he)算(suan)(suan)法可伸(shen)縮性提(ti)出了(le)新的(de)(de)挑戰：首(shou)先(xian)，和(he)傳統的(de)(de)并(bing)行(xing)和(he)分(fen)(fen)布式(shi)(shi)(shi)計(ji)(ji)算(suan)(suan)比較，邊(bian)緣(yuan)計(ji)(ji)算(suan)(suan)任(ren)(ren)(ren)務(wu)是(shi)由終端設備提(ti)交，是(shi)從下往上(shang)(shang)(shang)的(de)(de)，且任(ren)(ren)(ren)務(wu)執(zhi)行(xing)時(shi)產生的(de)(de)數據也(ye)(ye)是(shi)由邊(bian)緣(yuan)節點產生的(de)(de)分(fen)(fen)布式(shi)(shi)(shi)數據;其次，邊(bian)緣(yuan)網絡由不(bu)同(tong)的(de)(de)節點組成，是(shi)不(bu)穩定(ding)的(de)(de)、帶(dai)寬受限的(de)(de)，因(yin)此在(zai)任(ren)(ren)(ren)務(wu)執(zhi)行(xing)方面(mian)的(de)(de)通(tong)信和(he)計(ji)(ji)算(suan)(suan)資(zi)源(yuan)也(ye)(ye)是(shi)耦合在(zai)一起的(de)(de)。
第二個是現在(zai)(zai)(zai)大家都(dou)在(zai)(zai)(zai)進(jin)行(xing)研(yan)究的(de)(de)分(fen)布式(shi)機器學(xue)習(xi)。眾(zhong)所周知，分(fen)布式(shi)機器學(xue)習(xi)實(shi)際(ji)上(shang)不是一個新(xin)的(de)(de)領(ling)域，那如(ru)何(he)將分(fen)布式(shi)學(xue)習(xi)推(tui)(tui)廣(guang)到在(zai)(zai)(zai)邊(bian)緣(yuan)網(wang)絡上(shang)來進(jin)行(xing)?這(zhe)就需(xu)要(yao)利(li)用分(fen)散在(zai)(zai)(zai)各個邊(bian)緣(yuan)節(jie)點上(shang)的(de)(de)本(ben)地數(shu)據和資源，來共(gong)同(tong)(tong)完成機器學(xue)習(xi)過程，主要(yao)分(fen)成模(mo)型(xing)(xing)訓練和模(mo)型(xing)(xing)推(tui)(tui)理(li)。模(mo)型(xing)(xing)訓練，是指(zhi)多個邊(bian)緣(yuan)節(jie)點利(li)用本(ben)地數(shu)據，協同(tong)(tong)訓練一個AI模(mo)型(xing)(xing)，然后聚合這(zhe)些邊(bian)緣(yuan)節(jie)點的(de)(de)模(mo)型(xing)(xing)參數(shu);模(mo)型(xing)(xing)推(tui)(tui)理(li)，是指(zhi)單個和多個邊(bian)緣(yuan)節(jie)點執(zhi)行(xing)AI模(mo)型(xing)(xing)。在(zai)(zai)(zai)實(shi)時的(de)(de)邊(bian)緣(yuan)場景下如(ru)何(he)保(bao)證訓練和推(tui)(tui)理(li)的(de)(de)性能、速度(du)和準確(que)度(du)，實(shi)際(ji)上(shang)將面臨很多挑戰，下圖是在(zai)(zai)(zai)云上(shang)、數(shu)據中(zhong)心進(jin)行(xing)分(fen)布學(xue)習(xi)和在(zai)(zai)(zai)邊(bian)緣(yuan)網(wang)絡上(shang)進(jin)行(xing)分(fen)布學(xue)習(xi)的(de)(de)對比(bi)。
舉一(yi)(yi)(yi)個(ge)分(fen)(fen)布(bu)式合(he)作(zuo)的(de)(de)(de)視(shi)(shi)(shi)頻(pin)監(jian)控的(de)(de)(de)例子，現在(zai)的(de)(de)(de)AI使(shi)能的(de)(de)(de)視(shi)(shi)(shi)頻(pin)應用(yong)(yong)(yong)往往比(bi)較復(fu)雜，需要訓練和(he)(he)部署很多模型，組成(cheng)一(yi)(yi)(yi)個(ge)pipeline，比(bi)如怎么(me)定義、定位物體(ti)，怎么(me)追蹤(zong)、重新(xin)識別(bie)(bie)、塑性識別(bie)(bie)、動作(zuo)識別(bie)(bie)等(deng)(deng)。所以它需要多個(ge)網(wang)絡服(fu)務(wu)器之間的(de)(de)(de)合(he)作(zuo)。下(xia)(xia)圖是一(yi)(yi)(yi)個(ge)合(he)作(zuo)式的(de)(de)(de)視(shi)(shi)(shi)頻(pin)監(jian)控的(de)(de)(de)框架(jia)，最(zui)底下(xia)(xia)是多個(ge)邊(bian)緣的(de)(de)(de)服(fu)務(wu)器，服(fu)務(wu)器上的(de)(de)(de)資(zi)源能夠(gou)被統一(yi)(yi)(yi)使(shi)用(yong)(yong)(yong)，形(xing)成(cheng)一(yi)(yi)(yi)個(ge)統一(yi)(yi)(yi)的(de)(de)(de)資(zi)源庫。通過資(zi)源管理和(he)(he)任(ren)務(wu)調度，對資(zi)源進行合(he)理、有(you)效(xiao)地使(shi)用(yong)(yong)(yong)，從而加速開發(fa)和(he)(he)優(you)化視(shi)(shi)(shi)頻(pin)應用(yong)(yong)(yong)的(de)(de)(de)AI模型的(de)(de)(de)性能。平臺(tai)層(ceng)(ceng)可(ke)以提供(gong)機器學(xue)習的(de)(de)(de)服(fu)務(wu)、數據服(fu)務(wu)和(he)(he)可(ke)視(shi)(shi)(shi)化的(de)(de)(de)服(fu)務(wu)，應用(yong)(yong)(yong)層(ceng)(ceng)可(ke)以實現視(shi)(shi)(shi)頻(pin)、監(jian)控的(de)(de)(de)這些(xie)應用(yong)(yong)(yong)的(de)(de)(de)調度。將(jiang)上述框架(jia)部署在(zai)校園場(chang)景(jing)，可(ke)以監(jian)控校園里(li)面(mian)的(de)(de)(de)人(ren)流量、用(yong)(yong)(yong)電量等(deng)(deng)，同時也可(ke)以做一(yi)(yi)(yi)些(xie)資(zi)源感知的(de)(de)(de)分(fen)(fen)布(bu)式的(de)(de)(de)Egde，學(xue)習更好地利用(yong)(yong)(yong)邊(bian)緣資(zi)源去降低時延(yan)，保(bao)護隱(yin)私和(he)(he)數據分(fen)(fen)析(xi)。
第三方(fang)面(mian)就是(shi)(shi)自(zi)主(zhu)(zhu)(zhu)的(de)(de)(de)(de)(de)合(he)作，即(ji)邊(bian)緣(yuan)節(jie)點(如(ru)機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)、車)在動(dong)(dong)態的(de)(de)(de)(de)(de)環(huan)(huan)(huan)境(jing)(jing)(jing)下能自(zi)主(zhu)(zhu)(zhu)地(di)做出決(jue)定(ding)并(bing)執行(xing)(xing)自(zi)己的(de)(de)(de)(de)(de)任務，但(dan)又進(jin)行(xing)(xing)統一(yi)(yi)的(de)(de)(de)(de)(de)合(he)作。過(guo)去的(de)(de)(de)(de)(de)研究中邊(bian)緣(yuan)節(jie)點受(shou)限于一(yi)(yi)個(ge)(ge)(ge)(ge)集中的(de)(de)(de)(de)(de)控(kong)制(zhi)，即(ji)在發出指令之后(hou)，再進(jin)行(xing)(xing)統一(yi)(yi)的(de)(de)(de)(de)(de)行(xing)(xing)動(dong)(dong)，感知并(bing)匯報(bao)它(ta)們(men)(men)的(de)(de)(de)(de)(de)狀(zhuang)態。而(er)在分(fen)布式控(kong)制(zhi)場景中沒有集中控(kong)制(zhi)，每(mei)一(yi)(yi)個(ge)(ge)(ge)(ge)邊(bian)緣(yuan)節(jie)點都是(shi)(shi)自(zi)主(zhu)(zhu)(zhu)的(de)(de)(de)(de)(de)，它(ta)們(men)(men)的(de)(de)(de)(de)(de)感知作用于環(huan)(huan)(huan)境(jing)(jing)(jing)，而(er)環(huan)(huan)(huan)境(jing)(jing)(jing)是(shi)(shi)共享(xiang)的(de)(de)(de)(de)(de)，且(qie)環(huan)(huan)(huan)境(jing)(jing)(jing)變化(hua)(hua)也(ye)會(hui)帶給(gei)邊(bian)緣(yuan)節(jie)點反(fan)饋(kui)，邊(bian)緣(yuan)節(jie)點根(gen)據反(fan)饋(kui)進(jin)行(xing)(xing)進(jin)一(yi)(yi)步的(de)(de)(de)(de)(de)學(xue)習(xi)(xi)(xi)和(he)調配。這(zhe)個(ge)(ge)(ge)(ge)時(shi)候我們(men)(men)要(yao)(yao)做的(de)(de)(de)(de)(de)主(zhu)(zhu)(zhu)要(yao)(yao)就是(shi)(shi)分(fen)布式的(de)(de)(de)(de)(de)強(qiang)化(hua)(hua)學(xue)習(xi)(xi)(xi)。就像人(ren)(ren)學(xue)習(xi)(xi)(xi)一(yi)(yi)樣(yang)，通過(guo)強(qiang)化(hua)(hua)學(xue)習(xi)(xi)(xi)，車或者機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)就可以觀察周圍的(de)(de)(de)(de)(de)環(huan)(huan)(huan)境(jing)(jing)(jing)，和(he)其他(ta)的(de)(de)(de)(de)(de)機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)彼此間共享(xiang)這(zhe)個(ge)(ge)(ge)(ge)環(huan)(huan)(huan)境(jing)(jing)(jing)和(he)狀(zhuang)態來(lai)學(xue)會(hui)協(xie)作的(de)(de)(de)(de)(de)策略。具體來(lai)說，分(fen)布式強(qiang)化(hua)(hua)學(xue)習(xi)(xi)(xi)主(zhu)(zhu)(zhu)要(yao)(yao)分(fen)為分(fen)布式的(de)(de)(de)(de)(de)訓練和(he)分(fen)布式的(de)(de)(de)(de)(de)執行(xing)(xing)。我們(men)(men)采用的(de)(de)(de)(de)(de)是(shi)(shi)全分(fen)布式，強(qiang)化(hua)(hua)學(xue)習(xi)(xi)(xi)本身已(yi)經(jing)非常困難(nan)(nan)，需(xu)(xu)要(yao)(yao)降維和(he)學(xue)習(xi)(xi)(xi)策略，那么(me)要(yao)(yao)進(jin)行(xing)(xing)分(fen)布式的(de)(de)(de)(de)(de)強(qiang)化(hua)(hua)學(xue)習(xi)(xi)(xi)就變得更加困難(nan)(nan)。因為它(ta)不僅需(xu)(xu)要(yao)(yao)考(kao)慮同(tong)環(huan)(huan)(huan)境(jing)(jing)(jing)本身的(de)(de)(de)(de)(de)交(jiao)互(hu)，還需(xu)(xu)要(yao)(yao)考(kao)慮在這(zhe)個(ge)(ge)(ge)(ge)環(huan)(huan)(huan)境(jing)(jing)(jing)當中各個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)之間的(de)(de)(de)(de)(de)相(xiang)互(hu)影響。相(xiang)互(hu)影響也(ye)對(dui)(dui)學(xue)習(xi)(xi)(xi)帶來(lai)許多(duo)挑戰：機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)策略的(de)(de)(de)(de)(de)改(gai)變會(hui)帶來(lai)環(huan)(huan)(huan)境(jing)(jing)(jing)的(de)(de)(de)(de)(de)不穩定(ding)性;機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)分(fen)布式訓練需(xu)(xu)要(yao)(yao)單獨的(de)(de)(de)(de)(de)獎勵(li)反(fan)饋(kui)，環(huan)(huan)(huan)境(jing)(jing)(jing)給(gei)出的(de)(de)(de)(de)(de)反(fan)饋(kui)怎么(me)分(fen)解成對(dui)(dui)單個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)反(fan)饋(kui)，如(ru)何量化(hua)(hua)每(mei)個(ge)(ge)(ge)(ge)機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)對(dui)(dui)團隊合(he)作的(de)(de)(de)(de)(de)貢獻(xian);機(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)數(shu)量增多(duo)會(hui)給(gei)學(xue)習(xi)(xi)(xi)過(guo)程帶來(lai)維數(shu)災難(nan)(nan)問題(ti)。
我們在多(duo)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)協(xie)作(zuo)(zuo)方面(mian)做(zuo)(zuo)了(le)很多(duo)研究和工作(zuo)(zuo)。我們用(yong)強(qiang)(qiang)化學(xue)(xue)(xue)習(xi)(xi)來(lai)訓練單(dan)個(ge)(ge)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)跟蹤(zong)不同的(de)(de)(de)(de)(de)規則的(de)(de)(de)(de)(de)車道線。我們使用(yong)不同的(de)(de)(de)(de)(de)顏(yan)色畫出車道線的(de)(de)(de)(de)(de)邊緣，通過(guo)采用(yong)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)學(xue)(xue)(xue)習(xi)(xi)算法從圖像中去提取特征，并根(gen)據這些特征用(yong)強(qiang)(qiang)化學(xue)(xue)(xue)習(xi)(xi)來(lai)控制機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)按照軌(gui)跡(ji)來(lai)行(xing)走。針對多(duo)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)合作(zuo)(zuo)場景，我們采用(yong)層(ceng)級強(qiang)(qiang)化學(xue)(xue)(xue)習(xi)(xi)的(de)(de)(de)(de)(de)方法來(lai)解決協(xie)作(zuo)(zuo)變道的(de)(de)(de)(de)(de)問題。首(shou)先，把機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)策略學(xue)(xue)(xue)習(xi)(xi)分(fen)(fen)成上(shang)下兩層(ceng)，上(shang)層(ceng)是(shi)(shi)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)和機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)之(zhi)間的(de)(de)(de)(de)(de)合作(zuo)(zuo)策略怎(zen)么(me)進行(xing)學(xue)(xue)(xue)習(xi)(xi)，包(bao)括去預(yu)測其(qi)他機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)動(dong)作(zuo)(zuo)，比如說它要(yao)超(chao)車的(de)(de)(de)(de)(de)時(shi)候，就要(yao)來(lai)預(yu)測前一個(ge)(ge)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)會(hui)(hui)不會(hui)(hui)也超(chao)車，一旦(dan)它學(xue)(xue)(xue)習(xi)(xi)到(dao)做(zuo)(zuo)出決策之(zhi)后，下層(ceng)主要(yao)是(shi)(shi)通過(guo)單(dan)個(ge)(ge)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)動(dong)作(zuo)(zuo)執行(xing)，包(bao)括機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)具體的(de)(de)(de)(de)(de)速度和方向。那么(me)和傳統的(de)(de)(de)(de)(de)強(qiang)(qiang)化學(xue)(xue)(xue)習(xi)(xi)來(lai)比較(jiao)，這樣分(fen)(fen)層(ceng)的(de)(de)(de)(de)(de)強(qiang)(qiang)化區域具有(you)更(geng)快的(de)(de)(de)(de)(de)訓練速度，也更(geng)適合分(fen)(fen)布(bu)式多(duo)機(ji)(ji)(ji)(ji)(ji)(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)(de)(de)(de)協(xie)作(zuo)(zuo)。
在未來的(de)(de)邊(bian)緣(yuan)(yuan)(yuan)計算當中(zhong)，分(fen)(fen)布(bu)式(shi)(shi)智能的(de)(de)進(jin)行將(jiang)依(yi)(yi)賴于合作(zuo)式(shi)(shi)的(de)(de)邊(bian)緣(yuan)(yuan)(yuan)計算。合作(zuo)式(shi)(shi)邊(bian)緣(yuan)(yuan)(yuan)計算目(mu)前的(de)(de)三大研究方(fang)向為任務(wu)調度(du)(du)、分(fen)(fen)布(bu)式(shi)(shi)的(de)(de)機(ji)器(qi)(qi)學(xue)習(xi)(xi)和分(fen)(fen)布(bu)式(shi)(shi)的(de)(de)自主(zhu)學(xue)習(xi)(xi)。具體(ti)來說，我們將(jiang)研究如(ru)何在實時的(de)(de)情況下做到可靠的(de)(de)機(ji)器(qi)(qi)學(xue)習(xi)(xi)，可靠的(de)(de)任務(wu)調度(du)(du)，乃至(zhi)容錯等方(fang)面;如(ru)何在不同的(de)(de)機(ji)器(qi)(qi)人，不同的(de)(de)車、物(wu)體(ti)中(zhong)進(jin)行個性化，并保護數據隱私;如(ru)何提升邊(bian)緣(yuan)(yuan)(yuan)節(jie)點的(de)(de)決(jue)策速度(du)(du)，并通過離(li)線(xian)計算和離(li)線(xian)智能方(fang)面的(de)(de)研究減(jian)少邊(bian)緣(yuan)(yuan)(yuan)節(jie)點對云或集(ji)中(zhong)控制的(de)(de)依(yi)(yi)賴。
