為了保障物聯網數(shu)(shu)據(ju)的(de)(de)充分(fen)流動和有效(xiao)利用，除了通信技(ji)(ji)(ji)術(shu)本身的(de)(de)連接能力外，還需要打(da)通物(wu)聯(lian)(lian)網(wang)各層架構之間的(de)(de)壁壘(lei)，才能實(shi)現數(shu)(shu)據(ju)采集、傳輸、處(chu)理(li)、分(fen)析全(quan)生(sheng)命周期(qi)的(de)(de)管理(li)，進而讓數(shu)(shu)據(ju)真(zhen)正發(fa)揮“物(wu)聯(lian)(lian)網(wang)時(shi)代石油”的(de)(de)價值。EMQ映云科技(ji)(ji)(ji)是一家(jia)在物(wu)聯(lian)(lian)網(wang)數(shu)(shu)據(ju)基(ji)礎設施(shi)領(ling)域深耕多年的(de)(de)企業，在2021中國AIoT產業年會上，EMQ映云科技(ji)(ji)(ji)解決方(fang)案VP余杰(jie)霖為大家(jia)帶來了題為《EMQ：AIoT的(de)(de)數(shu)(shu)據(ju)基(ji)礎設施(shi)》的(de)(de)精(jing)彩演(yan)講。以下是其演(yan)講全(quan)文分(fen)享：
我今天(tian)分享的(de)(de)主題是(shi)《AIoT的(de)(de)數據基(ji)礎設施》，這是(shi)我在(zai)產業(ye)互聯網(wang)行業(ye)過去(qu)十年來所(suo)積累(lei)的(de)(de)經驗和對(dui)行業(ye)趨勢(shi)的(de)(de)判斷，希望對(dui)大家有所(suo)幫助(zhu)。
EMQ是一(yi)家(jia)開(kai)源(yuan)物聯網數(shu)據基礎設施軟(ruan)件(jian)供(gong)應商，我們(men)一(yi)直以開(kai)源(yuan)為(wei)核(he)心，產(chan)品覆蓋了消息和流處(chu)(chu)理(li)(li)，以及邊(bian)緣端的能力，主要目的是解決實(shi)時數(shu)據的移動、流處(chu)(chu)理(li)(li)和分析，希望服務產(chan)業的數(shu)字化、實(shi)時化、智能化轉型。
在運(yun)營商的(de)(de)努力下，我們(men)現在面對的(de)(de)AIoT物聯(lian)網(wang)架(jia)構基本解決了連接(jie)的(de)(de)問題。在端側，有很多異(yi)構設備在實時(shi)產生數(shu)據(ju)，這(zhe)些數(shu)據(ju)通過(guo)(guo)一個小網(wang)關進(jin)行初步匯聚，經過(guo)(guo)邊緣基站接(jie)入(ru)到核(he)心網(wang)絡后(hou)，再進(jin)入(ru)到云數(shu)據(ju)中心，對數(shu)據(ju)分析(xi)處理后(hou)反饋(kui)到各(ge)個端——這(zhe)是目前所看到的(de)(de)大部分物聯(lian)網(wang)架(jia)構的(de)(de)模(mo)型(xing)。
但是連(lian)接的問題解(jie)決(jue)了，數(shu)據(ju)與信(xin)息(xi)之間還是有(you)很大的區(qu)別，即空有(you)數(shu)據(ju)但不產生(sheng)價值(zhi)，物聯網數(shu)據(ju)并沒有(you)真正反哺到業務層。現在中國大部分AIoT企業的應用也只(zhi)是停留在數(shu)據(ju)化的階(jie)段，而非(fei)數(shu)字化、信(xin)息(xi)化。
EMQ認為(wei)，物聯(lian)網時(shi)代(dai)的(de)數字化轉型有四個趨(qu)勢：
一是(shi)全面的(de)云原生轉向，從原來的(de)業務上云、數據(ju)上云，轉變為無論是(shi)應用服(fu)務還是(shi)數據(ju)基礎設施應用服(fu)務，都逐步向云原生靠攏。不論是(shi)研發、部(bu)署，還是(shi)運維、測(ce)試，云原生理念目前已深入行業內部(bu)。
二是(shi)(shi)數(shu)據逐漸從云(yun)端(duan)下沉到邊(bian)(bian)緣(yuan)端(duan)，如數(shu)據量比較高(gao)的(de)V2X以及對于邊(bian)(bian)緣(yuan)端(duan)的(de)設(she)備數(shu)據采集有要求的(de)應用，使(shi)得邊(bian)(bian)緣(yuan)計(ji)算開(kai)始崛起。但邊(bian)(bian)緣(yuan)計(ji)算本(ben)身并不是(shi)(shi)完美(mei)的(de)，其可能(neng)存在碎片化的(de)問題也帶來了云(yun)邊(bian)(bian)協(xie)同的(de)困難。
三是分(fen)布(bu)式云(yun)的(de)發展，很多互聯網平(ping)臺和AIoT應用的(de)開發者將原有的(de)云(yun)原生技術向(xiang)邊緣發展，把(ba)之前集中在公有云(yun)上的(de)內(nei)容逐漸放到了分(fen)布(bu)式云(yun)中。
四是數(shu)據(ju)的類(lei)型(xing)也在(zai)發生(sheng)變化，從(cong)移動互聯網(wang)時(shi)代由手機(ji)(ji)產生(sheng)的具(ju)有明顯波峰波谷的交(jiao)易(yi)型(xing)數(shu)據(ju)、事務型(xing)數(shu)據(ju)，轉變成由機(ji)(ji)器產生(sheng)的連續不(bu)斷(duan)的分析型(xing)數(shu)據(ju)。
接下來，我將(jiang)詳細闡述(shu)物聯網全連接時(shi)代數(shu)據的范式變(bian)化。
數據生產主體和產生方式
數據(ju)產生主體從(cong)人類轉變為機器。人類行為產生的(de)交(jiao)易型(xing)數據(ju)可(ke)以有諸如(ru)雙十(shi)一、雙十(shi)二這(zhe)種明(ming)顯(xian)的(de)波峰波谷變化，而對于物聯網設(she)備來說(shuo)，往(wang)往(wang)每分鐘甚至每秒(miao)都在上報數據(ju)，沒有明(ming)顯(xian)的(de)波峰波谷，而且(qie)這(zhe)些數據(ju)具有非(fei)常明(ming)顯(xian)的(de)時空上下文(wen)特征。
數據類型
對(dui)AIoT領域的數(shu)據(ju)來說(shuo)，其產生的那一(yi)刻價值(zhi)最(zui)大。例(li)如(ru)當你使用充(chong)電樁時(shi)某(mou)一(yi)刻充(chong)電失敗(bai)了(le)，這背后失敗(bai)的原因，對(dui)用戶來說(shuo)才(cai)是價值(zhi)最(zui)高的，所以需(xu)要(yao)從事(shi)務型數(shu)據(ju)轉(zhuan)變為流式數(shu)據(ju)，以進(jin)行(xing)實時(shi)的分析處理(li)。
數據體量
在(zai)連(lian)接的(de)問題解(jie)決之后(hou)，數據(ju)連(lian)接量就迎來了井噴(pen)式增長。根據(ju)最新(xin)的(de)報告，全球的(de)物聯網(wang)數據(ju)未來會達到ZB級(ji)別(bie)，這(zhe)意味著大(da)部分大(da)型的(de)物聯網(wang)平臺(tai)以(yi)后(hou)面對的(de)數據(ju)量將從原來的(de)GB時代(dai)(dai)過渡到PB、EB時代(dai)(dai)。
數據處理
對(dui)(dui)于海量數(shu)據(ju)并發連接的(de)(de)(de)需(xu)求，同時又要做(zuo)到實時的(de)(de)(de)流式計算(suan)，原有的(de)(de)(de)大數(shu)據(ju)架構(gou)(gou)必然要發生改變。之(zhi)前是從數(shu)據(ju)的(de)(de)(de)源頭把數(shu)據(ju)錄入到事先設計好的(de)(de)(de)表(biao)中，在(zai)需(xu)要分(fen)(fen)析(xi)的(de)(de)(de)時候(hou)從數(shu)據(ju)庫(ku)里把數(shu)據(ju)讀出(chu)來進行(xing)分(fen)(fen)析(xi)。而現在(zai)面(mian)對(dui)(dui)的(de)(de)(de)數(shu)據(ju)很多都是半結(jie)構(gou)(gou)化、非結(jie)構(gou)(gou)化的(de)(de)(de)，比(bi)如視(shi)頻(pin)、音頻(pin)之(zhi)類(lei)的(de)(de)(de)數(shu)據(ju)，對(dui)(dui)于這(zhe)一類(lei)數(shu)據(ju)，往往在(zai)產(chan)生的(de)(de)(de)那一刻不知(zhi)道該怎么(me)分(fen)(fen)析(xi)，需(xu)要有查詢的(de)(de)(de)能(neng)力，才能(neng)把數(shu)據(ju)的(de)(de)(de)價值發揮到最大，這(zhe)就要求從原先的(de)(de)(de)批處(chu)理方式過渡(du)為流式計算(suan)，自然會(hui)產(chan)生新的(de)(de)(de)數(shu)據(ju)庫(ku)。
綜合以上(shang)幾(ji)點，我們(men)(men)提出了四個(ge)原(yuan)則，我們(men)(men)的(de)產品也(ye)是基于(yu)這(zhe)四個(ge)原(yuan)則來設(she)計和開發的(de)：
第一(yi)，移動計(ji)算優先。在(zai)半導體(ti)產業(ye)發(fa)展中我們(men)看(kan)到(dao)了(le)共(gong)享(xiang)內存(cun)的(de)設(she)計(ji)，數(shu)據在(zai)信息(xi)層(ceng)面的(de)復制(zhi)成本是很低的(de)，但在(zai)物理層(ceng)面對(dui)它進(jin)行搬運和(he)(he)存(cun)儲(chu)的(de)復制(zhi)成本非(fei)常高，特(te)別是在(zai)海量數(shu)據情況(kuang)下。所以(yi)我們(men)盡量把價(jia)值高的(de)計(ji)算移動到(dao)離數(shu)據產生(sheng)更近的(de)地方(fang)，讓(rang)計(ji)算和(he)(he)數(shu)據產生(sheng)更大的(de)價(jia)值。
第二(er)，數據流(liu)可(ke)復用。在任何的AIoT設備中，一(yi)個數據源(yuan)都不(bu)會只對接一(yi)個系統，很可(ke)能因為(wei)業務的發展(zhan)，需要數據能夠一(yi)次接入，多次復用。
第三(san)，全場景可適(shi)配。面對(dui)物聯網設備(bei)(bei)端(duan)的(de)系統，包括設備(bei)(bei)協議(yi)里需要具(ju)有(you)的(de)能力，任何一(yi)個適(shi)合的(de)互聯網IoT架(jia)構，都(dou)需要有(you)一(yi)個組件來(lai)彌(mi)合碎片化協議(yi)的(de)接入。
第四(si)，分(fen)布式云(yun)(yun)原生。未來很多數(shu)據會從(cong)中心化(hua)的云(yun)(yun)端(duan)轉變為在分(fen)布式的邊緣(yuan)云(yun)(yun)進行處理(li)。
AIoT對(dui)數據提出最大的(de)要求就是互操作性。之(zhi)前數據存(cun)儲進去后再(zai)讀取出來的(de)成(cheng)本是很高(gao)的(de)，原本可能有非常多的(de)設(she)備對(dui)應一個應用，如果(guo)之(zhi)后增加更多的(de)應用，就會造成(cheng)很復雜的(de)架構耦合(he)，帶來的(de)結果(guo)就是架構不可橫向擴展(zhan)。
如果有(you)一(yi)個統一(yi)的(de)數(shu)據命名空間，所有(you)的(de)數(shu)據在內部互相(xiang)共享，并對不同(tong)的(de)數(shu)據模型進行隔離，讓(rang)真正的(de)AI和IoT應用(yong)不用(yong)關心(xin)數(shu)據的(de)內部路由，才是最適合IoT時代的(de)架(jia)構。
對(dui)于這個(ge)作為命名空(kong)間使用的統一數據(ju)接(jie)入層，我們提出了(le)四(si)個(ge)要求：
一是(shi)要能夠承(cheng)受持續穩定(ding)的海(hai)量(liang)超高并發連接(jie)，而且這個連接(jie)量(liang)是(shi)以前移動互聯網(wang)時代前所未見的。
二是(shi)對于(yu)一些(xie)需要防控的場景，需要保(bao)證鏈路(lu)的QoS支持，特別是(shi)OTA場景，必(bi)須能夠和(he)端側建立可靠的數(shu)據傳輸通道以及雙向QoS支持。
三是對于大數據量，要同時(shi)滿足超低延時(shi)的(de)有狀(zhuang)態(tai)流式處理與(yu)分(fen)析數據，這樣在(zai)數據產生(sheng)的(de)時(shi)候(hou)就(jiu)能直接進行計算產生(sheng)價(jia)值。
四(si)是數據(ju)的可(ke)重用(yong)，需要流虛擬化(hua)，降低數據(ju)重用(yong)成本，快速的從海(hai)量的數據(ju)中找到所(suo)需數據(ju)，才能在數據(ju)平臺(tai)上發展出更多的應用(yong)。
基于以上這些原則，我們的產品也(ye)在(zai)不斷地迭代。首先是解決數據在(zai)云端(duan)海量連接和移動存儲(chu)的架構。
EMQ X是(shi)我們最早開始做的一個(ge)彈性(xing)、可靠、多協議的產品(pin)，前端可以接受標準(zhun)的協議，內部(bu)是(shi)一個(ge)消息路由層的規則引擎，能夠和別(bie)的開源組件或者應用系(xi)統無(wu)縫集成(cheng)，讓數據多次存儲快速消費，同時也可以在(zai)云原生(sheng)中部(bu)署，各種架構部(bu)署都非常友(you)好。
HstreamDB流(liu)式數(shu)(shu)據(ju)庫，可以針對多(duo)個(ge)(ge)數(shu)(shu)據(ju)流(liu)合(he)成(cheng)一個(ge)(ge)數(shu)(shu)據(ju)的(de)虛(xu)擬流(liu)，這個(ge)(ge)虛(xu)擬流(liu)能在上面針對分析模型產生實(shi)時(shi)的(de)視圖，幫助任務決策，同時(shi)也提供插件和(he)大數(shu)(shu)據(ju)架(jia)構(gou)的(de)AI應用集成(cheng)。
講AIoT的部(bu)分，不可(ke)不說到邊緣(yuan)(yuan)計(ji)算(suan)。因(yin)為數(shu)據在邊緣(yuan)(yuan)，無(wu)邊緣(yuan)(yuan)計(ji)算(suan)就(jiu)沒有(you)連接也沒有(you)數(shu)據，但邊緣(yuan)(yuan)計(ji)算(suan)在方案交付過程中有(you)幾個(ge)挑戰(zhan)：
首先(xian)就是邊(bian)(bian)緣的(de)異構(gou)設(she)(she)備和協(xie)議(yi)接入問(wen)(wen)題，其(qi)次是異構(gou)設(she)(she)備和碎片化帶(dai)來的(de)邊(bian)(bian)緣數據之間缺乏互操作性的(de)問(wen)(wen)題，即有(you)的(de)設(she)(she)備是藍牙(ya)接入，也(ye)有(you)是2G、3G、4G接入，在邊(bian)(bian)緣端(duan)就需要(yao)有(you)一個能支持云邊(bian)(bian)協(xie)同的(de)組件，能自(zi)己識別到設(she)(she)備所處的(de)狀態，按(an)照(zhao)現在的(de)邊(bian)(bian)緣設(she)(she)備所處的(de)情況進行邊(bian)(bian)緣數據自(zi)治。
對于大部分(fen)云端(duan)或者軟件開發(fa)者來(lai)說，邊(bian)緣端(duan)的硬件環(huan)境始終還是(shi)陌生的，而且這個(ge)環(huan)境對于他們(men)來(lai)說非(fei)常(chang)掣肘，難(nan)以用(yong)原有的開發(fa)模式。在各(ge)種垂直行業里，不同的協議都有自己的一席(xi)之(zhi)地，我們(men)必(bi)須有邊(bian)緣端(duan)的接(jie)入(ru)層彌(mi)合不同的碎片(pian)化(hua)協議和設備接(jie)入(ru)。
在邊(bian)(bian)(bian)緣端，一邊(bian)(bian)(bian)是不斷上漲(zhang)的設(she)備連接(jie)量和(he)計(ji)算需求(qiu)，另外一邊(bian)(bian)(bian)是捉襟見肘的邊(bian)(bian)(bian)緣硬件的資源和(he)成本限制。
這里結(jie)合一個背景(jing)，在云數據中(zhong)心(xin)的(de)發展趨(qu)勢里，多(duo)核處理(li)器已經是主(zhu)流了，我(wo)們可以確信在邊緣端也能實現這個趨(qu)勢。未來(lai)勢必會(hui)有更多(duo)的(de)邊緣多(duo)核處理(li)器來(lai)支撐更高的(de)設備連接量和(he)(he)計(ji)算需(xu)求(qiu)。這對傳統的(de)邊緣端嵌入(ru)式(shi)開發者的(de)習慣和(he)(he)編(bian)程模型都(dou)提(ti)出了新的(de)挑戰。
基于邊(bian)緣碎片化協議(yi)的(de)問(wen)題(ti)，首先(xian)我們開發了工(gong)業(ye)協議(yi)網關軟件(jian)Neuron，來應對工(gong)業(ye)4.0的(de)背景下對于不同(tong)垂(chui)直行(xing)業(ye)的(de)設備統一(yi)接入和協議(yi)轉換的(de)需求。
Neuron 2.0做得非常輕量化，很容易在各個不同的硬件平臺上進行移植使用，甚至可以移植到模組上，可以解決互操作性難的問題。它還可以部署在各種各樣單核、多核的芯片架構系統之上(shang)。另外我們(men)也(ye)很好地(di)平衡(heng)了在邊(bian)緣端(duan)對硬件多核(he)性能的(de)利用，以及對軟件產(chan)品可移植性和可多載性的(de)保證。
對(dui)于嵌入(ru)式編程領域，如何高效而正確地使用多(duo)核硬件進行并行算法的(de)實現，達到高性能的(de)同時又兼顧易移植、易適配(pei)的(de)特性，是一直以來存(cun)在(zai)的(de)問(wen)題。而NanoMQ通過內部改進后的(de)NNG異步I/O很好地解決了這一點。
NanoMQ 是(shi)(shi) EMQ 今年剛剛發(fa)布的(de)面(mian)向 IoT&5G 邊(bian)緣(yuan)計算場景的(de)下一代輕量(liang)級高(gao)性能 MQTT 消息服務引擎(qing)，也(ye)是(shi)(shi)國內第一款開源的(de)邊(bian)緣(yuan)輕量(liang)級MQTT Broker。NanoMQ 具備(bei)高(gao)性能的(de)消息總線(xian)能力，彌合(he)邊(bian)緣(yuan)硬(ying)件和云端(duan)的(de)架(jia)構差(cha)異，連接物理世界與(yu)數字智能。賦予邊(bian)緣(yuan)消息匯聚再分發(fa)能力，解決(jue)了(le)邊(bian)緣(yuan)端(duan)接入層的(de)海量(liang)并發(fa)問(wen)題，進而為邊(bian)緣(yuan)計算應用開發(fa)提供(gong)便利。
為了解決邊(bian)緣端計算(suan)卸載(zai)和與AI系(xi)統對接的(de)能力，我(wo)們推(tui)(tui)出了eKuiper，將Flink在邊(bian)緣端做了輕量化實踐。例如這里展示了一個(ge)(ge)簡單的(de)應用例子：前端接一個(ge)(ge)攝像頭，通(tong)過(guo)一個(ge)(ge)插(cha)件就(jiu)能形成在邊(bian)緣端的(de)數據推(tui)(tui)理。
綜上所述，EMQ映云科技在數(shu)據(ju)的(de)連接、移動、存儲、處理和(he)分(fen)析鏈路(lu)上提供了完善的(de)產品矩陣(zhen)，實(shi)現云邊端統一數(shu)據(ju)的(de)閉環(huan)，以(yi)便在最(zui)靠近數(shu)據(ju)產生(sheng)的(de)地方為數(shu)據(ju)創造最(zui)大的(de)價(jia)值。
我們既有邊緣(yuan)端(duan)的(de)消(xiao)息數據服務Neuron與NanoMQ，以(yi)及用于流式分析(xi)的(de)eKuiper，還在云端(duan)有支持(chi)海量連接的(de)EMQ X，以(yi)及支持(chi)流式數據處理分析(xi)的(de)HSreamDB。
基于這些產(chan)品，我(wo)們(men)可以為(wei)行(xing)業打(da)造一個架構。首先在邊(bian)緣(yuan)(yuan)部分把它(ta)想象成一個網關，連接不(bu)同的工(gong)業協議，如果(guo)有邊(bian)緣(yuan)(yuan)端的AI應用，可以用eKuiper進行(xing)流(liu)式處理，然后再(zai)通過邊(bian)緣(yuan)(yuan)的云端進行(xing)橋接，從而把數(shu)據打(da)通，形(xing)成數(shu)據從誕生到邊(bian)緣(yuan)(yuan)匯聚、存儲分析全鏈路的覆蓋。
有(you)了數(shu)據的全(quan)鏈路追蹤和覆蓋能力(li)，就可以(yi)形成數(shu)據的閉環，將數(shu)據轉(zhuan)變成信息和業(ye)務的洞(dong)察能力(li)，從而實現數(shu)據反哺到業(ye)務的流(liu)程。
EMQ希望通過我們自己的世界級開源軟(ruan)件，為IoT行(xing)業(ye)企業(ye)數字化轉型升級提供一(yi)些幫助，真正服務于產業(ye)與社會。謝(xie)謝(xie)！
