為了保障物聯網數(shu)(shu)據(ju)(ju)(ju)的(de)(de)充分(fen)流動和(he)有(you)效利用，除了通信技(ji)術本身的(de)(de)連接(jie)能力外(wai)，還需要打通物聯(lian)網(wang)各層架構之間(jian)的(de)(de)壁壘(lei)，才能實(shi)現數(shu)(shu)據(ju)(ju)(ju)采(cai)集、傳輸、處(chu)理(li)、分(fen)析全生命(ming)周(zhou)期的(de)(de)管理(li)，進而讓數(shu)(shu)據(ju)(ju)(ju)真正(zheng)發揮“物聯(lian)網(wang)時代石油”的(de)(de)價值。EMQ映云科技(ji)是一家(jia)在物聯(lian)網(wang)數(shu)(shu)據(ju)(ju)(ju)基(ji)礎設施領域深耕多年(nian)的(de)(de)企(qi)業，在2021中國AIoT產業年(nian)會上，EMQ映云科技(ji)解決方案VP余杰霖為(wei)大(da)家(jia)帶來了題為(wei)《EMQ：AIoT的(de)(de)數(shu)(shu)據(ju)(ju)(ju)基(ji)礎設施》的(de)(de)精彩演講(jiang)。以下是其演講(jiang)全文(wen)分(fen)享(xiang)：
我今(jin)天(tian)分享的主題是《AIoT的數據基(ji)礎設施》，這是我在產業(ye)互聯網行(xing)業(ye)過去十年來(lai)所積(ji)累的經驗和對行(xing)業(ye)趨勢(shi)的判斷，希望對大家(jia)有所幫助(zhu)。
EMQ是(shi)一家開源物聯網(wang)數據(ju)基礎設施軟(ruan)件供應商，我(wo)們一直以開源為(wei)核心，產品覆蓋(gai)了(le)消息和流(liu)處(chu)理，以及邊緣(yuan)端的(de)能(neng)(neng)力，主要目(mu)的(de)是(shi)解(jie)決實(shi)時數據(ju)的(de)移動、流(liu)處(chu)理和分析(xi)，希望(wang)服務產業的(de)數字化、實(shi)時化、智能(neng)(neng)化轉型。
在(zai)(zai)(zai)運營商的努(nu)力(li)下，我們現在(zai)(zai)(zai)面對的AIoT物(wu)聯網(wang)架(jia)構基本解決了連接(jie)的問題。在(zai)(zai)(zai)端(duan)側，有很多異構設備(bei)在(zai)(zai)(zai)實時產(chan)生(sheng)數據(ju)(ju)，這(zhe)些數據(ju)(ju)通過一個(ge)小網(wang)關進(jin)行(xing)初步(bu)匯聚，經過邊緣基站接(jie)入到核(he)心網(wang)絡后(hou)，再進(jin)入到云(yun)數據(ju)(ju)中心，對數據(ju)(ju)分析(xi)處理后(hou)反饋到各個(ge)端(duan)——這(zhe)是目前所看(kan)到的大部分物(wu)聯網(wang)架(jia)構的模型。
但是(shi)(shi)連接的(de)問題解決了，數(shu)據(ju)與信(xin)(xin)息之間還(huan)是(shi)(shi)有(you)很大的(de)區別，即空有(you)數(shu)據(ju)但不產生(sheng)價值，物聯網數(shu)據(ju)并沒有(you)真正反哺到業務(wu)層(ceng)。現在中國(guo)大部分AIoT企業的(de)應用也只是(shi)(shi)停留在數(shu)據(ju)化的(de)階段，而非數(shu)字化、信(xin)(xin)息化。
EMQ認為，物聯(lian)網(wang)時代的(de)數字化轉型有四個(ge)趨勢：
一是(shi)全面的云原生轉向，從原來的業務(wu)上(shang)云、數(shu)(shu)據(ju)上(shang)云，轉變為無(wu)論是(shi)應用服務(wu)還(huan)是(shi)數(shu)(shu)據(ju)基礎設施應用服務(wu)，都(dou)逐步向云原生靠攏。不(bu)論是(shi)研發、部(bu)署，還(huan)是(shi)運維、測試，云原生理念(nian)目(mu)前已深入行業內部(bu)。
二是數據(ju)逐(zhu)漸從云端下(xia)沉到邊緣(yuan)端，如數據(ju)量比較高(gao)的(de)V2X以及對于邊緣(yuan)端的(de)設(she)備數據(ju)采(cai)集有要求的(de)應用，使得邊緣(yuan)計(ji)算開始(shi)崛起。但邊緣(yuan)計(ji)算本身(shen)并不是完美的(de)，其(qi)可能存在碎片(pian)化的(de)問題也(ye)帶來了(le)云邊協(xie)同(tong)的(de)困難。
三(san)是分(fen)布(bu)式(shi)(shi)云(yun)(yun)的(de)(de)發(fa)展，很多(duo)互聯(lian)網平臺和AIoT應用的(de)(de)開發(fa)者將(jiang)原(yuan)有的(de)(de)云(yun)(yun)原(yuan)生技術向(xiang)邊(bian)緣發(fa)展，把之(zhi)前集中在公(gong)有云(yun)(yun)上的(de)(de)內容逐漸放到(dao)了(le)分(fen)布(bu)式(shi)(shi)云(yun)(yun)中。
四是數據的類型也在發(fa)生變(bian)化(hua)，從移動(dong)互聯網時代由(you)手機產生的具有明顯波峰波谷的交(jiao)易型數據、事(shi)務型數據，轉變(bian)成(cheng)由(you)機器產生的連續不(bu)斷的分析型數據。
接下來(lai)，我將(jiang)詳細(xi)闡述物聯(lian)網全(quan)連接時代數(shu)據(ju)的范式(shi)變化(hua)。
數據生產主體和產生方式
數(shu)(shu)據(ju)(ju)產生(sheng)主體從人類轉變為機器(qi)。人類行為產生(sheng)的(de)交(jiao)易型數(shu)(shu)據(ju)(ju)可(ke)以(yi)有諸如雙(shuang)(shuang)十一(yi)、雙(shuang)(shuang)十二這種明顯的(de)波峰波谷變化，而(er)對(dui)于物(wu)聯網設備來(lai)說，往往每分鐘甚至每秒都在上(shang)報數(shu)(shu)據(ju)(ju)，沒有明顯的(de)波峰波谷，而(er)且這些(xie)數(shu)(shu)據(ju)(ju)具(ju)有非常明顯的(de)時空上(shang)下文(wen)特(te)征。
數據類型
對AIoT領域的(de)數據來(lai)說(shuo)，其產生的(de)那一刻價值最大。例如當你(ni)使用充(chong)電(dian)樁時某(mou)一刻充(chong)電(dian)失敗(bai)了，這背后失敗(bai)的(de)原因，對用戶來(lai)說(shuo)才是(shi)價值最高的(de)，所(suo)以需要從事(shi)務型數據轉變(bian)為(wei)流式數據，以進(jin)行實時的(de)分析處理。
數據體量
在(zai)連接(jie)的(de)(de)(de)問題(ti)解(jie)決之后，數(shu)據連接(jie)量就迎來了井(jing)噴式增(zeng)長。根(gen)據最新的(de)(de)(de)報告(gao)，全球的(de)(de)(de)物聯網數(shu)據未來會達到ZB級別，這意(yi)味著大部分大型(xing)的(de)(de)(de)物聯網平臺以(yi)后面對的(de)(de)(de)數(shu)據量將從原來的(de)(de)(de)GB時(shi)代(dai)過渡到PB、EB時(shi)代(dai)。
數據處理
對(dui)(dui)于海量數(shu)(shu)據(ju)(ju)(ju)(ju)并發連接的(de)(de)(de)需求(qiu)，同時又要做到實時的(de)(de)(de)流(liu)式計(ji)算(suan)，原有的(de)(de)(de)大數(shu)(shu)據(ju)(ju)(ju)(ju)架構(gou)必然(ran)要發生(sheng)改變(bian)。之(zhi)前(qian)是從數(shu)(shu)據(ju)(ju)(ju)(ju)的(de)(de)(de)源(yuan)頭(tou)把數(shu)(shu)據(ju)(ju)(ju)(ju)錄(lu)入到事先設計(ji)好的(de)(de)(de)表中，在需要分(fen)析的(de)(de)(de)時候從數(shu)(shu)據(ju)(ju)(ju)(ju)庫(ku)里(li)把數(shu)(shu)據(ju)(ju)(ju)(ju)讀出來(lai)進行分(fen)析。而現在面對(dui)(dui)的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)(ju)很多都(dou)是半結(jie)構(gou)化(hua)、非結(jie)構(gou)化(hua)的(de)(de)(de)，比(bi)如視(shi)頻、音頻之(zhi)類的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)(ju)，對(dui)(dui)于這一類數(shu)(shu)據(ju)(ju)(ju)(ju)，往往在產(chan)生(sheng)的(de)(de)(de)那一刻(ke)不知道該怎么分(fen)析，需要有查(cha)詢的(de)(de)(de)能力，才能把數(shu)(shu)據(ju)(ju)(ju)(ju)的(de)(de)(de)價值(zhi)發揮到最大，這就要求(qiu)從原先的(de)(de)(de)批處(chu)理方式過渡(du)為(wei)流(liu)式計(ji)算(suan)，自然(ran)會產(chan)生(sheng)新的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)(ju)庫(ku)。
綜合以(yi)上(shang)幾點，我(wo)們提出了四個原則(ze)，我(wo)們的(de)產(chan)品也是基于這四個原則(ze)來設計和開發的(de)：
第一，移(yi)動(dong)計(ji)(ji)(ji)(ji)算(suan)優先。在(zai)半導體產(chan)業發展中我們看到了共享內存的(de)(de)設計(ji)(ji)(ji)(ji)，數(shu)據(ju)在(zai)信(xin)息層面(mian)的(de)(de)復制成本是很低的(de)(de)，但在(zai)物理層面(mian)對它進行搬運和存儲的(de)(de)復制成本非常高(gao)，特(te)別是在(zai)海量數(shu)據(ju)情況下。所(suo)以我們盡量把價(jia)值(zhi)高(gao)的(de)(de)計(ji)(ji)(ji)(ji)算(suan)移(yi)動(dong)到離數(shu)據(ju)產(chan)生更(geng)近的(de)(de)地方，讓計(ji)(ji)(ji)(ji)算(suan)和數(shu)據(ju)產(chan)生更(geng)大的(de)(de)價(jia)值(zhi)。
第(di)二，數據流(liu)可復用(yong)(yong)。在任何(he)的(de)AIoT設(she)備中，一個(ge)數據源(yuan)都不會只對(dui)接(jie)一個(ge)系統(tong)，很可能(neng)因(yin)為業務(wu)的(de)發展，需(xu)要數據能(neng)夠(gou)一次接(jie)入，多次復用(yong)(yong)。
第三，全場景可適配。面對物聯網設(she)備(bei)(bei)端的(de)系統，包括(kuo)設(she)備(bei)(bei)協議(yi)里需要(yao)具有(you)的(de)能力，任何一(yi)個適合的(de)互聯網IoT架構，都(dou)需要(yao)有(you)一(yi)個組件來彌合碎片(pian)化協議(yi)的(de)接入。
第四，分布(bu)式(shi)云原生。未來很多數據會(hui)從中心化的(de)(de)云端轉(zhuan)變為(wei)在分布(bu)式(shi)的(de)(de)邊緣云進行處理。
AIoT對數(shu)據提出(chu)最大的(de)(de)(de)要(yao)求就(jiu)(jiu)是互操作性。之前數(shu)據存儲進(jin)去后(hou)再讀(du)取出(chu)來的(de)(de)(de)成本是很高的(de)(de)(de)，原本可能有(you)非常多的(de)(de)(de)設備(bei)對應(ying)一(yi)個應(ying)用，如果之后(hou)增加更多的(de)(de)(de)應(ying)用，就(jiu)(jiu)會造成很復雜的(de)(de)(de)架構(gou)耦合，帶來的(de)(de)(de)結果就(jiu)(jiu)是架構(gou)不可橫向擴展。
如(ru)果有(you)一(yi)(yi)個統一(yi)(yi)的(de)(de)數(shu)據命(ming)名空間，所有(you)的(de)(de)數(shu)據在內(nei)部(bu)互相共享，并對不同(tong)的(de)(de)數(shu)據模(mo)型進行隔離，讓真正(zheng)的(de)(de)AI和IoT應用(yong)不用(yong)關心數(shu)據的(de)(de)內(nei)部(bu)路由，才是(shi)最適合IoT時代的(de)(de)架構。
對于這個(ge)(ge)作為命名空(kong)間使(shi)用的(de)統一數(shu)據接入(ru)層，我們提(ti)出了四個(ge)(ge)要求(qiu)：
一是要能夠承(cheng)受持續(xu)穩定的海量超高并發連(lian)接，而且這個連(lian)接量是以前移動(dong)互聯(lian)網時代(dai)前所未(wei)見的。
二(er)是對于一些需要(yao)防控的(de)場(chang)景，需要(yao)保(bao)證(zheng)鏈(lian)路的(de)QoS支(zhi)持(chi)，特別是OTA場(chang)景，必須能夠和(he)端側建立可(ke)靠(kao)的(de)數據(ju)傳輸通(tong)道以及(ji)雙(shuang)向(xiang)QoS支(zhi)持(chi)。
三是對于大數(shu)據(ju)量，要(yao)同時(shi)滿足超(chao)低延時(shi)的有狀態流式(shi)處(chu)理(li)與分析(xi)數(shu)據(ju)，這(zhe)樣在(zai)數(shu)據(ju)產生(sheng)的時(shi)候就(jiu)能直(zhi)接進行計算(suan)產生(sheng)價值。
四是數(shu)(shu)據(ju)的可(ke)重(zhong)(zhong)用(yong)，需(xu)要流虛擬化，降低數(shu)(shu)據(ju)重(zhong)(zhong)用(yong)成本，快(kuai)速(su)的從海量的數(shu)(shu)據(ju)中(zhong)找(zhao)到(dao)所需(xu)數(shu)(shu)據(ju)，才能在(zai)數(shu)(shu)據(ju)平(ping)臺上發展(zhan)出更多(duo)的應用(yong)。
基于(yu)以上這些原則，我們的(de)產品也在不斷(duan)地迭代(dai)。首(shou)先是解(jie)決數據在云端海量(liang)連接(jie)和移動存儲的(de)架構。
EMQ X是我們最早開(kai)始做(zuo)的(de)(de)一個彈性、可靠、多協(xie)議的(de)(de)產品，前端可以(yi)接受標準的(de)(de)協(xie)議，內部是一個消(xiao)息路由層的(de)(de)規則(ze)引(yin)擎，能(neng)夠和別的(de)(de)開(kai)源組件或者應用系統無(wu)縫(feng)集成(cheng)，讓(rang)數據多次存(cun)儲快速消(xiao)費，同時也可以(yi)在云原生中(zhong)部署，各種(zhong)架(jia)構部署都非(fei)常友好(hao)。
HstreamDB流式數據庫，可以針對多個數據流合成一個數據的(de)虛擬流，這(zhe)個虛擬流能在上面針對分析模型產生實時(shi)的(de)視圖，幫助任(ren)務決策，同時(shi)也提供(gong)插件(jian)和大數據架(jia)構(gou)的(de)AI應用集成。
講AIoT的部分，不(bu)可不(bu)說到邊(bian)緣計算(suan)。因為數據在(zai)邊(bian)緣，無邊(bian)緣計算(suan)就沒有連接也沒有數據，但邊(bian)緣計算(suan)在(zai)方案交(jiao)付過程中有幾(ji)個挑戰：
首先就(jiu)是(shi)邊(bian)緣的(de)(de)(de)異構設(she)備和協(xie)(xie)議接入問題，其次是(shi)異構設(she)備和碎片化帶來的(de)(de)(de)邊(bian)緣數據之間(jian)缺乏互操作性的(de)(de)(de)問題，即(ji)有的(de)(de)(de)設(she)備是(shi)藍牙接入，也有是(shi)2G、3G、4G接入，在邊(bian)緣端就(jiu)需要(yao)有一個能(neng)支持云邊(bian)協(xie)(xie)同(tong)的(de)(de)(de)組(zu)件(jian)，能(neng)自(zi)己識別(bie)到設(she)備所處的(de)(de)(de)狀態，按照現在的(de)(de)(de)邊(bian)緣設(she)備所處的(de)(de)(de)情況進行邊(bian)緣數據自(zi)治。
對于大(da)部分云端(duan)或者軟件開(kai)發者來(lai)說，邊緣端(duan)的(de)(de)(de)(de)硬(ying)件環境始終還(huan)是陌生(sheng)的(de)(de)(de)(de)，而且這(zhe)個環境對于他們(men)來(lai)說非常掣肘，難以用(yong)原有(you)(you)的(de)(de)(de)(de)開(kai)發模式。在(zai)各種垂直行業里，不同(tong)的(de)(de)(de)(de)協(xie)議(yi)都有(you)(you)自己的(de)(de)(de)(de)一席之地，我們(men)必須有(you)(you)邊緣端(duan)的(de)(de)(de)(de)接入(ru)層彌(mi)合不同(tong)的(de)(de)(de)(de)碎片(pian)化協(xie)議(yi)和設備接入(ru)。
在邊(bian)緣端，一邊(bian)是不斷(duan)上漲的(de)設備連接量和計算需求，另(ling)外一邊(bian)是捉(zhuo)襟見肘的(de)邊(bian)緣硬件的(de)資源(yuan)和成(cheng)本限制。
這里結合(he)一個(ge)背景，在(zai)云數據中心(xin)的發展趨(qu)勢(shi)里，多(duo)(duo)核處理器已(yi)經(jing)是主(zhu)流了，我們可(ke)以確信在(zai)邊(bian)緣(yuan)端也能實現這個(ge)趨(qu)勢(shi)。未來(lai)勢(shi)必會有(you)更多(duo)(duo)的邊(bian)緣(yuan)多(duo)(duo)核處理器來(lai)支撐更高的設備連接量(liang)和計算需(xu)求。這對傳統的邊(bian)緣(yuan)端嵌入式開發者的習慣和編程模型都提出了新(xin)的挑戰。
基(ji)于邊緣(yuan)碎片化(hua)協(xie)議(yi)的問題，首(shou)先我們開發(fa)了工業(ye)協(xie)議(yi)網關軟件(jian)Neuron，來應對(dui)工業(ye)4.0的背景(jing)下對(dui)于不(bu)同垂直行業(ye)的設備(bei)統一接入和協(xie)議(yi)轉換的需(xu)求。
Neuron 2.0做得非常輕量化，很容易在各個不同的硬件平臺上進行移植使用，甚至可以移植到模組上，可以解決互操作性難的問題。它還可以部署在各種各樣單核、多核的芯片架構系(xi)統(tong)之(zhi)上(shang)。另外我們(men)也很好地平衡了在邊(bian)緣(yuan)端對硬件多核(he)性(xing)能的利用，以及對軟件產(chan)品可移植(zhi)性(xing)和可多載(zai)性(xing)的保證。
對于(yu)嵌入式編程領域，如何高效而(er)(er)正確地使(shi)用多核硬件(jian)進(jin)行(xing)并行(xing)算法的實(shi)現，達到(dao)高性(xing)能的同時又兼顧易移植、易適配的特(te)性(xing)，是一直以來存在的問題(ti)。而(er)(er)NanoMQ通過內(nei)部改進(jin)后的NNG異(yi)步(bu)I/O很好地解(jie)決了這一點(dian)。
NanoMQ 是(shi) EMQ 今年剛剛發(fa)布(bu)的(de)面向 IoT&5G 邊緣計算場(chang)景的(de)下一代(dai)輕(qing)量(liang)級高性能(neng)(neng) MQTT 消(xiao)息服務引擎，也是(shi)國內第一款開源(yuan)的(de)邊緣輕(qing)量(liang)級MQTT Broker。NanoMQ 具備高性能(neng)(neng)的(de)消(xiao)息總(zong)線能(neng)(neng)力(li)，彌(mi)合邊緣硬(ying)件和(he)云端(duan)的(de)架構差異(yi)，連接物理世界與(yu)數字智能(neng)(neng)。賦予邊緣消(xiao)息匯聚再分(fen)發(fa)能(neng)(neng)力(li)，解決(jue)了邊緣端(duan)接入層(ceng)的(de)海量(liang)并發(fa)問(wen)題，進而為邊緣計算應(ying)用開發(fa)提供便利。
為(wei)了(le)(le)解決邊(bian)緣(yuan)(yuan)端計算(suan)卸(xie)載和與AI系(xi)統對接(jie)(jie)的(de)能(neng)力，我(wo)們推出(chu)了(le)(le)eKuiper，將Flink在邊(bian)緣(yuan)(yuan)端做(zuo)了(le)(le)輕量化實踐。例如這(zhe)里展示(shi)了(le)(le)一(yi)(yi)個簡單的(de)應用例子：前端接(jie)(jie)一(yi)(yi)個攝像頭(tou)，通過一(yi)(yi)個插件就能(neng)形(xing)成(cheng)在邊(bian)緣(yuan)(yuan)端的(de)數據(ju)推理。
綜上所述，EMQ映云(yun)科技在數據的(de)連接、移動、存儲(chu)、處理和(he)分析鏈路上提供了完善的(de)產品矩陣，實現(xian)云(yun)邊(bian)端統一數據的(de)閉環(huan)，以便在最(zui)靠近數據產生的(de)地方為(wei)數據創造最(zui)大的(de)價(jia)值。
我(wo)們(men)既有邊緣端的(de)(de)消息數據服務Neuron與NanoMQ，以及(ji)用(yong)于(yu)流式分析的(de)(de)eKuiper，還在云端有支持(chi)海量(liang)連接的(de)(de)EMQ X，以及(ji)支持(chi)流式數據處理分析的(de)(de)HSreamDB。
基于這些產品(pin)，我們可以為(wei)行業(ye)打造一個架(jia)構。首先(xian)在邊緣(yuan)(yuan)部分把(ba)它想象成一個網關(guan)，連接不同的工業(ye)協議，如果有邊緣(yuan)(yuan)端的AI應用(yong)，可以用(yong)eKuiper進(jin)行流(liu)式處理，然后再通過邊緣(yuan)(yuan)的云端進(jin)行橋接，從而把(ba)數據(ju)打通，形成數據(ju)從誕生到邊緣(yuan)(yuan)匯(hui)聚(ju)、存儲分析全鏈路的覆(fu)蓋(gai)。
有了數(shu)據的全鏈(lian)路追蹤和(he)覆蓋能(neng)(neng)力，就(jiu)可以形成數(shu)據的閉環，將數(shu)據轉變成信息和(he)業務(wu)的洞(dong)察(cha)能(neng)(neng)力，從而實現(xian)數(shu)據反哺(bu)到(dao)業務(wu)的流程(cheng)。
EMQ希望通(tong)過(guo)我們自(zi)己的(de)世(shi)界級開源軟件(jian)，為(wei)IoT行業企業數字化轉型升級提供(gong)一(yi)些幫(bang)助，真(zhen)正服務于(yu)產業與社會。謝謝！
