AI大火，關工業制造、智慧城市等傳統行業什么事(shi)?答案還要(yao)從邊(bian)緣AI技(ji)術(shu)中找(zhao)起。
當下AI潮涌，邊緣AI也正逐步推動(dong)技術格局進行重(zhong)大轉變(bian)。
相比中心化的AI大模型+接口范式，邊緣AI使計算能力更接近數(shu)據源——
它允許在設備上進行數據處理，并實現實時、上下文感知(context-aware)的決策。同時，邊緣AI并不依賴基于云的處理，而是利用傳感器、攝像頭、智能手機和其他緊湊型設備等邊緣設備，在“邊緣側”上執行AI計算推理。
這種方法具有多種優勢，包括：更好的響應能力(li)、更高帶寬效率、更高數據隱私(si)，以及(ji)在(zai)連接有限或(huo)間歇性(xing)情況下提高可靠(kao)性(xing)等。
這兩天，工程與技術門戶Wevolver新發布一份《2023年邊緣人工智能技術報告》。
在報(bao)告中，他(ta)們(men)詳(xiang)細介(jie)紹(shao)了邊緣(yuan)AI目前的行(xing)業概況、應用場景(jing)、邊緣(yuan)AI優勢、平臺、軟硬件(jian)、傳感方式、算法(fa)及展望(wang)。
其中要點，智次方?物聯網智庫整理如下。相信任何想跟上AI浪潮的技術從業者及負責人，都值得一看。
如需免費領取完整版報告，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取。
行業概況及邊緣AI優勢
近(jin)年來，數(shu)據已經(jing)從集中(zhong)式(shi)云數(shu)據中(zhong)心(xin)，向更靠近(jin)數(shu)據源(yuan)的本地數(shu)據中(zhong)心(xin)或邊(bian)緣(yuan)(yuan)設備轉移(yi)，同時，基(ji)于本地化計算需求日(ri)益高漲，這導(dao)致了邊(bian)緣(yuan)(yuan)AI的出現(xian)和(he)崛起(qi)。
據 Fortune Business Insights預(yu)測，邊緣AI市(shi)場預(yu)計(ji)將從2022年(nian)的156億(yi)美元，增(zeng)長(chang)到(dao)2029年(nian)的1074.7億(yi)美元，復合年(nian)增(zeng)長(chang)率(CAGR)為(wei)31.7%。
以工業制造業為例，工業現代化正逐步向智能制造加速轉變，并引發自動化、機器人以及工業物聯網(IIoT)的創新。
Cyber-Physical Production Systems (CPPS)
在生(sheng)產(chan)車間快速的(de)數字化轉(zhuan)型中，通過引入信息物(wu)理生(sheng)產(chan)系統(tong)(CPPS)，收集和分析(xi)相(xiang)關數據，如生(sheng)產(chan)排程(cheng)、質(zhi)量檢驗以及(ji)設備(bei)維護，可獲(huo)得(de)相(xiang)關的(de)生(sheng)產(chan)流程(cheng)優化見解，以此大幅提(ti)升(sheng)自(zi)動化生(sheng)產(chan)裝配、質(zhi)量監(jian)控的(de)效率和速度。
然而(er)，基于(yu)(yu)云的(de)數據處(chu)理方(fang)式，實(shi)現實(shi)時控(kong)制(zhi)會產(chan)生(sheng)明顯的(de)延遲。為打破云計算對(dui)于(yu)(yu)實(shi)時控(kong)制(zhi)的(de)限制(zhi)，越(yue)來越(yue)多的(de)制(zhi)造(zao)業(ye)企業(ye)開(kai)始嘗試邊緣(yuan)AI。
此外，醫療健康服(fu)務、消費品、物流運(yun)輸(shu)、智慧(hui)城市、智慧(hui)家居(ju)……幾乎都需要邊緣AI，或處(chu)于體驗升級需要，或數據安全(quan)考量，諸如此類的(de)原因。
報告指出，位于邊緣側的AI優勢明顯，具體來看：
降低時延，邊緣AI應用數據處理集中于數據源，不依賴網絡傳輸，能大幅降低數據處理時延問題。這對一些低時延應用尤為關鍵，比如工業機器人、無人駕駛汽車。
實時性能，可(ke)以(yi)在特(te)定場(chang)景發揮作用，比如質(zhi)檢，像(xiang)生產(chan)線上的質(zhi)量檢測、安全應用中異常行(xing)為檢測等。
安全和數據保護，邊緣AI應用暴露數(shu)據(ju)量很少，極(ji)大減少惡(e)意(yi)攻擊和數(shu)據(ju)襲擊的可(ke)能性(xing)。
提升隱私控制，很(hen)多AI應(ying)用(yong)涉及敏感數據，如安全(quan)數據、知識(shi)產權、病患信息等(deng)。邊緣(yuan)AI減(jian)少(shao)了數據對外傳(chuan)輸和(he)分享嗎，創建了一個比(bi)云(yun)更可(ke)信的數據管理環境。
能源效率，基于云(yun)的數據(ju)傳輸和處理(li)需要不斷輸入輸出，還(huan)涉及大量GPU和TSU數據(ju)處理(li)。邊(bian)緣(yuan)AI無需I/O操作，且數據(ju)處理(li)基于邊(bian)緣(yuan)側，能(neng)有(you)效(xiao)降低碳(tan)排(pai)放和減少碳(tan)足跡。
節約成本，相比云端(duan)處(chu)理，邊緣AI不會過于(yu)依賴(lai)數據傳輸和處(chu)理，同時，它消耗(hao)更少的能量。其部署成本和操作成本遠低于(yu)云端(duan)AI。
設備智能，一些邊緣AI應用(yong)可(ke)以在單個設(she)備上執(zhi)行，比如物聯網設(she)備、微型控制器等(deng)。這會助力性能更強、更加智(zhi)能化設(she)備開發，但基于云端這是幾乎無法實現的(de)。
可擴展性，在AI應用中集成邊(bian)緣AI系(xi)統，可以提供幾年前沒有的能力。例如，在運(yun)輸、工廠(chang)以及(ji)其(qi)他工業場景中新增典型的實時性(xing)。
框架、工具與軟硬件選擇
對于(yu)邊緣AI來說，深度學習平(ping)臺、工具(ju)選擇要考(kao)慮的因素可能(neng)(neng)更多，這當中(zhong)包(bao)括延遲、數據處(chu)理(li)能(neng)(neng)力、功耗、尺寸、重量和(he)散熱等(deng)等(deng)。
除此之外，使用的難易度也是問題，尤其(qi)邊緣AI面向(xiang)千(qian)行百業，更為友好的平(ping)臺(tai)工具對(dui)技術服(fu)務(wu)企業及客(ke)戶都更為便(bian)捷。
最后，工具(ju)支持(chi)能力、生態兼容(rong)性及釋(shi)放(fang)開源免(mian)費也在(zai)考慮(lv)范(fan)圍內(nei)。
較(jiao)為著(zhu)名(ming)的(de)框架(jia)及工具包括有TensorFlow Lite、PyTorch Mobile、OpenVINO、NVIDIA Jetson、Caffe2 和MXNet等(deng)。
篇幅有限，重點介紹如下幾個框架及工具：
TensorFlow Lite
TensorFlow Lite是(shi)一種用(yong)于設(she)備(bei)(bei)端(duan)推斷的開源深度學習(xi)框架(jia)，號稱強大而(er)多功能，專為邊緣設(she)備(bei)(bei)部署ML模型設(she)計，具備(bei)(bei)低延遲、跨平(ping)臺兼容性、用(yong)戶友好等特(te)征，在(zai)樹莓派4微(wei)控制器板上(shang)，TensorFlow Lite實現了2.5毫秒的中位推理延遲。
此外，TensorFlow Lite還(huan)提供(gong)了全面的開發工(gong)具和API，支(zhi)持多種編程語(yu)言，包(bao)括Python、C++和Java，增強了其多功能性和易用性。
PyTorch Mobile
該工具是(shi)PyTorch的移動(dong)設備拓(tuo)展版本，PyTorch作為(wei)AI框(kuang)架本就(jiu)擁有(you)很(hen)廣(guang)覆(fu)蓋，自帶靈活、易用性，經過速度、效率優化(hua)后，更適合部署在資源有(you)限的低功耗(hao)設備上。
根(gen)據PyTorch的說法，用(yong)該平臺的模型，可(ke)在移動設備上(shang)實現低于(yu)10毫秒的延遲推(tui)理，當然，實際情況也取決(jue)于(yu)硬件(jian)能(neng)力(li)、模型復雜(za)度(du)及輸入數據量(liang)級。其支(zhi)持硬件(jian)平臺，包括CPU、GPU 和 DSP。
Caffe2
Caffe2是一個開源深度學習框(kuang)架，其(qi)突出(chu)的優(you)勢(shi)在于其(qi)高性能，能夠(gou)快速、準確地處理(li)大型數據集。Caffe2針對CPU和GPU進(jin)行(xing)了精心優(you)化(hua)，其(qi)與分布(bu)式(shi)計算環境的兼容(rong)性確保了輕松的可擴展(zhan)性。
Caffe2以(yi)其(qi)推(tui)理低延遲而聞名，特別適合實(shi)時邊緣AI應用。需要注意(yi)的是(shi)，Caffe2由于大量使用GPU資源，其(qi)功(gong)耗往(wang)往(wang)較高。
值得一提的是，Caffe2核心作者之(zhi)一是AI大牛賈揚清，今(jin)年他已離開阿里，投身(shen)大模型基礎設施創業(ye)。
MXNet
這(zhe)也是一個開源深度(du)學(xue)習軟件框架，用于訓練及(ji)部署(shu)深度(du)神經網絡。MXNet顯著優勢之一是它對(dui)多種編(bian)程語(yu)言(yan)的廣泛支持，包括Python、C++和(he)(he)Julia，可與(yu)TensorFlow和(he)(he)PyTorch等其他深度(du)學(xue)習框架無縫(feng)集成。
該(gai)框架數據處理能(neng)力(li)也(ye)很高(gao)效(xiao)，支持(chi)數據和模型并行性，使(shi)開發人員能(neng)夠跨多(duo)個GPU或機器(qi)擴(kuo)展他(ta)們(men)的(de)模型。
此外，MXNet憑借輕量特性，能在樹莓(mei)派等低(di)功耗設備上高效運行(xing)，對(dui)于追求緊(jin)湊便攜(xie)的邊緣AI系統，吸引力也很強。
OpenVINO
這是一個(ge)用于優化和(he)部署AI推理的開源(yuan)工具(ju)包，來自英(ying)特爾，可實現跨不同平臺(tai)的高效部署，包括CPU、GPU和(he)FPGA。
面(mian)向TensorFlow、PyTorch和(he)Caffe等流行的(de)(de)(de)深度(du)學習框架，OpenVINO提(ti)供了(le)優化的(de)(de)(de)庫和(he)工(gong)具(ju)，其使(shi)用成本取決于模(mo)型大小、復(fu)雜性和(he)所使(shi)用的(de)(de)(de)硬件平臺等因素。此外，OpenVINO提(ti)供與多(duo)種編程語言(yan)的(de)(de)(de)無縫集成，包括C++、Python和(he)Java。
介紹完AI框架(jia)及(ji)工(gong)具，再(zai)來看(kan)看(kan)其他硬件(jian)硬件(jian)選擇的(de)注意。
由于終端設備的處理、存儲、電(dian)池壽命(ming)有(you)限(xian)，模型(xing)必須進行優化(hua)，以適應有(you)限(xian)的資源。盡管如此(ci)，硬件處理能力依然重要(yao)，此(ci)外(wai)，還要(yao)考慮功耗(hao)、可用內存量及類型(xing)。
軟件選(xuan)擇(ze)上(shang)，兼容性、可(ke)(ke)拓展性、數據(ju)處(chu)理(li)精度(du)及可(ke)(ke)解釋性對于諸多傳(chuan)統行業也(ye)是重要因素。
值得一提的(de)是，安(an)(an)全(quan)性同樣(yang)是邊(bian)緣AI落地應用很看重的(de)方向(xiang)，報(bao)告建議，采用SSL/TLS、SSH等安(an)(an)全(quan)通(tong)信協議，建立邊(bian)緣AI系(xi)統(tong)與其(qi)他系(xi)統(tong)之間數(shu)據傳輸的(de)安(an)(an)全(quan)通(tong)道。
此外，還建議實施訪(fang)問控制(zhi)和身份(fen)驗證機制(zhi)，并對重要數(shu)據(ju)進行加密(mi)。
物聯網加密系統及攻擊路徑
值得(de)重點(dian)一提(ti)的，是TinyML。
這是一種新型的嵌入式機器學習系統技術，可在微芯片和微控制器 (MCU) 上部署 AI 模型(xing)，以實(shi)現極低功耗的設備上數據分析。
此前物聯網智庫對(dui)其進行過介紹，該技術面向(xiang)終端和邊緣側(ce)的微處理(li)器(qi)，是(shi)一種在mW功率范圍以下的設備上，實現機器(qi)學習(xi)的方法、工(gong)具(ju)和技術。
MIT電子工程(cheng)學院副教授韓松，今年剛獲得斯隆獎，被(bei)譽為TinyML開創者，其參與(yu)創立的(de)AI公司OmniML，今年剛被(bei)英偉達收購。
TinyML是ML與嵌入式的結合
該技術優勢在于——
優化延遲、節能、節約帶寬、更強的數(shu)據隱(yin)私安(an)全及更好的效率及靈活性。
前文提及TensorFlow Lite，本身就可(ke)結合TinyML。其(qi)另一個(ge)版本，TensorFlow Lite Micro，其(qi)核心運在Arm Cortex M3上(shang)行(xing)時，模型(xing)大小僅為16KB。
TinyML的(de)應(ying)用(yong)，包括了(le)終(zhong)端(duan)設(she)備上圖像識別(bie)、對象跟蹤和安全應(ying)用(yong)程序的(de)實(shi)時事(shi)件檢(jian)測(ce)。
在(zai)物聯(lian)網(wang)傳感器應用中，TinyML用于解(jie)析圖像、聲音(yin)或(huo)振動等數(shu)(shu)據(ju)。在(zai)設備上(shang)進行推(tui)理，可將大量(liang)數(shu)(shu)據(ju)減少為壓縮(suo)元(yuan)數(shu)(shu)據(ju)，減少功耗(hao)提升安全性(xing)。TinyML 還用于消費電子(zi)設備，例如耳塞(sai)的噪音(yin)濾除。
邊緣AI算法與傳感方式
算(suan)法(fa)方面(mian)，相比AI大模型(xing)，甚至(zhi)幾年前的(de)GPT-2，邊緣(yuan)AI因計算(suan)設備資源(yuan)有限，更(geng)多考慮的(de)是算(suan)法(fa)是否能在硬件(jian)上流暢運(yun)行。平衡，成為落地(di)中(zhong)的(de)關鍵(jian)詞。
當前，最流行、最適合部署在邊緣設備上的算法是：分類、檢測、分割和跟蹤算法。
這四種(zhong)算(suan)法類(lei)型(xing)為從對象(xiang)識(shi)別和(he)跟(gen)蹤到質量控制和(he)預測性維護的各(ge)種(zhong)應用提(ti)供了實用的解決(jue)方(fang)案。
當然，上(shang)面(mian)幾類(lei)中(zhong)(zhong)，還可以介紹很多具(ju)體算法(fa)，比如(ru)分類(lei)算法(fa)中(zhong)(zhong)的支(zhi)持(chi)向量(liang)機(SVM)、決策(ce)樹、隨機森林和(he)卷積神經(jing)網絡(CNN)。再比如(ru)目(mu)標檢測(ce)算法(fa)中(zhong)(zhong)的大(da)名鼎(ding)(ding)鼎(ding)(ding)的YOLO和(he)何愷明參與(yu)的Faster R-CNN，這里(li)不(bu)逐(zhu)一展開。
基于 YOLOv4 直方(fang)圖(tu)的(de)乳房X光(guang)片異常檢(jian)測模(mo)型(xing)
但(dan)值得提(ti)一(yi)提(ti)的，是視覺(jue)Transformer算法(fa)(ViT)。該(gai)技術與ChatGPT同源，此(ci)后，還有DeiT 和(he) SWIN-Transformers等算法(fa)出現，并能(neng)部署(shu)在邊(bian)緣(yuan)端，其背后是邊(bian)緣(yuan)算力(li)的不斷(duan)演進(jin)。
另需要補充的(de)是，對于(yu)邊緣場景，數(shu)據壓縮技術可(ke)能導致(zhi)AI模型表現不準確，因(yin)此該(gai)方向也在近些年成為(wei)熱門話題(ti)之一。
說完AI軟硬件相關，報告還介紹了邊緣AI的傳感方式。
目前(qian)較為典型的邊緣AI傳(chuan)(chuan)感設(she)備為攝(she)像頭(tou)、麥克風、溫度傳(chuan)(chuan)感器和(he)(he)運動(dong)傳(chuan)(chuan)感器。設(she)計領域包括自動(dong)駕駛(shi)、工業自動(dong)化(hua)和(he)(he)醫療保健。
其他傳(chuan)感(gan)器還包括觸摸傳(chuan)感(gan)器、壓力傳(chuan)感(gan)器、接近(jin)傳(chuan)感(gan)器等(deng)。
基(ji)于音(yin)頻的(de)傳感系統
典型案例介紹
憑借(jie)輕量(liang)級的系統集成和(he)靠近數據源(yuan)的處(chu)理能力，邊緣AI正加速與各行(xing)(xing)各業深度融(rong)合(he)，帶來(lai)天馬行(xing)(xing)空的想象(xiang)力。
智慧城市
NoTraffic是一個(ge)基于(yu)AI的(de)交通(tong)實時管理平臺，依托于(yu)英偉達技(ji)術，融合(he)傳感器、軟件等，可以快(kuai)速(su)且(qie)全(quan)程(cheng)響(xiang)應交通(tong)狀(zhuang)況。
結合攝像機與雷達的NoTraffic物聯網傳感器，圖(tu)源：NoTraffic
基于邊(bian)緣AI技術，NoTraffic可以(yi)檢測、標(biao)記(ji)以(yi)及(ji)追(zhui)蹤道路(lu)使用(yong)者，包括他(ta)們臨近路(lu)口時的(de)速度、方向，并以(yi)此調整交通信號。
NoTraffic已與加州(zhou)運輸(shu)部(bu)和亞(ya)利(li)桑那州(zhou)運輸(shu)部(bu)建立(li)合(he)作伙伴(ban)關系。該平臺被證(zheng)明，可以減少超50%的交通等待時間，同(tong)時可能還對減少汽車排放(fang)有(you)貢獻。
NoTraffic的另一(yi)個好處就是，基于邊(bian)緣AI能力(li)(li)構建的交通(tong)(tong)系統，可(ke)以助力(li)(li)智(zhi)慧城市(shi)快速分(fen)析交通(tong)(tong)流量(liang)數據并(bing)提供決策。
綠色工業
Fero Labs研發(fa)出一套應(ying)用工業流程優化的邊緣AI軟件(jian)，據證(zheng)實，該軟件(jian)可(ke)以在生產中(zhong)實現提(ti)質(zhi)降本，減少工廠浪費，實現碳排放量平均減少35%。
圖(tu)源：Fero Labs
實現方(fang)式(shi)上，該公司將(jiang)機器學(xue)習(xi)模型部署(shu)于工(gong)廠中現有的邊緣設備(bei)中，通過軟件連接(jie)到標準(zhun)工(gong)業數據庫(ku)，并通過本地化數據處理。
基于Fero Labs軟件解決(jue)方案(an)，制造車間(jian)可以通過現有裝(zhuang)置(zhi)進行生產預測(ce)、設備追蹤和維護，避(bi)免產品瑕疵(ci)，提高過程穩定(ding)性。
智慧醫療
Medtronic是一(yi)家在醫(yi)療(liao)領域應用邊緣AI的公司(si)，該(gai)公司(si)最近(jin)與英偉達合作，實現將英偉達全(quan)息掃描平臺集成于AI系(xi)統，以應用于醫(yi)療(liao)設(she)備(bei)。
應用GIGenius智能內鏡模塊的結直(zhi)腸(chang)癌檢測設備，圖源：Medtronic
Medtronic將(jiang)全息(xi)掃描平臺集(ji)成進旗下的(de)AI內鏡(jing)模(mo)塊(kuai)，GIGenius，通過邊(bian)緣AI技術加持，醫生可以檢測出結直腸癌的(de)早期跡(ji)象。
Medtronic同樣還將(jiang)邊緣AI應用(yong)于其他醫(yi)療領域，比如一個連續(xu)血糖(tang)監測(ce)系統。通過將(jiang)傳感器植入到皮下組(zu)織，就(jiu)能起(qi)到血糖(tang)管理的(de)作用(yong)，同時，利用(yong)AI能有優(you)化(hua)且創(chuang)建個性化(hua)糖(tang)尿病管理方案(an);還有Medtronic的(de)起(qi)搏(bo)器，采用(yong)傳感算法(fa)來檢測(ce)并提醒患者心律(lv)失常(chang)的(de)風險。
據該公(gong)司稱，他們(men)將邊緣AI集成到醫(yi)療(liao)傳感器當中，極大提升(sheng)醫(yi)療(liao)服務(wu)和檢(jian)測(ce)的個性化程度。
寫在最后
以上是報(bao)告的(de)要點介(jie)紹，值得補充的(de)是，盡管邊緣AI優(you)勢(shi)盡顯，但仍有許多用例，需(xu)要云端(duan)數據中(zhong)心(xin)參與。
比如(ru)報告提(ti)及，一些深(shen)度學習應用，需(xu)(xu)要大量數據(ju)點訓練，這類用例通(tong)常需(xu)(xu)要結(jie)合云AI和(he)邊緣AI兩方面(mian)優勢(shi)。
基于邊緣和云處理的混合解決方案，圖源：Wevolver
巧合的(de)是(shi)，上個月，高通技(ji)術公司同樣發布(bu)了一份白皮書(shu)——《混合AI是(shi)AI的(de)未來》，當中提出類似的(de)觀點：
“隨著生成式AI的飛(fei)速(su)普及和計算需求的日益增長，混合處理(li)的重要性空(kong)前凸顯(xian)。與僅在(zai)云端(duan)(duan)(duan)(duan)進(jin)行(xing)處理(li)不同，混合AI架構的云端(duan)(duan)(duan)(duan)和邊緣終端(duan)(duan)(duan)(duan)之間(jian)分配并協(xie)同處理(li)AI工作負載。云端(duan)(duan)(duan)(duan)和邊緣終端(duan)(duan)(duan)(duan)(如(ru)智能手機(ji)、汽車、個人電腦和物聯網終端(duan)(duan)(duan)(duan))協(xie)同工作，能夠(gou)實現(xian)更強大、更高效(xiao)且更普及的AI應用。”
但(dan)可以(yi)預見，邊緣AI及(ji)ChatGPT為代表的中(zhong)心(xin)化的AI大模(mo)型+接口范式，仍在以(yi)日新月異速度(du)發(fa)展，一個(ge)萬(wan)物智(zhi)能的時代已經不遠(yuan)。
欲了解更多案例內容，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取完整版報告。
參考資料：
1.Wevolver 2023年邊緣人(ren)工智能技術(shu)報告
2.//www.wevolver.com/article/2023-edge-ai-technology-report?utm_source=edge-ai-report&utm_medium=edgeimpulse
3.//mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
