AI大火，關工業制造、智慧城市等傳統行業什么事?答案還要從邊緣AI技術中找(zhao)起(qi)。
當下AI潮(chao)涌，邊(bian)緣AI也正逐步推動(dong)技術格局進行重大轉變。
相比中心化的AI大模型+接口范式，邊緣AI使計算(suan)能力更接近數(shu)據源——
它允許在設備上進行數據處理，并實現實時、上下文感知(context-aware)的決策。同時，邊緣AI并不依賴基于云的處理，而是利用傳感器、攝像頭、智能手機和其他緊湊型設備等邊緣設備，在“邊緣側”上執行AI計算推理。
這種方法具有(you)多種優(you)勢，包括：更(geng)(geng)好的響應(ying)能力、更(geng)(geng)高帶寬(kuan)效率(lv)、更(geng)(geng)高數據隱私，以及在連接有(you)限或間(jian)歇性情況下(xia)提高可(ke)靠性等。
這兩天，工程與技術門戶Wevolver新發布一份《2023年邊緣人工智能技術報告》。
在報告中，他(ta)們詳細介紹(shao)了邊(bian)緣AI目前(qian)的(de)行業概況、應用場景、邊(bian)緣AI優勢(shi)、平臺(tai)、軟硬件、傳感方(fang)式(shi)、算法(fa)及展望。
其中要點，智次方?物聯網智庫整理如下。相信任何想跟上AI浪潮的技術從業者及負責人，都值得一看。
如需免費領取完整版報告，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取。
行業概況及邊緣AI優勢
近(jin)年來，數據已(yi)經(jing)從集中(zhong)式云數據中(zhong)心，向更(geng)靠近(jin)數據源的(de)本地數據中(zhong)心或邊緣設備轉移，同時，基(ji)于(yu)本地化計(ji)算(suan)需求日益高漲，這導致了邊緣AI的(de)出現和崛起。
據 Fortune Business Insights預(yu)測，邊緣(yuan)AI市(shi)場預(yu)計將從2022年的156億美(mei)元(yuan)，增長(chang)到2029年的1074.7億美(mei)元(yuan)，復合年增長(chang)率(lv)(CAGR)為(wei)31.7%。
以工業制造業為例，工業現代化正逐步向智能制造加速轉變，并引發自動化、機器人以及工業物聯網(IIoT)的創新。
Cyber-Physical Production Systems (CPPS)
在生(sheng)產(chan)車(che)間快(kuai)速的(de)數字化轉型中(zhong)，通(tong)過引(yin)入信(xin)息物理生(sheng)產(chan)系統(CPPS)，收集和分析相關數據，如(ru)生(sheng)產(chan)排程(cheng)、質(zhi)(zhi)量(liang)檢驗以及設備維(wei)護，可獲(huo)得相關的(de)生(sheng)產(chan)流程(cheng)優(you)化見(jian)解(jie)，以此大幅提升自動化生(sheng)產(chan)裝配、質(zhi)(zhi)量(liang)監控的(de)效率(lv)和速度。
然而，基于(yu)云(yun)的數據(ju)處理方式，實(shi)(shi)現實(shi)(shi)時(shi)控制會產生明顯的延遲。為打破云(yun)計算對(dui)于(yu)實(shi)(shi)時(shi)控制的限制，越(yue)來越(yue)多的制造業(ye)企業(ye)開始嘗試邊緣AI。
此外，醫療(liao)健康服務、消(xiao)費(fei)品(pin)、物流運(yun)輸、智(zhi)慧城市、智(zhi)慧家居……幾乎都需(xu)要邊緣AI，或(huo)處于(yu)體驗升級(ji)需(xu)要，或(huo)數(shu)據安全考量，諸如此類的原(yuan)因。
報告指出，位于邊緣側的AI優勢明顯，具體來看：
降低時延，邊緣AI應用數據處理集中于數據源，不依賴網絡傳輸，能大幅降低數據處理時延問題。這對一些低時延應用尤為關鍵，比如工業機器人、無人駕駛汽車。
實時性能，可以在特定(ding)場(chang)景發揮作用，比如質(zhi)檢，像生(sheng)產線上的質(zhi)量檢測(ce)、安全應用中異常行為檢測(ce)等。
安全和數據保護，邊緣AI應用(yong)暴露數據量很少(shao)，極大減(jian)少(shao)惡意攻擊和數據襲擊的可能(neng)性。
提升隱私控制，很多AI應用(yong)涉及敏感(gan)數據(ju)，如(ru)安全數據(ju)、知識產(chan)權、病患信息等。邊(bian)緣AI減少了(le)數據(ju)對外傳輸和分享(xiang)嗎，創(chuang)建了(le)一個比云更可(ke)信的數據(ju)管(guan)理環境。
能源效率，基于云的(de)數(shu)據傳輸和(he)處(chu)理(li)需(xu)(xu)要不斷輸入輸出，還涉及大量GPU和(he)TSU數(shu)據處(chu)理(li)。邊緣(yuan)AI無需(xu)(xu)I/O操作，且(qie)數(shu)據處(chu)理(li)基于邊緣(yuan)側，能有效降低碳(tan)排放和(he)減(jian)少碳(tan)足跡。
節約成本，相比云端處理(li)，邊緣AI不會過于依賴數據傳(chuan)輸和處理(li)，同(tong)時，它消耗(hao)更少的能(neng)量。其(qi)部署成本和操作成本遠(yuan)低(di)于云端AI。
設備智能，一些邊緣AI應用可以在單(dan)個設備(bei)上(shang)執(zhi)行(xing)，比如物聯網(wang)設備(bei)、微型控(kong)制器等。這會助力性能更強、更加智能化設備(bei)開發，但(dan)基于云(yun)端這是幾乎(hu)無法(fa)實現的。
可擴展性，在AI應用中集成邊緣AI系統(tong)，可以提供幾年前沒有的(de)能力。例如，在運輸、工(gong)廠以及其他(ta)工(gong)業場(chang)景中新(xin)增典型的(de)實時性(xing)。
框架、工具與軟硬件選擇
對于邊緣AI來說(shuo)，深(shen)度(du)學習平臺、工具選擇要考慮的因(yin)素可能更多，這(zhe)當(dang)中包括(kuo)延遲、數據處理能力、功耗、尺寸、重量和散熱等等。
除此之外，使用的(de)難易度也是(shi)問題(ti)，尤其邊緣AI面(mian)向(xiang)千行(xing)百(bai)業，更為(wei)(wei)友好的(de)平臺工具對技術服務企業及客戶都(dou)更為(wei)(wei)便捷。
最(zui)后，工(gong)具支持能力、生態兼容性及(ji)釋(shi)放開源免費(fei)也在考慮(lv)范圍內。
較(jiao)為著名的(de)框架及工具包括有TensorFlow Lite、PyTorch Mobile、OpenVINO、NVIDIA Jetson、Caffe2 和MXNet等。
篇幅有限，重點介紹如下幾個框架及工具：
TensorFlow Lite
TensorFlow Lite是(shi)一(yi)種用(yong)于設(she)備端推(tui)斷的開源深度學習框架，號(hao)稱強大而(er)多功(gong)能，專為邊緣設(she)備部(bu)署(shu)ML模型設(she)計，具備低延(yan)遲、跨平臺(tai)兼容性、用(yong)戶友好等特征，在樹莓派(pai)4微(wei)控制器板上(shang)，TensorFlow Lite實現了2.5毫秒的中位推(tui)理延(yan)遲。
此外，TensorFlow Lite還提供了(le)全面的開發工(gong)具和API，支持多(duo)種編程語言，包括Python、C++和Java，增強了(le)其多(duo)功(gong)能性和易用(yong)性。
PyTorch Mobile
該工具是PyTorch的移動設(she)備拓展版本，PyTorch作為AI框架本就擁有(you)很廣覆(fu)蓋，自帶(dai)靈活、易用性，經過速(su)度、效(xiao)率優(you)化后，更適合部署在(zai)資源有(you)限的低功(gong)耗設(she)備上。
根據(ju)PyTorch的(de)說法，用該平(ping)臺(tai)的(de)模(mo)型，可在移動設備上實(shi)現低于(yu)10毫秒的(de)延(yan)遲推理，當然(ran)，實(shi)際情況也取決于(yu)硬件能力(li)、模(mo)型復雜度及輸入數據(ju)量級(ji)。其(qi)支持硬件平(ping)臺(tai)，包括CPU、GPU 和 DSP。
Caffe2
Caffe2是一個開源(yuan)深度學習框架，其(qi)突出的(de)優勢在于其(qi)高性能(neng)，能(neng)夠快速、準(zhun)確地處理大型數據集。Caffe2針對CPU和GPU進行了精心優化，其(qi)與分布式計算環境的(de)兼容性確保了輕(qing)松的(de)可擴展性。
Caffe2以其推理低延遲而聞名，特(te)別適合實時邊緣AI應用。需要注意(yi)的是，Caffe2由于大量(liang)使用GPU資(zi)源，其功耗往往較高。
值得一(yi)提的是，Caffe2核(he)心作者(zhe)之一(yi)是AI大牛賈揚清，今(jin)年他已離開阿里，投身大模(mo)型(xing)基礎設施(shi)創業。
MXNet
這(zhe)也(ye)是(shi)一個開源深度(du)學(xue)習(xi)軟件框架，用(yong)于訓(xun)練及部署深度(du)神經(jing)網絡。MXNet顯著(zhu)優(you)勢之一是(shi)它對多種編程語言(yan)的廣泛支持，包(bao)括(kuo)Python、C++和Julia，可(ke)與(yu)TensorFlow和PyTorch等其他深度(du)學(xue)習(xi)框架無縫集(ji)成。
該(gai)框架數據處理能力也很高效，支持數據和(he)模型并行性，使開發(fa)人員能夠跨多個GPU或機器擴展他們的模型。
此外，MXNet憑借輕量特(te)性，能在樹莓派等(deng)低功耗設備(bei)上高效運(yun)行，對于追求緊湊便(bian)攜(xie)的邊(bian)緣AI系統，吸引(yin)力也很強。
OpenVINO
這是一個用(yong)于優化和部署AI推理的開源工具包(bao)，來自英特爾(er)，可實現跨不(bu)同(tong)平(ping)臺的高效部署，包(bao)括CPU、GPU和FPGA。
面(mian)向TensorFlow、PyTorch和Caffe等流行的(de)深度學習框(kuang)架，OpenVINO提(ti)供了優化的(de)庫和工具，其(qi)使用成本(ben)取決于模型大(da)小、復雜性(xing)和所(suo)使用的(de)硬件平臺等因素(su)。此外，OpenVINO提(ti)供與(yu)多種編程語言(yan)的(de)無縫集成，包括C++、Python和Java。
介(jie)紹完AI框架(jia)及(ji)工具，再來看(kan)看(kan)其他(ta)硬件硬件選(xuan)擇(ze)的(de)注(zhu)意(yi)。
由于終端設備的處(chu)(chu)理、存儲、電(dian)池壽命有(you)限，模型必(bi)須進行(xing)優化，以(yi)適應有(you)限的資源。盡管如此，硬件處(chu)(chu)理能力(li)依然重要，此外(wai)，還要考慮功耗、可用內(nei)存量及類型。
軟件選擇上，兼容性、可(ke)拓(tuo)展性、數據處(chu)理精度及(ji)可(ke)解釋性對于諸多(duo)傳(chuan)統行業也是重要因(yin)素。
值得一提的是(shi)，安全性同樣是(shi)邊(bian)緣(yuan)(yuan)AI落地(di)應用(yong)很看重的方向，報(bao)告建(jian)議(yi)，采用(yong)SSL/TLS、SSH等(deng)安全通(tong)信協議(yi)，建(jian)立邊(bian)緣(yuan)(yuan)AI系統與其他系統之間數據傳輸的安全通(tong)道。
此(ci)外，還建議實施訪問控(kong)制和身份驗(yan)證機(ji)制，并(bing)對重要(yao)數(shu)據(ju)進行加密。
物聯網加密系統及攻擊路徑
值得(de)重(zhong)點(dian)一提的，是TinyML。
這是一種新型的嵌入式機器學習系統技術，可在微芯片和微控制(zhi)器(qi) (MCU) 上部署 AI 模型，以實現極低功耗的設備上數據分析。
此前物聯網智庫對其(qi)進行過介紹，該(gai)技(ji)術面(mian)向終端和(he)邊緣側的(de)微處(chu)理器，是一種在mW功(gong)率范圍以下的(de)設備上，實現機器學習的(de)方(fang)法、工(gong)具和(he)技(ji)術。
MIT電子工(gong)程學院(yuan)副教授韓松(song)，今年(nian)剛獲得(de)斯隆獎，被(bei)譽為(wei)TinyML開創者，其參與創立的AI公司OmniML，今年(nian)剛被(bei)英偉達(da)收購。
TinyML是ML與嵌入式的結合
該技術優勢在于——
優化延遲(chi)、節能、節約帶(dai)寬、更強的數(shu)據隱私安全及(ji)更好(hao)的效率及(ji)靈活性。
前(qian)文提及TensorFlow Lite，本(ben)(ben)身就可(ke)結(jie)合TinyML。其另一個(ge)版(ban)本(ben)(ben)，TensorFlow Lite Micro，其核心(xin)運在Arm Cortex M3上行時，模型大小僅為16KB。
TinyML的應(ying)用，包括了終端設備(bei)上圖像識別、對象跟蹤和安全應(ying)用程(cheng)序的實(shi)時事件檢測。
在物聯網(wang)傳感器應用中，TinyML用于(yu)解(jie)析圖像(xiang)、聲(sheng)音或振(zhen)動(dong)等數(shu)據(ju)。在設(she)備上進行(xing)推理，可將大量數(shu)據(ju)減少為壓縮元數(shu)據(ju)，減少功耗提升安全性。TinyML 還(huan)用于(yu)消(xiao)費電子設(she)備，例(li)如耳(er)塞(sai)的噪音濾除。
邊緣AI算法與傳感方式
算(suan)法方面，相比AI大模型(xing)，甚至幾年前的(de)GPT-2，邊緣AI因計(ji)算(suan)設(she)備資源有(you)限，更多考慮的(de)是算(suan)法是否能在(zai)硬(ying)件上流暢運(yun)行。平衡(heng)，成為落地(di)中的(de)關(guan)鍵詞(ci)。
當前，最流行、最適合部署在邊緣設備上的算法是：分類、檢測、分割和跟蹤算法。
這(zhe)四種(zhong)算法類型為從對象識別和跟蹤(zong)到(dao)質量(liang)控制和預測性維護的各種(zhong)應用提供(gong)了(le)實用的解決方案。
當然(ran)，上面幾類中(zhong)，還可以介紹很(hen)多(duo)具體算(suan)法，比如分類算(suan)法中(zhong)的(de)(de)支(zhi)持向量(liang)機(SVM)、決策樹、隨機森林(lin)和卷積神(shen)經網(wang)絡(luo)(CNN)。再比如目(mu)標檢測算(suan)法中(zhong)的(de)(de)大名(ming)鼎(ding)鼎(ding)的(de)(de)YOLO和何愷明(ming)參與的(de)(de)Faster R-CNN，這(zhe)里不逐一展開。
基于 YOLOv4 直方圖的乳房X光片異常檢(jian)測(ce)模型(xing)
但值得提一提的，是視覺Transformer算(suan)(suan)法(fa)(fa)(ViT)。該技術與ChatGPT同源，此后，還有DeiT 和 SWIN-Transformers等算(suan)(suan)法(fa)(fa)出現(xian)，并(bing)能(neng)部署在邊緣(yuan)端，其背后是邊緣(yuan)算(suan)(suan)力的不斷演進。
另需要補(bu)充的是，對(dui)于邊緣場景，數據壓縮技術可能導致(zhi)AI模型表現不(bu)準確，因此該方向也在近(jin)些年成(cheng)為熱門話題(ti)之一。
說完AI軟硬件相關，報告還介紹了邊緣AI的傳感方式。
目前較為典型的邊緣(yuan)AI傳感設備為攝像(xiang)頭、麥(mai)克(ke)風、溫度傳感器和運動(dong)傳感器。設計(ji)領域包括自動(dong)駕駛、工業自動(dong)化和醫療保健。
其他傳感器還包括觸摸傳感器、壓力傳感器、接近傳感器等。
基(ji)于音頻的(de)傳感系(xi)統(tong)
典型案例介紹
憑(ping)借(jie)輕量級(ji)的系(xi)統(tong)集成(cheng)和靠(kao)近(jin)數(shu)據(ju)源的處理能(neng)力(li)，邊緣AI正加速與各(ge)行各(ge)業深度融合，帶來天馬行空的想象(xiang)力(li)。
智慧城市
NoTraffic是(shi)一個基于AI的交通(tong)實(shi)時(shi)管理平臺，依托于英偉達技術，融合傳感器(qi)、軟(ruan)件等，可(ke)以快速(su)且全程響應(ying)交通(tong)狀況。
結合攝像(xiang)機與雷達(da)的(de)NoTraffic物聯網傳(chuan)感(gan)器，圖源(yuan)：NoTraffic
基于邊緣AI技(ji)術，NoTraffic可以(yi)(yi)檢測、標(biao)記以(yi)(yi)及追蹤道路使用者，包(bao)括他們臨近路口時的速度、方向，并(bing)以(yi)(yi)此(ci)調整交通信號。
NoTraffic已與加州運輸部和(he)亞利(li)桑(sang)那(nei)州運輸部建立合作(zuo)伙伴關(guan)系。該平臺被證(zheng)明，可以減少超50%的交通等待時間，同時可能(neng)還對減少汽(qi)車排(pai)放有(you)貢(gong)獻。
NoTraffic的(de)另一個好處就(jiu)是，基于邊緣AI能(neng)力(li)(li)構建的(de)交通系統，可(ke)以助力(li)(li)智(zhi)慧城(cheng)市快速分析交通流量數據(ju)并(bing)提供決策。
綠色工業
Fero Labs研(yan)發(fa)出一套應用工業流程優化的(de)邊(bian)緣(yuan)AI軟件，據證(zheng)實，該軟件可(ke)以在生(sheng)產中實現提質降(jiang)本(ben)，減(jian)少工廠浪(lang)費，實現碳排放(fang)量平(ping)均減(jian)少35%。
圖源：Fero Labs
實現(xian)方式上，該公司將(jiang)機(ji)器(qi)學習(xi)模型部署于(yu)工廠中現(xian)有的邊緣設(she)備中，通過(guo)(guo)軟件連(lian)接到標準(zhun)工業數據庫，并通過(guo)(guo)本地化數據處理。
基于Fero Labs軟(ruan)件解決方案，制造車間可以通過(guo)現(xian)有(you)裝置(zhi)進行生(sheng)產預測、設備(bei)追蹤(zong)和維護，避免產品(pin)瑕疵(ci)，提高過(guo)程(cheng)穩(wen)定性。
智慧醫療
Medtronic是一(yi)家在醫(yi)療(liao)領域應(ying)用邊(bian)緣AI的(de)公司(si)，該(gai)公司(si)最近與(yu)英(ying)偉達(da)合作(zuo)，實現將英(ying)偉達(da)全息掃描平臺集(ji)成于AI系統，以(yi)應(ying)用于醫(yi)療(liao)設備。
應用GIGenius智能內鏡模塊的結(jie)直腸(chang)癌(ai)檢測設備，圖源(yuan)：Medtronic
Medtronic將全(quan)息(xi)掃(sao)描平(ping)臺集成進旗下(xia)的AI內鏡模塊，GIGenius，通(tong)過邊緣AI技術(shu)加(jia)持，醫生可以檢(jian)測出結(jie)直腸癌的早期跡象。
Medtronic同樣還將(jiang)邊(bian)緣AI應用于(yu)其他醫(yi)療(liao)領域(yu)，比如一(yi)個連續血糖監測(ce)(ce)系統。通過將(jiang)傳(chuan)(chuan)感器(qi)植入到皮下組織，就(jiu)能(neng)起到血糖管(guan)理(li)的(de)作用，同時，利用AI能(neng)有優化且創建(jian)個性化糖尿病(bing)管(guan)理(li)方案;還有Medtronic的(de)起搏器(qi)，采用傳(chuan)(chuan)感算法來檢測(ce)(ce)并提醒(xing)患者心(xin)律(lv)失常的(de)風險。
據(ju)該公司(si)稱，他們將(jiang)邊緣AI集成到(dao)醫(yi)療傳感器當中，極大提升醫(yi)療服務(wu)和(he)檢測的(de)個(ge)性化(hua)程度。
寫在最后
以上(shang)是報告的(de)要點介紹，值得補充的(de)是，盡管邊緣AI優(you)勢盡顯，但仍有(you)許多用例(li)，需要云(yun)端數(shu)據中心參與。
比(bi)如(ru)報告提及，一些深(shen)度(du)學習應用，需要大量數據(ju)點訓練(lian)，這類用例通(tong)常需要結合云AI和邊緣AI兩方面優勢。
基于邊緣和(he)云(yun)處(chu)理的混合解決方案，圖源：Wevolver
巧合(he)的(de)是，上個月，高(gao)通(tong)技(ji)術公司同樣發布了一份(fen)白(bai)皮(pi)書——《混(hun)合(he)AI是AI的(de)未來》，當中提出類似的(de)觀點：
“隨著生成式AI的(de)飛速普及和計算需求的(de)日(ri)益增長，混(hun)合(he)處理(li)的(de)重要性空前(qian)凸(tu)顯(xian)。與僅(jin)在云(yun)端(duan)(duan)進行處理(li)不同，混(hun)合(he)AI架構的(de)云(yun)端(duan)(duan)和邊(bian)緣(yuan)終端(duan)(duan)之間分(fen)配并協同處理(li)AI工作(zuo)(zuo)負載(zai)。云(yun)端(duan)(duan)和邊(bian)緣(yuan)終端(duan)(duan)(如智能(neng)手(shou)機(ji)、汽車、個人電腦和物聯網終端(duan)(duan))協同工作(zuo)(zuo)，能(neng)夠實(shi)現更強大、更高效(xiao)且更普及的(de)AI應用。”
但可(ke)以預見，邊緣AI及ChatGPT為(wei)代表的(de)(de)中心化的(de)(de)AI大模型+接口范式，仍在以日新月異速度發(fa)展(zhan)，一個萬(wan)物智能的(de)(de)時代已經不遠(yuan)。
欲了解更多案例內容，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取完整版報告。
參考資料：
1.Wevolver 2023年邊緣人(ren)工智能技術報告
2.//www.wevolver.com/article/2023-edge-ai-technology-report?utm_source=edge-ai-report&utm_medium=edgeimpulse
3.//mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
