嵌入式開(kai)發(fa)的轉變將(jiang)如何影響未來計(ji)算
作者：Arm 高級副總裁兼物聯網事業部總經理 Paul Williamson
當前，開(kai)發者(zhe)正(zheng)在(zai)利用安全且性能(neng)(neng)增強的(de)技術(shu)實現小(xiao)型低功耗(hao)嵌入式系(xi)統的(de)開(kai)發，賦能(neng)(neng)過往(wang)無(wu)法想象的(de)語音、視覺和振動等 AI 應(ying)用，而這些(xie)應(ying)用正在改變著世界。
嵌入式領域正(zheng)經歷(li)一場深刻的變革。連接(jie)設備正(zheng)逐漸演變為可根據(ju)(ju)所收集(ji)的數(shu)據(ju)(ju)自行做出決策(ce)的系統。相(xiang)較于在(zai)物聯網(wang)網(wang)關或云端進行數(shu)據(ju)(ju)處(chu)理(li)而(er)言，在(zai)更接(jie)近采集(ji)源(yuan)之處(chu)完成數(shu)據(ju)(ju)處(chu)理(li)的方式，將有望加快決策(ce)速度、減少延遲、解決數(shu)據(ju)(ju)隱私問題、降低成本并提高能效。
很多應用領域都在推升邊緣計算在性能和功能方面的需求，諸如工業自動化、機器人、智慧城市和家居自動化等。在過去，這類系統中的傳感器要簡單得多且互不相連，然而，現在人工智能 (AI) 和機器學習(xi) (ML) 提升了本地(di)智(zhi)能化水(shui)平，在(zai)端側(ce)即可(ke)完成(cheng)決策的(de)制定，這在(zai)過去(qu)使(shi)用的(de)簡單(dan)控制算(suan)法(fa)是(shi)無法(fa)實現的(de)。
AI 時代通用(yong)處理器的演進(jin)
多年以前，開發者(zhe)專(zhuan)注(zhu)于把邏輯和控(kong)制算法作為軟件開發的核心，然而，隨著數字信號處理 (DSP) 算(suan)法(fa)的出現(xian)，為諸多(duo)功能增(zeng)強的語(yu)音、視覺和音頻應(ying)用提供了支持。
這種應用開發的轉變進入到了全新時代，且正在影響計算架構的設計。我們現已發展到以推理作為算法開發的主要核心，這一階段帶來了對計算性能、能效、延遲、實時處理和可擴展性等方面新的或更高的要求。
行業的(de)需(xu)求(qiu)不僅在新處理(li)器加速器方(fang)面，也包括(kuo)通(tong)用處理(li)能力(li)的(de)提升，以便能為開發者(zhe)提供必要的平衡，并(bing)支持直播視(shi)頻中的特(te)征檢查或(huo)人物檢測等應用。
幾(ji)年前，開(kai)發(fa)者(zhe)在創建噪聲消除應(ying)用時還(huan)只能依(yi)賴基于頻率的濾(lv)(lv)波器。而如今，開(kai)發(fa)者(zhe)可以通過將濾(lv)(lv)波與 ML/AI 模(mo)型和推理(li)(li)相(xiang)結合來提高應用(yong)的(de)性能(neng)和功(gong)能(neng)。為(wei)了使(shi)這些開發任(ren)務更加高效(xiao)，并(bing)盡可能(neng)無縫地為(wei)用(yong)戶服(fu)務，對(dui)處理(li)(li)器和工具的(de)需求也與(yu)日俱增。
促進邊緣側(ce)和(he)端側(ce)設備的(de)智能化
這項(xiang)演進與革新是由 ML 所驅動，但同時也面臨(lin)著諸多技(ji)術的(de)挑(tiao)戰。經過多年(nian)的(de)嘗試，試圖打造一套普(pu)適(shi)于物聯網及(ji)嵌入式設(she)備(bei)的(de)開發(fa)方(fang)法，已促使著行業(ye)轉變物聯網開發(fa)的(de)方(fang)式，以釋放規模化擴展的(de)無限可能性。
當前，開發者正在利用安全且性能增強的技術實現小型低功耗嵌入式系統的開發，賦能過往無法想象的語音、視覺和振動等應用，而這些應用正在改變著世界。各種版本的編程語言和 Transformer 模型將很(hen)快在(zai)具有全新計算功能的物聯網邊緣設備中占(zhan)據(ju)一(yi)席之地。這無疑(yi)為開發者帶來夢(meng)寐以求的更(geng)多(duo)可能性。
在(zai)開發演進與革新的(de)過程中，為了滿足(zu)開發者對硬件的(de)需求，幾(ji)年前(qian) Arm 在 Armv8.1-M 架(jia)構中引入了(le)Arm? Helium? 矢量(liang)處(chu)理(li)技術。Helium 為小型低功耗(hao)嵌入式設備的 ML 和 DSP 應用(yong)帶來了顯著(zhu)的性能提升。此外，它還(huan)提(ti)供單(dan)指(zhi)令多數據 (SIMD) 功能(neng)，由此將 Arm Cortex?-M 設備的性能提升(sheng)到(dao)全新水平，并(bing)支持預測性維護和環境監(jian)控等(deng)應用。
Helium 提高了 DSP 和 ML 性能(neng)，加快了(le)信號調節（例如濾(lv)波、噪(zao)聲消除和回聲消除）和特征提(ti)取(qu)（音頻(pin)或像素數據）的速度，繼而能(neng)將之傳輸到采用(yong)神經網絡處理器的分類(lei)中。
實現智能邊緣側(ce)的(de)功能
我(wo)們可以看(kan)到(dao)，很(hen)多 Arm 的合作伙伴(ban)都在他們(men)最新(xin)的產品中引入了 Helium 技術，由此助力開發者在網絡最遠端的受限設備(bei)上發揮 ML 功能的(de)優勢。2020 年二月，Arm 推(tui)出了采用 Helium 技術的 Cortex-M55 處理器，Alif Semiconductor 于 2021 年(nian)九(jiu)月推出(chu)了(le)首款(kuan)基于 Cortex-M55 的芯片，并在其 Ensemble 和(he) Crescendo 產品(pin)系列中(zhong)部署了搭(da)載 Helium 的 Cortex-M55 處理器。此外，奇景光電 (Himax) 也采用了配備 Helium 的 Cortex-M55 于(yu)其下一代 WE2 AI 處理器(qi)，并以(yi)由電池(chi)供電的(de)物聯網設(she)備(bei)中的(de)計算機視覺系(xi)統為(wei)目標應用領域(yu)。
2022 年四月， Arm 推(tui)出(chu)了第二款支持 Helium 的 CPU——Arm Cortex-M85。瑞薩電子在 embedded world 2022 和 embedded world 2023 上(shang)曾就 Cortex-M85 進行過技術演示。演示中，Plumerai 通過瑞薩電子 RA MCU 技術大大加快了(le)其推理(li)引(yin)擎速度。作為一家開發基(ji)于攝像頭實現人物檢測的(de)完(wan)整軟件(jian)解(jie)決方案的(de)公司，Plumerai 相信，性能的(de)(de)提升將確(que)保該公(gong)司(si)的(de)(de)客戶可充分利(li)用更(geng)龐大、更(geng)準確(que)的(de)(de) Plumerai 人(ren)物(wu)檢測 AI 版本，同時(shi)提(ti)供更多的產品功能并延(yan)長電池續航時(shi)間。2023 年十一月(yue)，Arm 推出了第(di)三(san)款采用 Helium 技術(shu)的 CPU——Cortex-M52，這是一款(kuan)專為人工智能物聯網 (AIoT) 應用而設計的(de)處理(li)器，可為小型低功(gong)耗嵌(qian)入式設備的(de) DSP 和 ML 應用帶來顯著的性(xing)能提(ti)升，無需專用 NPU 即可在(zai)端點中部署更多計(ji)算(suan)密集型ML 推理算法。
隨著硬件的發展，開發者所面(mian)臨的軟件復雜性(xing)也日益增加，因而需要新的開發流程來創建結(jie)合高效設備驅動程序的優化ML 模型。為生態系(xi)統提(ti)供的軟件(jian)開發平臺和工(gong)具(ju)也必須(xu)緊(jin)跟(gen)硬件(jian)而演(yan)進(jin)，這一點至關重要(yao)。
如(ru)今(jin)由 Arm 和第三方提(ti)供的多種工具可用于(yu)支持終(zhong)端(duan)用戶創建 AI 算法。數據科(ke)學(xue)家(jia)在(zai)離(li)線環(huan)境中創(chuang)建好模型后，即(ji)可使用相應的工具來(lai)優化模型，以便在(zai)基于Arm Ethos?-U 的 NPU 上運行模(mo)型(xing)，或在基于 Cortex-M 的(de)處理器上使用(yong) Helium 指(zhi)令。
Qeexo 是第一家為(wei)邊緣設備實(shi)現端到端 ML 自(zi)動(dong)化(hua)的公司，其 AutoML 平臺提(ti)供(gong)了直觀的用戶界面 (UI)，允許(xu)用戶對(dui)傳感器數據進行收集、清理(li)和可視化呈現(xian)，并使用不同的算法來自(zi)動構(gou)建 ML 模型。Keil 微控制器開發套件(jian) (Keil MDK) 等傳統嵌入式工具是對 MLOps 工具的(de)有益補充，并有助于建立用于驗證復雜軟件工作負(fu)載的(de) DevOps 流程。由(you)此，嵌入(ru)式、物(wu)聯(lian)網和(he) AI 應(ying)用程序最(zui)終匯聚于軟(ruan)件(jian)開發者都熟知的單一(yi)開發流程中。
邊緣的(de)潛能正在逐步(bu)被發掘(jue)。當前對提升(sheng)微(wei)控制器性能的(de)需求還在不斷(duan)增長，特別是諸如(ru)聲控門鎖(suo)、人物檢測識(shi)別、帶有(you)預測性維護的(de)聯網電機控制，以及數不勝(sheng)數的(de)其他高端 AI 和 ML 應用等任(ren)務。
我們(men)相信，在正(zheng)確技術(shu)的加持下，開(kai)發(fa)(fa)者可以(yi)重(zhong)新(xin)構(gou)想(xiang)邊緣和端側設備，并在性(xing)能、成本、能效(xiao)與隱私等(deng)這些受限設備中的關鍵(jian)要素之(zhi)間取得(de)適當平衡，讓(rang)未(wei)來的嵌入(ru)式開(kai)發(fa)(fa)實現 AI 計算的(de)應(ying)用。
