在3月22到26日(ri)，TinyML基(ji)金會舉辦了2021 TinyML峰會，這是(shi)有史以來的(de)第三屆(jie)。
雖然(ran)本屆(jie)峰(feng)會在云(yun)端舉(ju)辦，但同樣(yang)聲勢浩大，而且無(wu)論是影(ying)響力還(huan)是參會者(zhe)都(dou)可謂上(shang)了(le)一個新臺階。諸多國際一線企(qi)業、業內(nei)獨角獸初創公司和知名院校云(yun)集線上(shang)。
其中(zhong)的代表性公司(si)包括：ARM、高通、臉書、微軟(ruan)、三星、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林斯頓大(da)學(xue)(xue)、密歇根(gen)大(da)學(xue)(xue)、埃里克斯霍爾姆(mu)大(da)學(xue)(xue)、麻(ma)省(sheng)理工學(xue)(xue)院、斯坦福大(da)學(xue)(xue)等。
在此前(qian)的(de)文章中，我曾(ceng)介紹過微型機(ji)器(qi)學習TinyML，也(ye)就是(shi)在終端和邊(bian)緣(yuan)側的(de)微處理器(qi)上實現(xian)的(de)機(ji)器(qi)學習過程(cheng)。更準確(que)地說，TinyML是(shi)指工程(cheng)師(shi)們(men)在mW功率范圍以下的(de)設備上，實現(xian)機(ji)器(qi)學習的(de)方法、工具和技術。
TinyML微型機器學習是機器學習和物聯網設備的交集，它是一門新興的工程學科，有可能在許多行業引發革命。
在這次(ci)峰會上，大(da)家分享了TinyML的最新進展以及各種應用實例，值得(de)關注的趨勢包括(kuo)：
用戶對(dui)于隱私的關注推動了TinyML的發展(zhan)
TinyML有可能將開啟音(yin)頻識別的(de)新(xin)藍海(hai)
最新發布的TinyML產(chan)品(pin)和工具(ju)
保(bao)護隱私成為TinyML發(fa)展的推動力
消費者對于隱私(si)(si)問(wen)題的(de)擔憂，成為(wei)TinyML發展的(de)推動(dong)力，很多公(gong)司為(wei)了(le)響應消費者需求，正在開發功耗(hao)更低、響應速度(du)更快、隱私(si)(si)保護更佳的(de)設備。
人工智能與設備的結合，經歷了三個發展階段：
第1階(jie)段--云端能
在人工(gong)智能(neng)發展的初(chu)期(qi)，機器學習(xi)模型是在云端訓練(lian)和托管的。運(yun)行AI所需的強大計算能(neng)力使云成為理想(xiang)的選擇。
開發(fa)人員和數據科學家利用(yong)高(gao)端(duan)CPU和GPU訓練(lian)模型，然后托管它們以進行推(tui)理(li)。每個消耗(hao)AI的應用(yong)程(cheng)序都與(yu)云對(dui)話。該應用(yong)程(cheng)序將與(yu)微控(kong)制器通信以管理(li)傳感器和執行器。
第二階段--邊緣智能
隨著物聯網(wang)的(de)(de)(de)發(fa)展，越來越多的(de)(de)(de)遍(bian)布于工(gong)業自動化、智(zhi)能(neng)醫療(liao)、智(zhi)能(neng)聯網(wang)汽車中(zhong)的(de)(de)(de)場景，都要求(qiu)人工(gong)智(zhi)能(neng)模型能(neng)在本地運(yun)行。邊(bian)緣側成(cheng)為在本地托管人工(gong)智(zhi)能(neng)模型的(de)(de)(de)理想選擇。邊(bian)緣智(zhi)能(neng)可以有效避免云中(zhong)運(yun)行相(xiang)同AI所(suo)帶來的(de)(de)(de)延遲。
但是(shi)鑒于(yu)邊(bian)緣(yuan)資(zi)源有(you)限，AI模(mo)型的(de)訓練(lian)仍然需要云(yun)。這種方法提供了兩全其(qi)美的(de)優勢，既有(you)用(yong)(yong)于(yu)訓練(lian)的(de)云(yun)端強大計算環(huan)境(jing)(jing)，又能兼顧用(yong)(yong)于(yu)推理的(de)低延遲邊(bian)緣(yuan)托(tuo)管環(huan)境(jing)(jing)。但是(shi)由于(yu)與云(yun)端進行協作，邊(bian)緣(yuan)智能仍舊無法解(jie)決消(xiao)費者(zhe)對(dui)于(yu)隱私性的(de)擔憂。
階(jie)段3--微型(xing)人工智能
分(fen)布最(zui)廣的物聯網(wang)設備往(wang)往(wang)體積(ji)很小、電(dian)量有限。它們被作(zuo)為(wei)(wei)終端(duan)硬(ying)件，通過嵌入式(shi)傳感器采集各種數據；計算能力(li)有限，對(dui)功(gong)耗極為(wei)(wei)敏(min)感。某些情況下，將這類設備連接到邊緣側以便(bian)實(shi)現(xian)智能，在成本上并(bing)不劃算。
直接在(zai)微(wei)處理器中(zhong)嵌入(ru)人工(gong)智能，成為消費和(he)工(gong)業物(wu)聯(lian)網場(chang)景(jing)的(de)(de)關鍵。這種(zhong)方(fang)(fang)法(fa)并(bing)不(bu)依賴于(yu)外部程序，也不(bu)依賴邊緣和(he)云(yun)端。這種(zhong)方(fang)(fang)案能夠提(ti)供(gong)最佳的(de)(de)實時響應，同(tong)時對隱私提(ti)供(gong)極大保護。
TinyML峰會上提供的微型機器學習的例子包括，智能家居場景中，帶有傳感器洗衣機和冰箱可以在電機損壞之前主動發送信號。洗衣機可以根據衣服的重量，精準地調節水位。
具備(bei)(bei)TinyML的可(ke)穿戴設備(bei)(bei)，可(ke)以(yi)脫離云(yun)端持續監測用戶的睡眠(mian)水平、心(xin)率體征(zheng)等健康數據。TinyML胰島素泵可(ke)以(yi)在不(bu)必時刻(ke)(ke)保持網絡連接(jie)的情況下，根據血糖水平自(zi)動釋放胰島素。這些(xie)不(bu)必時刻(ke)(ke)聯網的設備(bei)(bei)，讓數據處于私(si)有狀(zhuang)態(tai)，更加安(an)全并保護隱私(si)。
TinyML開啟音頻(pin)分析(xi)的新藍(lan)海(hai)
過(guo)去(qu)我們(men)(men)極大(da)的發展了機(ji)(ji)器視覺，現在我們(men)(men)正(zheng)在賦(fu)予機(ji)(ji)器聽覺。
和視覺信息一樣，聲音無處不在。語音啟動的(de)設(she)備，在智能(neng)家居的(de)應(ying)用中非常常見，最典型的(de)比如智能(neng)音箱。
還有很多聲音(yin)，比如機床震動的聲音(yin)、車輛拋錨的聲音(yin)、報(bao)警(jing)器鳴響的聲音(yin)…這些聲音(yin)不同(tong)于語(yu)音(yin)，沒(mei)有語(yu)言(yan)模型。
目(mu)前越來(lai)越多(duo)(duo)的(de)物聯網企(qi)業正在將分析的(de)重點從(cong)視頻轉移到音(yin)頻。比如在家居場景中(zhong)，亞馬(ma)遜(xun)推出了Guard這項(xiang)在智能(neng)音(yin)箱(xiang)中(zhong)的(de)功(gong)能(neng)，用來(lai)識別窗戶破碎的(de)聲(sheng)音(yin)并報警。在工業場景中(zhong)，預測(ce)(ce)性維護已經取得(de)了長(chang)足的(de)發展，很多(duo)(duo)企(qi)業監測(ce)(ce)設備的(de)振動和(he)聲(sheng)音(yin)，用來(lai)主(zhu)動發現故障，為客戶節(jie)省數百萬(wan)元的(de)維護成本(ben)。
在TinyML峰會中(zhong)，一(yi)家名為(wei)(wei)Audio Analytic的(de)公司分享了關于音(yin)頻(pin)分析(xi)的(de)最新進(jin)展，并(bing)且認為(wei)(wei)TinyML即將開啟音(yin)頻(pin)分析(xi)的(de)新藍(lan)海。
他們(men)已經建立了包含700種不同(tong)聲音的配置文件，可以(yi)檢測到(dao)從火(huo)車進(jin)站(zhan)到(dao)嬰兒啼哭，常(chang)見的和不常(chang)見的各種聲音。
借助TinyML，Audio Analytic公司展(zhan)示了基于ARM Cortex-M0+處理器(qi)檢(jian)測聲(sheng)(sheng)音(yin)的(de)(de)方案(an)。應(ying)用場景包括(kuo)墻(qiang)壁上(shang)安裝的(de)(de)小型傳感器(qi)，可以檢(jian)測玻璃破碎的(de)(de)聲(sheng)(sheng)音(yin)；降噪耳(er)機通過識別(bie)疾馳(chi)而(er)來的(de)(de)汽車的(de)(de)聲(sheng)(sheng)音(yin)，主(zhu)動關閉降噪功能，以便讓(rang)佩戴者及時作出反應(ying)。
根據峰(feng)會中(zhong)的(de)分析，聲音(yin)檢測可能在4個場景取得大發(fa)展(zhan)：
第一個是安全場景：比如根據玻璃破碎或者煙霧報警器的聲音，通知更多人員。
第二個是個人健康：比如檢測嬰兒的哭聲、打鼾的聲音，并且及時提醒。根據烹飪時發出的聲音，自動調節房間的空氣質量。
第三個是家庭娛樂：比如根據外部環境和回聲，根據房間大小，自動調整娛樂系統的音效。
第四個是工業應用：比如根據風力發電機振動的聲音，檢測葉片的裂紋并給予預警。
TinyML產品(pin)與工具陸(lu)續(xu)發布
Nordic Semiconductor在其nRF52和nRF53系列低功耗藍牙芯片中引入了TinyML，并且提供相應的開發套件，成為業界首個支持人工智能技術的藍牙產品。
Nordic將這些支持TinyML技術的藍牙(ya)SoC應用于瀕臨滅絕的動物保護，野(ye)生(sheng)大象佩戴了Nordic提供的藍牙(ya)追蹤項圈，幫(bang)助護林員防止非法狩獵盜(dao)取(qu)象牙(ya)的事件發生(sheng)，取(qu)得了很好的效(xiao)果。
SensiML聯手Silicon Labs，為開發(fa)者快速研(yan)發(fa)支持TinyML的(de)智能傳感應用程(cheng)序(xu)提供便利。
使用Silicon Labs提供(gong)的Thunderboard Sense 2物聯網開發入(ru)門(men)套件，配合使用SensiML提供(gong)的Analytics Toolkit AI/ ML開發軟件，開發者能夠快(kuai)速創(chuang)建(jian)運行于(yu)物聯網終端設備的智能方(fang)案(an)。
這些方案將特別適用(yong)于低(di)功耗和(he)能源敏感(gan)型應用(yong)，包括能源、水表(biao)和(he)燃氣表(biao)、樓(lou)宇自動化、警報及安防(fang)，和(he)便(bian)攜式(shi)醫療/健身器材。
在(zai)峰會上，Raspberry Pi聯合創始人Eben Upton公布了“Pi Silicon”的(de)未來(lai)路線，其內部專(zhuan)用(yong)集成電路ASIC團隊正在(zai)進行下一次(ci)迭代，并且正專(zhuan)注于研發(fa)針對超低功耗(hao)機器(qi)(qi)學習TinyML應用(yong)程序的(de)輕量級加(jia)速器(qi)(qi)。
同(tong)期(qi)，Eben Upton發布了(le)三款“Pi Silicon”樹莓派(pai)板，分別為(wei)SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和(he)ArduCam Pico4ML。三款產品會將機器(qi)學習、攝像頭、麥克(ke)風和(he)屏幕集成(cheng)到Pico軟件包中。
尤(you)其是售價(jia)僅為4美(mei)元的Pico4ML，提(ti)(ti)供對于TinyML的支(zhi)持。比(bi)如在上(shang)圖展示的樣例中，Pico4ML可以同(tong)時檢測到兩張人(ren)臉，一(yi)(yi)個真人(ren)以及一(yi)(yi)個超級馬里奧，Pico4ML以百分比(bi)值做出判斷，在提(ti)(ti)供實(shi)時圖像(xiang)的同(tong)時，顯示圖像(xiang)是真人(ren)的概率。
寫在最后
劃個(ge)重(zhong)點。
第一，TinyML將為數(shu)以億計的物(wu)聯網終端設備帶(dai)來(lai)“生(sheng)命”，它將引(yin)發的變革不容小覷。
第二，消費者對(dui)于隱私問題的擔(dan)憂，成為TinyML發展的推動力，很多公司(si)為了響應消費者需求，正在開發功耗更(geng)低(di)、響應速度更(geng)快(kuai)、隱私保護更(geng)佳的設(she)備。
第三(san)，目前越來越多的物聯網(wang)企業正在將(jiang)分析的重(zhong)點從視頻轉移(yi)到音頻，TinyML可能(neng)即將(jiang)開啟(qi)音頻分析的新藍海。
