在3月22到26日，TinyML基金會舉辦了2021 TinyML峰會，這(zhe)是有史(shi)以來的第三屆。
雖然本(ben)屆峰(feng)會在云端舉辦(ban)，但同樣聲勢浩大，而(er)且(qie)無(wu)論是(shi)影響力還(huan)是(shi)參會者都可謂(wei)上(shang)(shang)了(le)一個新臺階(jie)。諸多國(guo)際一線企業(ye)(ye)、業(ye)(ye)內獨角獸初創公(gong)司(si)和知名院校云集(ji)線上(shang)(shang)。
其(qi)中的代表(biao)性(xing)公司包括：ARM、高通、臉書、微軟、三星(xing)、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林(lin)斯(si)(si)頓大(da)(da)學(xue)、密歇根大(da)(da)學(xue)、埃里克斯(si)(si)霍爾(er)姆大(da)(da)學(xue)、麻省理工學(xue)院、斯(si)(si)坦(tan)福大(da)(da)學(xue)等。
在(zai)此(ci)前的文章中，我曾介紹(shao)過(guo)微型機(ji)器學習(xi)TinyML，也就是(shi)在(zai)終(zhong)端(duan)和邊(bian)緣側的微處(chu)理器上實現的機(ji)器學習(xi)過(guo)程。更準確地說(shuo)，TinyML是(shi)指(zhi)工程師們(men)在(zai)mW功率范圍以下的設備(bei)上，實現機(ji)器學習(xi)的方法(fa)、工具和技術。
TinyML微型機器學習是機器學習和物聯網設備的交集，它是一門新興的工程學科，有可能在許多行業引發革命。
在這次峰會上，大(da)家分享了TinyML的(de)(de)最新進展(zhan)以(yi)及各種應用實(shi)例，值得關注的(de)(de)趨(qu)勢包括：
用(yong)戶對于隱私的關(guan)注推動了(le)TinyML的發展
TinyML有可(ke)能將開(kai)啟(qi)音頻識別的新藍海
最新(xin)發布的TinyML產品和工具
保護隱私成(cheng)為TinyML發展的推動力
消(xiao)費者對(dui)于(yu)隱(yin)私(si)問(wen)題的(de)擔憂，成為TinyML發展的(de)推動(dong)力，很多(duo)公司為了響(xiang)應消(xiao)費者需求，正在開(kai)發功耗(hao)更(geng)低、響(xiang)應速度更(geng)快、隱(yin)私(si)保護更(geng)佳的(de)設備。
人工智能與設備的結合，經歷了三個發展階段：
第(di)1階段--云端(duan)能
在人工智能(neng)發展的(de)初期(qi)，機器學習(xi)模型是(shi)在云(yun)端訓(xun)練(lian)和托管的(de)。運行(xing)AI所需的(de)強大(da)計算(suan)能(neng)力(li)使云(yun)成為理(li)想的(de)選擇。
開(kai)發人(ren)員(yuan)和(he)數據科(ke)學家利用(yong)高端(duan)CPU和(he)GPU訓練(lian)模(mo)型(xing)，然后托(tuo)管(guan)(guan)它(ta)們以(yi)進行推理。每個消耗AI的應(ying)(ying)用(yong)程(cheng)序都與云對(dui)話。該應(ying)(ying)用(yong)程(cheng)序將與微控制器通(tong)信以(yi)管(guan)(guan)理傳感器和(he)執(zhi)行器。
第二階段--邊緣智能
隨(sui)著物聯網的(de)發(fa)展，越來越多的(de)遍布于工(gong)業自(zi)動化、智(zhi)能(neng)(neng)醫療、智(zhi)能(neng)(neng)聯網汽車中的(de)場景，都要求人(ren)(ren)工(gong)智(zhi)能(neng)(neng)模型能(neng)(neng)在本(ben)地運(yun)行(xing)。邊緣(yuan)(yuan)側成(cheng)為在本(ben)地托管(guan)人(ren)(ren)工(gong)智(zhi)能(neng)(neng)模型的(de)理(li)想選擇。邊緣(yuan)(yuan)智(zhi)能(neng)(neng)可以有效避免(mian)云中運(yun)行(xing)相同AI所帶(dai)來的(de)延遲(chi)。
但是鑒于(yu)邊(bian)緣資源(yuan)有限，AI模型的(de)(de)訓練(lian)仍然需(xu)要云(yun)。這種方法提供了兩全(quan)其美的(de)(de)優(you)勢，既有用(yong)于(yu)訓練(lian)的(de)(de)云(yun)端強大計算(suan)環境，又(you)能(neng)兼顧用(yong)于(yu)推理的(de)(de)低延遲邊(bian)緣托管環境。但是由于(yu)與(yu)云(yun)端進行協作，邊(bian)緣智(zhi)能(neng)仍舊無法解決消(xiao)費者對(dui)于(yu)隱私性的(de)(de)擔憂(you)。
階(jie)段3--微型人(ren)工智能
分布最廣的物聯網設(she)備(bei)(bei)往往體積(ji)很(hen)小(xiao)、電量有限(xian)。它(ta)們被(bei)作為(wei)終端硬件，通過嵌(qian)入式(shi)傳感器采集各種(zhong)數據；計算能(neng)力有限(xian)，對功耗(hao)極為(wei)敏感。某些情(qing)況下，將這(zhe)類設(she)備(bei)(bei)連接到邊緣側以便實現(xian)智(zhi)能(neng)，在成本上并(bing)不劃(hua)算。
直接在微處理(li)器中(zhong)嵌入人工智能，成(cheng)為消費和工業物聯網場景的(de)關鍵(jian)。這種(zhong)方法并不依(yi)賴于外部程序，也不依(yi)賴邊緣和云端。這種(zhong)方案(an)能夠提(ti)供最(zui)佳的(de)實(shi)時響應(ying)，同時對隱私提(ti)供極(ji)大保護。
TinyML峰會上提供的微型機器學習的例子包括，智能家居場景中，帶有傳感器洗衣機和冰箱可以在電機損壞之前主動發送信號。洗衣機可以根據衣服的重量，精準地調節水位。
具備(bei)(bei)TinyML的(de)(de)(de)可穿戴設備(bei)(bei)，可以(yi)脫離云端持續監測(ce)用戶的(de)(de)(de)睡眠水(shui)平、心率體征(zheng)等健康數(shu)(shu)據。TinyML胰(yi)島(dao)素泵可以(yi)在不必時刻(ke)保持網絡連接的(de)(de)(de)情況下，根據血糖水(shui)平自(zi)動(dong)釋(shi)放(fang)胰(yi)島(dao)素。這些不必時刻(ke)聯(lian)網的(de)(de)(de)設備(bei)(bei)，讓數(shu)(shu)據處于私有(you)狀態，更加安全并保護隱私。
TinyML開啟音(yin)頻分析的新藍海
過去我們極大的發展了(le)機器(qi)視覺，現(xian)在我們正在賦予(yu)機器(qi)聽覺。
和視覺信(xin)息(xi)一樣(yang)，聲音(yin)無處不在(zai)。語音(yin)啟動的設備，在(zai)智能家(jia)居(ju)的應用中非常常見(jian)，最典型(xing)的比如(ru)智能音(yin)箱。
還有很多聲音(yin)，比(bi)如機床震動的(de)聲音(yin)、車(che)輛(liang)拋錨的(de)聲音(yin)、報警器鳴響的(de)聲音(yin)…這些聲音(yin)不同于語(yu)音(yin)，沒(mei)有語(yu)言模型。
目(mu)前(qian)越來(lai)越多(duo)的(de)物聯網企業(ye)正(zheng)在將(jiang)分析的(de)重點從視頻轉移到音(yin)頻。比如在家居場景中，亞馬遜(xun)推出(chu)了Guard這項(xiang)在智能音(yin)箱中的(de)功能，用來(lai)識別窗(chuang)戶破(po)碎的(de)聲(sheng)音(yin)并(bing)報(bao)警(jing)。在工(gong)業(ye)場景中，預測性維護(hu)已(yi)經取得了長足的(de)發(fa)(fa)展，很多(duo)企業(ye)監測設備(bei)的(de)振(zhen)動(dong)和聲(sheng)音(yin)，用來(lai)主動(dong)發(fa)(fa)現故障，為客(ke)戶節省數百萬元的(de)維護(hu)成本。
在(zai)TinyML峰會中，一家名為Audio Analytic的公司分享了(le)關于音頻分析的最新進(jin)展(zhan)，并且(qie)認為TinyML即將開(kai)啟音頻分析的新藍海。
他們已經(jing)建(jian)立了(le)包含700種不同聲音(yin)(yin)的(de)配置文件，可以(yi)檢(jian)測到(dao)從火車進站到(dao)嬰兒啼哭，常(chang)見(jian)的(de)和不常(chang)見(jian)的(de)各種聲音(yin)(yin)。
借助TinyML，Audio Analytic公(gong)司展示(shi)了基于ARM Cortex-M0+處理(li)器(qi)檢測聲(sheng)音(yin)的(de)(de)(de)方案。應用場(chang)景包括墻(qiang)壁上安裝的(de)(de)(de)小(xiao)型傳感器(qi)，可以檢測玻璃破碎(sui)的(de)(de)(de)聲(sheng)音(yin)；降(jiang)噪(zao)耳(er)機通過識別(bie)疾(ji)馳(chi)而(er)來的(de)(de)(de)汽車的(de)(de)(de)聲(sheng)音(yin)，主動關閉降(jiang)噪(zao)功能，以便(bian)讓佩戴者及時作出反應。
根據峰(feng)會中的分析，聲(sheng)音(yin)檢測(ce)可能(neng)在4個(ge)場景取得大發(fa)展：
第一個是安全場景：比如根據玻璃破碎或者煙霧報警器的聲音，通知更多人員。
第二個是個人健康：比如檢測嬰兒的哭聲、打鼾的聲音，并且及時提醒。根據烹飪時發出的聲音，自動調節房間的空氣質量。
第三個是家庭娛樂：比如根據外部環境和回聲，根據房間大小，自動調整娛樂系統的音效。
第四個是工業應用：比如根據風力發電機振動的聲音，檢測葉片的裂紋并給予預警。
TinyML產品與工具陸續發布
Nordic Semiconductor在其nRF52和nRF53系列低功耗藍牙芯片中引入了TinyML，并且提供相應的開發套件，成為業界首個支持人工智能技術的藍牙產品。
Nordic將這(zhe)些支持TinyML技術的(de)藍(lan)牙(ya)(ya)SoC應用于瀕臨滅絕的(de)動物保護，野(ye)生(sheng)大象(xiang)佩戴了(le)Nordic提(ti)供的(de)藍(lan)牙(ya)(ya)追蹤項圈(quan)，幫助護林員防止非法(fa)狩獵盜取象(xiang)牙(ya)(ya)的(de)事(shi)件發生(sheng)，取得(de)了(le)很好(hao)的(de)效果(guo)。
SensiML聯手Silicon Labs，為開(kai)發(fa)者快速研發(fa)支持TinyML的智能(neng)傳感應(ying)用程序提(ti)供(gong)便利。
使用(yong)Silicon Labs提供的(de)Thunderboard Sense 2物(wu)聯(lian)網開發入門套件，配(pei)合(he)使用(yong)SensiML提供的(de)Analytics Toolkit AI/ ML開發軟件，開發者能夠快速創(chuang)建(jian)運行(xing)于(yu)物(wu)聯(lian)網終端設(she)備的(de)智能方案。
這些方(fang)案將特(te)別適用(yong)于低功(gong)耗和(he)(he)能(neng)(neng)源敏感型應(ying)用(yong)，包括(kuo)能(neng)(neng)源、水表(biao)和(he)(he)燃氣表(biao)、樓(lou)宇自動(dong)化、警報及(ji)安防，和(he)(he)便(bian)攜(xie)式醫(yi)療/健身器材(cai)。
在峰會上，Raspberry Pi聯合創始人Eben Upton公布了“Pi Silicon”的未來路(lu)線，其內部專用集成(cheng)電路(lu)ASIC團隊正在進行下一次迭代，并且正專注于研發(fa)針對超(chao)低功耗(hao)機(ji)器(qi)學習TinyML應用程序的輕量級加速器(qi)。
同(tong)期(qi)，Eben Upton發布了(le)三款“Pi Silicon”樹莓派板，分別為SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和ArduCam Pico4ML。三款產(chan)品會將機器學習、攝像頭、麥克風和屏幕集(ji)成到(dao)Pico軟件(jian)包中。
尤其(qi)是售價僅為4美元的(de)Pico4ML，提(ti)供對(dui)于TinyML的(de)支持。比如在上圖展示的(de)樣(yang)例(li)中，Pico4ML可(ke)以同(tong)(tong)時(shi)檢(jian)測到兩張人臉，一個(ge)真人以及一個(ge)超(chao)級馬(ma)里奧，Pico4ML以百分比值做出判斷，在提(ti)供實時(shi)圖像(xiang)的(de)同(tong)(tong)時(shi)，顯示圖像(xiang)是真人的(de)概率。
寫在最后
劃(hua)個重(zhong)點。
第一，TinyML將為數以(yi)億計的物聯網(wang)終端設備帶來“生命(ming)”，它將引發(fa)的變(bian)革不容小覷(qu)。
第二，消(xiao)費(fei)者(zhe)對于隱(yin)私問(wen)題(ti)的(de)(de)擔憂(you)，成為(wei)(wei)TinyML發展的(de)(de)推動力，很多公司(si)為(wei)(wei)了響應消(xiao)費(fei)者(zhe)需求，正在開發功耗更(geng)低、響應速度更(geng)快、隱(yin)私保護更(geng)佳的(de)(de)設備。
第三，目前越(yue)來越(yue)多的物聯(lian)網(wang)企業正(zheng)在將(jiang)分析(xi)的重(zhong)點從視頻轉移(yi)到音頻，TinyML可能即將(jiang)開啟音頻分析(xi)的新藍海。
