在終端和邊緣(yuan)側的(de)微處(chu)理器(qi)上，實(shi)現的(de)機(ji)(ji)器(qi)學習過程，被稱(cheng)為微型機(ji)(ji)器(qi)學習，即(ji)TinyML。更準確的(de)說，TinyML是指工程師們(men)在mW功率范圍以下(xia)的(de)設備上，實(shi)現機(ji)(ji)器(qi)學習的(de)方法、工具(ju)和技(ji)術。這篇文章，我(wo)們(men)來(lai)一起探索TinyML的(de)潛(qian)在價值(zhi)和機(ji)(ji)會。
全文字數：2900字，寫作用時：300分鐘，閱讀時間：10分鐘
物女皇：TinyML，很小卻很大
這是我在(zai)【物女心經】專欄(lan)寫的第(di)268篇文(wen)章。
一(yi)根手(shou)(shou)指(zhi)代(dai)表(biao)“播放??”，兩根手(shou)(shou)指(zhi)代(dai)表(biao)“暫停?”，三(san)根手(shou)(shou)指(zhi)代(dai)表(biao)“停止(zhi)?”…這種遙控“神功”逐步變成(cheng)現實，并且(qie)這項技術正在(zai)賦(fu)能越(yue)來越(yue)多的傳感器。
TinyML，微(wei)型(xing)(xing)機器學習(xi)，我曾(ceng)在(zai)(zai)之前(qian)的(de)文章《一文讀懂即將(jiang)引爆的(de)TinyML：在(zai)(zai)邊緣側(ce)實(shi)現(xian)(xian)超低功耗機器學習(xi)》中做過重點介紹。在(zai)(zai)終端和(he)邊緣側(ce)的(de)微(wei)處理器上，實(shi)現(xian)(xian)的(de)機器學習(xi)過程，被稱為微(wei)型(xing)(xing)機器學習(xi)，即TinyML。更準確(que)的(de)說，TinyML是指工(gong)程師們在(zai)(zai)mW功率范圍以下的(de)設備上，實(shi)現(xian)(xian)機器學習(xi)的(de)方法(fa)、工(gong)具和(he)技術。
在智能時代，我們常說萬物皆智，但是如何賦予數(shu)以(yi)億計、超小(xiao)體積、極低功耗的(de)設(she)備以(yi)智能，這是不得不解決的(de)挑戰。
好在疫情期間，很多傳(chuan)感器(qi)企業并沒有減緩研發的腳步(bu)。索尼、三星和博世等企業都正嘗試在不增(zeng)加部件、提(ti)升(sheng)成本和功耗(hao)的前提(ti)下，為傳(chuan)感器(qi)嵌入更多的智能。TinyML與傳(chuan)感器(qi)的結合，讓這些探索開(kai)花結果。
根據研(yan)究機構(gou)ABI Research的判斷，一(yi)旦開啟億萬量級的微(wei)型設備智(zhi)能化之旅，市場空間將(jiang)是(shi)巨大的。ABI由此預測到2022年(nian)底TinyML即服(fu)務的收入將(jiang)超過2.2億美(mei)元，并從2025年(nian)起，TinyML將(jiang)成為(wei)智(zhi)能時代的重(zhong)要組成部(bu)分之一(yi)。
躺平不可(ke)取，手握如此機遇，怎能(neng)坐失良機？10月20日，參與創造TinyML一詞、創建(jian)TinyML峰會、編寫了TinyML教科(ke)書(shu)的(de)谷歌(ge)TensorFlow Micro團隊(dui)前技術負責人(ren)皮(pi)特（Pete Warden），發(fa)文(wen)認為市場(chang)時機已(yi)經成熟(shu)，宣(xuan)布(bu)二次創業，作為創始人(ren)投身于TinyML賦能(neng)的(de)智能(neng)傳感公司。
這篇文章，我們來一起探(tan)索TinyML的潛在價值(zhi)和(he)機會。
用TinyML做爆款智能硬件
一個(ge)售價為10美元（約合人(ren)(ren)民幣(bi)72.5元）的(de)硬件模(mo)塊，可以(yi)嵌入電視、風扇(shan)、遙控器、無人(ren)(ren)機、攝像頭等設備中，輕松(song)實(shi)現智(zhi)能(neng)功(gong)能(neng)。電視可以(yi)根據(ju)主人(ren)(ren)的(de)手勢實(shi)現遙控、風扇(shan)可以(yi)判斷主人(ren)(ren)的(de)位(wei)置對準送風、攝像頭可以(yi)自動識別房間里的(de)人(ren)(ren)員數(shu)量…這就是皮特的(de)新創公司Useful Sensors正在(zai)做的(de)事情。
此前皮特在谷歌帶領機器學習基(ji)礎架(jia)(jia)構團(tuan)隊(dui)長達(da)7年(nian)，并且(qie)創建(jian)了TensorFlow Lite Micro，一個用于嵌入式系統的機器學習框架(jia)(jia)。
過去幾年他一直在思考，“聯網”能力是否是物聯網設備的(de)必選項？如(ru)果將(jiang)“Internet”從Internet of Things中拿掉(diao)將(jiang)會怎樣？如(ru)何(he)賦予(yu)沒(mei)有接入(ru)網絡的(de)設備以智能？
從2022年開(kai)始，他率隊秘密研發這款名為Person Sensor的(de)(de)智能(neng)模(mo)塊(kuai)，尺寸(cun)為20 x 20毫米(mi)，正(zheng)面(mian)有一個攝像頭，背面(mian)是微控制器。這個只(zhi)有硬幣大小的(de)(de)模(mo)塊(kuai)可以(yi)檢測(ce)附(fu)近的(de)(de)人臉信息，反(fan)饋人數、相對位置，并進行面(mian)部辨(bian)識。
皮特(te)認為有智(zhi)慧的傳(chuan)感(gan)(gan)器才是真正有用的傳(chuan)感(gan)(gan)器，智(zhi)能(neng)分(fen)析(xi)與(yu)傳(chuan)感(gan)(gan)器的距離(li)越近，就(jiu)越能(neng)降低功耗，而且這種功耗的節約是指數量級的，輕松(song)實(shi)現10倍改善。
過去(qu)，我們可能會遇到對著臺(tai)(tai)燈說(shuo)“關上(shang)”，但(dan)臺(tai)(tai)燈毫無(wu)響應(ying)的情況，但(dan)是這(zhe)種日子即將一去(qu)不(bu)復(fu)返了(le)，一些家電(dian)(dian)企業開始著手在電(dian)(dian)燈、音(yin)箱和(he)電(dian)(dian)腦中嵌入這(zhe)種智(zhi)能模組。
TinyML:不用聯網卻“始終在線”的ML
在文章《專為物(wu)聯網(wang)(wang)而(er)生的(de)TinyML，正在開(kai)啟音頻分析的(de)新(xin)藍海》中，我曾經提到TinyML微型機(ji)器學習(xi)是機(ji)器學習(xi)和物(wu)聯網(wang)(wang)設(she)備的(de)交(jiao)集，它是一(yi)門新(xin)興的(de)工程學科，有可能在許多行(xing)業(ye)引發革命。
目前全球有(you)千億(yi)量級的微(wei)控制(zhi)器(qi)在各地(di)運行，而且每(mei)年仍在以數百億(yi)的量級遞增，根據(ju)IC Insights預測(ce)，到2023年微(wei)控制(zhi)器(qi)的年出貨量將超過380億(yi)個，而且這些微(wei)控制(zhi)器(qi)對(dui)應的設備，都有(you)變得越(yue)來越(yue)智能(neng)的需求。
換句話說，未來(lai)分布在煙霧傳感器、心臟起搏(bo)器、車載(zai)終(zhong)端中的(de)2500億個微(wei)控制器，有可(ke)能(neng)可(ke)以(yi)執行以(yi)前只有計(ji)算(suan)機(ji)和(he)智能(neng)手(shou)機(ji)才能(neng)處(chu)理的(de)任(ren)務。因此面對位于網絡邊緣的(de)海量物聯網設(she)備，TinyML的(de)未來(lai)發展具有極大的(de)想(xiang)象空(kong)間。
這些內嵌于物(wu)聯網終端設(she)備中(zhong)的(de)(de)“TinyML即(ji)服務”，“主動”參(can)與(yu)智能決策與(yu)執行(xing)，并且允許(xu)在(zai)終端設(she)備資源非常有限、聯網受限的(de)(de)情況下，仍舊持續(xu)提升終端設(she)備的(de)(de)分(fen)析能力，以(yi)便(bian)其(qi)能更(geng)好的(de)(de)處理實(shi)時物(wu)聯網數據。
由此，TinyML在(zai)物聯網終端(duan)打造的(de)飛輪不斷提速：
更低(di)成本、更佳反饋的(de)TinyML→更多數(shu)據反哺(bu)模型(xing)訓練和調參→更好(hao)的(de)使用(yong)體驗，吸引更多企業參與(yu)其中(zhong)。
TinyML的(de)市場規(gui)模比邊緣ML和云端ML都要(yao)大。除了文初提(ti)到的(de)ABI Research，多家(jia)分析機構均給出(chu)TinyML的(de)樂觀預測。根據(ju)Silent Intelligence的(de)預測，在未來5年(nian)，TinyML將(jiang)觸發超過(guo)700億美元的(de)經(jing)濟(ji)價值，并且(qie)保持(chi)超過(guo)27.3%的(de)復合年(nian)均增長率（CAGR）。
由TinyML改寫的游戲規則
從某種程度上說，TinyML改寫了機器(qi)學習的“游戲規則”。
TinyML和我們常常提(ti)到的機器(qi)學(xue)習(xi)，也就是基于云端的ML，處于兩(liang)個截然不同的世界。
當CPU、內存與(yu)操作系統之(zhi)間的差異達(da)到(dao)一定(ding)程度之(zhi)后，量(liang)變引(yin)發(fa)質變。與(yu)TinyML可(ke)以(yi)調用的資源相比，云端(duan)ML簡直是“富豪(hao)”。為了順利(li)推進，TinyML必須采用與(yu)云端(duan)ML不(bu)同(tong)的思維(wei)模式(shi)。
因禍得福(fu)，云端ML常常被詬病的四大痛點(dian)問題(ti)：功(gong)耗大、延(yan)遲長(chang)、需聯網、少隱私等問題(ti)，在(zai)TinyML這(zhe)里(li)統(tong)統(tong)不存(cun)在(zai)，反而成為使用TinyML的4個主(zhu)要優點(dian)：
保護隱私：由于聯網(wang)并不(bu)是TinyML工作的前(qian)提(ti)條件(jian)，數據(ju)可以被保存(cun)在(zai)沒有連接網(wang)絡的設備中，因此數據(ju)被泄(xie)露(lu)的風險(xian)非常低。這(zhe)剛好滿足(zu)了(le)大(da)量用戶的需求，很(hen)多(duo)最終(zhong)用戶非常在(zai)意數據(ju)隱私，在(zai)數據(ju)開放與共(gong)享方面(mian)保持謹慎態度。他們不(bu)愿意將自己的數據(ju)交由第三(san)方云平(ping)臺和邊緣服務(wu)提(ti)供(gong)商，進行存(cun)儲和管理。面(mian)對這(zhe)項需求，TinyML很(hen)好的保護了(le)數據(ju)隱私。
超低功耗：分布最廣的(de)物聯網設備(bei)往往體積(ji)很(hen)小、電量有(you)限(xian)。它們被作(zuo)為終端硬件，通過(guo)嵌入式傳(chuan)感器采集各種數據(ju)(ju)；計算(suan)能(neng)力有(you)限(xian)，對功(gong)(gong)耗(hao)極為敏(min)感。許(xu)多物聯網設備(bei)都是電池供(gong)電，對于功(gong)(gong)耗(hao)的(de)要求很(hen)高(gao)。通過(guo)極低功(gong)(gong)耗(hao)TinyML的(de)數據(ju)(ju)分析，減少(shao)網絡傳(chuan)輸的(de)數據(ju)(ju)量，可(ke)以在(zai)一定程度上，節約物聯網終端中的(de)電量消耗(hao)。
無需連接：設備(bei)不需要Internet連(lian)接即可讓TinyML模型工作。在(zai)偏遠地區、海上平(ping)臺(tai)、空間(jian)(jian)站、極(ji)端環境的(de)(de)應用中，網(wang)(wang)絡通信有(you)(you)可能無法保證始終覆蓋，另外還有(you)(you)很多物聯(lian)網(wang)(wang)設備(bei)通過窄(zhai)帶物聯(lian)網(wang)(wang)NB-IoT或者其他低功耗廣域物聯(lian)網(wang)(wang)通信協議(yi)與網(wang)(wang)絡通信，帶寬和(he)數(shu)據傳輸(shu)能力極(ji)為有(you)(you)限(xian)，這些設備(bei)有(you)(you)強烈的(de)(de)在(zai)本地處理數(shu)據的(de)(de)需求，以減(jian)少數(shu)據的(de)(de)傳輸(shu)，降(jiang)低網(wang)(wang)絡帶寬和(he)傳輸(shu)功耗的(de)(de)壓(ya)力，避免在(zai)終端和(he)邊(bian)緣(yuan)設備(bei)之間(jian)(jian)形(xing)成帶寬瓶頸，影響整套物聯(lian)網(wang)(wang)解(jie)決(jue)方案(an)的(de)(de)性能。
極低延遲：TinyML可以(yi)以(yi)極低(di)延遲處(chu)(chu)理數據。TinyML通過將某些機器(qi)學習任務(wu)轉移到(dao)設備本身，來進(jin)一步減少網絡(luo)延遲的可能(neng)性。TinyML允許在不連接任何服務(wu)器(qi)的情況(kuang)下進(jin)行分析(xi)，物聯網設備可以(yi)實(shi)時處(chu)(chu)理數據并及(ji)時輸出。
很多公(gong)司開始嘗(chang)試(shi)將TinyML應用(yong)(yong)于(yu)各種場(chang)景(jing)，最普遍的應用(yong)(yong)是(shi)設備上的喚醒詞(ci)檢測、人(ren)數統計(ji)和人(ren)員檢測。還有一些(xie)公(gong)司嘗(chang)試(shi)將TinyML用(yong)(yong)于(yu)機(ji)器聽覺。
和視覺信息一樣，聲音無處不在。語音啟動的設備，在智能家居的(de)應用中非(fei)常常見，最典型的(de)比如(ru)智(zhi)能音(yin)(yin)箱。還有很多聲(sheng)音(yin)(yin)，比如(ru)機床震(zhen)動的(de)聲(sheng)音(yin)(yin)、車(che)輛拋錨的(de)聲(sheng)音(yin)(yin)、報警(jing)器鳴響的(de)聲(sheng)音(yin)(yin)…這些聲(sheng)音(yin)(yin)不同于語(yu)音(yin)(yin)，沒有語(yu)言(yan)模型。
過去我們(men)極(ji)大的(de)(de)(de)發展了(le)機(ji)(ji)器視(shi)覺(jue)，現(xian)在(zai)我們(men)正(zheng)(zheng)在(zai)賦予機(ji)(ji)器聽覺(jue)。隨(sui)著越(yue)來越(yue)多的(de)(de)(de)物(wu)聯網企業正(zheng)(zheng)在(zai)將分析的(de)(de)(de)重點(dian)從視(shi)頻(pin)轉移到音頻(pin)，TinyML正(zheng)(zheng)在(zai)開啟一片新的(de)(de)(de)藍海。
寫在最后
TinyML賦予千億終端(duan)設備以智能，是(shi)我(wo)們(men)值得關注(zhu)的確(que)定性(xing)機(ji)會之一，但它并不(bu)是(shi)全部(bu)，還(huan)有很(hen)多商機(ji)有待(dai)我(wo)們(men)一起挖掘(jue)。
