在(zai)終端和(he)邊(bian)緣(yuan)側的(de)(de)微處(chu)理器上(shang)，實現(xian)的(de)(de)機器學習(xi)(xi)過程(cheng)(cheng)，被稱為微型(xing)機器學習(xi)(xi)，即TinyML。更準確的(de)(de)說，TinyML是指工程(cheng)(cheng)師(shi)們在(zai)mW功率范圍以下的(de)(de)設備上(shang)，實現(xian)機器學習(xi)(xi)的(de)(de)方法、工具和(he)技術。這(zhe)篇(pian)文章，我們來一起探索TinyML的(de)(de)潛在(zai)價值和(he)機會(hui)。
全文字數：2900字，寫作用時：300分鐘，閱讀時間：10分鐘
物女皇：TinyML，很小卻很大
這(zhe)是我在(zai)【物女(nv)心經(jing)】專欄寫的第268篇文章。
一根(gen)手(shou)指(zhi)代表“播放??”，兩(liang)根(gen)手(shou)指(zhi)代表“暫(zan)停(ting)?”，三根(gen)手(shou)指(zhi)代表“停(ting)止(zhi)?”…這(zhe)種(zhong)遙控“神(shen)功”逐(zhu)步變成現實，并(bing)且這(zhe)項技術正在賦能越來越多(duo)的傳感器。
TinyML，微型(xing)機器學習(xi)(xi)(xi)，我(wo)曾在(zai)之(zhi)前的(de)文章《一文讀懂即(ji)將引爆的(de)TinyML：在(zai)邊(bian)緣側實(shi)現(xian)(xian)超低功(gong)耗機器學習(xi)(xi)(xi)》中做過(guo)重點介紹。在(zai)終端和邊(bian)緣側的(de)微處(chu)理器上，實(shi)現(xian)(xian)的(de)機器學習(xi)(xi)(xi)過(guo)程，被稱為微型(xing)機器學習(xi)(xi)(xi)，即(ji)TinyML。更準確的(de)說(shuo)，TinyML是指工(gong)程師(shi)們在(zai)mW功(gong)率(lv)范圍以下的(de)設備上，實(shi)現(xian)(xian)機器學習(xi)(xi)(xi)的(de)方法(fa)、工(gong)具和技(ji)術。
在(zai)智(zhi)能(neng)時代，我們常(chang)說萬物皆(jie)智(zhi)，但是如何賦(fu)予數以億計、超小體積、極低(di)功耗(hao)的設備以智(zhi)能(neng)，這是不得不解決(jue)的挑戰。
好在(zai)疫情期間，很多(duo)傳感(gan)(gan)器企(qi)業(ye)并沒有減緩研發的(de)(de)腳步(bu)。索尼、三星和(he)博世等(deng)企(qi)業(ye)都(dou)正嘗(chang)試(shi)在(zai)不(bu)增加部(bu)件、提(ti)(ti)升成本和(he)功耗的(de)(de)前提(ti)(ti)下，為傳感(gan)(gan)器嵌(qian)入更多(duo)的(de)(de)智(zhi)能。TinyML與傳感(gan)(gan)器的(de)(de)結合，讓(rang)這些探索開花結果。
根據(ju)研究機(ji)構ABI Research的(de)判斷，一旦開啟億萬(wan)量級的(de)微型(xing)設備智能化之(zhi)旅，市場空間將是巨大的(de)。ABI由(you)此(ci)預測(ce)到2022年底TinyML即服(fu)務的(de)收入將超過2.2億美元，并從2025年起，TinyML將成(cheng)為智能時代(dai)的(de)重要組成(cheng)部分之(zhi)一。
躺(tang)平不可取，手握如此(ci)機(ji)遇，怎(zen)能(neng)坐(zuo)失良機(ji)？10月20日，參與創(chuang)(chuang)(chuang)造(zao)TinyML一詞(ci)、創(chuang)(chuang)(chuang)建TinyML峰會、編寫了(le)TinyML教(jiao)科書的(de)谷歌TensorFlow Micro團隊(dui)前技術(shu)負責人皮特（Pete Warden），發(fa)文(wen)認(ren)為市場時機(ji)已經成熟，宣布二次(ci)創(chuang)(chuang)(chuang)業，作為創(chuang)(chuang)(chuang)始人投身于TinyML賦能(neng)的(de)智能(neng)傳感公司。
這篇(pian)文(wen)章，我們來一起探索(suo)TinyML的潛(qian)在價值和機會。
用TinyML做爆款智能硬件
一個售價為10美元(yuan)（約合人民幣(bi)72.5元(yuan)）的(de)硬(ying)件模(mo)塊，可(ke)(ke)以(yi)嵌入(ru)電視、風(feng)(feng)扇(shan)、遙控(kong)器(qi)、無人機、攝像(xiang)頭(tou)等設備(bei)中，輕(qing)松(song)實現智(zhi)能功能。電視可(ke)(ke)以(yi)根據主人的(de)手勢實現遙控(kong)、風(feng)(feng)扇(shan)可(ke)(ke)以(yi)判斷主人的(de)位置對準送風(feng)(feng)、攝像(xiang)頭(tou)可(ke)(ke)以(yi)自動識別房(fang)間里的(de)人員數量…這就是皮特(te)的(de)新創公司Useful Sensors正在做的(de)事(shi)情。
此前皮特在(zai)谷歌帶領機(ji)器學(xue)習基礎(chu)架構團隊長達7年，并(bing)且創建了TensorFlow Lite Micro，一個用于(yu)嵌入(ru)式(shi)系統的(de)機(ji)器學(xue)習框架。
過去幾年他一直在思考，“聯網”能力是否是物聯網設備(bei)的必選項？如(ru)果將(jiang)(jiang)“Internet”從Internet of Things中拿掉將(jiang)(jiang)會怎樣？如(ru)何賦予(yu)沒有接入(ru)網絡的設備(bei)以智能(neng)？
從2022年開(kai)始，他率隊(dui)秘密研發這款名為(wei)Person Sensor的智(zhi)能(neng)模(mo)塊，尺寸為(wei)20 x 20毫米(mi)，正面有一個攝像頭(tou)，背面是(shi)微(wei)控制器。這個只有硬幣大小(xiao)的模(mo)塊可以(yi)檢測附近(jin)的人臉信息，反饋人數、相對位置，并進行面部辨(bian)識。
皮特認為有(you)智(zhi)慧的傳(chuan)感器(qi)才是真(zhen)正(zheng)有(you)用(yong)的傳(chuan)感器(qi)，智(zhi)能(neng)分析(xi)與傳(chuan)感器(qi)的距離越近(jin)，就越能(neng)降低功(gong)(gong)耗，而且(qie)這(zhe)種(zhong)功(gong)(gong)耗的節(jie)約是指數(shu)量(liang)級的，輕松實(shi)現(xian)10倍(bei)改(gai)善。
過去，我們可能會遇到對著臺燈(deng)(deng)說“關上”，但(dan)臺燈(deng)(deng)毫無響應(ying)的情(qing)況，但(dan)是這(zhe)種日子即將(jiang)一(yi)去不復(fu)返了，一(yi)些(xie)家(jia)電(dian)(dian)企業(ye)開始著手在(zai)電(dian)(dian)燈(deng)(deng)、音箱和電(dian)(dian)腦中嵌入這(zhe)種智能模組(zu)。
TinyML:不用聯網卻“始終在線”的ML
在文章《專為物(wu)聯(lian)網而生(sheng)的(de)TinyML，正在開啟音頻分析的(de)新(xin)(xin)藍海》中，我曾經提到TinyML微型機器學(xue)(xue)習是(shi)機器學(xue)(xue)習和物(wu)聯(lian)網設備(bei)的(de)交集，它是(shi)一門(men)新(xin)(xin)興的(de)工程學(xue)(xue)科，有可能在許多行(xing)業引發革(ge)命。
目前全球(qiu)有(you)千億量級的微控制器在(zai)各地運行，而(er)且每年仍(reng)在(zai)以數(shu)百億的量級遞增，根據IC Insights預測(ce)，到2023年微控制器的年出貨量將超過380億個，而(er)且這些微控制器對(dui)應(ying)的設備(bei)，都有(you)變得(de)越(yue)來(lai)越(yue)智(zhi)能的需求。
換句話說，未來分布在(zai)煙(yan)霧傳(chuan)感器(qi)、心臟起搏器(qi)、車載終端中的(de)2500億個微控制器(qi)，有可(ke)能可(ke)以(yi)執行(xing)以(yi)前(qian)只有計算(suan)機和(he)智能手(shou)機才能處理的(de)任(ren)務。因此面對位于網絡(luo)邊緣(yuan)的(de)海量(liang)物聯網設備，TinyML的(de)未來發展具有極大的(de)想象(xiang)空間。
這些內(nei)嵌于物(wu)聯(lian)(lian)網終(zhong)端設備中的(de)“TinyML即服務”，“主動”參與智能決策(ce)與執行(xing)，并且允許在終(zhong)端設備資(zi)源非常有限、聯(lian)(lian)網受限的(de)情況(kuang)下，仍舊持續提升終(zhong)端設備的(de)分析能力，以便其能更好的(de)處理實時物(wu)聯(lian)(lian)網數(shu)據。
由此，TinyML在物聯網終端(duan)打造的飛輪不斷提(ti)速：
更(geng)(geng)低(di)成本、更(geng)(geng)佳反饋的TinyML→更(geng)(geng)多數(shu)據(ju)反哺模型訓(xun)練和調(diao)參→更(geng)(geng)好的使(shi)用體(ti)驗，吸(xi)引更(geng)(geng)多企業參與其中。
TinyML的(de)市(shi)場規模比邊緣ML和云端ML都要大(da)。除(chu)了文初提到的(de)ABI Research，多家(jia)分析機(ji)構均給出TinyML的(de)樂觀預測。根(gen)據Silent Intelligence的(de)預測，在未(wei)來5年(nian)，TinyML將觸發(fa)超過700億美(mei)元的(de)經濟價(jia)值，并且(qie)保持超過27.3%的(de)復合年(nian)均增(zeng)長率（CAGR）。
由TinyML改寫的游戲規則
從某(mou)種程度(du)上說，TinyML改(gai)寫了機器(qi)學習的“游(you)戲規則”。
TinyML和(he)我們常(chang)常(chang)提到的機器學習(xi)，也就是基于云端的ML，處于兩個截然不同的世界。
當CPU、內(nei)存(cun)與(yu)操作系(xi)統之間的(de)差(cha)異達到一定程度之后，量變(bian)引發質(zhi)變(bian)。與(yu)TinyML可(ke)以調用(yong)的(de)資(zi)源相(xiang)比(bi)，云端ML簡直(zhi)是“富豪”。為了順(shun)利推進，TinyML必須采用(yong)與(yu)云端ML不同的(de)思維模式。
因禍得福，云端ML常常被詬病的四大痛(tong)點問題：功耗大、延遲長、需聯網、少隱私等問題，在TinyML這里統統不存在，反而成為使用(yong)TinyML的4個(ge)主要優點：
保護隱私：由(you)于聯網并不是TinyML工作的前提(ti)條件，數(shu)(shu)據(ju)(ju)可以被保(bao)(bao)存(cun)在(zai)沒有(you)連(lian)接(jie)網絡的設(she)備中，因此(ci)數(shu)(shu)據(ju)(ju)被泄(xie)露的風(feng)險(xian)非常(chang)低(di)。這(zhe)剛好滿足了大量用戶(hu)的需求，很(hen)多(duo)最終用戶(hu)非常(chang)在(zai)意(yi)(yi)數(shu)(shu)據(ju)(ju)隱(yin)私，在(zai)數(shu)(shu)據(ju)(ju)開放與(yu)共(gong)享方面(mian)保(bao)(bao)持(chi)謹慎態度。他們不愿意(yi)(yi)將(jiang)自己的數(shu)(shu)據(ju)(ju)交由(you)第三(san)方云(yun)平臺(tai)和邊緣服務提(ti)供商，進行存(cun)儲和管理。面(mian)對這(zhe)項需求，TinyML很(hen)好的保(bao)(bao)護了數(shu)(shu)據(ju)(ju)隱(yin)私。
超低功耗：分(fen)布最廣的(de)(de)物(wu)聯(lian)網(wang)(wang)設(she)備(bei)往(wang)往(wang)體(ti)積很小、電(dian)量(liang)有限。它們被作為終端(duan)硬件，通過(guo)嵌(qian)入式傳(chuan)感(gan)(gan)器采集各種數據(ju)；計(ji)算(suan)能(neng)力有限，對功(gong)耗(hao)(hao)極為敏感(gan)(gan)。許多物(wu)聯(lian)網(wang)(wang)設(she)備(bei)都是電(dian)池供電(dian)，對于功(gong)耗(hao)(hao)的(de)(de)要求很高(gao)。通過(guo)極低功(gong)耗(hao)(hao)TinyML的(de)(de)數據(ju)分(fen)析，減少網(wang)(wang)絡傳(chuan)輸的(de)(de)數據(ju)量(liang)，可以(yi)在一(yi)定程(cheng)度上，節約物(wu)聯(lian)網(wang)(wang)終端(duan)中的(de)(de)電(dian)量(liang)消耗(hao)(hao)。
無需連接：設備(bei)(bei)不需要Internet連接即可讓TinyML模型工作。在偏遠(yuan)地區、海上平(ping)臺、空間站(zhan)、極端(duan)環境的(de)應(ying)用中(zhong)，網(wang)(wang)(wang)絡(luo)通(tong)信(xin)有(you)可能(neng)無法保證始終(zhong)覆蓋(gai)，另外還有(you)很多物(wu)聯網(wang)(wang)(wang)設備(bei)(bei)通(tong)過窄(zhai)帶(dai)物(wu)聯網(wang)(wang)(wang)NB-IoT或者其(qi)他低功耗(hao)廣(guang)域物(wu)聯網(wang)(wang)(wang)通(tong)信(xin)協議與網(wang)(wang)(wang)絡(luo)通(tong)信(xin)，帶(dai)寬(kuan)和(he)(he)(he)數據傳(chuan)輸(shu)能(neng)力極為有(you)限(xian)，這些設備(bei)(bei)有(you)強烈的(de)在本地處理數據的(de)需求，以(yi)減少(shao)數據的(de)傳(chuan)輸(shu)，降低網(wang)(wang)(wang)絡(luo)帶(dai)寬(kuan)和(he)(he)(he)傳(chuan)輸(shu)功耗(hao)的(de)壓力，避免在終(zhong)端(duan)和(he)(he)(he)邊緣設備(bei)(bei)之(zhi)間形(xing)成帶(dai)寬(kuan)瓶(ping)頸，影響整套物(wu)聯網(wang)(wang)(wang)解決方案的(de)性(xing)能(neng)。
極低延遲：TinyML可以以極低延遲處(chu)(chu)理數據(ju)。TinyML通(tong)過將某些機器學(xue)習任務轉移到設備本(ben)身，來(lai)進(jin)一步減少網(wang)絡延遲的可能(neng)性。TinyML允(yun)許在不連接任何(he)服務器的情況下(xia)進(jin)行分析，物(wu)聯網(wang)設備可以實(shi)時處(chu)(chu)理數據(ju)并及時輸出(chu)。
很多(duo)公司(si)開始(shi)嘗(chang)試將TinyML應用(yong)于(yu)各種(zhong)場景，最普(pu)遍的應用(yong)是設備上的喚醒詞檢測、人數統計和人員檢測。還有一些(xie)公司(si)嘗(chang)試將TinyML用(yong)于(yu)機器聽(ting)覺(jue)。
和視覺信息一樣，聲音無處不在。語音啟動的設備，在智能家居的(de)(de)應用中非常常見，最典(dian)型(xing)的(de)(de)比如智能音(yin)箱。還有(you)很多聲音(yin)，比如機床(chuang)震動的(de)(de)聲音(yin)、車輛拋錨的(de)(de)聲音(yin)、報警器鳴(ming)響的(de)(de)聲音(yin)…這些聲音(yin)不同于語音(yin)，沒(mei)有(you)語言模型(xing)。
過(guo)去我們極(ji)大的發展了機器(qi)視覺，現在我們正(zheng)在賦予機器(qi)聽覺。隨(sui)著越(yue)來(lai)越(yue)多(duo)的物聯(lian)網企業(ye)正(zheng)在將分析的重點從視頻(pin)轉(zhuan)移(yi)到音頻(pin)，TinyML正(zheng)在開啟一片(pian)新(xin)的藍海。
寫在最后
TinyML賦予(yu)千億終端設備以智能，是我們值(zhi)得關注的確定性機(ji)會之一，但它并(bing)不是全部，還有很多商機(ji)有待我們一起挖掘。
