作者：彭昭（智次方創始人、云和資本聯合創始合伙人）物聯網智庫 原創
這是我的第351篇(pian)專欄(lan)文(wen)章。
在11月(yue)舉辦(ban)的(de)2025年(nian)AIoT產業年(nian)會上，一個引人(ren)深思的(de)話(hua)題(ti)激發(fa)了業界(jie)的(de)討論，。
隨著端側AI技術的日益成熟和市場需求的不斷釋放，業界對端側小模型的進展高度關注，與此同時，AIoT芯片的進步也備受矚目。
傳(chuan)統上，芯片(pian)制造商始終將卓越(yue)的(de)計算(suan)性能(neng)視為首要(yao)追求(qiu)。然而，AIoT應用的(de)多樣(yang)化需求(qiu)對芯片(pian)提(ti)出了更(geng)高(gao)的(de)要(yao)求(qiu)：在計算(suan)能(neng)力、內(nei)存、延遲和能(neng)效(xiao)之間實現微(wei)妙(miao)平衡，以滿足特定領域的(de)差異化需求(qiu)。
與此同(tong)時(shi)，我(wo)們看到小(xiao)型、特定(ding)于應用場景的語言(yan)模(mo)型正在興起。相比(bi)大型語言(yan)模(mo)型，這(zhe)些小(xiao)模(mo)型所(suo)需的計算資(zi)源更加經濟高效，由(you)此推動了端側AI和AIoT芯片(pian)的蓬勃發展。
然而，讓(rang)生(sheng)成式AI在端(duan)側“跑”起(qi)來(lai)絕非易(yi)事。這不僅(jin)需要(yao)對大(da)模型進行“瘦(shou)身(shen)”優化(hua)，更需要(yao)在硬件的功耗和算力上取得突(tu)破性進展。
在本(ben)文中(zhong)，我(wo)們將重點剖析端(duan)側AI的最(zui)新(xin)(xin)進展，探索AIoT芯片的創新(xin)(xin)應(ying)用(yong)場景(jing)，并聚(ju)焦新(xin)(xin)興芯片供應(ying)商的前沿(yan)布局和技術探索。
端側AI的進化之路：從感知到理解再到創造
“端側AI”是指AI可以直接在移動設備上處理數據，無需連接到服務器或云端，能夠在用戶設備本地完成復雜的推理和決策。端側AI在對硬件提出更高要求的同時，也對其算力、能效以及軟硬件協同等方面提出了新的挑戰。為了滿足端側AI的需求，AIoT芯片的能力日益增長。AIoT芯片是一種集成了人工智能和物聯(lian)網技術(shu)的系統級芯片(pian)，旨在(zai)實(shi)現智能化設(she)備(bei)的連接、控(kong)制和數據處(chu)理。
需要說明的是，本文所界定的“端側”并不包括手機和電腦，而是特指物聯網終端設備，如網關、攝像頭、眼鏡、耳機、手表、車載終端、機器人等。
即使設備(bei)未連接到網絡，端側AI也可以(yi)隨時使用。要充分實現這一技(ji)術，嵌(qian)入式神經網絡處理單元NPU的性能至(zhi)關重要。研究機構Counter Points預測，未來AIoT模(mo)塊的計算能力(li)將(jiang)實現指數級的大(da)幅增長，7年內配備(bei)NPU的模(mo)塊數量將(jiang)達(da)到目前的31倍。
然而，實(shi)現端(duan)側AI并非易事。絲滑的(de)AI體驗通常需要搭配強大的(de)計算能力，而設(she)備上(shang)或(huo)邊(bian)緣(yuan)處理(li)(li)需要實(shi)時(shi)處理(li)(li)數據(ju)，并需要低功耗和高(gao)性能芯片，這(zhe)增加了(le)專(zhuan)用AIoT芯片開發的(de)復雜性。
在文章中，我曾介(jie)紹過在人工(gong)智能的(de)世界里，終(zhong)端、邊緣和云(yun)端扮(ban)演(yan)著截然不同(tong)的(de)角色(se)。它們在形態、功能和應用(yong)場景上的(de)差異(yi)如此之(zhi)大，以至于可以將其視為完全不同(tong)的(de)實體(ti)。
端側AI經歷了一段輾轉的旅程，從判別式AI、增強式AI的領域，現在又來到了具有突破性的生成式AI前沿。每一(yi)步都讓(rang)我(wo)們(men)更接近未(wei)來(lai)，智能系統(tong)將無縫(feng)融入我(wo)們(men)的(de)日常生(sheng)活，為我(wo)們(men)帶(dai)來(lai)不(bu)僅有(you)感知，還有(you)掌(zhang)上創造的(de)沉(chen)浸式(shi)體驗。
從信息論的(de)角度來(lai)看，這(zhe)三種(zhong)范式可以看作是對源(yuan)熵的(de)不(bu)同影響。判(pan)別性AI旨(zhi)在降低(di)熵，增強性AI或多或少地保持熵值不(bu)變，而(er)生成性AI則會造成熵增。
獲得感知：判別式AI
判(pan)別(bie)(bie)式AI主要關注區分不同(tong)類別(bie)(bie)或結(jie)果的能力。它通過學習輸(shu)入數(shu)(shu)據(ju)的特征和模式，判(pan)斷(duan)這些數(shu)(shu)據(ju)屬(shu)于(yu)哪個預定義的類別(bie)(bie)。例如(ru)，在(zai)圖像分類任(ren)務中(zhong)，判(pan)別(bie)(bie)式AI能夠識別(bie)(bie)出圖片中(zhong)的物體是(shi)貓還是(shi)狗。
增強感知：增強型AI
通過(guo)對場景物理(li)性質(zhi)的語義(yi)理(li)解，神經網絡可以用來(lai)增強圖像的視覺(jue)質(zhi)量，獲(huo)得更令(ling)人(ren)滿意的結果，并進一步增強感(gan)知和(he)分析能(neng)(neng)力。我們觀察到一個緩慢(man)但穩定的轉變，從經典的視覺(jue)相關(guan)功能(neng)(neng)到人(ren)工(gong)智能(neng)(neng)驅(qu)動(dong)的視頻增強功能(neng)(neng)，從低光性能(neng)(neng)到高動(dong)態范圍、數字(zi)變焦、局部色(se)調映射等。
超越感知：生成式AI
真正(zheng)的(de)(de)(de)(de)范式(shi)(shi)轉(zhuan)變是隨著生(sheng)成(cheng)式(shi)(shi)人工智能(neng)(neng)的(de)(de)(de)(de)興起而發生(sheng)的(de)(de)(de)(de)。受自(zi)然(ran)語(yu)言理解的(de)(de)(de)(de)進步(bu)及其(qi)對任(ren)何數(shu)(shu)(shu)據(ju)模式(shi)(shi)的(de)(de)(de)(de)采用的(de)(de)(de)(de)啟發，創建與現(xian)實難以區分的(de)(de)(de)(de)新(xin)(xin)內(nei)容、圖(tu)像和視頻的(de)(de)(de)(de)能(neng)(neng)力(li)，在(zai)不到一年的(de)(de)(de)(de)時間內(nei)成(cheng)功地改變了各個行業。生(sheng)成(cheng)式(shi)(shi)AI致力(li)于學習數(shu)(shu)(shu)據(ju)的(de)(de)(de)(de)生(sheng)成(cheng)過(guo)程，并生(sheng)成(cheng)與訓練數(shu)(shu)(shu)據(ju)相(xiang)似(si)的(de)(de)(de)(de)新(xin)(xin)數(shu)(shu)(shu)據(ju)樣本。這些新(xin)(xin)數(shu)(shu)(shu)據(ju)在(zai)統計上與原始數(shu)(shu)(shu)據(ju)具有(you)相(xiang)似(si)的(de)(de)(de)(de)特征，但又(you)是全新(xin)(xin)的(de)(de)(de)(de)、獨立的(de)(de)(de)(de)。
受(shou)到端(duan)側功耗和算力的限制(zhi)，端(duan)側AI又(you)呈現出了不同的形態(tai)：
小型語言模型（SLM）
SLM指的是那些(xie)參(can)數量(liang)低于100億的輕量(liang)級(ji)神經網絡模(mo)型。與(yu)大型模(mo)型相比，SLM以(yi)更(geng)少的參(can)數和(he)計算資源實現自然語(yu)言處理。此(ci)外，SLM通常是面向特定任務(wu)、應用(yong)或用(yong)例(li)量(liang)身定制(zhi)的。
微型機器學習（TinyML）
TinyML是一種(zhong)優(you)化機器(qi)學習模型的技(ji)術，使(shi)其能夠在資源受(shou)限的設備（如微控制器(qi)）上高(gao)效運行。這些(xie)模型通常(chang)體積(ji)小巧、運算高(gao)效，能夠勝任(ren)語音識(shi)別和(he)傳感器(qi)數據分析等(deng)任(ren)務。
AIoT芯片：功耗、性能與尺寸的平衡
端側設備將成為未來智能時代的重要錨點，其形態豐富多樣，包括攝像頭、智能眼鏡、耳機、手表、車載設備，以及未來的元宇宙和機器人等。
與專注于云(yun)AI的(de)(de)芯片(pian)(pian)市場相比，AIoT芯片(pian)(pian)市場更加分(fen)散，以滿足AIoT應(ying)用的(de)(de)多樣化需(xu)求。在(zai)設計集(ji)成數十(shi)億個晶(jing)體管的(de)(de)芯片(pian)(pian)時，AIoT芯片(pian)(pian)制造商(shang)面臨著(zhu)巨大的(de)(de)壓力，需(xu)要在(zai)功耗、性能和尺寸之間取得微妙的(de)(de)平衡。
不同(tong)邊緣或終端中的芯片(pian)性(xing)能(neng)(neng)要(yao)求可能(neng)(neng)存在(zai)很大差異(yi)。例如，自動駕駛汽車需要(yao)更高的性(xing)能(neng)(neng)，并(bing)能(neng)(neng)承(cheng)受(shou)更高的圖像處理功耗；而智(zhi)能(neng)(neng)攝像頭處理器可能(neng)(neng)需要(yao)更低(di)成(cheng)本、更節能(neng)(neng)的芯片(pian)組。環境因素(su)也在(zai)影響著端側AI和AIoT芯片(pian)市(shi)場，研(yan)究(jiu)重點是實現高計算性(xing)能(neng)(neng)、低(di)延遲和最(zui)低(di)能(neng)(neng)耗。
人工智能應(ying)用中(zhong)GPU的(de)(de)高功耗問題(ti)促(cu)使研究人員開(kai)發新型(xing)芯片架(jia)構，為端側(ce)AI的(de)(de)廣泛應(ying)用鋪(pu)平道路。很多新型(xing)AIoT芯片的(de)(de)研發仍在(zai)路上。
比如去年(nian)弗勞(lao)恩霍夫光子(zi)微系統研究(jiu)所IPMS與羅伯特·博世有限公司、坎(kan)普爾(er)印(yin)度理工學院和慕尼黑工業大學合作開發了(le)一(yi)種(zhong)針對AIoT應用優化的芯片(pian)設計(ji)，該設計(ji)使用鐵(tie)電場效應晶體管(guan)（FeFET），無(wu)需電源即可存儲(chu)數據，可提供(gong)高達885 TOPS/W的性(xing)能，而(er)一(yi)般AI芯片(pian)的這(zhe)一(yi)數值為10到(dao)20 TOPS/W。
這種創新的芯片架構有望大大降低AI運行的能耗。新芯片采用FeFET單元，執行相同數量的操作所需的能量比傳統設計少44倍。
此類芯(xin)片(pian)瞄準端側AI的一系列用(yong)途，將AI部署在數(shu)(shu)據收集點：物聯網設備、傳感器和自(zi)動駕駛(shi)汽車中(zhong)。新芯(xin)片(pian)的另一個關(guan)鍵優勢是能(neng)夠同(tong)時在晶體(ti)管中(zhong)存儲(chu)和處理數(shu)(shu)據，大大減少了數(shu)(shu)據處理和內存之(zhi)間的瓶頸。
接下來，我們探討端(duan)側AI的主要應用場景(jing)(jing)和市場空間(jian)。首當其沖(chong)的場景(jing)(jing)是(shi)圖(tu)像處理(li)和分析，到2033年此類場景(jing)(jing)中的AIoT設(she)備(bei)數量(liang)將接近40億臺，主要涵蓋(gai)游戲機、智能眼(yan)鏡、車載(zai)終端(duan)、安(an)全攝像頭、便攜式攝像機等。
此外，聊天機器人功能和自(zi)然語(yu)言處(chu)理(li)的需求也不(bu)容(rong)忽視。智能音箱、耳(er)機、智能手表等設(she)備(bei)占據主導地位(wei)，并可(ke)擴展(zhan)至車(che)載主機和電視等領域。預計(ji)到2033年，約有五分之一(yi)的物聯網(wang)設(she)備(bei)具(ju)有原生語(yu)音需求，這一(yi)領域將擁有14億連(lian)接，帶來800億美元(yuan)的收入，約占所有物聯網(wang)連(lian)接收入的22%。
從(cong)設備形態上看(kan)，隨(sui)著智能眼鏡(jing)產品的密(mi)集發布，即將(jiang)開(kai)啟的“百鏡(jing)大戰”，有可能成為AIoT芯片的重要(yao)試煉(lian)場(chang)之一。
10家值得關注的AIoT芯片新秀
由(you)于端側(ce)AI應用(yong)具有明(ming)確的(de)場(chang)景，優先(xian)考慮成本優化(hua)、功耗和(he)處理(li)能(neng)力，為新的(de)市場(chang)參與者提供了大量的(de)機會(hui)和(he)創新空(kong)間。因此，AIoT芯(xin)片組的(de)動態市場(chang)中涌現出許多新玩家，他們通過提供多種增值功能(neng)來差異化(hua)競爭。
以下篩選(xuan)了10家值(zhi)得(de)關(guan)注(zhu)的(de)海外AIoT芯片新興供應商。
1. AonDevices是一(yi)家無晶圓廠半導(dao)體公(gong)司，專門從事超(chao)低(di)功耗下提(ti)供(gong)高(gao)精度(du)的應用(yong)程(cheng)序特(te)定型邊緣(yuan)AI處理(li)(li)器。公(gong)司總部位于加(jia)利(li)福尼(ni)亞州爾灣(wan)。AonDevices提(ti)供(gong)的芯片組主要側重(zhong)于自然(ran)語(yu)言處理(li)(li)、語(yu)音(yin)認證、聊天機(ji)器人和數字助理(li)(li)。該公(gong)司發(fa)布的AON1100是一(yi)款超(chao)低(di)功耗、多(duo)模態解決方案，能夠使用(yong)單(dan)個(ge)麥克風，極其準確(que)地同時(shi)識別(bie)多(duo)個(ge)語(yu)音(yin)命令和聲音(yin)事件，例(li)如嬰兒哭泣或(huo)汽車逆火，AON1100還同時(shi)檢(jian)測步行或(huo)跌(die)倒(dao)等(deng)特(te)定運動模式。
2. Axelera總部(bu)位于(yu)荷蘭(lan)埃(ai)因霍(huo)溫，其AIPU芯片(pian)采用(yong)了開源的RISC-V指令集(ji)架構（ISA）。RISC-V作為一種低成(cheng)本(ben)、高效且(qie)靈活的ISA，允許根據特定的應用(yong)需(xu)求進行定制，這為Axelera提供了極大(da)的設計自由度(du)和(he)創新空間。
3. BrainChip是(shi)一家澳大利(li)亞的技術(shu)公(gong)司，專注于研究和(he)開(kai)發神經(jing)網(wang)絡(luo)處理(li)單元NPU和(he)其他高(gao)級機器學習(xi)解決方案。該公(gong)司的旗(qi)艦(jian)產(chan)品(pin)是(shi)Akida，這是(shi)一款可(ke)以(yi)在(zai)物聯(lian)網(wang)設備、汽車和(he)工業應(ying)用中應(ying)用的離(li)散神經(jing)網(wang)絡(luo)處理(li)單元。
4. Hailo Technologies是(shi)一(yi)家以色列公(gong)司(si)，擁(yong)有豐富的邊緣AI處理器(qi)產(chan)品組合，可用(yong)(yong)(yong)(yong)于各種(zhong)AI用(yong)(yong)(yong)(yong)例(li)，例(li)如(ru)對象檢測、在(zai)邊緣設(she)備上運行(xing)(xing)(xing)LLM和語義(yi)分割。該(gai)公(gong)司(si)提供用(yong)(yong)(yong)(yong)于視(shi)頻和圖像處理的Hailo-15系列AI視(shi)覺處理器(qi)、用(yong)(yong)(yong)(yong)于邊緣設(she)備以運行(xing)(xing)(xing)深度(du)學習(xi)應(ying)用(yong)(yong)(yong)(yong)程(cheng)序的Hailo-8AI加速(su)器(qi)以及用(yong)(yong)(yong)(yong)于運行(xing)(xing)(xing)LLM的生成式(shi)AI加速(su)器(qi)。
5. Innatera總部位于(yu)荷(he)蘭(lan)，推出了一(yi)款基于(yu)SNN的神經擬態加速器(qi)，主要用于(yu)語音識別、生命體征監測(ce)和雷達等。
6. Mythic總(zong)部(bu)位于(yu)美(mei)國德克薩斯州，是一家專注于(yu)邊(bian)緣AI和AIoT的節能(neng)芯片(pian)供應商，采用單芯片(pian)模擬計算(suan)內存架構(gou)，無需DRAM。Mythic開(kai)發了(le)統(tong)一的軟硬件平臺(tai)，以其獨特的模擬計算(suan)引擎(qing)Mythic ACE為特色，具(ju)備(bei)高(gao)功率、低(di)成本和優良的性能(neng)參數(shu)，打破了(le)阻礙(ai)人(ren)工(gong)智(zhi)能(neng)創(chuang)新的數(shu)字障礙(ai)。Mythic模擬矩陣處理器(qi)Mythic AMP也(ye)使人(ren)工(gong)智(zhi)能(neng)解決(jue)方案的部(bu)署變得更(geng)加經濟(ji)便捷。
7. Perceive于(yu)2024年8月被亞(ya)馬遜(xun)收購，是一家邊緣(yuan)AI和AIoT處理(li)(li)芯(xin)(xin)片(pian)提供(gong)商(shang)，專(zhuan)注于(yu)LLM的邊緣(yuan)處理(li)(li)。該公司(si)(si)提供(gong)低功耗(hao)邊緣(yuan)處理(li)(li)芯(xin)(xin)片(pian)，專(zhuan)為(wei)(wei)各種應用(yong)而設計(ji)，包括聯網攝像頭和家電。該公司(si)(si)最新(xin)一代邊緣(yuan)AI芯(xin)(xin)片(pian)Ergo2的占用(yong)空間為(wei)(wei)7mm x 7mm，不需(xu)要外(wai)部DRAM。公司(si)(si)稱，該芯(xin)(xin)片(pian)可(ke)以在30 FPS的視頻源上運行推理(li)(li)，功耗(hao)僅(jin)為(wei)(wei)17 mW。
8. SiMa.ai總部位于加利福尼亞州圣何(he)塞，是(shi)嵌(qian)入式機(ji)器學習系統芯(xin)片SoC的(de)(de)提供商，允許客戶在單個(ge)芯(xin)片上(shang)執行(xing)整個(ge)應用程序。該公司的(de)(de)目標是(shi)優先考(kao)慮低功耗(hao)的(de)(de)AIoT用例，具(ju)體范圍在5W-25W之間。據SiMa稱，其芯(xin)片可(ke)以(yi)作(zuo)為涵(han)蓋計算機(ji)視覺(jue)和多模態(tai)生成AI的(de)(de)AI應用的(de)(de)單邊緣平臺。
9. Syntiant總部(bu)位于(yu)(yu)美國(guo)加利福尼(ni)亞(ya)州，是一家為(wei)邊緣AI和AIoT應用提(ti)供(gong)低功耗處理器的供(gong)應商，截至2022年3月，該公司(si)已出貨超(chao)過2000萬片(pian)(pian)邊緣AI芯(xin)片(pian)(pian)。公司(si)專注于(yu)(yu)安全等行業(ye)使用的聲學事(shi)件檢測和視頻處理，以(yi)最小的延遲提(ti)供(gong)實時(shi)數據處理。
10. Untether AI總部位于加拿大多倫多，芯片名為(wei)240 Slim，也是(shi)基于RISC-V架(jia)構，性能出(chu)色但能耗卻低(di)得多，適合在自動(dong)駕(jia)(jia)駛(shi)(shi)汽車、自動(dong)農(nong)業設備和一(yi)些數(shu)據中心(xin)內使用。梅賽德(de)斯-奔(ben)馳表示，正(zheng)在與Untether合作開發其(qi)下一(yi)代自動(dong)駕(jia)(jia)駛(shi)(shi)汽車。
寫在最后
隨(sui)著人工智能技(ji)術的(de)不斷(duan)進步，端側AI和AIoT芯(xin)片(pian)的(de)發展正迎來一個全新的(de)時代。
這場(chang)革命不(bu)僅(jin)僅(jin)是(shi)關(guan)于更(geng)強(qiang)大的(de)計算能力，更(geng)是(shi)關(guan)于如何在功耗、性能和尺寸之間取(qu)得完美平衡，以(yi)滿足(zu)不(bu)同應用場(chang)景的(de)特定需求。
從判別(bie)式(shi)AI到(dao)增強式(shi)AI，再(zai)到(dao)生成(cheng)式(shi)AI，端側智能(neng)正在(zai)(zai)經歷一場從感知到(dao)理解，再(zai)到(dao)創造的蛻變。在(zai)(zai)這個過程中，小(xiao)型語(yu)言模型和微型機器學習等新興技術正在(zai)(zai)崛起，推(tui)動著(zhu)AIoT芯片的創新浪潮(chao)。無論是自動駕駛汽車、智能(neng)眼(yan)鏡、智能(neng)攝像(xiang)頭，還是未來的元宇宙和機器人，AIoT芯片都(dou)將(jiang)扮演著(zhu)至(zhi)關重要的角色。
參考(kao)資料：IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來(lai)源：OrangeThe Evolution of AI on the Edge: From Perception to Creation，來源：HailoAIoT Chipsets: enhancing the connected devices ecosystem，來源：Transforma Insights
