作者：彭昭（智次方創始人、云和資本聯合創始合伙人）物聯網智庫 原創
這是我的第351篇專(zhuan)欄文章。
在11月舉辦的2025年AIoT產業年會上，一個引人深思的話(hua)題激發了(le)業界(jie)的討論，。
隨著端側AI技術的日益成熟和市場需求的不斷釋放，業界對端側小模型的進展高度關注，與此同時，AIoT芯片的進步也備受矚目。
傳統上，芯片(pian)制(zhi)造商始終將卓越的(de)計(ji)(ji)算性(xing)能視為首要(yao)追求。然而，AIoT應用(yong)的(de)多樣(yang)化需求對(dui)芯片(pian)提(ti)出了(le)更(geng)高的(de)要(yao)求：在(zai)計(ji)(ji)算能力、內存、延遲(chi)和能效(xiao)之間實現微妙平衡(heng)，以滿足特定領(ling)域的(de)差異化需求。
與此同時，我們看(kan)到小型、特定于應(ying)用場(chang)景的(de)(de)語(yu)言(yan)模(mo)型正在興起。相比大型語(yu)言(yan)模(mo)型，這(zhe)些小模(mo)型所需(xu)的(de)(de)計算資源更加經濟高效，由此推(tui)動(dong)了端側AI和AIoT芯片的(de)(de)蓬勃發展。
然而，讓生成式AI在端側“跑”起來絕非易(yi)事。這(zhe)不僅需要(yao)(yao)對大模(mo)型進(jin)行“瘦身”優化，更需要(yao)(yao)在硬(ying)件的(de)功耗和(he)算力上取得突破性進(jin)展。
在本文中，我們將重點剖析端側(ce)AI的(de)最新進(jin)展，探索AIoT芯(xin)片(pian)的(de)創新應(ying)用場景，并聚焦新興芯(xin)片(pian)供應(ying)商的(de)前沿(yan)布局和技術探索。
端側AI的進化之路：從感知到理解再到創造
“端側AI”是指AI可以直接在移動設備上處理數據，無需連接到服務器或云端，能夠在用戶設備本地完成復雜的推理和決策。端側AI在對硬件提出更高要求的同時，也對其算力、能效以及軟硬件協同等方面提出了新的挑戰。為了滿足端側AI的需求，AIoT芯片的能力日益增長。AIoT芯片是一種集成了人工智能和物(wu)聯網技術的系(xi)統(tong)級芯片，旨(zhi)在實現智能化(hua)設備(bei)的連(lian)接(jie)、控制和數據處理。
需要說明的是，本文所界定的“端側”并不包括手機和電腦，而是特指物聯網終端設備，如網關、攝像頭、眼鏡、耳機、手表、車載終端、機器人等。
即使設備未(wei)連接到(dao)網絡，端側(ce)AI也可以隨時使用。要充分實(shi)現這一(yi)技術(shu)，嵌入式神經(jing)網絡處(chu)理單元NPU的(de)(de)性能至關重要。研究機(ji)構Counter Points預測，未(wei)來AIoT模塊的(de)(de)計算能力(li)將實(shi)現指數級(ji)的(de)(de)大幅(fu)增長，7年內配備NPU的(de)(de)模塊數量將達到(dao)目前的(de)(de)31倍。
然而，實現端側AI并非易(yi)事。絲滑的AI體驗通常(chang)需(xu)要搭配(pei)強(qiang)大的計(ji)算能力(li)，而設備上或邊緣(yuan)處理(li)需(xu)要實時處理(li)數據(ju)，并需(xu)要低功耗和高性(xing)能芯片，這增(zeng)加了專用AIoT芯片開發的復雜性(xing)。
在文(wen)章中，我曾介紹過在人工智能(neng)(neng)的(de)世界里，終端(duan)、邊緣和云(yun)端(duan)扮演著(zhu)截然(ran)不同的(de)角(jiao)色。它們在形態、功能(neng)(neng)和應用場景(jing)上的(de)差異(yi)如此之大，以至于可以將其視(shi)為完(wan)全不同的(de)實體。
端側AI經歷了一段輾轉的旅程，從判別式AI、增強式AI的領域，現在又來到了具有突破性的生成式AI前沿。每一步都讓(rang)我(wo)們(men)更(geng)接近未來(lai)，智能系(xi)統將無縫融入我(wo)們(men)的日常生活(huo)，為我(wo)們(men)帶來(lai)不(bu)僅(jin)有感知，還有掌上創(chuang)造的沉(chen)浸式體驗。
從信息論的角度來看(kan)，這三種范式可以看(kan)作是對源熵(shang)的不(bu)同影響(xiang)。判別性AI旨在(zai)降低熵(shang)，增強性AI或(huo)多或(huo)少地保(bao)持熵(shang)值不(bu)變(bian)，而生(sheng)成性AI則會造成熵(shang)增。
獲得感知：判別式AI
判(pan)別(bie)(bie)式(shi)(shi)AI主(zhu)要關(guan)注區(qu)分不同類(lei)(lei)別(bie)(bie)或結果的(de)(de)能力。它通過學習輸入數據的(de)(de)特征和(he)模式(shi)(shi)，判(pan)斷這些數據屬(shu)于哪個(ge)預定義的(de)(de)類(lei)(lei)別(bie)(bie)。例如，在圖像分類(lei)(lei)任務(wu)中，判(pan)別(bie)(bie)式(shi)(shi)AI能夠識別(bie)(bie)出圖片中的(de)(de)物體是貓還是狗(gou)。
增強感知：增強型AI
通過對場景物理(li)(li)性(xing)質的(de)(de)語義(yi)理(li)(li)解，神經(jing)網絡可以用來增強圖像的(de)(de)視覺質量，獲得(de)更令(ling)人滿意的(de)(de)結果(guo)，并進一(yi)步增強感知和(he)分析能力(li)。我們觀察到(dao)一(yi)個緩(huan)慢但(dan)穩定的(de)(de)轉變(bian)，從經(jing)典的(de)(de)視覺相關(guan)功能到(dao)人工(gong)智能驅動的(de)(de)視頻增強功能，從低光性(xing)能到(dao)高(gao)動態(tai)范(fan)圍、數(shu)字變(bian)焦、局(ju)部色調映射等。
超越感知：生成式AI
真正的(de)范式轉(zhuan)變是隨著生成式人工智能(neng)的(de)興起(qi)而(er)發(fa)生的(de)。受自(zi)然語言理解的(de)進步及其對任何數據(ju)模式的(de)采用(yong)的(de)啟發(fa)，創(chuang)建(jian)與(yu)現實難以區(qu)分(fen)的(de)新內(nei)容、圖像(xiang)和視頻的(de)能(neng)力(li)，在不到(dao)一(yi)年的(de)時(shi)間內(nei)成功地改變了各個行業。生成式AI致力(li)于學習數據(ju)的(de)生成過(guo)程，并(bing)生成與(yu)訓(xun)練數據(ju)相似的(de)新數據(ju)樣本。這(zhe)些新數據(ju)在統計上與(yu)原始(shi)數據(ju)具有相似的(de)特征，但(dan)又是全新的(de)、獨立的(de)。
受到端(duan)側(ce)功耗和算力(li)的限制(zhi)，端(duan)側(ce)AI又呈現出了(le)不同的形態(tai)：
小型語言模型（SLM）
SLM指的(de)是(shi)那些參數量(liang)低(di)于100億的(de)輕量(liang)級神經網絡(luo)模型(xing)(xing)。與大型(xing)(xing)模型(xing)(xing)相比，SLM以(yi)更(geng)少的(de)參數和計算(suan)資源實現自然語言(yan)處理。此外(wai)，SLM通常是(shi)面(mian)向(xiang)特定任(ren)務、應用(yong)或用(yong)例量(liang)身定制的(de)。
微型機器學習（TinyML）
TinyML是一種優化機器學習模型的(de)技術(shu)，使其(qi)能夠在資源受限的(de)設備（如(ru)微控制(zhi)器）上(shang)高效運(yun)行。這些模型通常體積小(xiao)巧、運(yun)算(suan)高效，能夠勝任語(yu)音識別和傳感(gan)器數(shu)據分析等(deng)任務(wu)。
AIoT芯片：功耗、性能與尺寸的平衡
端側設備將成為未來智能時代的重要錨點，其形態豐富多樣，包括攝像頭、智能眼鏡、耳機、手表、車載設備，以及未來的元宇宙和機器人等。
與專(zhuan)注于云AI的(de)(de)芯(xin)片(pian)市場相(xiang)比，AIoT芯(xin)片(pian)市場更(geng)加分散，以滿足AIoT應用的(de)(de)多樣化需求。在設計集成(cheng)數十億個晶體管(guan)的(de)(de)芯(xin)片(pian)時，AIoT芯(xin)片(pian)制造商(shang)面臨著巨大的(de)(de)壓力，需要(yao)在功(gong)耗(hao)、性(xing)能和尺寸之間取得(de)微妙的(de)(de)平衡(heng)。
不(bu)同邊緣或(huo)終端中(zhong)的(de)(de)芯(xin)片性能(neng)要求可(ke)能(neng)存在很大(da)差(cha)異。例如，自動駕(jia)駛(shi)汽車需要更(geng)高(gao)的(de)(de)性能(neng)，并能(neng)承(cheng)受更(geng)高(gao)的(de)(de)圖像(xiang)處(chu)理功(gong)耗；而智能(neng)攝像(xiang)頭處(chu)理器可(ke)能(neng)需要更(geng)低成本、更(geng)節能(neng)的(de)(de)芯(xin)片組。環境因素(su)也在影響著端側(ce)AI和AIoT芯(xin)片市場(chang)，研(yan)究重點是(shi)實(shi)現高(gao)計(ji)算性能(neng)、低延遲和最低能(neng)耗。
人工智能應(ying)用(yong)中GPU的(de)(de)高功耗問題(ti)促使研(yan)究人員開發新(xin)型(xing)(xing)芯(xin)片架構，為(wei)端(duan)側(ce)AI的(de)(de)廣泛(fan)應(ying)用(yong)鋪平道(dao)路(lu)。很(hen)多新(xin)型(xing)(xing)AIoT芯(xin)片的(de)(de)研(yan)發仍在路(lu)上(shang)。
比如去(qu)年弗勞恩霍夫光子微系統(tong)研究所(suo)IPMS與羅伯特·博(bo)世有限公司、坎普爾印(yin)度理工學(xue)院和慕尼黑工業大學(xue)合作(zuo)開發了一種針對(dui)AIoT應用(yong)優化的芯片設(she)計(ji)(ji)，該設(she)計(ji)(ji)使用(yong)鐵(tie)電場效(xiao)應晶體管（FeFET），無需(xu)電源即可(ke)存儲數(shu)據，可(ke)提供高達885 TOPS/W的性能，而一般(ban)AI芯片的這一數(shu)值為10到20 TOPS/W。
這種創新的芯片架構有望大大降低AI運行的能耗。新芯片采用FeFET單元，執行相同數量的操作所需的能量比傳統設計少44倍。
此類(lei)芯片瞄準端側AI的(de)一(yi)系列(lie)用(yong)途，將AI部署在數據收集點：物聯網設備、傳感器和(he)自動(dong)駕(jia)駛汽車中(zhong)。新(xin)芯片的(de)另一(yi)個關鍵(jian)優(you)勢是能(neng)夠同時在晶體管(guan)中(zhong)存(cun)儲和(he)處理數據，大大減少了數據處理和(he)內存(cun)之間的(de)瓶頸。
接下來，我們(men)探討端(duan)側(ce)AI的(de)主要(yao)應用場(chang)景(jing)和(he)市場(chang)空間。首(shou)當其(qi)沖的(de)場(chang)景(jing)是(shi)圖像(xiang)(xiang)處理和(he)分析，到2033年此類場(chang)景(jing)中的(de)AIoT設備數量將接近40億臺(tai)，主要(yao)涵蓋游戲機、智能眼鏡、車載終端(duan)、安全攝(she)像(xiang)(xiang)頭、便攜式攝(she)像(xiang)(xiang)機等(deng)。
此外，聊天機器人功能和自然語言處理(li)的(de)(de)需(xu)求也(ye)不(bu)容忽視(shi)。智能音箱、耳(er)機、智能手表等(deng)設(she)備占據主導(dao)地位，并(bing)可擴展至車載(zai)主機和電(dian)視(shi)等(deng)領域。預(yu)計到2033年，約有(you)五分(fen)之一的(de)(de)物(wu)聯(lian)網(wang)設(she)備具有(you)原生語音需(xu)求，這一領域將擁(yong)有(you)14億(yi)連(lian)接，帶來800億(yi)美元的(de)(de)收(shou)入，約占所有(you)物(wu)聯(lian)網(wang)連(lian)接收(shou)入的(de)(de)22%。
從設備形態上看，隨(sui)著智能(neng)眼鏡產品的密集(ji)發(fa)布，即將開啟的“百鏡大戰”，有可能(neng)成為AIoT芯片的重要試煉場之一。
10家值得關注的AIoT芯片新秀
由于端側(ce)AI應(ying)用(yong)具(ju)有明確(que)的(de)場景，優先考慮(lv)成本優化、功耗和(he)處理能力，為(wei)新的(de)市(shi)場參(can)與者提(ti)供了大量(liang)的(de)機會(hui)和(he)創新空間(jian)。因此(ci)，AIoT芯片組的(de)動態市(shi)場中(zhong)涌現出許多(duo)新玩家，他們通過提(ti)供多(duo)種增值(zhi)功能來(lai)差異化競爭。
以下篩選(xuan)了10家(jia)值得關注的(de)海外AIoT芯片新興(xing)供應商。
1. AonDevices是一家無晶圓(yuan)廠半(ban)導體公司(si)，專門從事超低(di)功耗下提供高(gao)精度的應用程序特定(ding)型(xing)邊(bian)緣AI處理(li)器。公司(si)總部位于(yu)(yu)加利(li)福尼亞州(zhou)爾灣。AonDevices提供的芯片組主要(yao)側重(zhong)于(yu)(yu)自然語言處理(li)、語音(yin)(yin)認證、聊天機(ji)器人(ren)和(he)數字(zi)助(zhu)理(li)。該公司(si)發布的AON1100是一款超低(di)功耗、多模態解決方案，能夠使用單個麥克(ke)風(feng)，極其準確地同時識(shi)別多個語音(yin)(yin)命(ming)令和(he)聲音(yin)(yin)事件，例如嬰兒哭泣或汽車逆火，AON1100還同時檢測步行或跌(die)倒等特定(ding)運動模式。
2. Axelera總部位于(yu)荷蘭(lan)埃因霍溫，其AIPU芯片采用了(le)開(kai)源的RISC-V指令集架構(gou)（ISA）。RISC-V作為一種低成本、高效(xiao)且(qie)靈(ling)活的ISA，允許(xu)根據特定(ding)的應用需求進(jin)行(xing)定(ding)制，這為Axelera提供了(le)極大的設(she)計自由度和創新空間。
3. BrainChip是(shi)一家澳(ao)大利亞(ya)的(de)技術公司(si)(si)，專注于研(yan)究(jiu)和(he)開(kai)發(fa)神經網(wang)絡處(chu)(chu)理單元NPU和(he)其他(ta)高級機器學習解決方案。該公司(si)(si)的(de)旗(qi)艦產品(pin)是(shi)Akida，這是(shi)一款可以在(zai)物聯(lian)網(wang)設(she)備、汽(qi)車(che)和(he)工業應用(yong)中應用(yong)的(de)離散神經網(wang)絡處(chu)(chu)理單元。
4. Hailo Technologies是一家以(yi)色列公(gong)司，擁有豐富(fu)的邊(bian)緣AI處(chu)理器(qi)產品組合，可(ke)用(yong)(yong)于(yu)(yu)各種(zhong)AI用(yong)(yong)例，例如對象檢測、在邊(bian)緣設備上運行(xing)LLM和語義分割。該公(gong)司提供(gong)用(yong)(yong)于(yu)(yu)視頻(pin)和圖像處(chu)理的Hailo-15系(xi)列AI視覺(jue)處(chu)理器(qi)、用(yong)(yong)于(yu)(yu)邊(bian)緣設備以(yi)運行(xing)深度學習應用(yong)(yong)程序的Hailo-8AI加(jia)速器(qi)以(yi)及用(yong)(yong)于(yu)(yu)運行(xing)LLM的生(sheng)成式AI加(jia)速器(qi)。
5. Innatera總部位于(yu)荷(he)蘭，推出了一(yi)款基于(yu)SNN的神(shen)經擬態加速器(qi)，主要用于(yu)語(yu)音識(shi)別、生命(ming)體征監測(ce)和雷達等。
6. Mythic總部位于美國(guo)德克(ke)薩斯州，是一(yi)家專注于邊緣(yuan)AI和(he)AIoT的(de)(de)節(jie)能(neng)芯片供應商，采用單芯片模(mo)擬計算(suan)內(nei)存架構(gou)，無需DRAM。Mythic開發了(le)統(tong)一(yi)的(de)(de)軟硬件平(ping)臺，以其獨特(te)的(de)(de)模(mo)擬計算(suan)引(yin)擎Mythic ACE為特(te)色，具(ju)備高功率、低(di)成本和(he)優良的(de)(de)性能(neng)參數(shu)，打破了(le)阻(zu)礙(ai)人工智能(neng)創新的(de)(de)數(shu)字障礙(ai)。Mythic模(mo)擬矩陣處理器Mythic AMP也使人工智能(neng)解決方案的(de)(de)部署變(bian)得更加經(jing)濟便捷。
7. Perceive于2024年8月被亞馬遜收(shou)購，是一家邊(bian)(bian)緣AI和AIoT處理(li)芯(xin)片(pian)(pian)提供(gong)商，專注于LLM的(de)邊(bian)(bian)緣處理(li)。該(gai)公司提供(gong)低功耗邊(bian)(bian)緣處理(li)芯(xin)片(pian)(pian)，專為(wei)(wei)各種(zhong)應用而設計，包括聯網攝(she)像頭(tou)和家電。該(gai)公司最新一代(dai)邊(bian)(bian)緣AI芯(xin)片(pian)(pian)Ergo2的(de)占用空間為(wei)(wei)7mm x 7mm，不需要外(wai)部DRAM。公司稱，該(gai)芯(xin)片(pian)(pian)可以在30 FPS的(de)視頻(pin)源(yuan)上運行推理(li)，功耗僅為(wei)(wei)17 mW。
8. SiMa.ai總(zong)部位于加利福尼亞州(zhou)圣何(he)塞，是嵌入式機器學(xue)習系統芯(xin)(xin)片SoC的提供商，允(yun)許客戶在單(dan)個(ge)芯(xin)(xin)片上執行整個(ge)應(ying)用程序。該公司的目(mu)標(biao)是優先考慮低功耗(hao)的AIoT用例，具體范圍在5W-25W之(zhi)間。據SiMa稱，其(qi)芯(xin)(xin)片可(ke)以作(zuo)為涵蓋計算機視(shi)覺和多(duo)模態(tai)生成AI的AI應(ying)用的單(dan)邊緣(yuan)平臺。
9. Syntiant總部(bu)位(wei)于美國加利福尼亞州，是(shi)一(yi)家為(wei)邊(bian)緣AI和AIoT應用提供低功(gong)耗處理器的(de)供應商(shang)，截至(zhi)2022年(nian)3月，該(gai)公司(si)已出貨超過2000萬片(pian)邊(bian)緣AI芯片(pian)。公司(si)專注于安全等行業使(shi)用的(de)聲(sheng)學(xue)事件檢測和視頻處理，以最小的(de)延(yan)遲提供實時數據處理。
10. Untether AI總部位于加拿(na)大(da)多倫多，芯(xin)片名為240 Slim，也是(shi)基于RISC-V架構，性能出色但能耗卻低得多，適合在自(zi)動駕(jia)駛(shi)(shi)汽車、自(zi)動農業(ye)設備和一(yi)些數據中心內使用。梅賽德斯-奔馳表示，正在與Untether合作開發其下一(yi)代自(zi)動駕(jia)駛(shi)(shi)汽車。
寫在最后
隨(sui)著人工智能技(ji)術的(de)不斷(duan)進步，端側(ce)AI和AIoT芯片的(de)發展正迎來一個全(quan)新的(de)時(shi)代。
這場革命不(bu)僅僅是關于更(geng)強(qiang)大的計(ji)算能力，更(geng)是關于如(ru)何(he)在(zai)功耗、性能和尺(chi)寸之間取得(de)完美平衡，以滿足(zu)不(bu)同應用場景的特定需求。
從判(pan)別式AI到增強式AI，再(zai)到生成式AI，端(duan)側智(zhi)能(neng)正在經歷一場從感(gan)知到理解，再(zai)到創(chuang)(chuang)造的蛻變。在這個過程(cheng)中，小型語言模型和(he)微型機(ji)器學習等新(xin)興技術正在崛(jue)起，推動著(zhu)AIoT芯(xin)片(pian)的創(chuang)(chuang)新(xin)浪潮。無(wu)論是自(zi)動駕(jia)駛汽車、智(zhi)能(neng)眼鏡、智(zhi)能(neng)攝像頭，還是未(wei)來的元宇宙(zhou)和(he)機(ji)器人，AIoT芯(xin)片(pian)都(dou)將扮演著(zhu)至關重要的角色。
參考資料：IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來源：OrangeThe Evolution of AI on the Edge: From Perception to Creation，來源(yuan)：HailoAIoT Chipsets: enhancing the connected devices ecosystem，來源：Transforma Insights
