人工智能大模型與硬件的融合正在如(ru)火如(ru)荼地進行，但(dan)在B2C消(xiao)費端似乎遇到了阻力。
據The Information報道，蘋果前設計(ji)總監Jony Ive和OpenAI的(de)CEO Sam Altman已(yi)聯(lian)手設計(ji)一款AI驅動(dong)的(de)個人設備，并正在尋求至少10億美(mei)元的(de)融資(zi)。然(ran)而(er)，過(guo)去幾周發布(bu)的(de)基于最(zui)新AI大模(mo)型驅動(dong)的(de)B2C智能硬件卻受到(dao)了諷刺和批(pi)評，如Humane Pin和Rabbit R1。第一批(pi)購買者認為，這(zhe)些設備的(de)易用(yong)性明顯不如智能手機。
盡管大模型硬件在B2C領域遇阻，但在B2B領域，大模型與邊緣計算的結合卻取得了突破性進展，推進了智能物聯2.0的演進，朝著“通感智值一體化”邁出了堅實一步。
隨著越(yue)來越(yue)多企業(ye)開(kai)始將傳感器、通(tong)信(xin)網關(guan)、控(kong)制(zhi)器、執行器等(deng)整合(he)，形(xing)成了“通(tong)感智值(zhi)一體(ti)(ti)化”，即通(tong)信(xin)、感知、智能、價值(zhi)的一體(ti)(ti)化。
本(ben)文將探索大模型與邊(bian)緣計算結(jie)合的最(zui)新進展，以及“通感智值一體化”如何(he)創造更大價(jia)值。
邊緣智能三大趨勢：云訓練下放、NPU加速、Tiny AI賦能
邊(bian)(bian)緣(yuan)計(ji)算是指在數據(ju)產生(sheng)或消費源附近(jin)部署(shu)智能(neng)計(ji)算資源。根據(ju)計(ji)算能(neng)力(li)和部署(shu)位(wei)置的不(bu)同，邊(bian)(bian)緣(yuan)可分為(wei)基礎設(she)(she)施邊(bian)(bian)緣(yuan)（厚(hou)邊(bian)(bian)緣(yuan)）、設(she)(she)備邊(bian)(bian)緣(yuan)（薄邊(bian)(bian)緣(yuan)）和終端邊(bian)(bian)緣(yuan)（微邊(bian)(bian)緣(yuan)）三(san)種類型。
基礎設施邊緣（厚邊緣）：通常(chang)位于數據(ju)(ju)中(zhong)心內，配備了高性能(neng)的中(zhong)央(yang)處(chu)理器(qi)(CPU)或圖(tu)形處(chu)理器(qi)(GPU)，專門(men)用于處(chu)理計算密集型任(ren)務，如數據(ju)(ju)存(cun)儲和分析(xi)。典(dian)型的厚(hou)邊(bian)緣(yuan)設備包(bao)括蜂窩無線(xian)基站、區(qu)域(yu)性數據(ju)(ju)中(zhong)心和某些(xie)特定(ding)的中(zhong)央(yang)機(ji)房(fang)。
設備邊緣（薄邊緣）：包括智能控制器、網絡設備和計算機，它們負責聚合來自傳感器和其他數據生成設備的數據。常見的薄邊緣設備有物聯網網關(guan)、交換機、路(lu)由器(qi)和本地服(fu)務器(qi)。
終端邊緣（微邊緣）：指那些(xie)直(zhi)接生成數據的智(zhi)能傳感器和設備。
邊緣智能是(shi)指將人(ren)工智能模型部署在(zai)邊緣設(she)備上(shang)，使(shi)其能夠在(zai)無(wu)需持續連接云端的情況下實現(xian)AI推理和決策(ce)。
當前，邊緣智能正呈現出三大發展趨勢：厚邊緣AI訓練、薄邊緣和微邊緣NPU加速，以及微邊緣Tiny AI賦能。
云端重擔下放，AI模型訓練遷移至厚邊緣
隨(sui)著高(gao)性能CPU和(he)GPU的集(ji)成，人工智(zhi)能模型訓(xun)練正(zheng)在(zai)從集(ji)中(zhong)式云(yun)端向邊緣服務器或微型數(shu)據中(zhong)心(xin)轉(zhuan)移。這不僅降低(di)了(le)對云(yun)基礎設施的依賴和(he)成本，還增強了(le)數(shu)據隱私保護，提高(gao)了(le)邊緣設備上(shang)人工智(zhi)能應用的響應速度。
這一趨勢有助于實現數據的就地處理和分析，減少了數據在網絡中的傳輸，從而降低了延遲和安全風險，提高了AI應用的實時性和可靠性。
例如(ru)MAINGEAR公(gong)(gong)司和Phison公(gong)(gong)司聯合(he)推出的(de)PRO AI工作站，以及Aetina公(gong)(gong)司的(de)AIP-FR68邊緣(yuan)AI訓練(lian)平臺，都體現(xian)了這一趨勢。
NPU芯片加持，微邊緣和薄邊緣AI推理加速
在微邊(bian)緣和(he)(he)薄邊(bian)緣設(she)(she)備中(zhong)(zhong)集成專用的神(shen)經(jing)網絡(luo)處理器(qi)(NPU)，可以顯著增強(qiang)其AI推理能力，同(tong)時節(jie)省功耗(hao)、優化熱管理，實(shi)現高效的多任務處理。這使(shi)得AI能夠在可穿戴設(she)(she)備和(he)(he)傳(chuan)感器(qi)節(jie)點(dian)等對功耗(hao)和(he)(he)延遲敏感的應用中(zhong)(zhong)得到(dao)廣泛部署(shu)。
NPU的加入使得邊緣設備具備了強大的AI計算能力，可以在本地完成復雜的推理任務，大大減少了對云端的依賴，提高了數據處理的實時性和隱私性。
NXP的(de)新型MCX N系列(lie)微控制器(MCU)和ARM的(de)Cortex A55+Ethos U65 NPU設(she)置，展(zhan)示(shi)了(le)(le)NPU集(ji)成(cheng)帶來的(de)性能(neng)提升。NXP的(de)MCU機器學習推(tui)理速度比單獨的(de)CPU內(nei)核快42倍；ARM則通過設(she)置將70%的(de)AI推(tui)理從CPU卸(xie)載到(dao)NPU，推(tui)理性能(neng)提高了(le)(le)11倍。
Tiny AI注智，傳統設備秒變微邊緣AI
微型人工(gong)智能/機器學(xue)習(Tiny AI/ML)則進一(yi)步將AI能力(li)引入資源受限的(de)微邊緣設備。通過將小型AI/ML模(mo)型集成到日常(chang)物品和工(gong)具中，使其能夠自(zi)主執(zhi)行決(jue)策功能，無需云端連接，既(ji)增強了數(shu)據隱私和安全(quan)，又(you)賦予了傳統設備智能化的(de)能力(li)。
Tiny AI的出現大大拓展了AI的應用場景和范圍，使得傳統的“啞”設備也能夠變得智能化，具備一定的感知、學習和決策能力，為萬物智聯2.0時代的到來奠定了基礎。
例如MY VOICE AI的(de)NANOVOICE語音驗證方(fang)案、SensiML的(de)智(zhi)能鉆頭(tou)異(yi)常檢(jian)測模(mo)型，以及Nordic Semiconductor的(de)Thingy:53原型設備(bei)，都是微型AI/ML在微邊緣(yuan)設備(bei)上(shang)的(de)創(chuang)新應用。比如Thingy:53使用嵌入(ru)式微型機器學習模(mo)型來(lai)感(gan)測設備(bei)振動(dong)，該系統(tong)可(ke)以在檢(jian)測到異(yi)常情況時切斷(duan)設備(bei)或(huo)機器的(de)電源。
蜂窩物聯網模組邁向新階段，AI算力成關鍵驅動力
隨著人工智能與蜂窩物聯網的不斷融合，將支持AI的芯片組直接(jie)集成(cheng)到(dao)物聯(lian)網設備中已成(cheng)為一種新(xin)興趨勢。這標志(zhi)著智能(neng)、自主(zhu)的物聯(lian)網系統正在(zai)崛(jue)起，能(neng)夠在(zai)本地(di)進(jin)行(xing)實時決策。
這一趨勢有望為智慧城市和工業制造等領域(yu)帶(dai)來(lai)革(ge)命性(xing)的變革(ge)，不僅(jin)可以實現實時數據處(chu)理、降(jiang)低延遲，還能通(tong)過更小巧的設備尺(chi)寸提(ti)高效(xiao)率。
在這股浪潮中，智能模組和AI蜂窩物聯網模組成為推動市場增長的重要引擎。這類模組搭載了嵌入式計算資源，能夠直接在物聯網設備上執行復雜的數據分析，甚至是AI推理任務。預計到2027年，這些先進模組的出貨量將以76%的年復合增長率持續攀升。
事實上，業界常提及的”算力模組”概念與智能模組和AI蜂窩物聯網模組高度重合，代表了蜂窩物聯網技術的最新發展方向。市場研究機構Counterpoint也發現，2023年模組廠商出貨的產品中，約12%在軟硬件層面具備AI功能。這些(xie)模組在(zai)汽車、路由器(qi)/CPE和PC等高端市場(chang)越來越受青睞，有助于應對(dui)這些(xie)領域(yu)日益(yi)增(zeng)長(chang)的(de)數據(ju)負載(zai)。
總體而言，蜂窩物聯網模組的發展歷程可劃分為三個重疊的階段：傳統模組、智能模組和AI使能模組。
傳統物聯網模組作為基本的連接模塊(kuai)，主要(yao)功能是實現蜂窩通信(xin)，僅包含支持通信(xin)的芯(xin)片組(zu)，無需額外功能。
智能物聯網模組在提(ti)供(gong)連接功能的同(tong)時，還(huan)集成了額外的計算硬件，如中(zhong)央處(chu)理(li)器(CPU)和圖形處(chu)理(li)器(GPU)。
AI使能物聯網模組則在智能(neng)模(mo)組的基(ji)礎上(shang)，進一步集成了專用的AI加(jia)速(su)芯片(pian)組，如神(shen)經處理(li)單元(yuan)(yuan)(yuan)(NPU)、張(zhang)量(liang)處理(li)單元(yuan)(yuan)(yuan)(TPU)或并行(xing)處理(li)單元(yuan)(yuan)(yuan)(PPU)等(deng)。
相比傳統模(mo)(mo)組(zu)和(he)智能(neng)模(mo)(mo)組(zu)，AI使能(neng)的(de)蜂窩物(wu)聯網(wang)模(mo)(mo)組(zu)問(wen)世(shi)時間(jian)相對較短。但(dan)它有望徹底改(gai)變各(ge)行(xing)各(ge)業的(de)面貌。通(tong)過將AI直接集成(cheng)到(dao)物(wu)聯網(wang)模(mo)(mo)組(zu)中，AI推(tui)理(li)可以在邊緣側實(shi)(shi)時執行(xing)，實(shi)(shi)現(xian)快速、自主的(de)本(ben)地決(jue)(jue)策(ce)。這不僅減少了蜂窩網(wang)絡(luo)上的(de)數據傳輸，節(jie)省了帶寬和(he)成(cheng)本(ben)，還能(neng)滿足時間(jian)敏感型應用(yong)的(de)即(ji)時決(jue)(jue)策(ce)需求。
此外，在連接模組中嵌入AI芯片組可以節省空間，簡化物聯網設備的外形尺寸。簡而言之，這些模組正從單純的數據通信推進器，演變為能夠獨立處理工作負載的智能邊緣節點。
例(li)如廣和通公司的(de)智能割草(cao)機器(qi)人解決方案，就是AI蜂窩(wo)物(wu)(wu)聯網模組(zu)的(de)一個典型應用。它利用高通智能模塊實現強大的(de)設備端計算，不(bu)僅能繪(hui)制環境圖、避開(kai)障(zhang)礙物(wu)(wu)，還能經濟高效地識別割草(cao)范圍，而無需持續連接云端。這充分展示了支(zhi)持AI芯片組(zu)在物(wu)(wu)聯網設備中的(de)實際價值(zhi)。
創通聯達公司的(de)EB3G2物聯網(wang)邊緣網(wang)關，則利用高通SoC執(zhi)行設備上的(de)AI模型。該SoC可實現即時數據分析，減少延(yan)遲和云依(yi)賴(lai)。網(wang)關內置的(de)算法能夠進行人體檢測和跟蹤，對安全(quan)和流量管(guan)理等場景大有裨益。
通感智值一體化的未來：泛在智能、極致體驗、生態共榮
隨著邊緣智(zhi)(zhi)(zhi)能(neng)的(de)不斷發展和蜂(feng)窩物聯網模(mo)組的(de)升級迭代，通感智(zhi)(zhi)(zhi)值一體化正迎來(lai)(lai)更加廣闊的(de)發展前景。未(wei)來(lai)(lai)，我們有望看到(dao)泛(fan)在智(zhi)(zhi)(zhi)能(neng)、極致體驗和生態共榮(rong)成(cheng)為這一領域的(de)主旋律。
泛在智能：從感知到決策的全面智能化
未來，通感(gan)(gan)智(zhi)值一體(ti)化(hua)將(jiang)實現從感(gan)(gan)知(zhi)到決(jue)策的(de)全(quan)面(mian)智(zhi)能(neng)化(hua)。得益于Tiny AI等技術的(de)進步，越(yue)來越(yue)多的(de)傳(chuan)統傳(chuan)感(gan)(gan)器和設(she)備(bei)將(jiang)具備(bei)微邊緣AI能(neng)力，能(neng)夠在(zai)本地完(wan)成初步的(de)數(shu)據分析和決(jue)策，真正實現”智(zhi)慧感(gan)(gan)知(zhi)”。
同時(shi)，在薄邊緣和厚(hou)邊緣側(ce)，NPU等(deng)專用(yong)(yong)芯片的(de)(de)加持將進一步提升(sheng)AI推理和訓練的(de)(de)速度與效率(lv)，推動更多復雜(za)AI應用(yong)(yong)的(de)(de)落地。隨著AI能(neng)力向(xiang)邊緣側(ce)的(de)(de)不斷下沉，未來(lai)的(de)(de)通感(gan)智(zhi)值系統將呈(cheng)現出無所不在、無時(shi)不在的(de)(de)泛在智(zhi)能(neng)特征。
極致體驗：實時響應、高效協同的用戶體驗
通感智值一體化的另一重要發展方向，是為用戶帶來實時響應、高效協同的極致體驗。當前，邊緣智能已經能夠顯著降低數據傳輸延遲，但仍難以滿足工業元宇宙、無人駕駛等延(yan)遲敏感型應用(yong)的苛刻要求。
未來，通(tong)過引入5G/6G等新一代通(tong)信技術，并進一步升級邊(bian)緣(yuan)側的計算、存儲架構，有(you)望將端(duan)到端(duan)時(shi)延降至(zhi)毫(hao)秒級，甚至(zhi)是微秒級，從而實現真正的實時(shi)交互。
此外，隨(sui)著異(yi)構算力的(de)(de)協同(tong)能(neng)力不斷增(zeng)強(qiang)，不同(tong)層級的(de)(de)智(zhi)能(neng)設備之間將能(neng)夠更加高效(xiao)地協作(zuo)，提供無(wu)縫銜接的(de)(de)沉浸式(shi)體驗。
生態共榮：開放融合、多方共贏的發展格局
隨著通感智值(zhi)一(yi)體化生(sheng)態日趨成(cheng)熟，開放融合、多(duo)方(fang)共贏將(jiang)成(cheng)為行業的主旋律。一(yi)方(fang)面(mian)，軟硬(ying)件(jian)開源平臺的興起(qi)，將(jiang)加速邊緣智能技(ji)術的普及和迭代，讓(rang)更多(duo)中(zhong)小企業和創新團隊參(can)與到生(sheng)態建設中(zhong)來。
另(ling)一方(fang)(fang)面，跨界(jie)融合將成為常態(tai)，芯片廠商(shang)、設備制造商(shang)、通信(xin)運營(ying)商(shang)、軟件(jian)服務商(shang)等產(chan)業鏈各方(fang)(fang)將加強合作，充分發(fa)揮各自優勢，共同推動行業的良性發(fa)展(zhan)。
此外，邊緣智能與云(yun)計算、區塊鏈等技術的(de)融(rong)合創新，也將催(cui)生(sheng)出更多全新的(de)應用場景(jing)和商業(ye)模式，為(wei)通感智值一(yi)體化注入(ru)新的(de)活力。
總(zong)而(er)言之，通感智(zhi)值一體化(hua)正處于從量(liang)變到質變的(de)關鍵(jian)時期。隨著泛(fan)在智(zhi)能、極致體驗(yan)、生態共榮(rong)等趨勢的(de)不斷深入，邊緣側智(zhi)能化(hua)將進(jin)入一個全新的(de)發(fa)展階(jie)段(duan)。
寫在最后
縱觀全(quan)文(wen)，我們不難發(fa)現，通感智(zhi)值一體(ti)化(hua)正以前所未有的速度和廣(guang)度重塑著智(zhi)能物(wu)聯網的發(fa)展格局。
從云端到(dao)邊緣(yuan)，從感(gan)知到(dao)決策，從芯(xin)片到(dao)模組，從算法到(dao)應用，智能(neng)正(zheng)在滲透和重(zhong)構(gou)物聯網(wang)的方方面面。這一切，無不昭(zhao)示著一個全新時代的到(dao)來(lai)。
在這個時代，邊緣不(bu)(bu)再(zai)是云(yun)的附庸(yong)，而是智(zhi)能的重要載(zai)體和源泉(quan)；感(gan)知不(bu)(bu)再(zai)是盲(mang)目的數據采集，而是具備分析和決策(ce)能力的智(zhi)慧行為；連接不(bu)(bu)再(zai)是簡單的數據傳輸，而是智(zhi)能協同與融合的紐帶(dai)。通(tong)感(gan)、智(zhi)能、價值，正(zheng)在深度交融，共(gong)同編織出(chu)一張覆蓋(gai)全球的智(zhi)能物(wu)聯2.0大(da)網。
