人工智能大模型與硬件的融(rong)合正在如火如荼地進行，但在B2C消費(fei)端似乎遇到了阻(zu)力。
據The Information報道，蘋(pin)果前(qian)設(she)(she)計總監Jony Ive和(he)OpenAI的(de)CEO Sam Altman已(yi)聯手(shou)設(she)(she)計一款AI驅動的(de)個(ge)人設(she)(she)備(bei)，并正在尋求至少10億美元的(de)融資。然(ran)而，過去幾周發布(bu)的(de)基于最新(xin)AI大(da)模型(xing)驅動的(de)B2C智能硬件卻受到了諷刺和(he)批(pi)評，如(ru)Humane Pin和(he)Rabbit R1。第一批(pi)購買(mai)者認為，這些設(she)(she)備(bei)的(de)易用性(xing)明顯(xian)不(bu)如(ru)智能手(shou)機(ji)。
盡管大模型硬件在B2C領域遇阻，但在B2B領域，大模型與邊緣計算的結合卻取得了突破性進展，推進了智能物聯2.0的演進，朝著“通感智值一體化”邁出了堅實一步。
隨著越來越多企業開(kai)始將(jiang)傳(chuan)感器、通信網關、控(kong)制器、執行器等(deng)整合，形成了(le)“通感智值(zhi)一(yi)體化”，即通信、感知、智能、價值(zhi)的(de)一(yi)體化。
本文將探索大(da)模(mo)型與(yu)邊(bian)緣計算結合的最新進展，以及(ji)“通(tong)感智值一體(ti)化(hua)”如(ru)何(he)創造更大(da)價值。
邊緣智能三大趨勢：云訓練下放、NPU加速、Tiny AI賦能
邊(bian)(bian)緣(yuan)(yuan)計(ji)算是指在數據(ju)產生或消費源附近部署(shu)智能計(ji)算資源。根據(ju)計(ji)算能力和(he)部署(shu)位置的(de)不同，邊(bian)(bian)緣(yuan)(yuan)可分為基礎設施邊(bian)(bian)緣(yuan)(yuan)（厚邊(bian)(bian)緣(yuan)(yuan)）、設備邊(bian)(bian)緣(yuan)(yuan)（薄邊(bian)(bian)緣(yuan)(yuan)）和(he)終端邊(bian)(bian)緣(yuan)(yuan)（微邊(bian)(bian)緣(yuan)(yuan)）三種(zhong)類型。
基礎設施邊緣（厚邊緣）：通常位于(yu)數據中心內，配備(bei)(bei)了高性能的(de)中央(yang)處(chu)理器(CPU)或圖(tu)形處(chu)理器(GPU)，專門用于(yu)處(chu)理計算密集(ji)型任務，如數據存儲和(he)分(fen)析。典型的(de)厚邊(bian)緣設備(bei)(bei)包括蜂窩無線基站、區域性數據中心和(he)某些特定(ding)的(de)中央(yang)機房(fang)。
設備邊緣（薄邊緣）：包括智能控制器、網絡設備和計算機，它們負責聚合來自傳感器和其他數據生成設備的數據。常見的薄邊緣設備有物聯網網關、交換機、路由器和本地服(fu)務(wu)器。
終端邊緣（微邊緣）：指那些直接生成數(shu)據的(de)智能傳感(gan)器和設(she)備。
邊緣智能是指將人工智能(neng)模型(xing)部署(shu)在(zai)邊緣(yuan)設備上(shang)，使其能(neng)夠在(zai)無需(xu)持續連接云端的情況下實(shi)現AI推理和決(jue)策。
當前，邊緣智能正呈現出三大發展趨勢：厚邊緣AI訓練、薄邊緣和微邊緣NPU加速，以及微邊緣Tiny AI賦能。
云端重擔下放，AI模型訓練遷移至厚邊緣
隨著高性(xing)能CPU和GPU的(de)集成，人工智能模型訓練正在(zai)從集中(zhong)式云(yun)(yun)端向邊緣服(fu)務器(qi)或微(wei)型數(shu)據中(zhong)心轉移。這(zhe)不僅降低了(le)對云(yun)(yun)基礎設施的(de)依(yi)賴和成本，還(huan)增強了(le)數(shu)據隱私(si)保護，提高了(le)邊緣設備上人工智能應用的(de)響(xiang)應速度。
這一趨勢有助于實現數據的就地處理和分析，減少了數據在網絡中的傳輸，從而降低了延遲和安全風險，提高了AI應用的實時性和可靠性。
例(li)如MAINGEAR公(gong)司和Phison公(gong)司聯合推出的PRO AI工(gong)作站，以及Aetina公(gong)司的AIP-FR68邊緣AI訓練平臺，都體現了這一趨勢。
NPU芯片加持，微邊緣和薄邊緣AI推理加速
在微邊(bian)緣(yuan)和(he)薄邊(bian)緣(yuan)設備中(zhong)集(ji)成專用的(de)神經網絡處(chu)理器(NPU)，可(ke)以顯著增(zeng)強其(qi)AI推理能力，同時節(jie)省功(gong)耗(hao)、優化熱管理，實(shi)現高效的(de)多任務(wu)處(chu)理。這(zhe)使得AI能夠在可(ke)穿(chuan)戴設備和(he)傳感器節(jie)點等對功(gong)耗(hao)和(he)延遲(chi)敏(min)感的(de)應用中(zhong)得到(dao)廣泛部(bu)署(shu)。
NPU的加入使得邊緣設備具備了強大的AI計算能力，可以在本地完成復雜的推理任務，大大減少了對云端的依賴，提高了數據處理的實時性和隱私性。
NXP的(de)(de)(de)新型(xing)MCX N系列(lie)微控制器(MCU)和(he)ARM的(de)(de)(de)Cortex A55+Ethos U65 NPU設置，展示了(le)NPU集成(cheng)帶來(lai)的(de)(de)(de)性(xing)能(neng)提(ti)(ti)升。NXP的(de)(de)(de)MCU機器學習推(tui)理速度比單獨的(de)(de)(de)CPU內核快42倍；ARM則通過設置將70%的(de)(de)(de)AI推(tui)理從CPU卸(xie)載到(dao)NPU，推(tui)理性(xing)能(neng)提(ti)(ti)高(gao)了(le)11倍。
Tiny AI注智，傳統設備秒變微邊緣AI
微型人工智能(neng)/機器(qi)學習(Tiny AI/ML)則進(jin)一步將AI能(neng)力引入資源受限的微邊緣設(she)備。通過將小型AI/ML模型集成到日常(chang)物(wu)品和工具中(zhong)，使其能(neng)夠自主執行(xing)決(jue)策功(gong)能(neng)，無(wu)需云端(duan)連(lian)接(jie)，既增強(qiang)了(le)數據隱私和安全，又賦予(yu)了(le)傳統設(she)備智能(neng)化的能(neng)力。
Tiny AI的出現大大拓展了AI的應用場景和范圍，使得傳統的“啞”設備也能夠變得智能化，具備一定的感知、學習和決策能力，為萬物智聯2.0時代的到來奠定了基礎。
例如MY VOICE AI的(de)NANOVOICE語音驗證(zheng)方案、SensiML的(de)智(zhi)能鉆(zhan)頭異(yi)常檢(jian)測模型(xing)，以及(ji)Nordic Semiconductor的(de)Thingy:53原(yuan)型(xing)設(she)備(bei)，都是微型(xing)AI/ML在(zai)微邊緣(yuan)設(she)備(bei)上的(de)創新應(ying)用(yong)。比如Thingy:53使用(yong)嵌入式微型(xing)機器(qi)學習模型(xing)來感(gan)測設(she)備(bei)振動，該系統可以在(zai)檢(jian)測到異(yi)常情況時(shi)切斷(duan)設(she)備(bei)或(huo)機器(qi)的(de)電源(yuan)。
蜂窩物聯網模組邁向新階段，AI算力成關鍵驅動力
隨著人工智能與蜂窩物聯網的不斷融合，將支持AI的芯片組直接集成(cheng)到物(wu)聯網(wang)設備中已成(cheng)為(wei)一種新興趨勢。這(zhe)標(biao)志(zhi)著智(zhi)能、自主的物(wu)聯網(wang)系統正(zheng)在(zai)崛(jue)起，能夠(gou)在(zai)本地進行實時決策。
這一趨勢有望為智慧城市和工(gong)業(ye)制(zhi)造等領域帶來革命性的(de)變革，不僅可(ke)以實現(xian)實時數據處理、降低延遲，還(huan)能通過更小巧的(de)設備尺寸提高效(xiao)率(lv)。
在這股浪潮中，智能模組和AI蜂窩物聯網模組成為推動市場增長的重要引擎。這類模組搭載了嵌入式計算資源，能夠直接在物聯網設備上執行復雜的數據分析，甚至是AI推理任務。預計到2027年，這些先進模組的出貨量將以76%的年復合增長率持續攀升。
事實上，業界常提及的”算力模組”概念與智能模組和AI蜂窩物聯網模組高度重合，代表了蜂窩物聯網技術的最新發展方向。市場研究機構Counterpoint也發現，2023年模組廠商出貨的產品中，約12%在軟硬件層面具備AI功能。這些(xie)模組在汽車、路由器/CPE和PC等(deng)高端市(shi)場越(yue)(yue)來越(yue)(yue)受青(qing)睞，有助于應對這些(xie)領(ling)域日益增長的數據(ju)負載。
總體而言，蜂窩物聯網模組的發展歷程可劃分為三個重疊的階段：傳統模組、智能模組和AI使能模組。
傳統物聯網模組作為(wei)基(ji)本的連接(jie)模(mo)塊，主要(yao)功(gong)能(neng)是(shi)實現蜂窩通信(xin)，僅包含支持通信(xin)的芯片組，無需額外功(gong)能(neng)。
智能物聯網模組在提供連(lian)接功能的同時，還集成了額外的計算硬件(jian)，如中央處理(li)(li)器(qi)(qi)(CPU)和圖形處理(li)(li)器(qi)(qi)(GPU)。
AI使能物聯網模組則在智能模(mo)組(zu)的基礎(chu)上，進一步集成了(le)專用的AI加(jia)速芯片(pian)組(zu)，如神經處理(li)(li)單(dan)元(NPU)、張量(liang)處理(li)(li)單(dan)元(TPU)或并行處理(li)(li)單(dan)元(PPU)等(deng)。
相(xiang)比傳(chuan)統模(mo)組和智能模(mo)組，AI使能的(de)蜂(feng)窩物聯網模(mo)組問(wen)世時(shi)(shi)間(jian)相(xiang)對較短。但它(ta)有望徹(che)底改變各行(xing)各業的(de)面貌。通過將AI直接集成到物聯網模(mo)組中，AI推理可以在邊緣側實(shi)時(shi)(shi)執行(xing)，實(shi)現快速、自主的(de)本地決策。這不僅(jin)減少(shao)了(le)蜂(feng)窩網絡(luo)上的(de)數據傳(chuan)輸，節省了(le)帶寬和成本，還能滿足時(shi)(shi)間(jian)敏感型應用(yong)的(de)即(ji)時(shi)(shi)決策需求。
此外，在連接模組中嵌入AI芯片組可以節省空間，簡化物聯網設備的外形尺寸。簡而言之，這些模組正從單純的數據通信推進器，演變為能夠獨立處理工作負載的智能邊緣節點。
例如廣和通公司的(de)智能(neng)割草機器(qi)人解決方案，就是AI蜂(feng)窩物(wu)聯網模組的(de)一個典型應(ying)用(yong)。它利用(yong)高通智能(neng)模塊實現(xian)強大的(de)設備端計(ji)算，不僅能(neng)繪制環境(jing)圖、避開障礙物(wu)，還能(neng)經濟高效地識別割草范圍，而無需持續(xu)連接(jie)云(yun)端。這充(chong)分展(zhan)示了支持AI芯片組在(zai)物(wu)聯網設備中的(de)實際價值(zhi)。
創通(tong)(tong)聯達公司的(de)EB3G2物聯網(wang)邊緣(yuan)網(wang)關(guan)，則利用(yong)高通(tong)(tong)SoC執行(xing)設備上的(de)AI模型。該SoC可實現即時數(shu)據分析，減少延遲和(he)云依賴。網(wang)關(guan)內(nei)置的(de)算法能(neng)夠進行(xing)人體檢測和(he)跟蹤，對(dui)安(an)全(quan)和(he)流量(liang)管理等場景大(da)有(you)裨益。
通感智值一體化的未來：泛在智能、極致體驗、生態共榮
隨著邊緣智(zhi)能(neng)的(de)(de)(de)不斷發展和(he)蜂窩物(wu)聯網模組的(de)(de)(de)升級迭代，通感智(zhi)值一(yi)體化正迎(ying)來(lai)更(geng)加廣闊的(de)(de)(de)發展前(qian)景。未(wei)來(lai)，我們有望看到泛在智(zhi)能(neng)、極致(zhi)體驗(yan)和(he)生態共榮成為這一(yi)領域的(de)(de)(de)主旋(xuan)律。
泛在智能：從感知到決策的全面智能化
未來，通感(gan)智值一體化將實現從(cong)感(gan)知(zhi)到決策(ce)的全(quan)面智能(neng)化。得(de)益(yi)于(yu)Tiny AI等技(ji)術的進(jin)步(bu)，越來越多的傳(chuan)統傳(chuan)感(gan)器(qi)和(he)設備(bei)將具備(bei)微邊(bian)緣AI能(neng)力(li)，能(neng)夠在(zai)本(ben)地完成(cheng)初步(bu)的數據分析(xi)和(he)決策(ce)，真正實現”智慧感(gan)知(zhi)”。
同時，在(zai)薄(bo)邊(bian)(bian)緣和(he)厚邊(bian)(bian)緣側，NPU等專用(yong)芯片(pian)的加持將進一(yi)步提升AI推理(li)和(he)訓練的速(su)度與效率，推動更多復雜(za)AI應用(yong)的落地(di)。隨著AI能(neng)力向邊(bian)(bian)緣側的不斷下沉，未來的通感智(zhi)值系統將呈現出(chu)無所不在(zai)、無時不在(zai)的泛(fan)在(zai)智(zhi)能(neng)特(te)征。
極致體驗：實時響應、高效協同的用戶體驗
通感智值一體化的另一重要發展方向，是為用戶帶來實時響應、高效協同的極致體驗。當前，邊緣智能已經能夠顯著降低數據傳輸延遲，但仍難以滿足工業元宇宙、無人駕駛等延遲敏感型應用的苛(ke)刻要求。
未來，通過引入(ru)5G/6G等(deng)新一代通信技術(shu)，并(bing)進一步升級邊緣側的計算、存儲(chu)架構，有望將端(duan)到端(duan)時(shi)(shi)延降(jiang)至毫(hao)秒級，甚(shen)至是(shi)微(wei)秒級，從(cong)而實現(xian)真(zhen)正的實時(shi)(shi)交互。
此外，隨著異構算力的協(xie)同(tong)能力不(bu)(bu)斷增強，不(bu)(bu)同(tong)層級的智能設備之間將能夠更加高效地協(xie)作(zuo)，提供無縫銜接的沉浸式體(ti)驗。
生態共榮：開放融合、多方共贏的發展格局
隨著(zhu)通感智(zhi)值一(yi)體化(hua)生態(tai)日(ri)趨(qu)成(cheng)熟，開放(fang)融合、多方共贏將成(cheng)為行(xing)業的(de)主旋律。一(yi)方面，軟硬件開源平臺(tai)的(de)興起，將加(jia)速邊緣智(zhi)能技(ji)術的(de)普及和(he)迭(die)代，讓更多中(zhong)小(xiao)企業和(he)創新團(tuan)隊參與到生態(tai)建設中(zhong)來。
另(ling)一(yi)方面(mian)，跨界融合(he)將(jiang)成為常態，芯片廠(chang)商(shang)、設備制造商(shang)、通(tong)信運(yun)營商(shang)、軟件服務(wu)商(shang)等產業(ye)鏈各(ge)方將(jiang)加強合(he)作(zuo)，充分(fen)發揮各(ge)自優勢，共同推動(dong)行業(ye)的良性(xing)發展。
此外，邊緣智(zhi)能與云計算、區塊鏈(lian)等技術的融合創(chuang)新(xin)，也將催生出更(geng)多全新(xin)的應用場景和商業模(mo)式，為通感智(zhi)值一體化注入新(xin)的活力。
總而言(yan)之，通(tong)感(gan)智(zhi)(zhi)(zhi)值一體化(hua)正處(chu)于從量變到質變的(de)(de)關鍵時期。隨(sui)著泛在智(zhi)(zhi)(zhi)能、極(ji)致體驗、生態共榮等(deng)趨(qu)勢的(de)(de)不斷(duan)深入(ru)，邊緣(yuan)側智(zhi)(zhi)(zhi)能化(hua)將進入(ru)一個全新的(de)(de)發展(zhan)階段。
寫在最后
縱(zong)觀全(quan)文，我們不難發現，通感智值(zhi)一體(ti)化正以前所未(wei)有的(de)速度(du)和廣度(du)重塑(su)著智能(neng)物聯網的(de)發展格局(ju)。
從云端到邊緣，從感知到決策，從芯片到模組(zu)，從算法到應用，智能正在滲透和(he)重構物聯(lian)網的方方面(mian)面(mian)。這一切(qie)，無(wu)不(bu)昭示著一個全新時代(dai)的到來。
在這個時代，邊緣不再是(shi)云的(de)(de)(de)附庸，而(er)是(shi)智(zhi)能(neng)的(de)(de)(de)重要載體和源泉(quan)；感知不再是(shi)盲(mang)目(mu)的(de)(de)(de)數據(ju)采集，而(er)是(shi)具備分析和決策能(neng)力的(de)(de)(de)智(zhi)慧(hui)行為；連接不再是(shi)簡單的(de)(de)(de)數據(ju)傳(chuan)輸，而(er)是(shi)智(zhi)能(neng)協同與融合的(de)(de)(de)紐帶(dai)。通感、智(zhi)能(neng)、價值，正在深度交融，共同編織出一張覆(fu)蓋全(quan)球(qiu)的(de)(de)(de)智(zhi)能(neng)物聯(lian)2.0大網。
