人工智能大(da)模(mo)型與硬件的融合(he)正在如火如荼地(di)進行(xing)，但在B2C消費端似乎遇到了(le)阻力(li)。
據The Information報道，蘋果前(qian)設計(ji)總監Jony Ive和(he)(he)OpenAI的(de)CEO Sam Altman已聯手設計(ji)一款AI驅(qu)動(dong)的(de)個人設備(bei)，并正在(zai)尋求(qiu)至少10億美元的(de)融資。然而，過去幾周發布的(de)基于最新AI大模型驅(qu)動(dong)的(de)B2C智能硬件(jian)卻受到了(le)諷刺和(he)(he)批評，如Humane Pin和(he)(he)Rabbit R1。第一批購買者認為，這些設備(bei)的(de)易用性明顯不如智能手機。
盡管大模型硬件在B2C領域遇阻，但在B2B領域，大模型與邊緣計算的結合卻取得了突破性進展，推進了智能物聯2.0的演進，朝著“通感智值一體化”邁出了堅實一步。
隨著越(yue)來(lai)越(yue)多(duo)企業開始將傳感(gan)(gan)器、通(tong)信(xin)(xin)網(wang)關、控制器、執行(xing)器等(deng)整合，形成(cheng)了“通(tong)感(gan)(gan)智(zhi)值一體化(hua)”，即(ji)通(tong)信(xin)(xin)、感(gan)(gan)知、智(zhi)能、價值的一體化(hua)。
本文將探(tan)索大模型與邊緣計算結合的最新進展(zhan)，以及“通感智值(zhi)一(yi)體化”如何創造更大價值(zhi)。
邊緣智能三大趨勢：云訓練下放、NPU加速、Tiny AI賦能
邊(bian)(bian)緣計算是指在數據(ju)產生或消費源附近部署智能計算資源。根據(ju)計算能力和部署位置的不同(tong)，邊(bian)(bian)緣可(ke)分為基礎設施邊(bian)(bian)緣（厚邊(bian)(bian)緣）、設備邊(bian)(bian)緣（薄邊(bian)(bian)緣）和終端邊(bian)(bian)緣（微邊(bian)(bian)緣）三種類(lei)型。
基礎設施邊緣（厚邊緣）：通常位于數據中心(xin)內(nei)，配備(bei)了高性能的(de)中央(yang)(yang)處(chu)理器(qi)(CPU)或圖形處(chu)理器(qi)(GPU)，專門用于處(chu)理計算密集型任務，如數據存儲(chu)和分(fen)析。典(dian)型的(de)厚(hou)邊緣設備(bei)包括蜂(feng)窩無線基站(zhan)、區域性數據中心(xin)和某些特定的(de)中央(yang)(yang)機房。
設備邊緣（薄邊緣）：包括智能控制器、網絡設備和計算機，它們負責聚合來自傳感器和其他數據生成設備的數據。常見的薄邊緣設備有物聯網網關、交換(huan)機、路(lu)由器和本(ben)地服務器。
終端邊緣（微邊緣）：指那些(xie)直(zhi)接生成數(shu)據的智能傳感器和設(she)備(bei)。
邊緣智能是指(zhi)將人工智能模(mo)型部署在邊緣設備上，使其能夠在無需持(chi)續(xu)連接云端(duan)的情況下實(shi)現AI推理和決策。
當前，邊緣智能正呈現出三大發展趨勢：厚邊緣AI訓練、薄邊緣和微邊緣NPU加速，以及微邊緣Tiny AI賦能。
云端重擔下放，AI模型訓練遷移至厚邊緣
隨著高性能CPU和GPU的集成(cheng)，人(ren)工智(zhi)能模型訓練正在(zai)從集中式云(yun)端向邊(bian)緣服務器或微型數據中心轉(zhuan)移。這不僅(jin)降(jiang)低(di)了(le)對云(yun)基礎(chu)設施(shi)的依賴(lai)和成(cheng)本(ben)，還增強了(le)數據隱私(si)保護，提(ti)高了(le)邊(bian)緣設備(bei)上人(ren)工智(zhi)能應用的響應速(su)度。
這一趨勢有助于實現數據的就地處理和分析，減少了數據在網絡中的傳輸，從而降低了延遲和安全風險，提高了AI應用的實時性和可靠性。
例如(ru)MAINGEAR公(gong)司和Phison公(gong)司聯合(he)推出的PRO AI工作站(zhan)，以及Aetina公(gong)司的AIP-FR68邊緣AI訓練平臺，都體(ti)現(xian)了這一趨勢(shi)。
NPU芯片加持，微邊緣和薄邊緣AI推理加速
在(zai)微邊緣(yuan)和薄邊緣(yuan)設(she)備中集成(cheng)專(zhuan)用的(de)神(shen)經網(wang)絡處理(li)器(qi)(qi)(NPU)，可以顯著增強其AI推理(li)能力，同時節省功耗(hao)、優化熱管理(li)，實現高效的(de)多任務處理(li)。這使得(de)AI能夠在(zai)可穿(chuan)戴設(she)備和傳感器(qi)(qi)節點等對功耗(hao)和延遲敏(min)感的(de)應用中得(de)到廣泛(fan)部署。
NPU的加入使得邊緣設備具備了強大的AI計算能力，可以在本地完成復雜的推理任務，大大減少了對云端的依賴，提高了數據處理的實時性和隱私性。
NXP的(de)(de)新(xin)型(xing)MCX N系列微控制器(qi)(MCU)和(he)ARM的(de)(de)Cortex A55+Ethos U65 NPU設(she)(she)置，展示了NPU集成帶來的(de)(de)性能提(ti)升。NXP的(de)(de)MCU機(ji)器(qi)學習推(tui)理(li)速度比單獨的(de)(de)CPU內(nei)核快42倍；ARM則通過設(she)(she)置將70%的(de)(de)AI推(tui)理(li)從CPU卸載到NPU，推(tui)理(li)性能提(ti)高了11倍。
Tiny AI注智，傳統設備秒變微邊緣AI
微型人工(gong)智能(neng)/機器學習(Tiny AI/ML)則進一步將AI能(neng)力引入(ru)資(zi)源受限(xian)的(de)微邊緣設(she)備(bei)。通過將小型AI/ML模型集(ji)成(cheng)到日常物品和(he)工(gong)具中，使其能(neng)夠(gou)自主執行決策功能(neng)，無(wu)需(xu)云端連接(jie)，既(ji)增強了數據(ju)隱私和(he)安全(quan)，又賦予了傳(chuan)統設(she)備(bei)智能(neng)化的(de)能(neng)力。
Tiny AI的出現大大拓展了AI的應用場景和范圍，使得傳統的“啞”設備也能夠變得智能化，具備一定的感知、學習和決策能力，為萬物智聯2.0時代的到來奠定了基礎。
例(li)如MY VOICE AI的NANOVOICE語音驗證方案、SensiML的智(zhi)能鉆(zhan)頭異常(chang)檢測(ce)模型，以及Nordic Semiconductor的Thingy:53原型設(she)備(bei)，都是微型AI/ML在(zai)微邊緣設(she)備(bei)上的創新應用。比如Thingy:53使用嵌入式微型機器學(xue)習模型來感測(ce)設(she)備(bei)振動，該系統可以在(zai)檢測(ce)到異常(chang)情況時切斷設(she)備(bei)或機器的電(dian)源。
蜂窩物聯網模組邁向新階段，AI算力成關鍵驅動力
隨著人工智能與蜂窩物聯網的不斷融合，將支持AI的芯片組(zu)直接集成到(dao)物聯(lian)網設備中(zhong)已(yi)成為一種新興趨(qu)勢(shi)。這標志著(zhu)智能、自主的(de)物聯(lian)網系統正在崛(jue)起，能夠在本(ben)地進行實時決策。
這一趨勢有望為智慧城市和工業制(zhi)造(zao)等(deng)領域帶來革命性的(de)變革，不僅(jin)可以實現(xian)實時(shi)數據處理、降(jiang)低(di)延遲，還能通過更小巧的(de)設備尺寸提高效率(lv)。
在這股浪潮中，智能模組和AI蜂窩物聯網模組成為推動市場增長的重要引擎。這類模組搭載了嵌入式計算資源，能夠直接在物聯網設備上執行復雜的數據分析，甚至是AI推理任務。預計到2027年，這些先進模組的出貨量將以76%的年復合增長率持續攀升。
事實上，業界常提及的”算力模組”概念與智能模組和AI蜂窩物聯網模組高度重合，代表了蜂窩物聯網技術的最新發展方向。市場研究機構Counterpoint也發現，2023年模組廠商出貨的產品中，約12%在軟硬件層面具備AI功能。這(zhe)(zhe)些(xie)模組(zu)在汽車、路由器/CPE和PC等高(gao)端市(shi)場越來越受青睞，有助于應對這(zhe)(zhe)些(xie)領(ling)域(yu)日益增長的數(shu)據負載(zai)。
總體而言，蜂窩物聯網模組的發展歷程可劃分為三個重疊的階段：傳統模組、智能模組和AI使能模組。
傳統物聯網模組作為(wei)基本(ben)的連接模塊，主要(yao)功能是實現(xian)蜂(feng)窩通信，僅包含支持通信的芯(xin)片組，無需(xu)額外功能。
智能物聯網模組在提供連接(jie)功(gong)能的同(tong)時，還集成了額外的計算硬(ying)件(jian)，如中央處理(li)器(qi)(CPU)和圖形(xing)處理(li)器(qi)(GPU)。
AI使能物聯網模組則在智能模組的基礎上(shang)，進(jin)一步集(ji)成了專用的AI加速芯片組，如(ru)神經處(chu)理單(dan)元(NPU)、張量處(chu)理單(dan)元(TPU)或(huo)并行處(chu)理單(dan)元(PPU)等。
相(xiang)比傳(chuan)統(tong)模(mo)組和智能(neng)模(mo)組，AI使能(neng)的(de)蜂窩物聯網模(mo)組問世時間相(xiang)對較短。但它有望徹底改變(bian)各行(xing)各業的(de)面貌。通過將AI直(zhi)接集成(cheng)到(dao)物聯網模(mo)組中，AI推理可以在邊緣側實(shi)時執行(xing)，實(shi)現快(kuai)速、自主的(de)本地決策(ce)。這不僅減少了(le)蜂窩網絡上(shang)的(de)數據(ju)傳(chuan)輸，節省了(le)帶寬和成(cheng)本，還能(neng)滿足時間敏感型應用的(de)即時決策(ce)需(xu)求。
此外，在連接模組中嵌入AI芯片組可以節省空間，簡化物聯網設備的外形尺寸。簡而言之，這些模組正從單純的數據通信推進器，演變為能夠獨立處理工作負載的智能邊緣節點。
例如廣和通(tong)公司(si)的(de)智能割草機器人解(jie)決方案，就是AI蜂窩物聯(lian)網模組的(de)一個(ge)典型應用(yong)。它(ta)利用(yong)高通(tong)智能模塊實現強大(da)的(de)設(she)備端計(ji)算(suan)，不僅能繪制環(huan)境圖、避(bi)開障礙物，還能經濟高效(xiao)地識別割草范圍，而(er)無需(xu)持續連接云端。這充分展示(shi)了支持AI芯片(pian)組在物聯(lian)網設(she)備中(zhong)的(de)實際(ji)價值。
創通(tong)(tong)聯(lian)達(da)公司的EB3G2物聯(lian)網邊緣網關(guan)，則利用高通(tong)(tong)SoC執行設備上的AI模型。該SoC可實現(xian)即時數據分析，減少延遲(chi)和云依賴。網關(guan)內置的算(suan)法能夠進行人體(ti)檢測和跟蹤，對安全(quan)和流量管理等場景大有裨益。
通感智值一體化的未來：泛在智能、極致體驗、生態共榮
隨著邊(bian)緣智能的不斷發展和蜂窩物聯網(wang)模組的升(sheng)級迭(die)代，通(tong)感(gan)智值一體化正(zheng)迎來(lai)更加廣闊的發展前(qian)景(jing)。未來(lai)，我們(men)有望看到(dao)泛在智能、極致(zhi)體驗和生(sheng)態共榮成為(wei)這一領域(yu)的主旋律。
泛在智能：從感知到決策的全面智能化
未來，通感智值一體化(hua)將實(shi)現從感知到決策的(de)全面智能化(hua)。得益于Tiny AI等(deng)技術的(de)進(jin)步，越來越多的(de)傳統傳感器(qi)和(he)設(she)備將具(ju)備微邊(bian)緣AI能力(li)，能夠在本地完成初(chu)步的(de)數據(ju)分(fen)析(xi)和(he)決策，真正(zheng)實(shi)現”智慧(hui)感知”。
同時，在(zai)薄邊緣和(he)厚(hou)邊緣側(ce)，NPU等專用芯片的(de)(de)(de)加持將進一(yi)步(bu)提升AI推(tui)理和(he)訓練(lian)的(de)(de)(de)速度與(yu)效率，推(tui)動更多復雜(za)AI應用的(de)(de)(de)落地。隨(sui)著AI能力向邊緣側(ce)的(de)(de)(de)不斷(duan)下沉，未來的(de)(de)(de)通感智(zhi)值(zhi)系統將呈現出無所不在(zai)、無時不在(zai)的(de)(de)(de)泛在(zai)智(zhi)能特征。
極致體驗：實時響應、高效協同的用戶體驗
通感智值一體化的另一重要發展方向，是為用戶帶來實時響應、高效協同的極致體驗。當前，邊緣智能已經能夠顯著降低數據傳輸延遲，但仍難以滿足工業元宇宙、無人駕駛等延(yan)遲敏感(gan)型應用的苛刻要求。
未(wei)來(lai)，通過引入5G/6G等(deng)新一代通信技術，并進(jin)一步升級(ji)邊緣(yuan)側的計算、存(cun)儲架構，有望將(jiang)端到端時(shi)延降至毫秒(miao)級(ji)，甚至是微秒(miao)級(ji)，從而實(shi)現真正的實(shi)時(shi)交互。
此外，隨(sui)著異構算力(li)的協(xie)同能(neng)(neng)力(li)不斷(duan)增強，不同層(ceng)級(ji)的智(zhi)能(neng)(neng)設(she)備(bei)之間(jian)將(jiang)能(neng)(neng)夠更加高(gao)效(xiao)地協(xie)作，提供(gong)無縫銜接的沉(chen)浸式(shi)體(ti)驗。
生態共榮：開放融合、多方共贏的發展格局
隨(sui)著(zhu)通感智值一體化生(sheng)態日趨成熟，開放融(rong)合、多(duo)方共贏將(jiang)成為(wei)行(xing)業的(de)主旋律(lv)。一方面，軟(ruan)硬件開源平臺的(de)興起(qi)，將(jiang)加速邊緣智能(neng)技術(shu)的(de)普及和迭代(dai)，讓(rang)更多(duo)中(zhong)小(xiao)企業和創新團隊參與(yu)到生(sheng)態建設(she)中(zhong)來。
另一方(fang)面，跨(kua)界融合將成為常態(tai)，芯(xin)片廠商、設(she)備制造商、通信運營(ying)商、軟件服(fu)務商等產業鏈(lian)各(ge)(ge)方(fang)將加(jia)強合作，充分發揮各(ge)(ge)自優勢，共同推動行業的良性(xing)發展(zhan)。
此外，邊(bian)緣智能(neng)與云計算、區塊鏈等技術的(de)融合創新(xin)，也將催(cui)生出更多全新(xin)的(de)應用場景和商業模式，為(wei)通感智值一(yi)體化注(zhu)入新(xin)的(de)活力。
總(zong)而言之，通感智值一(yi)體化(hua)正處于從量變到質變的(de)(de)關鍵時(shi)期(qi)。隨著泛在(zai)智能(neng)、極致(zhi)體驗、生態共榮等(deng)趨勢的(de)(de)不斷深入，邊緣(yuan)側智能(neng)化(hua)將(jiang)進入一(yi)個(ge)全新的(de)(de)發(fa)展階段。
寫在最后
縱觀全文，我們(men)不(bu)難發現，通(tong)感智值一(yi)體化正以前所未有的速度和廣度重塑著智能物聯網的發展格局(ju)。
從(cong)(cong)云端到(dao)邊(bian)緣，從(cong)(cong)感知到(dao)決策，從(cong)(cong)芯片(pian)到(dao)模組，從(cong)(cong)算法到(dao)應用(yong)，智(zhi)能正在滲(shen)透和重構物聯網的(de)方方面面。這一切(qie)，無不(bu)昭示著(zhu)一個(ge)全新時代的(de)到(dao)來(lai)。
在(zai)這個(ge)時(shi)代，邊緣不(bu)再(zai)是(shi)(shi)云(yun)的(de)(de)附庸，而(er)(er)是(shi)(shi)智(zhi)(zhi)(zhi)能(neng)(neng)的(de)(de)重要(yao)載體和(he)源泉；感知不(bu)再(zai)是(shi)(shi)盲目的(de)(de)數據(ju)采(cai)集，而(er)(er)是(shi)(shi)具備(bei)分(fen)析和(he)決策(ce)能(neng)(neng)力的(de)(de)智(zhi)(zhi)(zhi)慧(hui)行為；連接不(bu)再(zai)是(shi)(shi)簡單(dan)的(de)(de)數據(ju)傳輸，而(er)(er)是(shi)(shi)智(zhi)(zhi)(zhi)能(neng)(neng)協同與融合的(de)(de)紐帶。通感、智(zhi)(zhi)(zhi)能(neng)(neng)、價值，正(zheng)在(zai)深(shen)度交融，共同編織出一張覆(fu)蓋全球(qiu)的(de)(de)智(zhi)(zhi)(zhi)能(neng)(neng)物聯(lian)2.0大(da)網。
