作(zuo)者：彭昭（智(zhi)次方創始(shi)人(ren)、云和資本聯合(he)創始(shi)合(he)伙人(ren)）
這(zhe)是我的(de)第358篇專(zhuan)欄文章。
2025年伊始，科技大咖們的判(pan)斷出奇一(yi)致(zhi)，黃仁勛(xun)、奧特曼、扎克伯格…都認為2025是AI智能(neng)代理之年。
生成式AI→現在時
代(dai)理型AI→馬上到(dao)來
實體(ti)型AI→不遠(yuan)將(jiang)來
這是英偉達CEO黃(huang)仁勛在消費電子展CES 2025上的最新判斷。
他在主題演講中梳理了(le)AI技術的(de)進化(hua)路徑，從感(gan)知型(xing)AI，到生成(cheng)式AI，再到現(xian)階段發展火熱的(de)代理型(xing)AI，最終(zhong)實(shi)現(xian)具備傳(chuan)感(gan)與執行(xing)功(gong)能的(de)物理型(xing)AI。
而伴隨著AI代理的涌現，有一類基于設備的人工智能可能會優先發生，就是AIoT代理。這些代理并不像物理型AI那樣基于自動駕駛的汽車或者人形機器人等“大件”，而是基于小型的端側設備，實現AI代理的功能。
我們都知道，AIoT是人工智能AI和物聯網IoT的(de)融(rong)合，它通過(guo)實現(xian)智(zhi)能數據分析、決策和自主行動(dong)，正在徹底改變行業。
AIoT代理，即AI代理與物聯網IoT設備的融合，處于這一轉型的最前沿。這些AIoT智能代理旨在增強物聯網系統的功能、連接性和自主性，從而為各個領域帶來前所未有的機遇和應用。
在AIoT 2.0時代(dai)，發展的(de)核(he)心將是(shi)AIoT代(dai)理(li)，即能(neng)夠感(gan)知環(huan)境、推理(li)并采取行動實(shi)現特定目標的(de)智能(neng)軟硬件實(shi)體。這些代(dai)理(li)不僅(jin)僅(jin)是(shi)被動傳感(gan)器；它們是(shi)主動的(de)，能(neng)夠從(cong)數(shu)據和經驗中學習，不斷提高(gao)性(xing)能(neng)。
其實AIoT代理并不是異想天開，在2024年第一季度，李飛飛團隊已經聯合微軟發表了一系列論文，探討了與物理世界相結合的AI代理的趨勢、分類、如何構建通用基礎模型，以及存在的挑戰。
這些(xie)論(lun)文包括：《Agent AI- Surveying the Horizons of Multimodal Interaction》《Position Paper- Agent AI Towards a Holistic Intelligence》《An Interactive Agent Foundation Model》。
本文(wen)綜合上述論文(wen)的(de)(de)成果，并做以(yi)延展，介紹什么(me)是AIoT代理、AIoT代理的(de)(de)形態以(yi)及可能的(de)(de)應用場景(jing)。
什么是AIoT代理
AIoT代理是AI代理和(he)IoT的融合，是指(zhi)將AI功能與IoT設備(bei)(bei)集成的自主(zhu)軟(ruan)件(jian)實(shi)體。這些(xie)代理可實(shi)現(xian)智能決策(ce)、數據分析以(yi)及設備(bei)(bei)、人(ren)類和(he)物理環境(jing)之間的實(shi)時交互。
AIoT代(dai)(dai)理代(dai)(dai)表了AI代(dai)(dai)理（具(ju)有(you)自主決策(ce)能(neng)力的(de)(de)AI系(xi)統(tong)）與物(wu)聯網（設備(bei)收集(ji)和傳輸數據）的(de)(de)融合。與依賴(lai)基(ji)于(yu)云的(de)(de)分析的(de)(de)傳統(tong)物(wu)聯網系(xi)統(tong)不同，AIoT代(dai)(dai)理具(ju)有(you)情境感知、主動性(xing)，并且能(neng)夠隨著時間的(de)(de)推移進行(xing)學習。
在(zai)(zai)論文《Agent AI- Surveying the Horizons of Multimodal Interaction》中，研(yan)究團隊從(cong)“空間智能(neng)”的視角(jiao)，討論了Agent在(zai)(zai)物(wu)理(li)和虛擬(ni)環境中的交互性。
論文中的(de)圖片，展示了多模態跨(kua)現實感知AI代理的(de)架(jia)構，概括(kuo)了AI代理與環(huan)境交互、學習和決(jue)策的(de)關鍵組成部(bu)分。具體來(lai)說，該架(jia)構包括(kuo)以下幾個(ge)核心模塊(kuai)：
環境與(yu)感知：通(tong)過感知模塊，智(zhi)能體接收來自物理世界或虛擬世界的信息輸(shu)入，獲(huo)取(qu)對(dui)環境的觀(guan)測。
智(zhi)能體學(xue)(xue)(xue)(xue)習：該模塊負(fu)責智(zhi)能體的學(xue)(xue)(xue)(xue)習過程，包括從(cong)環境交互中學(xue)(xue)(xue)(xue)習（如強化學(xue)(xue)(xue)(xue)習）、從(cong)專家示范(fan)中學(xue)(xue)(xue)(xue)習（如模仿(fang)學(xue)(xue)(xue)(xue)習）等。
記(ji)(ji)憶：記(ji)(ji)憶模塊為Agent提供長(chang)期(qi)記(ji)(ji)憶和(he)短(duan)期(qi)記(ji)(ji)憶能(neng)力(li)。長(chang)期(qi)記(ji)(ji)憶儲(chu)存Agent對世(shi)界的知識和(he)理解，而(er)短(duan)期(qi)記(ji)(ji)憶則跟蹤Agent在執(zhi)行任務過程中的狀態變化歷史，以支持及時地(di)調(diao)整(zheng)策略。
行(xing)動(dong)(dong)：根(gen)據感知、學習、記憶(yi)等模(mo)塊(kuai)(kuai)的信息，Agent通過(guo)行(xing)動(dong)(dong)模(mo)塊(kuai)(kuai)采取(qu)相(xiang)應動(dong)(dong)作，并影響外部(bu)環境。
認(ren)(ren)知：認(ren)(ren)知模(mo)塊是統籌(chou)協(xie)調感知、學習、記憶、行(xing)動等功能(neng)的核心，體現(xian)了Agent的整體認(ren)(ren)知能(neng)力，使其在復(fu)雜(za)多變的環(huan)境中做出(chu)恰當(dang)反應。
總(zong)的來說，該架(jia)構突出了感知、學習、記憶、行動、認知等要素(su)在(zai)塑造Agent整體(ti)智能方面的重要作用(yong)，以及Agent與(yu)物理和虛擬(ni)環境(jing)持續(xu)交互、積累經驗和知識的動態(tai)過程。
而AIoT代理則融合了語言理解、視覺感知、運動控制、任務規劃等多種能力，代表了通用人工智能AGI發展的一個重要方向。近年來，大型語言模型LLM、視覺語言預訓練模型VLM等大模型的突破，為賦予AIoT代理更強大的感知認知和環境交互能力帶來了新的機遇。
一方面(mian)，大語(yu)(yu)(yu)言模型(xing)可以(yi)讓AIoT代理(li)獲得接(jie)近人類的語(yu)(yu)(yu)言理(li)解(jie)和語(yu)(yu)(yu)言生成能力，使(shi)其可以(yi)更自然地與使(shi)用者(zhe)對話交流，快速(su)理(li)解(jie)指令并做(zuo)出相應行(xing)動。
另一方面(mian)，視(shi)覺語(yu)言模型使AIoT代理具備(bei)匹配甚(shen)至超越人眼的圖(tu)像識(shi)別(bie)能力，可以精準感(gan)知和定位環境中的物體，并對視(shi)覺輸入信息進行(xing)語(yu)義理解。
借鑒論文中的(de)(de)架(jia)構，AIoT智能(neng)的(de)(de)基本(ben)架(jia)構可以(yi)簡化為(wei)上圖(tu)，簡化后的(de)(de)架(jia)構包含以(yi)下組成部分(fen)：
感知：Agent通(tong)過感知模塊接收外界環境的(de)信(xin)息(xi)輸入，獲取對世(shi)界的(de)觀(guan)測。這是Agent實現感知環境、采集數(shu)據的(de)基礎。
推理：推理模塊是(shi)Agent的(de)核(he)心部(bu)件(jian)，它(ta)在感知(zhi)信(xin)息(xi)的(de)基礎上(shang)，利用(yong)知(zhi)識庫中的(de)世界知(zhi)識，對(dui)當前環境狀態進行(xing)分析、判斷，并規劃后續(xu)行(xing)動(dong)。推理過程體(ti)現了(le)Agent的(de)智能性和自主性。
行動：根據推理的結果，Agent通過行(xing)動模塊(kuai)采取(qu)相應(ying)的動作，并影(ying)響外(wai)部環境，這是Agent實現目(mu)標的關鍵。
交互：Agent通過與環(huan)境(jing)的(de)(de)持續交互來感知(zhi)外界(jie)變化(hua)、積累知(zhi)識、并評估行動效果(guo)。交互是Agent實現(xian)感知(zhi)-決策-行動閉環(huan)的(de)(de)紐帶(dai)。
世界知識庫：這(zhe)是Agent的知識庫，存(cun)儲了其對世(shi)界(jie)的理(li)解和(he)記憶。Agent在推理(li)決策時會調用這(zhe)些知識。隨著與環(huan)境交互的不(bu)斷深入，其知識庫也在持續擴充和(he)更(geng)新。
學習：學習(xi)模塊(kuai)使得(de)Agent能夠(gou)在與(yu)環境的(de)(de)交互中，不(bu)斷積累新知識、優化已有(you)策略。通(tong)過(guo)學習(xi)，Agent的(de)(de)世界(jie)知識庫得(de)以擴充，行(xing)為策略得(de)以改進，智能水平得(de)以提升。
總的(de)來說，該(gai)(gai)架(jia)構展示了一個智能(neng)Agent“感知(zhi)→推理→行動”的(de)工作流程(cheng)，以及知(zhi)識(shi)、學習(xi)、交互等要(yao)素在該(gai)(gai)流程(cheng)中扮演的(de)重要(yao)角色(se)。
AIoT代理將人工智能的認知能力與物聯網設備的連接和數據收集能力相結合。這些代理不僅可以收集和分析來自不同來源的數據，還可以自主決策并執行操作以優化流程和結果。人工智能和物聯網的集成產生了協同效應，從而打造出更智能、響應更快、適應性更強的系統。
AIoT代理(li)以大型AI模型為核心，通過感知、推理(li)、決策、執行等環節與物理(li)世界互(hu)動(dong)，有望成為人工智能落地應用的(de)重要(yao)抓手，為萬物智聯AIoT 2.0時代的(de)到來(lai)開啟(qi)嶄新的(de)可能性。
這些(xie)系統不僅(jin)能(neng)對數據做出反(fan)應(ying)，還能(neng)主(zhu)動(dong)預(yu)測和采取行(xing)(xing)動(dong)，這對于需要精(jing)確性和靈(ling)活性的(de)行(xing)(xing)業來說(shuo)非常有價(jia)值。
更進一步，在論(lun)文(wen)《Position Paper- Agent AI Towards a Holistic Intelligence》中，研究(jiu)團(tuan)隊提出了通用型(xing)AI代理的整(zheng)體框架和關(guan)鍵組成部分(fen)。
在這一框架下，AIoT代理可以與其他類型的AI代理一起，被置于一個包含物理世界、VR / AR / MR、元宇宙等多重現實的環境中，旨在實現整體智能和具有涌現能力的通用人工智能。
具體來(lai)看，該框(kuang)架(jia)涵蓋了以下(xia)幾個層次(ci)：
跨模態層：強調Agent需要具(ju)備多模(mo)態理解和(he)交互(hu)能力，包括同情(qing)心(xin)/意識、人機交互(hu)、具(ju)身操(cao)縱、基礎設施和(he)智能系(xi)統等方面。
任務層：細(xi)化了智能(neng)體需(xu)要執行(xing)的具體任務，涉(she)及感(gan)知、認知、醫(yi)療保健、導航、行(xing)為(wei)識別和預測、語言理(li)解、知識和推理(li)等方面。
個體模型層：描述了構成Agent的(de)各類(lei)基(ji)礎模(mo)型，包括生(sheng)成模(mo)型、分(fen)類(lei)模(mo)型、視覺/分(fen)割模(mo)型、音頻模(mo)型、情感模(mo)型和(he)神經模(mo)型等。
基礎模型層：概括了支撐上(shang)述各層模型訓練所需(xu)的通用基礎模型，涵蓋視覺-語言標注數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、圖(tu)像數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、視頻數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、語音情感數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、神(shen)經數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、醫(yi)療數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、跟蹤(zong)數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、行為數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)、語言知識數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)和邏(luo)輯數(shu)(shu)(shu)(shu)據(ju)(ju)(ju)(ju)等。
總之，該框(kuang)架從現實環(huan)境復雜性(xing)(xing)、跨模態理(li)(li)解、任務多樣(yang)性(xing)(xing)、模型異(yi)構性(xing)(xing)等多個維度，系統(tong)地刻畫了實現通用人工(gong)智能所需(xu)的關鍵要素(su)。而AIoT代理(li)(li)或(huo)許(xu)將成為(wei)其中的重要組成部分。
AIoT代理的分類
在大型預訓練模(mo)型、小模(mo)型等加持(chi)下，AIoT代理將逐(zhu)步擺脫被動(dong)接受指令的(de)桎梏，走向更(geng)加智能化(hua)、自(zi)主(zhu)化(hua)的(de)發展(zhan)階段。它們將具備(bei)主(zhu)動(dong)探索環境(jing)、持(chi)續(xu)學習進化(hua)的(de)能力，通過從各類(lei)數據源(yuan)汲取新知，不斷完善和更(geng)新自(zi)身的(de)知識與技(ji)能。
基于(yu)知識推理(li)(li)和(he)目標(biao)規劃，AIoT代理(li)(li)可針對環境的動態變化(hua)自(zi)主地調整策略和(he)行為，完成各(ge)類復雜的任務。
基(ji)于論文《Agent AI- Surveying the Horizons of Multimodal Interaction》中的AI代(dai)(dai)理分類，AIoT代(dai)(dai)理可以包含如下類別：
1、具身AIoT代理
具(ju)身人(ren)工(gong)智能(neng)(neng)的目(mu)標是創造(zao)出諸如機器人(ren)等智能(neng)(neng)體(ti)，使(shi)其學會創造(zao)性地解決需(xu)要與環境交互的具(ju)有挑戰性的任務。
盡管(guan)這(zhe)是一個重(zhong)大的(de)(de)(de)挑戰，但深度學習的(de)(de)(de)重(zhong)要進展以及大型數據(ju)集（如ImageNet）可用性的(de)(de)(de)不斷(duan)提高，已經(jing)在許多此前被認為(wei)棘手的(de)(de)(de)AI任務上實現了超人(ren)的(de)(de)(de)表現。這(zhe)些進展極大地推動了具身AI的(de)(de)(de)發展，使得越來(lai)越多的(de)(de)(de)用戶能(neng)夠朝著與機器(qi)進行(xing)交互的(de)(de)(de)智能(neng)Agent迅(xun)速發展。
具身AIoT代理又可進一步劃分為行動AIoT代理和交互AIoT代理。
行(xing)(xing)動(dong)AIoT代理(li)是(shi)指(zhi)需(xu)要在模擬的(de)物(wu)理(li)環境或(huo)真實世界(jie)中執行(xing)(xing)物(wu)理(li)動(dong)作的(de)Agent。具(ju)體(ti)而言，它們(men)需(xu)要積極地與環境進行(xing)(xing)交互(hu)活動(dong)。
交互AIoT代理是指(zhi)可(ke)以(yi)與世界交互的(de)Agent，是一(yi)個比行動(dong)智能體更廣泛的(de)類別。它們的(de)交互形式不一(yi)定需要(yao)物理動(dong)作，但可(ke)能涉及向(xiang)用(yong)戶傳(chuan)遞信息(xi)或(huo)修改環境。
例如，一個具(ju)身(shen)交(jiao)互(hu)AIoT代理可以通過對話(hua)回答用戶關于某個主題(ti)的(de)問題(ti)，或(huo)幫助用戶像聊天機器人(ren)一樣解析現有(you)信(xin)息。
2、仿真與環境AIoT代理
仿(fang)真和環(huan)境(jing)(jing)AIoT代(dai)理(li)(li)是(shi)在(zai)(zai)模(mo)擬環(huan)境(jing)(jing)中相互交互和通信的(de)獨立(li)實體(ti)。它(ta)們用(yong)于對復(fu)雜系統進行建模(mo)和仿(fang)真。AIoT代(dai)理(li)(li)學(xue)習如何在(zai)(zai)環(huan)境(jing)(jing)中行動的(de)一種有效方(fang)法是(shi)通過與(yu)環(huan)境(jing)(jing)的(de)交互進行反復(fu)試(shi)錯。一種代(dai)表(biao)性方(fang)法是(shi)強化學(xue)習，它(ta)需要大量的(de)失敗經(jing)驗來訓(xun)練(lian)Agent。盡管存在(zai)(zai)使用(yong)物(wu)理(li)(li)Agent的(de)方(fang)法，但(dan)使用(yong)物(wu)理(li)(li)Agent耗時且成本高昂。此外(wai)，在(zai)(zai)實際(ji)環(huan)境(jing)(jing)中失敗可能是(shi)危險的(de)情況下（例如自動駕駛、水(shui)下航行器(qi)），在(zai)(zai)物(wu)理(li)(li)環(huan)境(jing)(jing)中訓(xun)練(lian)往(wang)往(wang)是(shi)不可行的(de)。因此，使用(yong)模(mo)擬器(qi)來學(xue)習策略是(shi)一種常見的(de)方(fang)法。
總之，無論是具身AIoT代理還是仿(fang)真(zhen)與環境AIoT代理，AIoT是人(ren)工智能與現實(shi)世界交互的重要舞臺，而AIoT代理則有望(wang)成為架起想象與現實(shi)之間橋梁的關鍵技術載(zai)體(ti)。
AIoT代理的應用
AIoT代理可能的應用場景包括：
智慧城市
AIoT 代理(li)可(ke)能可(ke)以(yi)幫助改善(shan)城市(shi)基礎設施、改善(shan)資源(yuan)管理(li)并提高居民(min)的生活(huo)質量。具體應用(yong)包括智能交(jiao)通管理(li)、節能建筑、廢物管理(li)和公(gong)共安(an)全系統(tong)。AIoT 代理(li)可(ke)實現實時(shi)監控和控制、預(yu)測(ce)性維護和數據驅動(dong)的城市(shi)規劃。
衛生保健
在醫療(liao)(liao)保健(jian)領(ling)域(yu)，AIoT代理可能將改變患者護理、診斷和(he)運營效(xiao)率。它們有助(zhu)于患者遠(yuan)程監(jian)控、個性化治(zhi)療(liao)(liao)計劃(hua)和(he)疾病預(yu)防預(yu)測分析。支持AIoT的醫療(liao)(liao)設備可以收集和(he)分析患者數據、提(ti)醒醫療(liao)(liao)保健(jian)提(ti)供者注意(yi)潛在問題，甚至可以自主管(guan)理治(zhi)療(liao)(liao)。
工業自動化
AIoT代(dai)理可(ke)以(yi)(yi)通過優(you)化(hua)制造流程、減少停機(ji)時(shi)間和(he)提高產品質(zhi)量來(lai)改變工業自(zi)(zi)動化(hua)。它們(men)能夠實現預測性維護、設備(bei)實時(shi)監(jian)控和(he)生產線自(zi)(zi)適應(ying)控制。AIoT代(dai)理還可(ke)以(yi)(yi)促進供應(ying)鏈(lian)優(you)化(hua)并確保智能工廠的(de)無縫運行。
智能家居
在智能家居領域，AIoT代(dai)理可(ke)(ke)提高(gao)舒適度(du)、安(an)全性和能(neng)(neng)源效率。它們集(ji)成了(le)各種智能(neng)(neng)設備，例如恒溫(wen)器(qi)、照明系統和安(an)全攝像頭，以創建一個有凝聚力的(de)智能(neng)(neng)家居(ju)環境。AIoT代(dai)理可(ke)(ke)以了(le)解(jie)用戶偏好、自(zi)動執行例程并響應(ying)不斷(duan)變(bian)化的(de)條件，以改善整體生活體驗。
不過，讓AIoT代理從受限場景走向開放世界依然任重道遠。如何增強它們面對全新環境時的適應力，是一個關鍵挑戰。涌現式機制和持續學習能力或許是突破這一瓶頸的“鑰匙”。
例如，AIoT代理(li)可以通過對話(hua)交互從人類使用(yong)(yong)者那(nei)里獲取環(huan)境信息以及行為反饋，或是利用(yong)(yong)其(qi)他IoT傳感器(qi)的數據來校準其(qi)決(jue)策模型。
再如，賦予AIoT代理虛擬仿真環境中的自主訓練能力，讓它們在數字孿生世(shi)界中反(fan)復練習，也可以(yi)有效(xiao)提升(sheng)真(zhen)實場(chang)景下(xia)的(de)執(zhi)行效(xiao)果。
除了通用智能，面向行業應用的專用AIoT代理也大有可為。以工業機器人為例，AIoT代理可望在視覺引導、扭矩控制、智能裝配等環節實現革命性突破。在自動駕駛領域，AIoT代理可利用多傳感器融合感知技術，實時規劃車輛軌跡，大幅提升行車的安全性和舒適度。而在智慧醫療方(fang)面，AIoT代理(li)或將成(cheng)為醫生的得力助手(shou)，提供智能診斷、手(shou)術(shu)規劃(hua)等服務(wu)，讓(rang)每一位(wei)患者(zhe)獲得更精準(zhun)周(zhou)到的診療。
因此，AIoT代理有可能成為AI代理經濟中的一股重要力量。
如上(shang)圖所示(shi)，包(bao)括通用(yong)領(ling)(ling)域的(de)AI代理、垂直(zhi)(zhi)行業(ye)的(de)AI代理，以(yi)及面向消(xiao)費(fei)者的(de)AI代理。在后(hou)兩個(ge)領(ling)(ling)域，垂直(zhi)(zhi)行業(ye)和消(xiao)費(fei)者應用(yong)，AIoT代理都可以(yi)一展身手(shou)。
寫在最后
毋庸置疑，AIoT代(dai)理的(de)(de)(de)研(yan)發和落地應用仍有不少障(zhang)(zhang)礙需要(yao)跨越。其中(zhong)，如(ru)何保障(zhang)(zhang)人機協(xie)作的(de)(de)(de)安全性，避(bi)免智能代(dai)理做出違背人類(lei)意圖(tu)、危及生(sheng)命財產的(de)(de)(de)決策，是(shi)當前(qian)業界高度關(guan)注的(de)(de)(de)倫理問題。因此，加強跨學科合作，建(jian)立健(jian)全法(fa)律法(fa)規體系，是(shi)保障(zhang)(zhang)AIoT代(dai)理健(jian)康發展(zhan)的(de)(de)(de)必要(yao)工作。
參(can)考(kao)資料：
Agent AI- Surveying the Horizons of Multimodal Interaction，作者：Zane Durante、Qiuyuan Huang、Li Fei-Fei等，來(lai)源：arXiv.orgPosition Paper- Agent AI Towards a Holistic Intelligence，作者：Qiuyuan Huang、Naoki Wake、Li Fei-Fei等，來(lai)源(yuan)：arXiv.orgAn Interactive Agent Foundation Model，作者：Zane Durante、Bidipta Sarkar、Li Fei-Fei等(deng)，來(lai)源：arXiv.org
