DeepSeek的爆火，再次給“人工智能+”注入了強大力量，物聯網產業界也高度關注這一領域的發展。具有高級自然語言處理能力的大語言模型（LLM）為業界帶來很多好處，將其集成到物聯網系統中，可以有效發揮改進用戶交互、增強的數據分析和上下文感知服務的能力，讓物聯網系統的智能化和交互體驗得到大幅提升。隨著大模型的發展，應用場景需求不斷拓展，IoT-LLM之間如何融合互動成為一個重要研究方向。從當前初步探索看，IoT-LLM融合呈現雙方互為驅動的兩個方向。
方向一：以大模型賦能物聯網場景豐富AIoT生態，但挑戰也非常明顯
大模型可以理解和處理復雜的人類語言，使物聯網設備更加用戶友好，并能夠智能地響應語音命令和文本輸入。目前，大量廠商在多個場景中開始探索，例如，將大模型用于智能家居中的語音激活控制和個性化用戶體驗，工業物聯網中的預測性維護、異常檢測和報告分析，醫療健康物聯網中的患者監控和實時數據分析。此外，也有廠商基于大模型，通過智能聊天機器人和虛擬助理來增強客戶服務，為用戶提供及時和上下文相關的信息。隨著物聯網廠商的不斷探索，大模型的集成將在推動創新和提供更智能、響應更迅速、更高效的物聯網解決方案方面發揮至關重要的作用。
結合物聯網“云-邊-端”的架構，前期探索中均實現了大模型在“云-邊-端”側有相關的部署方案和案例。
物聯網云平臺已加快部署，例如，日本物聯網虛擬運營商Soracom宣布推出服務，將大模型更深入地嵌入物聯網連接和服務平臺中，來加速更大、更復雜物聯網項目的部署，這兩項服務分別是Soracom Flux和Soracom Query Intelligence，前者是一個低代碼應用構建器，通過定義傳感器、攝像頭、執行器、GenAI引擎和云之間的數據流，讓即使是非技術用戶也可以實時構建集成人工智能的物聯網應用，后者通過自然語言網絡數據分析簡化大型物聯網部署的管理。無源物聯網領域知名創業企業Wiliot去年也宣布發布首個生成式人工智能聊天機器人WiliBot，通過這一對話機器人，客戶可以問答的形式查詢他們的產品和供應鏈狀況，例如，向WiliBot提問：該產品的保質期是多久？它是如何到達商店的？下一步我應該采購哪種產品，原因是什么？儲存這種物品安全嗎，為什么？該產品的碳足跡是多少，是什么因素導致它如此之高或如此之低？
邊緣側和端側大模型部署是當前的熱點，通過裁剪、蒸餾等技術，實現大模型能夠在邊緣側和端側部署，或者采用輕量化的小模型。例如，高通公司加速推動AI在端側落地，已推出面向PC、手機、汽車、XR等終端的產品；美格智能、廣和通等物聯網模組廠商也推出了AI模組，模組中集成了CPU\GPU\NPU等多種計算單元，可進行通用計算和異構計算，用于零售、汽車、云服務器、無人機、機器視覺等場景；多家智能家居企業也推動大模型或小模型在家居終端和網關等邊緣設備的部署。
然而，將大模型集成到物聯網尤其是端側涉及多個挑戰，包括大模型所需的計算能力和能耗，這可能會使物聯網設備的有限資源緊張；在平衡邊緣和云計算時，實時處理需求帶來了延遲問題；鑒于物聯網數據的敏感性和大模型易受惡意攻擊的脆弱性，確保數據隱私和安全至關重要；確保跨不同物聯網平臺的兼容性和集成增加了復雜性；實施和持續運營的高成本使集成變得更加復雜。應對這些挑戰需要人工智能、硬件、軟件和網絡安全的進步，才能釋放大模型增強物聯網系統的全部潛力。
其中，針對在資源受限的物聯網環境中減少大模型訓練、微調和推理的計算和內存占用的優化，以及針對在邊緣或設備端部署大模型進行優化，以減少推理延遲并提高物聯網應用中的實時處理能力，是當前物聯網領域擁抱大模型需要破解的突出難題。
眾所周知，低功耗廣域網絡（LPWAN）和無源物聯網讓資源極度受限的終端能夠實現連接，使得萬物互聯網成為現實，目前很多輕量化的物聯網終端，僅有MCU單元，計算能力非常有限，那么，為實現萬物智能，是否需要更加輕量級的AI模型？目前，已有TinyML來實現低功耗物聯網終端的智能化部署，大模型能夠輕量化到什么程度？能夠覆蓋這些資源極其受限的終端上嗎？這個可能是未來研究的重要方向。
方向二：以物聯網對現實世界的真實反映，增強大模型推理能力
南洋理工大學和南京大學的研究人員此前發表的一篇論文指出，大模型在文本和視覺領域表現出非凡的能力，但經常產生違反物理規律的輸出，揭示了它們對物理世界的理解存在差距。受人類認知的啟發，研究人員探索使用物聯網傳感器數據和物理世界中物聯網任務推理的相關知識來增強大模型的感知能力，最終實現較好的效果。
研究人員首先提出，處理密集的數據和復雜的時間序列輸入是大模型面臨的重大挑戰，因為它們無法捕捉上下文，它們無法在不同的環境中進行歸納，而這是現實世界中有效推理能力所必需的特征。例如，在像Chat-GPT 4這樣的大模型中，在處理原始物聯網數據后，僅實現了40%的活動識別準確率和50%的機器診斷準確率。
研究團隊提出了一個IoT-LLM框架，從而使用三步定制方法增強大模型在監控真實世界場景中的推理能力。
第一步是預處理：將原始物聯網數據預處理成大模型易于理解的格式，這個過程簡化和豐富了數據，為大模型提供了更多的上下文。
第二步是常識知識激活：在這個步驟中，使用了思維鏈提示，以便更好地推理和解釋處理過的數據，復雜的任務被分解成更容易處理的任務，反映了人類的認知思維。在這些大模型中使用了固有的常識，并且專門的角色定義指導模型更好地理解上下文。
第三步是面向物聯網的檢索增強生成：在這一步中，大模型使用檢索增強生成模型來動態檢索特定于上下文的理解，該模型可以有效地使用當前上下文和先前獲得的知識，這種結合有助于快速適應物聯網環境的實時變化。
這三個步驟的集成提高了大模型的能力，其中所有三個步驟的改進使任務準確度比使用其他傳統模型可達到的準確度高65%。總體來看，新的LLM-IoT框架解決了物聯網環境下的任務推理能力問題，尤其是優化了大模型在處理物聯網數據方面的缺點，提升了大模型的推理能力。
總體來看，IoT-LLM融合沿著大模型賦能物聯網和物聯網賦能大模型兩個方向。未來，物聯網終端數規模依然會實現快速增長，在萬物互聯的基礎上，努力推動萬物智能的實現。
