DeepSeek的爆火，再次給“人工智能+”注入了強大力量，物聯網產業界(jie)也(ye)高(gao)度關注這(zhe)一領域(yu)的(de)發(fa)展(zhan)(zhan)。具有高(gao)級自(zi)然語(yu)(yu)言(yan)處理能(neng)力(li)的(de)大語(yu)(yu)言(yan)模(mo)型（LLM）為業界(jie)帶來很多(duo)好處，將其集成到物(wu)聯網系統中(zhong)，可以有效發(fa)揮改進用戶(hu)交(jiao)互、增強的(de)數據分(fen)析和上(shang)下文感知服務(wu)的(de)能(neng)力(li)，讓物(wu)聯網系統的(de)智(zhi)能(neng)化和交(jiao)互體驗得到大幅提升。隨著(zhu)大模(mo)型的(de)發(fa)展(zhan)(zhan)，應用場景需求不斷拓展(zhan)(zhan)，IoT-LLM之間如何融(rong)合互動成為一個重要研究方(fang)向(xiang)。從當前(qian)初步(bu)探(tan)索(suo)看，IoT-LLM融(rong)合呈(cheng)現雙方(fang)互為驅動的(de)兩個方(fang)向(xiang)。
方向一：以大模型賦能物聯網場景豐富AIoT生態，但挑戰也非常明顯
大模型可以理解和處理復雜的人類語言，使物聯網設備更加用戶友好，并能夠智能地響應語音命令和文本輸入。目前，大量廠商在多個場景中開始探索，例如，將大模型用于智能家居中的語音激活控制和(he)個性化用(yong)戶(hu)體驗，工業物(wu)聯(lian)網中的預測性維護、異常檢(jian)測和(he)報告分析，醫療健康物(wu)聯(lian)網中的患者監(jian)控和(he)實時(shi)(shi)數據(ju)分析。此外，也有廠商(shang)基于大模(mo)型，通過智能聊天(tian)機器人和(he)虛擬(ni)助理來增強客戶(hu)服務，為用(yong)戶(hu)提供(gong)(gong)及時(shi)(shi)和(he)上下文相關(guan)(guan)的信息。隨著物(wu)聯(lian)網廠商(shang)的不斷探(tan)索，大模(mo)型的集成將在(zai)推動創新和(he)提供(gong)(gong)更智能、響(xiang)應更迅(xun)速、更高(gao)效的物(wu)聯(lian)網解(jie)決方(fang)案方(fang)面發揮至(zhi)關(guan)(guan)重要的作用(yong)。
結合物聯網(wang)“云-邊-端(duan)”的架構，前(qian)期(qi)探索中(zhong)均實現了大(da)模(mo)型在“云-邊-端(duan)”側有(you)相關的部署方案和案例(li)。
物聯網云平臺已加快部署，例如，日本物聯網虛擬運營商Soracom宣布推出服務，將大模型更深入地嵌入物聯網連接和服務平臺中，來加速更大、更復雜物聯網項目的部署，這兩項服務分別是Soracom Flux和Soracom Query Intelligence，前者是一個低代碼應用構建器，通過定義傳感器、攝像頭、執行器、GenAI引擎和云之間的數據流，讓即使是非技術用戶也可以實時構建集成人工智能的物聯網應用，后者通過自然語言網絡數據分析簡化大型物聯網部署的管理。無源物聯網領域(yu)知名創業企業Wiliot去年也宣布(bu)發布(bu)首(shou)個生成式人工(gong)智能(neng)聊天機(ji)器人WiliBot，通過這(zhe)一對話機(ji)器人，客戶可以問(wen)答的(de)(de)形式查詢他們的(de)(de)產(chan)品(pin)和供應鏈狀況，例(li)如(ru)，向WiliBot提問(wen)：該(gai)產(chan)品(pin)的(de)(de)保質期是多久？它是如(ru)何到達商店(dian)的(de)(de)？下(xia)一步我(wo)應該(gai)采購哪種(zhong)產(chan)品(pin)，原因是什么？儲存這(zhe)種(zhong)物品(pin)安全嗎，為什么？該(gai)產(chan)品(pin)的(de)(de)碳足跡是多少，是什么因素導致它如(ru)此(ci)之(zhi)高或(huo)如(ru)此(ci)之(zhi)低？
邊緣側和(he)端(duan)側大模(mo)(mo)(mo)型部署(shu)是(shi)當前的(de)熱點，通過(guo)裁(cai)剪、蒸(zheng)餾等(deng)(deng)(deng)技術，實現大模(mo)(mo)(mo)型能夠在(zai)邊緣側和(he)端(duan)側部署(shu)，或(huo)(huo)者(zhe)采用輕量化的(de)小模(mo)(mo)(mo)型。例(li)如，高(gao)通公司加速推動AI在(zai)端(duan)側落地，已推出(chu)面向PC、手機、汽車(che)、XR等(deng)(deng)(deng)終端(duan)的(de)產(chan)品；美格(ge)智能、廣和(he)通等(deng)(deng)(deng)物(wu)聯網(wang)模(mo)(mo)(mo)組(zu)廠商也(ye)推出(chu)了AI模(mo)(mo)(mo)組(zu)，模(mo)(mo)(mo)組(zu)中集成了CPU\GPU\NPU等(deng)(deng)(deng)多種計(ji)算單元，可進行通用計(ji)算和(he)異構計(ji)算，用于零售、汽車(che)、云服務器、無人機、機器視覺等(deng)(deng)(deng)場景；多家智能家居(ju)(ju)企業也(ye)推動大模(mo)(mo)(mo)型或(huo)(huo)小模(mo)(mo)(mo)型在(zai)家居(ju)(ju)終端(duan)和(he)網(wang)關(guan)等(deng)(deng)(deng)邊緣設備的(de)部署(shu)。
然(ran)而，將大模(mo)型集成到物(wu)(wu)聯(lian)(lian)網(wang)尤其是端側涉(she)及多(duo)個挑戰(zhan)，包(bao)括大模(mo)型所(suo)需(xu)的(de)計算能(neng)力和(he)(he)(he)能(neng)耗，這可能(neng)會使物(wu)(wu)聯(lian)(lian)網(wang)設(she)備(bei)的(de)有限資源緊張(zhang)；在(zai)平衡邊(bian)緣(yuan)和(he)(he)(he)云(yun)計算時，實時處理需(xu)求帶來了延遲問題；鑒于物(wu)(wu)聯(lian)(lian)網(wang)數據(ju)的(de)敏(min)感性(xing)和(he)(he)(he)大模(mo)型易受惡意攻擊的(de)脆弱性(xing)，確保(bao)數據(ju)隱私(si)和(he)(he)(he)安全至關重(zhong)要(yao)；確保(bao)跨不同物(wu)(wu)聯(lian)(lian)網(wang)平臺的(de)兼容性(xing)和(he)(he)(he)集成增(zeng)加(jia)了復雜性(xing)；實施和(he)(he)(he)持續運營(ying)的(de)高成本使集成變得更加(jia)復雜。應對這些挑戰(zhan)需(xu)要(yao)人工(gong)智(zhi)能(neng)、硬件、軟件和(he)(he)(he)網(wang)絡安全的(de)進步(bu)，才能(neng)釋放(fang)大模(mo)型增(zeng)強物(wu)(wu)聯(lian)(lian)網(wang)系(xi)統的(de)全部潛力。
其(qi)中(zhong)(zhong)，針(zhen)對(dui)在資源受限的物聯網(wang)(wang)環境中(zhong)(zhong)減少大(da)(da)模(mo)型訓練、微調和推理的計算和內存占用的優化(hua)，以(yi)及針(zhen)對(dui)在邊緣或設(she)備端部(bu)署大(da)(da)模(mo)型進行優化(hua)，以(yi)減少推理延遲并提高物聯網(wang)(wang)應(ying)用中(zhong)(zhong)的實時處理能力(li)，是(shi)當前物聯網(wang)(wang)領域擁抱(bao)大(da)(da)模(mo)型需要破解(jie)的突(tu)出難題。
眾所周知，低功耗廣域網(wang)絡（LPWAN）和無源(yuan)物(wu)聯(lian)網(wang)讓資(zi)源(yuan)極度受限(xian)的(de)終(zhong)(zhong)端(duan)能夠(gou)實現(xian)連(lian)接，使得萬物(wu)互聯(lian)網(wang)成為現(xian)實，目前很多輕量(liang)化(hua)的(de)物(wu)聯(lian)網(wang)終(zhong)(zhong)端(duan)，僅(jin)有MCU單元，計算能力非常有限(xian)，那(nei)么(me)，為實現(xian)萬物(wu)智能，是否需要(yao)更(geng)加(jia)輕量(liang)級的(de)AI模型？目前，已有TinyML來實現(xian)低功耗物(wu)聯(lian)網(wang)終(zhong)(zhong)端(duan)的(de)智能化(hua)部署，大模型能夠(gou)輕量(liang)化(hua)到什么(me)程度？能夠(gou)覆蓋這些資(zi)源(yuan)極其(qi)受限(xian)的(de)終(zhong)(zhong)端(duan)上嗎？這個可(ke)能是未來研究(jiu)的(de)重要(yao)方向。
方向二：以物聯網對現實世界的真實反映，增強大模型推理能力
南洋理(li)(li)工大學和南京大學的研究(jiu)(jiu)人員此(ci)前發表的一篇論文指出(chu)，大模型在文本和視(shi)覺領域表現出(chu)非凡的能(neng)力(li)，但經常(chang)產(chan)生違反(fan)物(wu)(wu)理(li)(li)規(gui)律的輸出(chu)，揭(jie)示了它(ta)們對物(wu)(wu)理(li)(li)世界的理(li)(li)解(jie)存(cun)在差(cha)距(ju)。受人類認(ren)知(zhi)的啟發，研究(jiu)(jiu)人員探(tan)索使用物(wu)(wu)聯(lian)網(wang)傳感器數據(ju)和物(wu)(wu)理(li)(li)世界中物(wu)(wu)聯(lian)網(wang)任(ren)務(wu)推(tui)理(li)(li)的相關知(zhi)識來(lai)增強大模型的感知(zhi)能(neng)力(li)，最終實現較好的效果。
研究人(ren)員首(shou)先(xian)提出，處理密集的數據(ju)和復雜的時間序列輸入是大模型面(mian)臨的重(zhong)大挑戰，因為它(ta)們無法捕捉上下(xia)文(wen)，它(ta)們無法在(zai)(zai)不同的環境中進(jin)行歸納，而這(zhe)是現(xian)實世界中有效(xiao)推(tui)理能力所必需的特征。例(li)如，在(zai)(zai)像Chat-GPT 4這(zhe)樣的大模型中，在(zai)(zai)處理原始物聯網數據(ju)后，僅(jin)實現(xian)了40%的活動識(shi)別準確率和50%的機器診斷準確率。
研究團隊提出了一個IoT-LLM框架，從而使(shi)用三步定(ding)制方法增(zeng)強(qiang)大模型在(zai)監(jian)控真實世界場景中(zhong)的推理能力。
第一步是(shi)預(yu)處(chu)理(li)：將原始物聯網數(shu)據預(yu)處(chu)理(li)成大模型易于理(li)解的(de)格式，這(zhe)個(ge)過程簡化和豐富了數(shu)據，為大模型提供了更多的(de)上(shang)下文。
第(di)二步(bu)是(shi)常(chang)識知(zhi)識激活：在這(zhe)個步(bu)驟中，使(shi)用(yong)了思維鏈提示，以便更好地推理(li)和解(jie)釋處理(li)過的(de)數據(ju)，復雜的(de)任務(wu)被(bei)分解(jie)成更容易(yi)處理(li)的(de)任務(wu)，反映了人類的(de)認知(zhi)思維。在這(zhe)些大模型中使(shi)用(yong)了固(gu)有(you)的(de)常(chang)識，并且專(zhuan)門的(de)角色定義指導模型更好地理(li)解(jie)上下(xia)文。
第三步是面向(xiang)物(wu)聯(lian)網(wang)的檢索(suo)(suo)增強生(sheng)成(cheng)：在這(zhe)一步中，大模(mo)(mo)型(xing)使用(yong)檢索(suo)(suo)增強生(sheng)成(cheng)模(mo)(mo)型(xing)來動態檢索(suo)(suo)特定于上下(xia)文(wen)的理解(jie)，該模(mo)(mo)型(xing)可(ke)以(yi)有效地使用(yong)當前上下(xia)文(wen)和先前獲得的知識，這(zhe)種結合(he)有助(zhu)于快(kuai)速適(shi)應物(wu)聯(lian)網(wang)環(huan)境(jing)的實(shi)時變化。
這三個(ge)步驟的集成(cheng)提高了(le)(le)(le)大模(mo)(mo)(mo)型的能(neng)(neng)(neng)力(li)，其中所有(you)三個(ge)步驟的改進使任(ren)務(wu)準確度比使用其他傳統模(mo)(mo)(mo)型可達到的準確度高65%。總體來看，新(xin)的LLM-IoT框(kuang)架解決了(le)(le)(le)物聯(lian)(lian)網環境下的任(ren)務(wu)推理(li)能(neng)(neng)(neng)力(li)問(wen)題，尤其是優化了(le)(le)(le)大模(mo)(mo)(mo)型在處理(li)物聯(lian)(lian)網數據方面的缺點(dian)，提升了(le)(le)(le)大模(mo)(mo)(mo)型的推理(li)能(neng)(neng)(neng)力(li)。
總體來(lai)看(kan)，IoT-LLM融合沿著大(da)模(mo)型賦能(neng)物(wu)聯(lian)網和物(wu)聯(lian)網賦能(neng)大(da)模(mo)型兩個方向。未來(lai)，物(wu)聯(lian)網終端數規模(mo)依(yi)然(ran)會實(shi)現快(kuai)速增(zeng)長，在萬(wan)物(wu)互(hu)聯(lian)的基礎上(shang)，努力推動萬(wan)物(wu)智能(neng)的實(shi)現。
