這是我的第349篇專欄文章。
生成式人工智能GenAI是否存在泡(pao)沫？這個問題日益成(cheng)為業界(jie)熱議的(de)(de)焦點。目前，全球對AI基礎設施的(de)(de)投資已到了癲狂(kuang)的(de)(de)成(cheng)千上萬億美元(yuan)的(de)(de)規模(mo)，然而大(da)模(mo)型(xing)如何(he)實現盈(ying)利卻始終沒有一(yi)個明確的(de)(de)答案。
在眾說紛紜之際，有一個(ge)(ge)領域(yu)(yu)的潛力卻常常被低估，那就是邊緣側的人工智能(neng)(neng)（Edge AI）。作為一個(ge)(ge)方(fang)興(xing)未艾的領域(yu)(yu)，邊緣AI與(yu)云端AI可(ke)謂(wei)迥然(ran)不同。那些在數據中心行(xing)之有效的方(fang)法(fa)，不一定能(neng)(neng)夠適用于工業邊緣平臺，如安全(quan)攝像(xiang)頭、機械臂或汽車等(deng)場景。
由于(yu)空間限(xian)制、功(gong)耗(hao)、預(yu)算、數據(ju)安全(quan)以(yi)及(ji)實時性(xing)等要(yao)求，邊(bian)緣AI領域沒有(you)一刀切的解(jie)決(jue)方案(an)。這意味(wei)著，沒有(you)任何一種(zhong)方案(an)能(neng)夠滿(man)足所(suo)有(you)人工智能(neng)應用的需(xu)求，從云端AI過渡到邊(bian)緣AI需(xu)要(yao)開發(fa)全(quan)新的模型(xing)。
研究機構Counter Points的(de)(de)(de)(de)數據顯(xian)示，未(wei)來AIoT模塊的(de)(de)(de)(de)計算(suan)能力將實現指數級的(de)(de)(de)(de)大(da)幅(fu)增長(chang)。據測算(suan)，未(wei)來七年內(nei)配備神經(jing)網絡(luo)處理(li)單(dan)元(yuan)NPU的(de)(de)(de)(de)模塊數量(liang)(liang)將達到目前的(de)(de)(de)(de)31倍，這(zhe)將催生大(da)量(liang)(liang)創新(xin)應用的(de)(de)(de)(de)涌現。
面對(dui)如此蓬勃發展的(de)邊(bian)緣(yuan)(yuan)AI市(shi)場，本文將對(dui)其進行深入剖析。筆者(zhe)認為，邊(bian)緣(yuan)(yuan)AI的(de)崛起將催(cui)生出全新的(de)商業模(mo)式，而去(qu)中心化物理(li)基礎設施網絡(luo)DePIN或許是幫助邊(bian)緣(yuan)(yuan)AI避免盈利困境的(de)有(you)效解決方案(an)之一。
TinyML、SLM與LLM：聯合語言模型的“三駕馬車”
在(zai)人工智(zhi)能的(de)(de)(de)世界里，終端(duan)側、邊緣(yuan)側和云(yun)端(duan)扮演著(zhu)截然不(bu)同的(de)(de)(de)角色。它們在(zai)形態、功(gong)能和應用(yong)場(chang)景上的(de)(de)(de)差異如(ru)此之(zhi)大(da)，以至于可以將其視為完(wan)全不(bu)同的(de)(de)(de)實(shi)體(ti)。
正是基于這種認識，有業界人士提出了“聯合大模型”的理念，旨在將不(bu)同規模(mo)(mo)的AI模(mo)(mo)型分別部署于云、邊、端三個層面，以執行相關任務(wu)。
在終端側，微型機器學習（TinyML）正在崛起。TinyML是一(yi)種優化機器(qi)學習模型的技術，使其能夠在資源受限的設備（如微(wei)控制器(qi)）上(shang)高效運行。這些模型通常(chang)體積小巧、運算高效，能夠勝任語音識(shi)別和(he)傳感器(qi)數(shu)據分析等任務。
邊緣側的主角則是小型語言模型（SLM）。SLM指的是那些參數量(liang)低(di)于100億(yi)的輕量(liang)級神經網絡(luo)模型(xing)。與大型(xing)模型(xing)相比(bi)，SLM以(yi)更少(shao)的參數和(he)計(ji)算資源實(shi)現自然語言(yan)處理（如下圖所(suo)示）。此外，SLM通(tong)常是面向特定任(ren)務、應用或(huo)用例量(liang)身定制的。
至于云端，大型語言模型（LLM）無疑是其中的佼佼者。LLM是一種強大的(de)深(shen)度學習(xi)算法，能夠執行各(ge)種自然語言處理(li)（NLP）任務。得益于海量訓練數(shu)據和多個Transformer模(mo)型的(de)使(shi)用，LLM具備了識別、翻譯、預測乃(nai)至生成文本等內容的(de)驚人能力。
“聯合(he)語言模型”的提出，正是為了(le)充分利(li)用(yong)TinyML、SLM和LLM這三(san)種(zhong)技術，在(zai)保障隱(yin)私性(xing)和安全性(xing)的同時，為企業帶來切實價值。
TinyML以其超低成本和功耗的特點，非常適合在資源有限的設備（如物聯網終端(duan)和可穿戴硬件）上使用。
而(er)SLM可以看(kan)作是LLM的(de)“迷你版”。相比動輒(zhe)數(shu)百萬、數(shu)十億參數(shu)的(de)GPT-4等大型(xing)模型(xing)，SLM的(de)運(yun)行(xing)規模要簡單得多。經過優化的(de)SLM能夠高效處(chu)理較為簡單的(de)任務，而(er)無需消耗大量計(ji)算資源。
盡管規模不及LLM，SLM在實際應用(yong)中卻有著(zhu)不可小(xiao)覷的作用(yong)。從(cong)文本生成、問答到語言翻(fan)譯，SLM能(neng)夠勝(sheng)任多種(zhong)任務，只是在準確性和多功(gong)能(neng)性上可能(neng)稍遜(xun)一籌。
SLM的(de)(de)優勢還體(ti)現(xian)在其訓練速(su)度(du)快、推理速(su)度(du)佳(jia)等方面。它在性能(neng)和資源(yuan)效率之間取得(de)了(le)微妙的(de)(de)平衡。參數數量(liang)的(de)(de)減少，使得(de)SLM的(de)(de)訓練更加經濟(ji)高(gao)效；而將處理工作負載轉移到邊緣設備(bei)，則進一步降(jiang)低了(le)基礎設施和運營成本(ben)。
BrainChip公司的實踐表明，綜合利用TinyML和SLM能夠取得顯著成效：模型參數數量減少50倍，訓練時間縮短30倍，多重累積運算（MAC）降低5000倍，而精度卻保持不變甚至有所提高。性能和功耗效(xiao)率的(de)提(ti)升與模型(xing)效(xiao)率成正比。
Tirias Research預測，如果到2028年，使用邊緣設備和終端硬件內的TinyML和SLM混合處理，從數據中心卸載20%的LLM工作負載，那么數據中心基礎設施和運營成本將下降150億美元，整體功耗需求也將降低800兆瓦。
從云端到邊緣：GenAI遷移的必經之路
隨(sui)著(zhu)人工智能技術的(de)不斷發展(zhan)，越來越多的(de)AI模型開(kai)始從云端數據中心向邊(bian)緣設備(bei)遷移。這種趨勢(shi)的(de)背后，是成本、實(shi)時(shi)性(xing)和安全性(xing)等因(yin)素的(de)綜合考量。
在(zai)云端運行(xing)AI模型(xing)，盡管能夠利用數(shu)(shu)據中心強大(da)的算力資源，但往往面臨(lin)著高(gao)昂的費用、網絡延遲和數(shu)(shu)據安(an)全(quan)隱患等問(wen)題。相(xiang)比之下，通過模型(xing)壓縮等優化技術，將神經網絡模型(xing)部署在(zai)網絡邊(bian)緣(yuan)設備上運行(xing)，即邊(bian)緣(yuan)計算，則有望在(zai)保證(zheng)性能的同(tong)時(shi)，大(da)幅降低成本和延遲，提(ti)高(gao)數(shu)(shu)據安(an)全(quan)性。
然而，對于許多(duo)邊(bian)緣應(ying)用(yong)場景而言，簡單地將數據中心(xin)的(de)解決方案“縮(suo)小”并非最佳選擇。在(zai)醫療保健、汽車、制造等關鍵領域，邊(bian)緣AI應(ying)用(yong)通常專注(zhu)于傳感器數據的(de)實時處理，對模型(xing)的(de)尺寸、精(jing)度(du)和執(zhi)行效率(lv)有著更高的(de)要求。
這就催生了“EdgeGenAI”的概念，即在設備上執行的生成式AI。越來越多的硬件展示了EdgeGenAI的能力，高通、英偉達等芯片廠商(shang)紛紛展示了在移動端運行Stable Diffusion、LLaMA等模型的(de)可能性，這預示著(zhu)EdgeGenAI已經到來。
根據Tirias Research的分析，隨著AI模型的不斷壓縮優化以及終端和邊緣設備算力的持續提升，越來越多的GenAI模型將能夠在設備端完成推理和執行。這意味著，適用于端側處理的模型規模將隨(sui)時間(jian)推移而不斷增(zeng)加，設備本地的AI處理能力將不斷拓展(zhan)。
與此同時，消費類和(he)工業物(wu)聯網設備所承載的平(ping)均推理模型參數規(gui)模也(ye)在不斷增長。為了(le)評估GenAI的發展前(qian)景和(he)總體(ti)擁(yong)有成本TCO，Tirias Research對不同類別的設備進行了(le)細分(fen)和(he)建模，如下圖所示。
研(yan)究發現，在設(she)備本地處理AI任(ren)務(wu)，不僅能夠(gou)顯(xian)著降低響(xiang)應延(yan)遲，提(ti)升(sheng)用戶體驗(yan)，還能夠(gou)有效緩(huan)解數據隱私和(he)安全問題。通過減少或(huo)消除(chu)與(yu)云(yun)端的(de)(de)數據交互，敏感數據和(he)GenAI生(sheng)成的(de)(de)結果都能夠(gou)在設(she)備層得(de)到妥善保護，大(da)大(da)降低了隱私泄露和(he)網(wang)絡攻擊的(de)(de)風險。
不(bu)過，并非(fei)所有(you)GenAI應用都(dou)適合完全在設備上處(chu)理。受限于芯片算力、內存(cun)容(rong)量(liang)和功耗預(yu)算，許多(duo)大(da)型模型仍(reng)然無法(fa)在單(dan)個設備上高效(xiao)執行。
針對這一問題，“聯(lian)合(he)大模型”的提(ti)出恰逢其時。
通過在(zai)設備與云端之間合(he)(he)理分(fen)配計算(suan)任務(wu)，這種混合(he)(he)計算(suan)模式能(neng)夠(gou)在(zai)降低延遲、保護(hu)隱私的同時，充(chong)分(fen)利用(yong)云端的算(suan)力優勢。
例如，在(zai)(zai)圖像生(sheng)成(cheng)(cheng)應用中，初始圖像可以在(zai)(zai)設備(bei)上快速生(sheng)成(cheng)(cheng)，而(er)后續的(de)增強和(he)優化則(ze)交由云端(duan)處理。在(zai)(zai)需要(yao)整合(he)多源數據的(de)場(chang)景，如實時地(di)(di)圖更新(xin)，將本(ben)地(di)(di)信息與云端(duan)模型結合(he)也能發(fa)揮協同效應。某些涉及專(zhuan)有數據的(de)行業(ye)應用，如工業(ye)和(he)醫療領域，出于安(an)全考慮，也可能需要(yao)在(zai)(zai)云端(duan)完成(cheng)(cheng)部分敏感(gan)計算任(ren)務(wu)。
據此，邊緣AI有望迎來爆發式增長，據Counter Point預測，到2030年，搭載AI算力的物聯網模塊將占整體出貨量的25%，遠高于2023年的6%。
在汽車領域，AI助手通過語音交互、導航引導和娛樂控制，正在重塑自動駕駛體驗；在零售行業，搭載AI模塊的智能POS終端憑借掌紋或人臉識別、行為分析等能力，助力客戶洞察、庫存管理和風險防控；在智能家居場景，集成(cheng)AI功能(neng)的(de)路由(you)器有望(wang)成(cheng)為(wei)照明、安(an)防、能(neng)源管理等子系統的(de)中樞(shu)。此外，無人機、工業手持設(she)備、服(fu)務機器人等領域，也(ye)將成(cheng)為(wei)邊緣(yuan)AI芯片的(de)主要應用陣地。
DePIN賦能邊緣AI，開創盈利新模式
在人工智能的(de)商業化(hua)進程(cheng)中(zhong)，大型語言模型（LLM）的(de)盈(ying)利之路一直(zhi)備受(shou)關注。
盡管生成式(shi)AI初創企業頻(pin)頻(pin)獲得高額融(rong)資，估值屢創新高（如下圖(tu)所示），但如何將技術(shu)優(you)勢(shi)轉化為(wei)持續穩定的收入，仍是一個(ge)懸而未決的難題。
與此同時，隨著AI模(mo)型(xing)不(bu)斷(duan)向邊(bian)緣遷移，嵌入式(shi)AI設備的(de)市場需求正在快速(su)增長(chang)。在這一背景下，去中心化物理(li)基礎(chu)設施網絡（DePIN）與邊(bian)緣AI的(de)結(jie)合，有(you)望為這一難題提供一個全新的(de)解決思路。
DePIN的核心理念，是通過(guo)區塊鏈技術和(he)token經濟，將(jiang)分散在全球各地的物理設(she)備(bei)(bei)連接起來，形成一個(ge)去中心化的資(zi)源(yuan)共(gong)享(xiang)網絡(luo)。在這(zhe)個(ge)網絡(luo)中，設(she)備(bei)(bei)所有者可以(yi)將(jiang)閑置的計算、存儲(chu)、帶寬等資(zi)源(yuan)出租給(gei)需求(qiu)方，從而獲(huo)(huo)得token激勵。而需求(qiu)方則可以(yi)以(yi)更低的成本、更高的靈(ling)活性，獲(huo)(huo)得所需的基(ji)礎設(she)施服務。
如果將DePIN的模式引入邊緣AI領域，可以極大地促進AI設備的普及和應用。
一方面(mian)，設(she)備制(zhi)造商可以通過融入DePIN社區，將AI設(she)備預置到去(qu)中(zhong)心化網絡中(zhong)，以資源共(gong)享的(de)方式銷(xiao)售設(she)備使用(yong)權，而非一次性(xing)售賣(mai)硬件產品。這(zhe)種“設(she)備即服務”的(de)模(mo)式，將大大降低用(yong)戶(hu)的(de)前期采購成本，提升邊緣AI的(de)易用(yong)性(xing)。
另(ling)一方面，AI模型提(ti)供商也(ye)可以利用(yong)DePIN網絡(luo)，將訓練好(hao)的(de)模型以API的(de)形式(shi)提(ti)供給設備所有者，并(bing)按照調用(yong)量獲得token收益。這種按需付費(fei)的(de)機制，將顯著降低(di)邊緣AI的(de)推理成本，使(shi)中小企(qi)業和個人開發者也(ye)能夠負擔得起高質量的(de)AI服(fu)務。
某寵(chong)(chong)物智能項(xiang)圈(quan)廠(chang)(chang)商的案例，為(wei)DePIN賦能邊緣AI提供了一(yi)個(ge)生動的例證。該廠(chang)(chang)商計劃將智能項(xiang)圈(quan)引入DePIN社區，構(gou)建(jian)一(yi)個(ge)去中(zhong)心(xin)化(hua)的寵(chong)(chong)物數(shu)據(ju)共享(xiang)網絡。憑借(jie)項(xiang)圈(quan)內(nei)置的活動監(jian)測和定位跟蹤(zong)功能，海量(liang)的寵(chong)(chong)物行(xing)為(wei)數(shu)據(ju)將被采集和流轉，成為(wei)寵(chong)(chong)物AI模型訓練(lian)的重要數(shu)據(ju)源(yuan)。而寵(chong)(chong)物主人則(ze)可以選(xuan)擇(ze)性地共享(xiang)這些(xie)數(shu)據(ju)，并獲得token激勵。
這一(yi)去(qu)中(zhong)心化AI范式，不(bu)(bu)僅能夠(gou)顯著提(ti)升數(shu)據處理(li)的(de)實時性和(he)隱私(si)性，更能夠(gou)為寵物AI模(mo)型(xing)的(de)開發和(he)優化提(ti)供源源不(bu)(bu)斷(duan)的(de)數(shu)據支持。
與此(ci)同時(shi)，該廠商還計劃開(kai)放項(xiang)圈的(de)邊緣算力(li)，允許第三(san)方開(kai)發(fa)者將寵物AI模型部署到(dao)項(xiang)圈中，實現場景化(hua)的(de)AI應用，如(ru)異(yi)常行(xing)為檢測、情緒識(shi)別、安全區域預警等。這種(zhong)“AI即(ji)插即(ji)用”的(de)開(kai)放生態，將極大地釋放邊緣AI的(de)想象(xiang)空間，催生出一批以寵物為中心(xin)的(de)創新應用和服務。
DePIN與邊緣AI的結合，不僅為設備制(zhi)造商開辟了(le)新(xin)的銷售渠道(dao)和盈(ying)利模(mo)式(shi)，也為AI企(qi)業搭建了(le)一(yi)個海量數據聚(ju)合、模(mo)型(xing)快速部(bu)署的去中心化基礎設施。
寫在最后
隨著TinyML、SLM等技術的(de)成熟，AI模(mo)型(xing)正在從云端向邊(bian)緣(yuan)大規模(mo)遷移，催生(sheng)出EdgeGenAI等全新的(de)應(ying)用形態。通過模(mo)型(xing)壓縮(suo)、混合計算等優化手段，百億級參數模(mo)型(xing)已經(jing)能夠(gou)在智(zhi)能手機等終端設備上(shang)高效運行。在萬物智(zhi)聯(lian)的(de)時(shi)代，邊(bian)緣(yuan)AI將為汽(qi)車、零售(shou)、家居等行業(ye)賦能，創造巨大的(de)商業(ye)價值。
不過，當前的邊緣(yuan)AI生態(tai)仍面臨著設備成本高(gao)、開發門檻(jian)高(gao)、盈利模式(shi)單一等挑戰。去(qu)中心化(hua)物理網絡DePIN的引入，有(you)望通過將AI設備接入資源共享網絡，建立按需付費機制，構建開放生態(tai)，從而(er)有(you)效破解邊緣(yuan)AI的商業化(hua)困局。
參考資料：
Federated Language Models：SLMs at the Edge + Cloud LLMs，作者：Janakiram MSV，來源：thenewstack.io
Tiny but mighty：The Phi-3 small language models with big potential，作者：Sally Beatty，來源：微軟
