自DeepSeek面(mian)世(shi)以來(lai)，AI大模型開始以極快的(de)迭(die)代速度進行更(geng)新，其應用向千行百業加(jia)速席卷。DeepSeek橫空(kong)出世(shi)展現出的(de)“開源開放、高效推理、端側友好(hao)”核心優勢，更(geng)是(shi)點亮了端側AI的(de)落地前景(jing)。
在(zai)生成式AI的云(yun)端(duan)智能到端(duan)側AI本地(di)智能落地(di)的漫(man)長技(ji)術(shu)周期里，DeepSeek的出(chu)現(xian)讓端(duan)側智能不再受限于硬件算(suan)力與能效，大模型通過蒸(zheng)餾技(ji)術(shu)重構(gou)的小模型在(zai)端(duan)側部署的可行性(xing)大增。
在(zai)(zai)端(duan)側(ce)AI上下游，廠(chang)商(shang)們不(bu)(bu)斷(duan)探索著硬件平臺、端(duan)側(ce)算法、模型(xing)優(you)化與場景落地的(de)(de)協(xie)同，探索著如(ru)(ru)(ru)何(he)將智能(neng)帶到終(zhong)端(duan)設(she)備(bei)。當然，在(zai)(zai)以DeepSeek為代表(biao)的(de)(de)大模型(xing)的(de)(de)加持下，賦予終(zhong)端(duan)設(she)備(bei)本地智能(neng)仍然不(bu)(bu)是一件一蹴而(er)就(jiu)的(de)(de)事情。如(ru)(ru)(ru)何(he)在(zai)(zai)更(geng)小的(de)(de)模型(xing)參數量里實現(xian)更(geng)智能(neng)的(de)(de)推理，如(ru)(ru)(ru)何(he)平衡(heng)終(zhong)端(duan)設(she)備(bei)能(neng)效比等等問(wen)題(ti)，仍舊需要軟硬件協(xie)同的(de)(de)不(bu)(bu)斷(duan)打磨來解決。
端側AI時代，模型應用加速滲透
對于端側AI的發展，物聯網智庫此(ci)前給出的(de)(de)判斷是產業已處在爆發前夕。移遠(yuan)(yuan)通(tong)信(xin)也對端(duan)側(ce)AI的(de)(de)大規模推進持積(ji)極態度。在不久前移遠(yuan)(yuan)通(tong)信(xin)端(duan)側(ce)AI專場直播上，其(qi)產品(pin)經理表示，得益于小(xiao)模型性能的(de)(de)增強以及(ji)算力平臺的(de)(de)完善，端(duan)側(ce)AI正在加速落(luo)地。
從模(mo)型(xing)發(fa)展(zhan)來(lai)看，去年，AI手機、AI PC上已經開始(shi)應用7B左右(you)的端側小(xiao)模(mo)型(xing)做落(luo)地嘗試，不過彼時模(mo)型(xing)能力有(you)限(xian)，現在3-4B規模(mo)的端側小(xiao)模(mo)型(xing)推理能力已經可以媲(pi)美去年7B左右(you)模(mo)型(xing)。在DeepSeek興起后，基于MoE架構和(he)優質模(mo)型(xing)蒸餾(liu)重構出的細分(fen)小(xiao)模(mo)型(xing)，解決(jue)了小(xiao)模(mo)型(xing)在Self-play學(xue)習中的不足，推理能力更強，也更便于在端側部署。
借用移遠通信(xin)直播中的(de)表述，“DeepSeek的(de)突(tu)破是(shi)一次(ci)面向(xiang)產(chan)業痛點的(de)工(gong)程范(fan)式升級，為AI推理開辟了‘少即是(shi)多(duo)’的(de)新路徑”。對于端側(ce)AI來說，這意(yi)味著AI能(neng)夠(gou)在計算資源有限的(de)終端設(she)(she)備(bei)(bei)上運行(xing)，從大模(mo)型(xing)到端側(ce)設(she)(she)備(bei)(bei)，AI開始具備(bei)(bei)無縫擴(kuo)展(zhan)的(de)能(neng)力。利用MoE架(jia)構推動模(mo)型(xing)向(xiang)端側(ce)發(fa)展(zhan)，將會是(shi)未來明確的(de)趨(qu)勢(shi)。
移(yi)遠(yuan)通信基于其高(gao)算(suan)力AI智能模組SG885G，實現了(le)DeepSeek模型的穩定(ding)運(yun)行，并完成了(le)針(zhen)對性微(wei)調，同時將其融(rong)合到(dao)移(yi)遠(yuan)大模型解決方案(an)中(zhong)，為客戶提供更(geng)精(jing)準、更(geng)高(gao)效的端側AI服務。這(zhe)些舉(ju)措不僅體(ti)現了(le)移(yi)遠(yuan)通信在端側AI領域(yu)的深度(du)布局(ju)，更(geng)體(ti)現了(le)其領先的工程化(hua)能力。
不(bu)僅是DeepSeek，移遠通(tong)(tong)信在大(da)(da)模(mo)(mo)型技術上(shang)還在不(bu)斷開拓，其(qi)端(duan)側大(da)(da)模(mo)(mo)型解決(jue)方案(an)融合前沿(yan)(yan)的LLM（大(da)(da)語言模(mo)(mo)型）、RAG（檢索增強生成）與(yu)Agent（智能體）等業界主流技術。通(tong)(tong)過針對(dui)特定應用場景對(dui)模(mo)(mo)型進行微調，并合理(li)調度多個模(mo)(mo)型資源，移遠端(duan)側大(da)(da)模(mo)(mo)型解決(jue)方案(an)已滿足(zu)商(shang)用條件，助力終端(duan)廠商(shang)快速應用前沿(yan)(yan)AI技術，為硬件終端(duan)賦予(yu)本地智能。
AI算力模組解決多層次硬件需求，推動端側AI落地
AI如(ru)何在(zai)端(duan)側落地生根，讓終(zhong)端(duan)設備(bei)真(zhen)正“智能(neng)”起來。隨著模型的(de)(de)不斷優(you)化(hua)改進，其(qi)在(zai)泛化(hua)性上已(yi)經(jing)有了較(jiao)大提升，能(neng)夠在(zai)保(bao)證端(duan)側模型輕量化(hua)的(de)(de)同時(shi)，適應端(duan)側場景(jing)的(de)(de)復雜多變。而在(zai)端(duan)側場景(jing)硬件(jian)算力(li)不一(yi)和能(neng)效(xiao)問題上，則(ze)需要(yao)適配(pei)的(de)(de)AI算力(li)模組來解決。
對終端廠(chang)商(shang)來說，探索如何將模型技術(shu)應(ying)用到自身產品中(zhong)并不容易，終端硬(ying)件廠(chang)商(shang)在(zai)AI能力上(shang)參差不齊，為了(le)縮短AI融(rong)合應(ying)用的上(shang)市(shi)時(shi)間，需要物(wu)聯網整體解決方案供應(ying)商(shang)為他們提供高(gao)效便捷的全棧AI能力，并針(zhen)對具體需求做相(xiang)應(ying)定制(zhi)化的開發。
目前(qian)，移(yi)遠通信主(zhu)推的(de)搭載高(gao)(gao)(gao)通QCS8550平臺的(de)高(gao)(gao)(gao)性(xing)(xing)能(neng)AI算力(li)(li)(li)模(mo)(mo)組(zu)SG885G，成(cheng)功實現了DeepSeek-R1蒸(zheng)餾小模(mo)(mo)型的(de)穩定運行(xing)，生(sheng)成(cheng)Tokens的(de)速(su)度超過(guo)每秒40個，且隨(sui)著性(xing)(xing)能(neng)的(de)不斷優化，速(su)度還在進(jin)一步(bu)提升。這款(kuan)AI算力(li)(li)(li)模(mo)(mo)組(zu)主(zhu)打(da)高(gao)(gao)(gao)算力(li)(li)(li)、高(gao)(gao)(gao)性(xing)(xing)能(neng)，同時支持Linux、Android、Ubuntu等各種(zhong)操作系統，在高(gao)(gao)(gao)端(duan)機器(qi)人(ren)等端(duan)側算力(li)(li)(li)需(xu)求(qiu)較大的(de)場(chang)景中，能(neng)夠輕松(song)滿足相(xiang)關(guan)算力(li)(li)(li)需(xu)求(qiu)。
對于在計算能(neng)效上要(yao)求嚴苛的應用，移遠通信也能(neng)提供12 TOPS算力的SG560D，滿足需要(yao)兼(jian)顧(gu)算力、成(cheng)(cheng)本和功(gong)耗的端側應用。同(tong)時，搭載紫光展(zhan)銳UIS7885平臺的SG530C也兼(jian)顧(gu)算力、成(cheng)(cheng)本和功(gong)耗。
從基礎的人(ren)臉識別、到工業視覺(jue)質(zhi)量檢測(ce)、到機器人(ren)等各種(zhong)碎片化(hua)的應用場景，移遠通信(xin)都能提(ti)供(gong)相應算力硬件，為端(duan)(duan)側AI落地(di)提(ti)供(gong)支持。據悉，移遠通信(xin)正在規(gui)劃(hua)更高算力模組，滿足未來(lai)端(duan)(duan)側對算力更大的需(xu)求(qiu)(qiu)，解決不(bu)同終端(duan)(duan)的多層次的算力需(xu)求(qiu)(qiu)。
除了AI算力模組，近期移(yi)遠通信也發布(bu)了面向全球市場的(de)(de)QuecPi Alpha開源(yuan)智能生(sheng)態開發板，AI算力高(gao)達12 TOPS，充分滿足工業和(he)消費類(lei)應用(yong)場景下對高(gao)速率(lv)、多媒體功能及(ji)AI算力的(de)(de)需求，加速工業類(lei)及(ji)消費類(lei)智能設備(bei)端側智能技術的(de)(de)突破，推動相(xiang)關應用(yong)快速落地。
目前(qian)，AI算力(li)(li)模組(zu)已經(jing)能夠(gou)承擔更多計算量，減輕云端(duan)(duan)服務器的(de)(de)(de)計算負擔。隨著(zhu)算力(li)(li)模組(zu)的(de)(de)(de)進一(yi)步擴充完善，更多的(de)(de)(de)計算任務將直接在本地完成(cheng)，這也意味著(zhu)更多硬件終端(duan)(duan)能夠(gou)搭載(zai)更智能的(de)(de)(de)“大腦”。從智能汽車、機器人到PC、家(jia)居(ju)、玩具及可穿(chuan)戴設(she)備(bei)等多元化設(she)備(bei)，AI算力(li)(li)模組(zu)針對不(bu)同終端(duan)(duan)應用的(de)(de)(de)持續優化，將大幅縮短端(duan)(duan)側(ce)智能相關產品的(de)(de)(de)落地周期(qi)，越來(lai)越多的(de)(de)(de)終端(duan)(duan)設(she)備(bei)將享受到AI技術帶來(lai)的(de)(de)(de)變革。
大模型解決方案落地，引領機器人創新變革
在眾多(duo)端側智(zhi)(zhi)能(neng)應用中，機器人無(wu)疑是(shi)(shi)最具想(xiang)象(xiang)力的智(zhi)(zhi)能(neng)產品，可以說是(shi)(shi)最能(neng)代表前沿(yan)科技成果的智(zhi)(zhi)能(neng)集(ji)合體。加之DeepSeek在高(gao)質量小模型和多(duo)模態推理模型方面上(shang)的創新，機器人在商用落地方面已(yi)經準備得十分(fen)充(chong)分(fen)。
對于機器人(ren)(ren)(ren)(ren)的(de)(de)應(ying)用方向，從(cong)落(luo)地的(de)(de)角(jiao)度(du)看，商(shang)業服務類機器人(ren)(ren)(ren)(ren)是(shi)通用智能機器人(ren)(ren)(ren)(ren)有望最(zui)先(xian)落(luo)地的(de)(de)場景。在大(da)(da)模型(xing)技術的(de)(de)賦(fu)能下，機器人(ren)(ren)(ren)(ren)在情景理解、知識(shi)融(rong)合、智能交互上實現(xian)了顯著增(zeng)強(qiang)，這是(shi)以(yi)往弱交互、弱推(tui)理的(de)(de)機器人(ren)(ren)(ren)(ren)所欠缺的(de)(de)。模型(xing)技術的(de)(de)應(ying)用，使機器人(ren)(ren)(ren)(ren)能夠快(kuai)速集成(cheng)先(xian)進的(de)(de)自然語言處理能力，并對信(xin)息(xi)初(chu)步處理與分析，從(cong)而(er)在人(ren)(ren)(ren)(ren)機交互方面(mian)實現(xian)大(da)(da)幅優(you)化。
移(yi)遠通(tong)信(xin)的(de)(de)大(da)模(mo)型(xing)解決方案在機器人上(shang)(shang)的(de)(de)應用(yong)就是很好的(de)(de)例子。在移(yi)遠端(duan)側大(da)模(mo)型(xing)解決方案的(de)(de)助(zhu)力(li)下，服務機器人可實(shi)(shi)現1s以內(nei)的(de)(de)意(yi)圖識別(bie)，解碼速率超(chao)過15 tokens/s。從(cong)KWS語音喚醒(xing)到(dao)VAD人聲檢(jian)測，再(zai)到(dao)ASR語音識別(bie)，最(zui)后(hou)通(tong)過TTS語音播(bo)報(bao)，移(yi)遠大(da)模(mo)型(xing)解決方案在全語音鏈(lian)路上(shang)(shang)實(shi)(shi)現了無縫銜接與高效運行(xing)。
在(zai)(zai)移遠(yuan)端側大模型解(jie)決方案的(de)幫助(zhu)下，服(fu)務(wu)機(ji)器(qi)人(ren)得(de)(de)以(yi)準(zhun)確(que)理解(jie)用戶(hu)意圖，并以(yi)清晰自然的(de)語音(yin)進行(xing)反饋，在(zai)(zai)交(jiao)互體驗和智能服(fu)務(wu)上遠(yuan)勝于傳統的(de)服(fu)務(wu)機(ji)器(qi)人(ren)。該方案展現出(chu)了(le)顯著的(de)落(luo)地(di)價值(zhi)，在(zai)(zai)眾(zhong)多實際場景中得(de)(de)到了(le)廣泛應用。
在(zai)端側(ce)AI專場直播中，移(yi)遠通信產品經(jing)理(li)(li)強調，在(zai)機(ji)(ji)器(qi)(qi)(qi)人(ren)方案規劃上，后(hou)續會(hui)基于控制器(qi)(qi)(qi)，為機(ji)(ji)器(qi)(qi)(qi)人(ren)集成更多(duo)外圍(wei)感(gan)(gan)知(zhi)(zhi)器(qi)(qi)(qi)件，用多(duo)維(wei)的(de)(de)(de)感(gan)(gan)知(zhi)(zhi)來不(bu)斷賦(fu)予(yu)機(ji)(ji)器(qi)(qi)(qi)人(ren)更類(lei)人(ren)的(de)(de)(de)交互能(neng)力(li)。交互的(de)(de)(de)前提是充分的(de)(de)(de)感(gan)(gan)知(zhi)(zhi)，移(yi)遠通信將借(jie)助實時、精準、多(duo)維(wei)的(de)(de)(de)感(gan)(gan)知(zhi)(zhi)技術，為機(ji)(ji)器(qi)(qi)(qi)人(ren)拓展(zhan)更多(duo)如交互、決策等AI相關功(gong)能(neng)，充分發揮出(chu)端側(ce)AI在(zai)數據處(chu)理(li)(li)、分類(lei)、融(rong)合的(de)(de)(de)價值(zhi)，并通過完備(bei)的(de)(de)(de)感(gan)(gan)知(zhi)(zhi)能(neng)力(li)與擬(ni)人(ren)化的(de)(de)(de)交互方式，進(jin)一步增強機(ji)(ji)器(qi)(qi)(qi)人(ren)的(de)(de)(de)智能(neng)化程度。
移遠通信在(zai)MWC 2025上推出的(de)全新AI智能無(wu)人零售解決方案，正是憑借動態(tai)視覺感(gan)(gan)知(zhi)與端側識別(bie)模型，讓自(zi)動售貨機(ji)實現了跨越(yue)發展，這與通過多維(wei)感(gan)(gan)知(zhi)不斷賦予機(ji)器(qi)人更類人的(de)交互(hu)能力有著異曲同工之妙(miao)。
端側(ce)AI大模型技術與機(ji)器人的緊密結合，使得機(ji)器人在識別任務后，能(neng)夠自(zi)動拆解出涉及的機(ji)器人技能(neng)與子技能(neng)，并根據給(gei)定的最(zui)終目標任務，自(zi)主地進行從Language到Action的模型構(gou)建(jian)。在端側(ce)AI的助力下，自(zi)主編(bian)排和執行復雜任務，將成為未來(lai)具身(shen)智能(neng)機(ji)器人的發(fa)展方向。
寫在最后
隨著端(duan)側(ce)模型與端(duan)側(ce)算力平臺持續協同優(you)化，二者將不再(zai)是制約智(zhi)能終端(duan)硬(ying)件發(fa)(fa)展(zhan)的(de)枷鎖。更小、更精、更聚焦垂直領域(yu)的(de)端(duan)側(ce)小模型，開(kai)(kai)始向各類終端(duan)滲(shen)透(tou)。從高算力到(dao)兼顧(gu)能效的(de)算力模組，移遠(yuan)通信針(zhen)對不同場景對成本(ben)、功耗(hao)和算力的(de)差(cha)異化需(xu)求(qiu)，提供了(le)多樣化的(de)選擇。接下來，針(zhen)對不同端(duan)側(ce)應用開(kai)(kai)發(fa)(fa)的(de)端(duan)側(ce)AI解決(jue)方案(an)將不斷涌(yong)現，這將大幅縮短智(zhi)能終端(duan)的(de)落地周期，促進千行百業的(de)智(zhi)能化變革。
