作者：彭(peng)昭(zhao)（智次方創始人(ren)、云和資(zi)本聯合創始合伙人(ren)）
這是我(wo)的第(di)354篇專(zhuan)欄(lan)文章。
前幾篇文(wen)章(zhang)，我們不斷探討小模型(xing)（SLM）在端(duan)側(ce)(ce)和邊緣(yuan)側(ce)(ce)的崛起。現在，邊緣(yuan)側(ce)(ce)小模型(xing)已然成為不可(ke)忽視的發(fa)展趨勢。
AI模型猶如(ru)軟件，需(xu)要(yao)硬(ying)件作為(wei)載體方能發揮(hui)作用。
面對邊(bian)緣(yuan)AI的迅猛發展(zhan)，我們(men)不禁要問(wen)：邊(bian)緣(yuan)硬件是(shi)否已經做好(hao)準備了？
生成式AI模型要落地應用，離不開邊緣硬件的支撐。對開發者和最終用戶而言，邊緣硬件就是駕馭AI的利器。
一個優秀的硬件“工具(ju)”，如(ru)同一柄削鐵如(ru)泥的神兵，若(ruo)能遇(yu)到善加利用的主人，定能所向(xiang)披靡，威力驚(jing)人。
如今，邊緣設備的(de)算力與日俱增，從過去的(de)幾個TOPS@INT8（每秒可執行數(shu)兆次八位整數(shu)運算），躍升至數(shu)十(shi)TOPS的(de)量級。這(zhe)意(yi)味著邊緣硬件即使在斷網(wang)狀(zhuang)態下，也能獨立完(wan)成SLM的(de)推(tui)理(li)任務，大大拓寬了應用場景(jing)。
伴隨SLM的發展，多家企業紛紛推出針對SLM優化的邊緣智能開發板。尤其值得關注的是，在上(shang)周(zhou)，英偉達發布了令人矚目(mu)的新(xin)品，將邊緣硬(ying)件的性能和性價(jia)比推向(xiang)了新(xin)的高度。
12月17日，英偉達(da)CEO黃仁(ren)勛在(zai)發(fa)(fa)布的(de)視頻中，從烤箱端出(chu)最新“烹飪”的(de)全(quan)新邊緣開(kai)發(fa)(fa)套件Jetson Orin Nano Super。
這款“邊緣(yuan)AI大腦”不僅(jin)性能更為(wei)強(qiang)勁(jing)，售價更是直降一半(ban)，僅(jin)需249美元（人民幣2000元以(yi)內(nei)）。這無(wu)疑將掀(xian)起邊緣(yuan)AI的(de)一場革(ge)命。
這(zhe)一(yi)產品的(de)問世，不僅(jin)將會掀(xian)起(qi)一(yi)場全(quan)球范圍內(nei)的(de)邊緣(yuan)(yuan)AI開發(fa)板大戰(zhan)，也(ye)為中(zhong)國企業在(zai)邊緣(yuan)(yuan)AI領(ling)域的(de)發(fa)展提供了難(nan)得的(de)機遇。
本文(wen)將從英(ying)偉(wei)達新(xin)品的特點、邊緣AI開發板的競爭(zheng)格局、中國企(qi)業的機遇與挑戰等角度，深入(ru)探討這(zhe)場(chang)邊緣AI革命的意義與影響。
讓我們做好(hao)準備，一起(qi)迎接即將(jiang)來臨的(de)端側AI、邊緣AI硬件的(de)“寒武(wu)紀”物種大(da)爆發階段。
重新定義邊緣AI的可能性
在介紹英偉(wei)達新品之(zhi)前，有必要明確端側AI和邊緣側AI硬件(jian)所涵蓋的(de)范(fan)圍相當廣泛，從數十元到數百萬的(de)解決方案任選，可(ke)謂豐儉由君，應有盡有。
廣義而言，凡是(shi)無需聯網即可完(wan)成AI推理任務的(de)硬件，都應歸入邊緣(yuan)(yuan)AI的(de)范(fan)疇。相較(jiao)端側(ce)，邊緣(yuan)(yuan)側(ce)對(dui)算(suan)力和功耗的(de)要求更高。業界普遍認為(wei)，AI工業電(dian)腦、嵌入式設備、電(dian)池供(gong)電(dian)的(de)可穿戴設備以及服務機器人等，都屬于邊緣(yuan)(yuan)側(ce)AI的(de)典型應用。
當然(ran)，面向這些(xie)邊緣AI設備的解決方案(an)也(ye)是(shi)形(xing)態各異，包括微處理器（MPU/SoC）開發(fa)板、類(lei)樹莓派(pai)型(xing)開發(fa)板、TPU加速棒等，當然(ran)也(ye)包括黃仁勛此次端(duan)上的“佳(jia)肴”：Jetson Orin Nano Super開發(fa)套件。
這款全新(xin)發布的(de)產品是Jetson Nano系列的(de)升(sheng)級版(ban)，堪稱目(mu)前(qian)該系列中“性價比之王”。在性能大(da)幅提(ti)升(sheng)的(de)同時，售價卻直降一半，僅需249美元（人民幣2000元以內）。
與(yu)前(qian)代產品(pin)相(xiang)比，Nano Super的AI推理(li)性能(neng)提(ti)高(gao)了1.7倍，整體性能(neng)飆升(sheng)70%，達到(dao)驚人(ren)的67 TOPS@INT8。此外，Nano Super的內存(cun)帶寬增加至102GB/s，較前(qian)代提(ti)升(sheng)50%：CPU頻率也從(cong)1.5GHz升(sheng)至1.7GHz：而整機尺寸(cun)卻只有一個手掌大小(xiao)，功耗僅需25瓦。
Jetson Orin Nano Super支持(chi)同(tong)時(shi)調用多達四個攝像頭，并提(ti)供比前代更高的分(fen)辨(bian)率和幀率。性能的全面升(sheng)級，將為(wei)主流生成(cheng)式AI模型(xing)和基(ji)于Transformer的計(ji)算機視覺算法帶來(lai)顯(xian)著增益。
這款革命性的AI開發套件，將讓機器人、工業自動化領域的開發者以及各行各業的硬件工程師，無需連接云平臺，即可在邊緣側實現高效AI運算，大幅降低成本和延遲。
在談到英偉達新品的同時，我們還需要關注美國對華芯片限制令可能(neng)帶(dai)來的影響。
就(jiu)在新品(pin)(pin)發布(bu)隔日，12月19日，美國(guo)商務部要求英偉(wei)達調查該公(gong)司產品(pin)(pin)在過去(qu)一年中流入中國(guo)大陸(lu)的情(qing)況。
然而，查閱美國商務部工(gong)業(ye)和安全(quan)局（BIS）發(fa)布的(de)(de)額外出(chu)口管(guan)制(zhi)(zhi)規定可(ke)以發(fa)現，ECCN 3A090項下(xia)的(de)(de)相關(guan)注(zhu)釋明確指出(chu)，非數據中心類(lei)且TPP未超(chao)過4800的(de)(de)芯(xin)片(pian)不在該項管(guan)制(zhi)(zhi)范(fan)圍內。這意味(wei)著絕大(da)多數用于(yu)筆記本電腦、智能手機和游戲機等消費電子產品的(de)(de)芯(xin)片(pian)不受影(ying)響。
因此，英偉(wei)達Jetson系列(lie)產品可以通過(guo)正常渠道在(zai)中(zhong)國銷(xiao)售。這款(kuan)新品的(de)推出，必將(jiang)點燃更(geng)多創新開發者和應用企業的(de)熱情。
邊緣AI高性價比時代來臨
英偉達新品的問世，勢必引發一場AI開發板的激烈角逐。
市面上與Jetson Orin Nano相(xiang)似的產品不在少數，各(ge)家都聲稱自己的算力高、性能強。曾(ceng)有國外開(kai)發(fa)者(zhe)對當時最熱門的三款AI開(kai)發(fa)板進行了橫向對比，分(fen)別是樹莓(mei)派+英特爾神經網(wang)絡(luo)計算棒(bang)、英偉達Jetson Orin Nano和(he)Google Coral。
結果發現，沒有任何一款開發板能夠達到官方宣稱的最高效率。
測(ce)試之后，這(zhe)名開發者還很可愛的透露：This post is sponsored by Coral from Google。可見谷歌(ge)也是相當(dang)“心(xin)大”，認可這(zhe)份客(ke)觀(guan)中立、至少(shao)沒被(bei)打臉的測(ce)試結(jie)果。
無論哪家產(chan)品更勝(sheng)一籌，對開(kai)發者而(er)言，高性價比、算力(li)強勁的AI開(kai)發板(ban)時代已經到來。今后，再也沒有“算力(li)昂貴、難出佳作”的借口(kou)了。
由此，圍繞邊緣AI的最新“安迪-比爾定律”之爭也拉開了帷幕。這(zhe)一定(ding)律曾為IT產業創(chuang)造了(le)一種完美模(mo)式(shi)：What Andy gives，Bill takes away。如今，這(zhe)一法則正在邊(bian)緣AI領域(yu)重演。
除(chu)了本次新品，英(ying)偉達還計劃在2025年(nian)推出(chu)Jetson Thor，以爭(zheng)奪更大的AI硬(ying)件市場份額(e)：而(er)OpenAI則(ze)計劃在2025年(nian)1月發布(bu)能夠獨立(li)執行任(ren)務的AI代理Operator。
這對“準安(an)迪(di)-比爾”的(de)持續迭(die)代，不僅推(tui)動了AI技(ji)術的(de)進一步(bu)成熟，也將重塑(su)未來智能(neng)設備的(de)功能(neng)和應用場景(jing)。
在上篇文章(zhang)《2025智能(neng)代理大(da)戰來襲(xi)，2026智能(neng)代理+Web3觸發萬(wan)物(wu)經濟(ji)》中，我曾介(jie)紹OpenAI的AI代理Operator不僅(jin)在技術上具備自主性，在功能(neng)設(she)計上也(ye)充(chong)分考慮了(le)多樣性，能(neng)夠控制計算(suan)機并獨立執行任(ren)務。與之呼(hu)應，英偉達則致力于(yu)通過(guo)硬件平臺為智能(neng)機器(qi)人賦(fu)能(neng)，二(er)者形(xing)成(cheng)了(le)互補之勢。
在本次邊緣AI開發板的大戰中，中國企業有望占據一席之地。
這一預測既基于中(zhong)國在(zai)芯(xin)片制造領域的快速進步，也(ye)得益于中(zhong)國企業在(zai)當前“安迪-比爾定律”重構中(zhong)的積極參與。
根據12月(yue)10日中國海(hai)關總(zong)署發布(bu)的(de)最新數據，2024年前11個月(yue)，中國集成(cheng)電路出口額(e)突破萬(wan)億元大(da)關，同(tong)比增長20.3%。這一(yi)里程碑式的(de)成(cheng)就(jiu)，標志著中國在芯片(pian)研發、生產(chan)與制造領域(yu)的(de)能力已經上升到(dao)一(yi)個新的(de)高度。
經歷了6年的貿易戰考驗，中國已于2023年成為全球最大的芯片生產國，為中國企業參與邊緣AI硬件的競爭奠定了堅實基礎。
在(zai)新一輪“安迪-比爾定(ding)律”的演進中(zhong)，中(zhong)國(guo)企(qi)業正(zheng)積極布局。一方(fang)面，中(zhong)國(guo)企(qi)業可以充分利用自身(shen)在(zai)芯片制造(zao)領域(yu)的優勢，為邊(bian)緣AI開發板提供高性價比的核(he)心組件(jian)：另一方(fang)面，中(zhong)國(guo)企(qi)業也在(zai)加大研(yan)發投入，致力(li)于打(da)造(zao)性能卓(zhuo)越、功能豐富(fu)的邊(bian)緣AI開發板產(chan)品。
邊緣AI是中國實現“硬件+服務”融合之鑰
除(chu)了(le)(le)參(can)與邊緣(yuan)AI開(kai)發板的(de)(de)(de)爭奪戰之外，英偉達新(xin)一代(dai)邊緣(yuan)AI開(kai)發套件Jetson Orin Nano Super的(de)(de)(de)發布(bu)，為中國(guo)企(qi)業在邊緣(yuan)AI領域的(de)(de)(de)發展(zhan)提供了(le)(le)難得的(de)(de)(de)機遇(yu)。
這款高性(xing)價(jia)比的(de)產品，不(bu)僅讓更多開發者(zhe)有機(ji)會接觸(chu)和(he)應用(yong)AI技(ji)術，也為中國企(qi)業(ye)在(zai)硬件制(zhi)造與AI服務整合方面(mian)開辟了(le)新的(de)可能性(xing)。
回顧(gu)過去(qu)數(shu)十(shi)年的(de)國際分工，中國在硬(ying)(ying)件(jian)制造領域積(ji)累了顯著的(de)比較(jiao)優(you)勢。然而(er)(er)，這種“硬(ying)(ying)件(jian)強(qiang)、軟(ruan)件(jian)弱”的(de)非均衡發展模式，導致內需不(bu)足、服(fu)務業滯后等問題日益(yi)凸顯。而(er)(er)邊緣AI硬(ying)(ying)件(jian)的(de)興起，恰(qia)恰(qia)為打破這一困局提供了契機。
邊緣AI硬件的特點在于，它將強大的AI運算能力與物理設備緊密結合，使得智能化服務能夠在本地實時交付。
這意(yi)味著(zhu)，中國企業(ye)(ye)可以(yi)充(chong)分(fen)發揮(hui)自(zi)身在硬件設計和(he)制(zhi)(zhi)造方面的優勢，同時通過邊緣AI實現服務能力的跨越(yue)式提(ti)升，最終(zhong)實現制(zhi)(zhi)造業(ye)(ye)和(he)服務業(ye)(ye)的均衡發展(zhan)。
以服(fu)務機(ji)器人為例，它集成了先進的(de)(de)AI算法和傳感(gan)器技術，能(neng)(neng)(neng)夠根據用(yong)戶需求(qiu)和環境狀況提供個性化、智能(neng)(neng)(neng)化的(de)(de)交(jiao)互(hu)服(fu)務。毛茸茸的(de)(de)AI機(ji)器寵(chong)物、貼(tie)心的(de)(de)家庭陪(pei)伴機(ji)器人、懂人心的(de)(de)智能(neng)(neng)(neng)眼(yan)鏡等，都(dou)是邊緣AI服(fu)務設備的(de)(de)典型應用(yong)場景。這些創(chuang)新產品的(de)(de)問世，將極(ji)大地豐富(fu)人們的(de)(de)生活體(ti)驗(yan)。
中國擁有完善的電子制造業供應鏈和龐大的消費市場，這為邊緣AI硬件的規模化生產和應用提供了得天獨厚的條件。
如果中國企業(ye)能夠抓住這(zhe)一機遇，積極布(bu)局邊(bian)緣AI硬件領域，不斷強(qiang)化技術研發和產品創新能力，就有望在全球邊(bian)緣AI市場中占據一席(xi)之地，并(bing)帶(dai)動服務業(ye)的轉型升(sheng)級。
不過(guo)，要(yao)真(zhen)正實現“硬件+服務”的協同發展，中國企業還(huan)需要(yao)在以下幾(ji)個方面進行深入探索和實踐(jian)：
加強研發投入。邊緣AI的競爭歸根結底(di)是技(ji)術的競爭。中國企業要在算(suan)法模型、芯(xin)片(pian)設計、傳感器集(ji)成(cheng)等方(fang)面加大研發力度，突破關鍵核(he)心(xin)技(ji)術，提(ti)升產品的智能(neng)化水(shui)平(ping)和(he)性能(neng)表現。
深化產業鏈協同。邊緣AI硬件的研發和生產(chan)涉及芯片(pian)、算法、傳(chuan)感(gan)器、結構(gou)件等多個環節，需要產(chan)業(ye)(ye)(ye)鏈上下游企(qi)(qi)業(ye)(ye)(ye)的緊密協作。中國企(qi)(qi)業(ye)(ye)(ye)要充分發揮產(chan)業(ye)(ye)(ye)集群(qun)優勢(shi)，建立健全的協同(tong)機制(zhi)，提升(sheng)供應鏈的效(xiao)率(lv)和柔性。
創新商業模式。單純的硬件(jian)銷售很難獲得豐(feng)厚利潤，中(zhong)國企業需要探索“硬件(jian)+服務”的創(chuang)新商業模(mo)式。可(ke)以考慮通(tong)過(guo)硬件(jian)產品獲取用(yong)戶和(he)數(shu)據，再通(tong)過(guo)軟件(jian)服務實現商業變現：或(huo)者針對特定行業提供端到端的整體解(jie)決方(fang)案，充分挖掘客戶需求(qiu)。
培育開發者生態。邊緣AI的(de)(de)應用(yong)開(kai)(kai)(kai)發離不(bu)開(kai)(kai)(kai)廣大開(kai)(kai)(kai)發者的(de)(de)積極參與(yu)。中國企業要(yao)通過開(kai)(kai)(kai)放平臺、開(kai)(kai)(kai)發工具(ju)、社區活動等方式(shi)，積極培(pei)育(yu)開(kai)(kai)(kai)發者生態，激發開(kai)(kai)(kai)發者的(de)(de)創造(zao)力(li)，共(gong)同豐富邊緣AI的(de)(de)應用(yong)場景。
注重隱私保護。邊緣(yuan)AI的(de)普(pu)及(ji)應用(yong)將產生大量的(de)用(yong)戶(hu)數(shu)據(ju)，這對數(shu)據(ju)安全(quan)和隱私保護提出了更高要求。中國企業要嚴格遵守(shou)相(xiang)關法律法規，加強(qiang)數(shu)據(ju)全(quan)生命周期管理，增強(qiang)用(yong)戶(hu)信任。
積極參與標準制定。邊(bian)緣AI尚處于起(qi)步階段，相關標準(zhun)和規范亟待建(jian)立。中(zhong)國企(qi)業要積極參與(yu)國際標準(zhun)化組織的工作，爭取在(zai)關鍵技術(shu)領域(yu)掌握(wo)更多話語(yu)權，為邊(bian)緣AI產業的健康發展貢獻(xian)力(li)量(liang)。
只有在(zai)技術、產品、服務、生態、安(an)全等多個維度形成差異化優勢，中(zhong)國企業(ye)才能在(zai)激烈的邊緣(yuan)AI競爭中(zhong)搶得(de)先機。
寫在最后
英偉達最新發布的邊緣(yuan)AI開發套件Jetson Orin Nano Super，以其(qi)強(qiang)大的性能(neng)和超高的性價比，重新定義了邊緣(yuan)AI的可(ke)能(neng)性。
這一產品的問世，不僅掀起了一場(chang)全球范(fan)圍內的邊(bian)緣(yuan)AI開發板(ban)大戰，也為(wei)中國(guo)企業在邊(bian)緣(yuan)AI領(ling)(ling)域的發展提供了契(qi)機。中國(guo)企業可(ke)以充分(fen)利(li)用(yong)自身在硬件(jian)制造(zao)領(ling)(ling)域的優(you)勢，同時通過(guo)邊(bian)緣(yuan)AI實現服務(wu)能力的跨(kua)越(yue)式提升，最終實現制造(zao)業和服務(wu)業的均(jun)衡發展。
參考資料：
開發者如(ru)何(he)選擇(ze)Edge AI開發方案，作(zuo)者：Jack OmniXRI，來源：歐(ou)尼克斯實境(jing)互(hu)動工作(zuo)室(OmniXRI)The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI，來源：Edge Middle EastBenchmarking Edge Computing - Comparing Google, Intel, and NVIDIA accelerator hardware，作者：Alasdair Allan，來源：Medium
