近日，Arm 宣(xuan)布推出(chu)針(zhen)對視(shi)(shi)(shi)覺(jue)應(ying)用設(she)(she)備的(de)(de)(de) Arm? 智(zhi)能視(shi)(shi)(shi)覺(jue)參考(kao)(kao)設(she)(she)計，首次將(jiang) Arm 現(xian)有子系統(tong) IP 與第(di)三方 IP整合，其硬(ying)件參考(kao)(kao)設(she)(she)計包括 CPU、ISP、NPU、VPU 處理(li)(li)器(qi)選項(xiang)，以及(ji)將(jiang)這些元件粘合在一起的(de)(de)(de)子系統(tong) IP。值(zhi)得(de)一提的(de)(de)(de)是(shi)，其中的(de)(de)(de)VPU、NPU由(you)(you)安謀科(ke)技(ji)提供。據安謀科(ke)技(ji)智(zhi)能物聯及(ji)汽(qi)車業務線負(fu)責(ze)人趙(zhao)永超(chao)介紹：“Arm 智(zhi)能視(shi)(shi)(shi)覺(jue)參考(kao)(kao)設(she)(she)計通過集成安謀科(ke)技(ji)‘玲瓏(long)’VPU 和‘周(zhou)易’ NPU，并由(you)(you)安謀科(ke)技(ji)將(jiang) Arm IP 與安謀科(ke)技(ji)自(zi)研 IP 進行(xing)集成和驗證(zheng)，可(ke)進一步(bu)滿(man)足國內客戶在不同場(chang)景下的(de)(de)(de)差異化視(shi)(shi)(shi)頻(pin)處理(li)(li)需求，提高機器(qi)學習與視(shi)(shi)(shi)頻(pin)處理(li)(li)工作時的(de)(de)(de)負(fu)載表現(xian)，從而加(jia)速(su)視(shi)(shi)(shi)覺(jue)應(ying)用產品的(de)(de)(de)創新落地。”
此外，Arm 還宣布了“Arm 智能視覺合作伙伴計劃”，聯合軟件、硬件、系統集成商伙伴，加速視覺應用設備的開發。目前已有十余家來自智能物聯網的芯片設計、系統(tong)集成(cheng)、AI 算法、開發平(ping)臺等國內領(ling)先企業(ye)加入該項計劃。
智能未來“視”不可擋
人(ren)類的(de)智(zhi)慧體現在可以通(tong)過感(gan)知(zhi)、思(si)考(kao)和(he)(he)行(xing)動(dong)來改變世(shi)界(jie)。首先，人(ren)類通(tong)過感(gan)官接收外(wai)界(jie)的(de)信息和(he)(he)刺(ci)激，識別(bie)模(mo)型并建立(li)對世(shi)界(jie)的(de)認知(zhi)，進(jin)而(er)形(xing)成(cheng)信息系統。隨(sui)后，人(ren)類通(tong)過思(si)考(kao)加工和(he)(he)處(chu)理感(gan)知(zhi)到的(de)信息，從而(er)形(xing)成(cheng)理解和(he)(he)見解，幫助人(ren)們解決問并做(zuo)出決策，這就是模(mo)型系統。最終，行(xing)動(dong)使人(ren)類能夠將感(gan)知(zhi)和(he)(he)思(si)考(kao)轉化為實際的(de)動(dong)作，逐步改變自然和(he)(he)社會環境，推動(dong)科(ke)學技術的(de)進(jin)步、文明的(de)發展和(he)(he)社會的(de)演(yan)變。
長(chang)久以(yi)來，隨著算(suan)力(li)的(de)(de)飛速(su)提升，加(jia)之模型的(de)(de)不斷(duan)演進，使得原(yuan)本專屬于人(ren)類(lei)的(de)(de)感知、思考和行(xing)動(dong)能力(li)實現了向(xiang)機(ji)器的(de)(de)轉(zhuan)移，而每一個能力(li)轉(zhuan)移的(de)(de)拐點都(dou)將產(chan)生新范式(shi)。例(li)如，在(zai)20 世紀末(mo)期，谷歌、百度等公(gong)司使信息(xi)的(de)(de)生產(chan)和獲(huo)取成(cheng)(cheng)本從(cong)邊際(ji)成(cheng)(cheng)本轉(zhuan)向(xiang)固定(ding)成(cheng)(cheng)本，開(kai)啟了互(hu)聯網時(shi)代的(de)(de)新范式(shi)。如今，站在(zai)思考和模型構建從(cong)人(ren)類(lei)轉(zhuan)向(xiang)機(ji)器的(de)(de)拐點，以(yi)OpenAI為代表的(de)(de)企(qi)業正在(zai)推動(dong)模型產(chan)生的(de)(de)成(cheng)(cheng)本從(cong)邊際(ji)成(cheng)(cheng)本轉(zhuan)化為固定(ding)成(cheng)(cheng)本，而這一拐點也勢必助推模型的(de)(de)極大豐富，并(bing)加(jia)速(su)下一個拐點的(de)(de)到來，人(ren)機(ji)交互(hu)的(de)(de)模式(shi)將被重新定(ding)義。
而在模型和行動無處不在的新時代，智能視覺將變得(de)必(bi)不(bu)可(ke)少。因為(wei)機(ji)器系統必(bi)須通過視覺(jue)等感官理解(jie)(jie)周圍(wei)環境，做出相應(ying)的(de)決策和(he)行動，例如，視覺(jue)信息為(wei)自(zi)動駕(jia)駛和(he)機(ji)器人提(ti)供了關鍵的(de)安全(quan)和(he)避(bi)障(zhang)能力(li)，機(ji)器視覺(jue)可(ke)以(yi)通過捕捉人類(lei)(lei)的(de)表情、手勢和(he)動作，從中理解(jie)(jie)人類(lei)(lei)的(de)意圖和(he)情感，改(gai)善 AI 與人類(lei)(lei)的(de)溝通和(he)合作。
可以說，智能視覺技術對智慧家居、智慧城市、智慧零售(shou)和(he)智能制造等領域的(de)重塑與(yu)升級將日益加深——
在智能家居領域，除了安全監(jian)(jian)控、智能門禁和個性化(hua)的(de)家庭環境體驗外，在國內(nei)人(ren)口(kou)老(lao)齡化(hua)的(de)趨勢下，老(lao)人(ren)看護需求(qiu)不斷提(ti)升，而(er)智能視覺技術(shu)作(zuo)為如今智能攝像頭的(de)基礎功能支撐，可以幫助用(yong)戶實現老(lao)人(ren)室(shi)內(nei)活動監(jian)(jian)測、睡眠質量監(jian)(jian)測、異常情(qing)況(kuang)報警等功能。
在智慧城(cheng)市領域，我國已(yi)經率先將視(shi)覺(jue)技(ji)(ji)術應用于城(cheng)市安全監控和智能(neng)交通(tong)管(guan)理方面，同時，智能(neng)視(shi)覺(jue)技(ji)(ji)術還(huan)可(ke)以應用于智能(neng)化的(de)(de)垃圾(ji)處理和回(hui)收，達(da)到綠色環保的(de)(de)目的(de)(de)。
在智慧零售(shou)(shou)領域，通過智能攝像(xiang)頭(tou)和(he)(he)(he)視(shi)覺分析技術，可以實現人流統計和(he)(he)(he)行為分析，有助于優(you)化商(shang)店布局，推廣策略(lve)和(he)(he)(he)服務響應(ying)，提升顧客體驗(yan)和(he)(he)(he)銷售(shou)(shou)效益。
在智能制造領域，智能視覺技(ji)術在監測(ce)和(he)(he)質(zhi)量控制、自動化導航和(he)(he)定位、工藝控制和(he)(he)輔助操作等方面(mian)都具有廣泛的應(ying)用，可以提高(gao)生(sheng)產線的效率、質(zhi)量和(he)(he)安全(quan)性。
面(mian)向智能視覺技(ji)術的(de)快(kuai)速發展(zhan)，Arm 物(wu)聯(lian)網事(shi)業部(bu)業務(wu)拓(tuo)展(zhan)副總裁馬健分享了其觀(guan)察到的(de)重(zhong)要趨(qu)勢。
首先是(shi)云(yun)-邊(bian)-端(duan)的(de)協同，由于(yu)視(shi)頻數(shu)據的(de)規模龐大，再(zai)加上自動駕駛等應用對實(shi)時(shi)性(xing)提出更高要(yao)求，因此智能視(shi)覺(jue)系統需要(yao)將(jiang)計算和決(jue)策任(ren)務分(fen)布在云(yun)、邊(bian)和終端(duan)設(she)備上，實(shi)現(xian)協同工作。
其(qi)次是 AI 加持，未來智能(neng)視(shi)覺系統(tong)將繼續依賴深(shen)度學習(xi)模型和(he)神經網絡，提高圖像和(he)視(shi)頻數據的分析和(he)識別能(neng)力，并利用(yong)強(qiang)化學習(xi)和(he)自主自適應(ying)學習(xi)，使(shi)系統(tong)能(neng)夠從(cong)環境中不斷(duan)學習(xi)和(he)改進(jin)，并適應(ying)新的場景和(he)任務。
第三是智能視覺(jue)系統需(xu)要準確和高(gao)質量(liang)的(de)圖像處理(li)，以(yi)支持更高(gao)效的(de)特征提取、目標跟蹤和檢測、圖像分析和理(li)解以(yi)及(ji)圖像的(de)生成(cheng)和合成(cheng)。
第四是算力(li)支持，復雜的(de)模(mo)(mo)型和(he)算法、大規模(mo)(mo)圖像數據處(chu)理對實時性、高精(jing)度、高并發的(de)要(yao)求，使(shi)得(de)智能視覺系統需要(yao)越(yue)來(lai)越(yue)強大的(de)計算資源和(he)算力(li)支持。
此外，智能視覺系統(tong)廣泛應用引(yin)發了(le)對隱私和安全(quan)的關注，馬健認(ren)為，未來的趨勢是采(cai)用加密匿名化(hua)等技術(shu)手段保(bao)護(hu)用戶(hu)的隱私，同時加強系統(tong)的安全(quan)性，防止被惡(e)意(yi)攻擊和濫用。
與安謀科技強強聯合
在技術(shu)快速(su)發展、應用規模化落地的過(guo)程(cheng)中，智能(neng)視(shi)覺芯(xin)片架(jia)構經(jing)歷(li)了一系列的演進(jin)(jin)，從功(gong)能(neng)固定難(nan)以編(bian)程(cheng)的DSP和(he)ASK，到通(tong)用性強易編(bian)程(cheng)的CPU架(jia)構，再到如今(jin)最先進(jin)(jin)的綜合(he)CPU、ISP圖像處理器(qi)、NPU AI加(jia)速(su)器(qi)、VPU視(shi)頻編(bian)解碼器(qi)、GPU圖形處理器(qi)的異構SoC片上系統，已經(jing)逐步實現了低(di)功(gong)耗、高性能(neng)和(he)高度集成，適(shi)用于資(zi)源受(shou)限的邊緣(yuan)設備，例如智能(neng)手機(ji)(ji)、攝像頭、機(ji)(ji)器(qi)人和(he)物聯網設備等(deng)。
而作為全(quan)球領(ling)先的(de)半導體IP供應(ying)商，Arm已經(jing)在(zai)智能攝像頭市(shi)場以(yi)(yi)九成以(yi)(yi)上的(de)市(shi)占率獨占鰲頭，如(ru)今(jin)又面向中國市(shi)場發(fa)布 Arm 智能視覺參考(kao)設計，選用 Arm 廣泛應(ying)用于(yu)智能視覺領(ling)域的(de)處理(li)器和(he)(he)系統(tong)(tong) IP，構(gou)建出了相對(dui)標(biao)準化(hua)的(de)IP組(zu)合，并(bing)經(jing)過預先驗(yan)證，輔以(yi)(yi)該子系統(tong)(tong)的(de) Arm虛擬硬件、參考(kao)軟件棧，形成了設計智能視覺系統(tong)(tong)的(de)堅實的(de)系統(tong)(tong)技術平臺，使創(chuang)新(xin)者們不需(xu)(xu)要從零開始，可(ke)以(yi)(yi)專注于(yu)產品的(de)差(cha)異化(hua)性能開發(fa)，并(bing)快(kuai)速將自己的(de)想法轉化(hua)為產品并(bing)推向市(shi)場，顯著降低芯片開發(fa)的(de)成本(ben)和(he)(he)風險，并(bing)大(da)幅度縮短研發(fa)周(zhou)期。同時，由于(yu)這種參考(kao)設計是(shi)半成品，Arm也(ye)可(ke)以(yi)(yi)根據應(ying)用的(de)需(xu)(xu)求集成第三(san)方 IP，給(gei)予(yu)客戶(hu)足夠的(de)靈活(huo)性和(he)(he)選擇，以(yi)(yi)支(zhi)持差(cha)異化(hua)創(chuang)新(xin)。
具體來(lai)看，Arm 智能視覺參考設計包括：
Arm Corstone?-1000：整合 Cortex-A、Cortex-M 處理器與內建安全性，為不同應(ying)用在(zai)受(shou)限(xian)的(de)功(gong)耗(hao)范圍內提(ti)供效率及高性能。
Arm Corstone-300：為機器學習工作負(fu)載提供“永遠在線”的低功耗子(zi)系統。
Arm Mali?-C55 圖(tu)像信號處理(li)器 (ISP)：在極小的芯(xin)片(pian)面積條(tiao)件下，提供可配置、高能(neng)效、高性能(neng)的圖(tu)像質量。
來(lai)自(zi)安(an)謀(mou)科技的(de)第三方 IP 在(zai)視(shi)頻(pin)和機器學習能(neng)力方面提供(gong)更(geng)多(duo)選項，其中，“玲瓏”V5 視(shi)頻(pin)處理器支持(chi)緊湊的(de)、多(duo)格(ge)式 (例(li)如H.264, H.265) 且高效能(neng)的(de)視(shi)頻(pin)編解(jie)碼處理;“周易” NPU為廣(guang)泛的(de)機器學習用例(li)提供(gong)高達(da) 4TOPS 的(de)性能(neng)表現，并且支持(chi)業界(jie)主流的(de) AI 規模(mo)框(kuang)架，例(li)如 Tensorflow、Caffe、ONNX、Pytorch 等。
此外，生態伙伴可(ke)借由(you) Arm 虛擬硬件(jian) (Arm Virtual Hardware, AVH) 的(de)形式獲取 Arm 智(zhi)能(neng)視覺參考設計(ji)的(de)虛擬模型，助(zhu)力軟件(jian)開發者在芯(xin)片完備前先(xian)著手開發并優化代碼。該參考設計(ji)具備可(ke)信任的(de)底層 IP 技術，在增強安(an)全、可(ke)移植(zhi)性與兼(jian)容性方(fang)面，已取得(de) Arm SystemReady? IR 與 PSA Certified Level 2 等重要的(de)業(ye)界標準認(ren)證。
如今，生成式(shi)AI、大(da)語言模(mo)型的(de)(de)熱度高燒不(bu)退，拉動(dong)相(xiang)關的(de)(de)技術與應(ying)用快速發展。正如Arm 物聯(lian)網事業(ye)部業(ye)務拓展副總裁馬(ma)健(jian)所言，隨(sui)著 AI 和大(da)模(mo)型一(yi)日千里(li)的(de)(de)發展，智能(neng)視覺(jue)(jue)(jue)技術將繼續(xu)在(zai)所有垂直行業(ye)得到更(geng)廣泛(fan)的(de)(de)應(ying)用，視覺(jue)(jue)(jue)將無處不(bu)在(zai)。在(zai)視覺(jue)(jue)(jue)成為(wei)(wei)一(yi)種普(pu)世能(neng)力(li)的(de)(de)趨(qu)勢(shi)下，預先(xian)集成、預先(xian)驗證的(de)(de)標準化子(zi)系統會(hui)為(wei)(wei)加速視覺(jue)(jue)(jue)產品設計和創新提供(gong)堅實的(de)(de)基礎(chu)，這也是 Arm 和安謀科技攜手(shou)為(wei)(wei)中國市場打(da)造(zao)智能(neng)視覺(jue)(jue)(jue)參考設計的(de)(de)初衷。
