如果(guo)說去年(nian)(nian)機器(qi)人行業上半年(nian)(nian)發展(zhan)(zhan)的關(guan)鍵(jian)(jian)詞是(shi)“機器(qi)人＋”概念(nian)，那么去年(nian)(nian)下半年(nian)(nian)到(dao)今年(nian)(nian)年(nian)(nian)末(mo)機器(qi)人行業發展(zhan)(zhan)的關(guan)鍵(jian)(jian)詞毫無(wu)疑問無(wu)疑只有(you)一個，就(jiu)是(shi)“具身智能”。
雖(sui)然應用側落地(di)的(de)(de)(de)痛(tong)點一(yi)直困擾著產業鏈，但具身智能(neng)概念的(de)(de)(de)出現讓機器人(ren)，尤(you)其是人(ren)形(xing)機器人(ren)的(de)(de)(de)量(liang)產及產業化落地(di)正在超出預期地(di)加速發展。在今(jin)年的(de)(de)(de)北京2024世界機器人(ren)大(da)會上，眾(zhong)多人(ren)形(xing)機器人(ren)紛(fen)紛(fen)亮(liang)相，數量(liang)創下(xia)歷(li)屆大(da)會之(zhi)最。
同時，今年也是端側AI蓬勃發展的一年，從芯片制造、操作(zuo)系統開(kai)發(fa)(fa)到(dao)終(zhong)端設備開(kai)發(fa)(fa)、應(ying)(ying)用開(kai)發(fa)(fa)等各個環節都在不(bu)遺余力(li)地(di)進行端側(ce)AI技術(shu)的融(rong)合，AI得(de)以持(chi)續(xu)向端側(ce)應(ying)(ying)用發(fa)(fa)力(li)，各類(lei)AI智(zhi)能(neng)終(zhong)端產(chan)品(pin)在市(shi)場上涌現(xian)并迅速占領份(fen)額。
端側AI在(zai)消費電子領域的火(huo)熱進(jin)展自(zi)是(shi)(shi)(shi)不(bu)必多說，機(ji)器(qi)(qi)人(ren)也開(kai)始越(yue)來越(yue)多地與(yu)端側AI技術結合，向(xiang)更高階(jie)的智(zhi)能(neng)(neng)化升級。黃仁勛曾表示(shi)，AI下一(yi)個浪(lang)潮將是(shi)(shi)(shi)“具(ju)(ju)身智(zhi)能(neng)(neng)”，即(ji)能(neng)(neng)夠理(li)解、推理(li)并與(yu)物理(li)世界(jie)互動的智(zhi)能(neng)(neng)。體現在(zai)終端設備上(shang)，智(zhi)能(neng)(neng)機(ji)器(qi)(qi)人(ren)是(shi)(shi)(shi)最通用的具(ju)(ju)身智(zhi)能(neng)(neng)終端形態，甚至人(ren)形機(ji)器(qi)(qi)人(ren)可(ke)能(neng)(neng)成為真正意義上(shang)的自(zi)主智(zhi)能(neng)(neng)終端，而這(zhe)一(yi)愿景離不(bu)開(kai)背(bei)后機(ji)器(qi)(qi)人(ren)與(yu)AI技術的深度融合。
作為集前沿科學技術于一身的產品，機器人的感知層、決策層、執行層等等每一類技術框架里都有著大量可智能化的空間。我們把切入點縮小一些，著重從感知層面來看傳感與人工智能的結合到最后實現具(ju)身智能感知。
從傳統感知到機器人具身智能傳感
機器(qi)人(ren)任務流(liu)程的(de)正確執行(xing)，其源頭都是機器(qi)人(ren)對其自身狀態、操作對象以及作業環境有正確的(de)認知(zhi)。這依賴于機器(qi)人(ren)搭載的(de)傳(chuan)(chuan)感(gan)系統(tong)(tong)能搜集足夠的(de)內外部信(xin)(xin)息(xi)以便決策層(ceng)進行(xing)運動規(gui)劃(hua)。這一(yi)點和我(wo)們(men)人(ren)類(lei)是相通的(de)，機器(qi)人(ren)的(de)傳(chuan)(chuan)感(gan)系統(tong)(tong)就是人(ren)類(lei)的(de)感(gan)官，一(yi)方面(mian)收集周(zhou)圍環境信(xin)(xin)息(xi)，一(yi)方面(mian)進行(xing)自身狀態的(de)感(gan)知(zhi)。通常在一(yi)個機器(qi)人(ren)端側系統(tong)(tong)中(zhong)(zhong)，會用(yong)到傳(chuan)(chuan)感(gan)器(qi)、主控(kong)以及必要的(de)通信(xin)(xin)連接功能，傳(chuan)(chuan)感(gan)器(qi)負責采集真實物理世界的(de)信(xin)(xin)號，然后將(jiang)數據傳(chuan)(chuan)遞(di)到主控(kong)中(zhong)(zhong)進行(xing)處理。
對于像(xiang)工業(ye)機(ji)器(qi)人(ren)這樣的(de)傳統(tong)機(ji)器(qi)人(ren)而言，感知(zhi)部分是(shi)較為單一的(de)，有(you)位置傳感器(qi)用于運控即(ji)可(ke)，發展到后來部分工業(ye)機(ji)器(qi)人(ren)也僅需要(yao)少數的(de)感知(zhi)單元來完(wan)成一些額外的(de)功能。而且(qie)傳統(tong)的(de)機(ji)器(qi)人(ren)傳感器(qi)定位僅僅是(shi)一個單純用于感知(zhi)器(qi)件，屬(shu)于完(wan)全的(de)被動方(fang)，只以(yi)旁觀者(zhe)的(de)視角對目標(biao)量進行(xing)記錄，功能點(dian)明確且(qie)單一。
隨著(zhu)(zhu)機(ji)器人(ren)整(zheng)體軟硬件技術的完善與發展，越來越多功能得以(yi)實現(xian)，機(ji)器人(ren)本身(shen)也成為(wei)傳(chuan)(chuan)感(gan)(gan)器高度集成的端側設備，小到電流傳(chuan)(chuan)感(gan)(gan)器、溫度傳(chuan)(chuan)感(gan)(gan)器，大到IMU、編碼器、視覺、激光雷達等等一系(xi)列(lie)傳(chuan)(chuan)感(gan)(gan)器從(cong)各個維度豐富著(zhu)(zhu)機(ji)器人(ren)對環境對世界的感(gan)(gan)知。
更(geng)重(zhong)要的是，傳(chuan)感器不再(zai)只是被動地(di)去記錄目標參數(shu)，而是變得更(geng)主動、更(geng)智能(neng)，能(neng)夠基于收集到的數(shu)據主動去做融合、分類和預測等等一系列此前無法實現的功能(neng)。
這些改變都得益于AI相(xiang)關技術(shu)的(de)(de)引入，如果說此前這些升(sheng)級與革新只是錦(jin)上添花的(de)(de)話，到了現在人(ren)形(xing)機(ji)器人(ren)具身智能時代(dai)，端側設(she)備上傳感器與AI的(de)(de)結合絕對已經成為必不可少的(de)(de)技術(shu)棧。
因為具(ju)身智能(neng)(neng)(neng)與(yu)傳統智能(neng)(neng)(neng)差別(bie)在于具(ju)身智能(neng)(neng)(neng)是(shi)具(ju)有(you)主動性(xing)的(de)(de)(de)第一人稱智能(neng)(neng)(neng)，能(neng)(neng)(neng)夠在與(yu)環境的(de)(de)(de)交互感(gan)知中將(jiang)數據的(de)(de)(de)采集(ji)、模型的(de)(de)(de)學(xue)(xue)習、任務(wu)的(de)(de)(de)執行融為一體實(shi)(shi)現(xian)(xian)自主學(xue)(xue)習，感(gan)知層不與(yu)AI深度(du)結合難以(yi)實(shi)(shi)現(xian)(xian)這種(zhong)主動智能(neng)(neng)(neng)。
從具(ju)身(shen)智能整(zheng)個實(shi)現的(de)技術框架來看(kan)，仍舊是感知(zhi)、決策、執(zhi)行三個核心技術環節以(yi)及配套的(de)通信(xin)與交互(hu)(hu)技術。具(ju)身(shen)感知(zhi)是后續環節的(de)支撐(cheng)，包括對世(shi)(shi)界(jie)模(mo)型的(de)全感知(zhi)及與環境的(de)實(shi)時交互(hu)(hu)感知(zhi)，可以(yi)結合真實(shi)交互(hu)(hu)反(fan)饋數據(ju)不(bu)斷自主修正(zheng)預先構建(jian)的(de)數據(ju)庫，獲得更精確的(de)世(shi)(shi)界(jie)理解(jie)與模(mo)型建(jian)立(li)。而后通過構建(jian)仿真引(yin)擎，對具(ju)身(shen)任務進(jin)行模(mo)擬(ni)，結合感知(zhi)數據(ju)進(jin)行想象操作(zuo)，為(wei)機器人具(ju)身(shen)執(zhi)行提供支撐(cheng)。
可以說，具身(shen)(shen)傳(chuan)(chuan)感(gan)是(shi)具身(shen)(shen)智(zhi)能(neng)(neng)機(ji)(ji)器(qi)(qi)(qi)(qi)人(ren)的(de)(de)基礎，只有一(yi)套完(wan)整的(de)(de)具身(shen)(shen)傳(chuan)(chuan)感(gan)系統才能(neng)(neng)讓機(ji)(ji)器(qi)(qi)(qi)(qi)人(ren)實現(xian)真正(zheng)具身(shen)(shen)智(zhi)能(neng)(neng)，通過感(gan)知的(de)(de)傳(chuan)(chuan)遞完(wan)成(cheng)對運動(dong)控制(zhi)的(de)(de)指(zhi)導。具身(shen)(shen)智(zhi)能(neng)(neng)機(ji)(ji)器(qi)(qi)(qi)(qi)人(ren)需要多種傳(chuan)(chuan)感(gan)器(qi)(qi)(qi)(qi)，感(gan)知帶動(dong)運動(dong)控制(zhi)的(de)(de)范(fan)式變(bian)化。例如在(zai)抓取物品的(de)(de)時候(hou)，會先(xian)利用傳(chuan)(chuan)感(gan)器(qi)(qi)(qi)(qi)組合判斷方位，再識別物品的(de)(de)大小，調整伸手距離等，再通過力(li)/觸覺傳(chuan)(chuan)感(gan)器(qi)(qi)(qi)(qi)調整抓握力(li)，進(jin)而完(wan)成(cheng)一(yi)系列動(dong)作(zuo)。其(qi)中每(mei)一(yi)個環節，都有著AI能(neng)(neng)夠助力(li)的(de)(de)空(kong)間。
端側AI賦能下的機器人感知
端側的AI與傳感(gan)器(qi)融合是機器(qi)人發展較為(wei)迅速的一個領域(yu)，不少感(gan)知方(fang)向的傳感(gan)都已經(jing)有了明顯(xian)的智(zhi)能化提升。各(ge)個不同維度的傳感(gan)方(fang)向，都有相(xiang)關技術力(li)量在推動。
機器視覺
AI＋3D視覺(jue)(jue)主導的機器人視覺(jue)(jue)傳感(gan)已經(jing)在(zai)(zai)行業內發展了很多年，是(shi)AI與傳感(gan)器結合(he)得較為成熟的賽(sai)道。以往更多的是(shi)在(zai)(zai)實時收集真實數據(ju)后不斷在(zai)(zai)云端(duan)(duan)(duan)優化(hua)視覺(jue)(jue)算(suan)法。端(duan)(duan)(duan)側AI的興起，開始直接在(zai)(zai)端(duan)(duan)(duan)側進行數據(ju)處理，降(jiang)低了可(ke)能因傳輸數據(ju)造(zao)成的延遲與可(ke)靠性問(wen)題。
同(tong)時基于獲取到(dao)的點云/圖像信(xin)息，端側能夠直接(jie)進行一(yi)(yi)定計(ji)算(suan)量AI功能實現，如進行姿(zi)態(tai)(tai)識(shi)別(bie)、手(shou)勢識(shi)別(bie)、人臉識(shi)別(bie)等(deng)等(deng)。此外，機器人向具身(shen)智能的發(fa)展更強調傳感(gan)器對3D空間和(he)動(dong)態(tai)(tai)環境有更深入的理(li)(li)解。端側的視覺(jue)(jue)信(xin)息收集只是第一(yi)(yi)步，后續(xu)要(yao)進行視覺(jue)(jue)感(gan)知和(he)推理(li)(li)，理(li)(li)解場(chang)景中的3D關(guan)系，并基于視覺(jue)(jue)信(xin)息預測和(he)執行復雜任(ren)務(wu)，最終形成主動(dong)的視覺(jue)(jue)感(gan)知，結合真實交互反饋數據不斷自主修正完成從仿真到(dao)現實的跨(kua)越。
根(gen)據(ju)Yole的(de)調研數據(ju)，3D視(shi)覺(jue)傳(chuan)感市場(chang)在(zai)2022年(nian)的(de)收入(ru)已達(da)到(dao)82億(yi)(yi)美元，并預計到(dao)2028年(nian)將(jiang)翻(fan)倍(bei)增(zeng)長至172億(yi)(yi)美元。同(tong)時，MarketsandMarkets的(de)預測顯示，到(dao)2028年(nian)全球AI傳(chuan)感器市場(chang)規模將(jiang)達(da)到(dao)221億(yi)(yi)美元，相比2022年(nian)的(de)30億(yi)(yi)美元，年(nian)復合增(zeng)長率高達(da)41.6%
語義識別處理
端側AI在(zai)自(zi)然語(yu)(yu)言處理(li)NLP領域上的(de)優勢也正在(zai)被(bei)機器人應用(yong)起來。借助(zhu)端側的(de)大模(mo)型進行自(zi)然語(yu)(yu)言識別來做語(yu)(yu)音(yin)交互(hu)、語(yu)(yu)音(yin)喚(huan)醒(xing)、聊天問答等(deng)(deng)等(deng)(deng)功能只(zhi)是(shi)最基(ji)礎(chu)的(de)一部分(fen)，也只(zhi)是(shi)第一步(bu)。
被下達任務(wu)(wu)指令的(de)機器人(ren)，大語(yu)言模型識別(bie)完(wan)成后自動(dong)拆(chai)解出(chu)涉及的(de)機器人(ren)技能(neng)(neng)與子技能(neng)(neng)，根(gen)據給定的(de)最終目標任務(wu)(wu)進行自主地從Language到Action模型構建，在端側(ce)AI使能(neng)(neng)下自主編(bian)排復(fu)雜任務(wu)(wu)才是具(ju)身智能(neng)(neng)機器人(ren)更前瞻的(de)方向。
國內NLP市場規(gui)模(mo)于2021年達(da)到181.3億元，在AI技術不(bu)斷融合(he)與迭代升(sheng)級的背景下，國內NLP市場將于2026年達(da)到836.6億元。隨著人工智能(neng)技術的不(bu)斷融合(he)與提(ti)升(sheng)以及高度智能(neng)化機(ji)器人發展，NLP技術的應用邊界仍在不(bu)斷拓展。
機器觸覺與(yu)多模(mo)態感知
嗅覺(jue)(jue)和味覺(jue)(jue)較少(shao)在(zai)機器人中(zhong)提及(ji)，而觸覺(jue)(jue)作為(wei)人類感知世界的重(zhong)要手段，在(zai)機器人中(zhong)相比于視(shi)覺(jue)(jue)與聽覺(jue)(jue)的進(jin)展則(ze)慢得(de)很(hen)(hen)多。即便到現在(zai)，對(dui)觸覺(jue)(jue)的感知也很(hen)(hen)難(nan)稱得(de)上(shang)完備(bei)。
觸覺本身就是(shi)(shi)多模態的(de)(de)(de)，對力的(de)(de)(de)感(gan)(gan)知(zhi)的(de)(de)(de)確(que)占據(ju)了很(hen)大一部(bu)分(fen)，但并不是(shi)(shi)全部(bu)，材質、溫(wen)度(du)、滑(hua)動、回(hui)彈等(deng)等(deng)物體觸覺信息都(dou)囊(nang)括(kuo)在其(qi)中。想要(yao)(yao)完整對觸覺進(jin)行定(ding)量(liang)的(de)(de)(de)標注(zhu)，需要(yao)(yao)對傳感(gan)(gan)器(qi)收(shou)集(ji)到的(de)(de)(de)大量(liang)數(shu)據(ju)進(jin)行處(chu)理。一些傳感(gan)(gan)器(qi)廠(chang)商會將原始信號的(de)(de)(de)復雜解(jie)析函數(shu)映射(she)到一維線性空間完成力學信號的(de)(de)(de)快速求解(jie)，這樣能(neng)降低算力需求，但其(qi)他維度(du)的(de)(de)(de)數(shu)據(ju)仍舊需要(yao)(yao)后期處(chu)理。
借助(zhu)端側AI硬件，多模態觸(chu)(chu)覺感(gan)知會變得更(geng)加簡單，以數據為驅動算力的(de)(de)加持能(neng)快速分類各維度(du)(du)信號，解析出完備的(de)(de)多模態參數。前端更(geng)快的(de)(de)反應速度(du)(du)也(ye)讓機器人的(de)(de)觸(chu)(chu)感(gan)反應速度(du)(du)能(neng)媲(pi)美(mei)人類。據知名國(guo)外咨詢機構(gou)VMR預測，2028年觸(chu)(chu)覺傳感(gan)器市(shi)場將達到260.8億(yi)美(mei)元。
這些外(wai)部信息感知都已經開(kai)始與端(duan)側AI結合，機器人(ren)內部感知同樣不例外(wai)。例外(wai)意法(fa)半導(dao)體早(zao)在2019年(nian)就推出了集成ML內核的(de)傳感器，能夠運行一些簡單的(de)AI模型。后(hou)續又(you)在機器人(ren)核心的(de)IMU器件上更新(xin)了加持DSP的(de)ISPU（Intelligent Sensor Processing Unit），能在端(duan)側自動分析(xi)處(chu)理(li)機器人(ren)位置數(shu)據。
傳感器上(shang)的AI算力的增強實現了海量數據處理的分區，根據算法難度(du)調配算力資源，大幅提(ti)升整(zheng)個(ge)端側系統(tong)的能效，讓整(zheng)個(ge)感知(zhi)更加(jia)智能。
具身智能端側AI傳感，不止于感知
智(zhi)能決策感知(zhi)先行，具身(shen)智(zhi)能概念推動著機器人(ren)(ren)向更自(zi)主更智(zhi)能的(de)未來發展，為打好具身(shen)智(zhi)能感知(zhi)基礎，傳感器技(ji)術(shu)與端側AI技(ji)術(shu)結合得(de)越(yue)(yue)來越(yue)(yue)緊密。日后，機器人(ren)(ren)會通過(guo)視覺(jue)/觸覺(jue)等感知(zhi)方式識別建立并不斷(duan)修正具身(shen)多模(mo)態基礎模(mo)型，通過(guo)聽覺(jue)理解(jie)指令，并理解(jie)自(zi)身(shen)的(de)狀態，以(yi)實現復雜的(de)交互和(he)操作。
同樣，具身智(zhi)能(neng)下(xia)的(de)(de)機器(qi)人傳(chuan)感(gan)(gan)，始于(yu)感(gan)(gan)知(zhi)但(dan)又不(bu)只(zhi)是(shi)感(gan)(gan)知(zhi)。傳(chuan)感(gan)(gan)器(qi)也(ye)將不(bu)再只(zhi)是(shi)用于(yu)感(gan)(gan)知(zhi)的(de)(de)硬件，而是(shi)在(zai)實時(shi)精準(zhun)多(duo)維(wei)感(gan)(gan)知(zhi)的(de)(de)基(ji)礎上，拓展更(geng)(geng)多(duo)和AI相(xiang)關的(de)(de)功能(neng)，借力端(duan)側AI提供更(geng)(geng)多(duo)數據處理、分(fen)類、融合的(de)(de)價值，最(zui)終通過融合的(de)(de)多(duo)模態傳(chuan)感(gan)(gan)數據來(lai)增(zeng)強智(zhi)能(neng)體的(de)(de)理解和決策。
當然(ran)(ran)(ran)，現階段(duan)端還面(mian)臨著(zhu)如何更好地(di)融合(he)傳感器(qi)與端側(ce)SoC兼(jian)顧(gu)性能與成(cheng)本(ben)的(de)難題(ti)。雖然(ran)(ran)(ran)機(ji)器(qi)人(ren)并不像其他端側(ce)設備對(dui)成(cheng)本(ben)很(hen)敏感，但(dan)對(dui)于(yu)想要(yao)落地(di)的(de)機(ji)器(qi)人(ren)來(lai)說(shuo)，這(zhe)一(yi)(yi)問題(ti)遲早也會面(mian)對(dui)。雖然(ran)(ran)(ran)多位科(ke)技行業(ye)巨頭都表(biao)示未(wei)來(lai)人(ren)形機(ji)器(qi)人(ren)會像汽(qi)車一(yi)(yi)樣(yang)普及(ji)，但(dan)機(ji)器(qi)人(ren)的(de)商業(ye)落地(di)仍(reng)舊(jiu)要(yao)考慮這(zhe)些實際問題(ti)。
寫在最后
從傳統(tong)感知(zhi)到機器人具身智能傳感，機器人傳感器延(yan)展(zhan)出了更多地(di)和AI相關的(de)(de)(de)計算、融合的(de)(de)(de)功能。在端側AI時代，傳感器將提(ti)供更多的(de)(de)(de)數據處理的(de)(de)(de)價值(zhi)，通過交互感知(zhi)、自主挖掘為(wei)機器人構建起不斷優化(hua)的(de)(de)(de)真實世界(jie)模型，推(tui)動具身智能目標的(de)(de)(de)實現。
