如(ru)果說去(qu)年機(ji)器(qi)人(ren)行(xing)業(ye)上半年發展(zhan)的關鍵詞(ci)是“機(ji)器(qi)人(ren)＋”概念，那么(me)去(qu)年下(xia)半年到今年年末機(ji)器(qi)人(ren)行(xing)業(ye)發展(zhan)的關鍵詞(ci)毫無(wu)疑(yi)問無(wu)疑(yi)只(zhi)有一個(ge)，就是“具身(shen)智能”。
雖然應用側落地的(de)(de)(de)(de)痛點一直(zhi)困擾著產(chan)業(ye)鏈，但具身智能概念的(de)(de)(de)(de)出現讓(rang)機器人(ren)(ren)，尤其是人(ren)(ren)形(xing)機器人(ren)(ren)的(de)(de)(de)(de)量(liang)產(chan)及產(chan)業(ye)化落地正在超出預期(qi)地加(jia)速發展。在今年的(de)(de)(de)(de)北京2024世(shi)界機器人(ren)(ren)大會(hui)(hui)上，眾多(duo)人(ren)(ren)形(xing)機器人(ren)(ren)紛紛亮相，數量(liang)創下歷(li)屆大會(hui)(hui)之最。
同時，今年也是端側AI蓬勃發展的一年，從芯片制造、操作系統開發(fa)到終端(duan)設備開發(fa)、應用(yong)開發(fa)等各個(ge)環節都在不遺余力地(di)進行端(duan)側(ce)(ce)AI技術的(de)融合(he)，AI得以持續向端(duan)側(ce)(ce)應用(yong)發(fa)力，各類AI智能終端(duan)產(chan)品(pin)在市場上涌現并迅速占領份(fen)額。
端側AI在(zai)消(xiao)費電子領域的火熱進展自(zi)是不必多說，機器(qi)人也開始(shi)越(yue)來越(yue)多地與(yu)端側AI技(ji)術結合，向(xiang)更高階的智(zhi)能(neng)(neng)化(hua)升(sheng)級。黃仁勛曾表(biao)示，AI下一(yi)個浪潮(chao)將是“具身(shen)智(zhi)能(neng)(neng)”，即能(neng)(neng)夠理(li)解、推理(li)并(bing)與(yu)物理(li)世界(jie)互動的智(zhi)能(neng)(neng)。體(ti)現(xian)在(zai)終(zhong)端設備(bei)上(shang)，智(zhi)能(neng)(neng)機器(qi)人是最(zui)通(tong)用的具身(shen)智(zhi)能(neng)(neng)終(zhong)端形態，甚至(zhi)人形機器(qi)人可能(neng)(neng)成為(wei)真正意義上(shang)的自(zi)主智(zhi)能(neng)(neng)終(zhong)端，而這一(yi)愿景離不開背后(hou)機器(qi)人與(yu)AI技(ji)術的深(shen)度融合。
作為集前沿科學技術于一身的產品，機器人的感知層、決策層、執行層等等每一類技術框架里都有著大量可智能化的空間。我們把切入點縮小一些，著重從感知層面來看傳感與人工智能的結合到最后實現具身智能(neng)感知。
從傳統感知到機器人具身智能傳感
機(ji)(ji)器(qi)(qi)人任務流程的(de)(de)(de)正確執行，其源頭都是(shi)機(ji)(ji)器(qi)(qi)人對其自身狀態、操作對象以及作業環境有正確的(de)(de)(de)認知。這(zhe)依(yi)賴于機(ji)(ji)器(qi)(qi)人搭載的(de)(de)(de)傳(chuan)(chuan)感(gan)(gan)系(xi)統能(neng)搜集足(zu)夠的(de)(de)(de)內(nei)外(wai)部信息(xi)以便決策層(ceng)進行運動規劃(hua)。這(zhe)一點和我們人類是(shi)相(xiang)通(tong)的(de)(de)(de)，機(ji)(ji)器(qi)(qi)人的(de)(de)(de)傳(chuan)(chuan)感(gan)(gan)系(xi)統就是(shi)人類的(de)(de)(de)感(gan)(gan)官，一方面收集周圍環境信息(xi)，一方面進行自身狀態的(de)(de)(de)感(gan)(gan)知。通(tong)常在一個機(ji)(ji)器(qi)(qi)人端側系(xi)統中(zhong)，會用到(dao)(dao)傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)、主控以及必要(yao)的(de)(de)(de)通(tong)信連接功(gong)能(neng)，傳(chuan)(chuan)感(gan)(gan)器(qi)(qi)負責(ze)采(cai)集真實物理(li)世(shi)界的(de)(de)(de)信號，然后將數(shu)據傳(chuan)(chuan)遞到(dao)(dao)主控中(zhong)進行處理(li)。
對于(yu)(yu)像(xiang)工業(ye)機(ji)器(qi)人這樣的(de)(de)傳統機(ji)器(qi)人而(er)言，感知部(bu)分是較為單一的(de)(de)，有(you)位置傳感器(qi)用于(yu)(yu)運控即可(ke)，發展到(dao)后來(lai)部(bu)分工業(ye)機(ji)器(qi)人也僅(jin)需要少數的(de)(de)感知單元(yuan)來(lai)完(wan)成一些(xie)額外的(de)(de)功能。而(er)且(qie)傳統的(de)(de)機(ji)器(qi)人傳感器(qi)定位僅(jin)僅(jin)是一個單純用于(yu)(yu)感知器(qi)件，屬于(yu)(yu)完(wan)全的(de)(de)被(bei)動方，只以(yi)旁觀者(zhe)的(de)(de)視角對目標量進行記錄(lu)，功能點明確且(qie)單一。
隨著(zhu)機器(qi)人(ren)整體軟硬件技術的完善與發(fa)展，越(yue)來越(yue)多功能得(de)以實(shi)現，機器(qi)人(ren)本身也成(cheng)為傳(chuan)(chuan)感器(qi)高度(du)集成(cheng)的端側(ce)設備(bei)，小到電(dian)流傳(chuan)(chuan)感器(qi)、溫度(du)傳(chuan)(chuan)感器(qi)，大到IMU、編碼器(qi)、視覺(jue)、激光雷達等(deng)等(deng)一系列傳(chuan)(chuan)感器(qi)從各個維度(du)豐富著(zhu)機器(qi)人(ren)對(dui)環(huan)境(jing)對(dui)世界的感知。
更重要的(de)是(shi)，傳感(gan)器不(bu)再只(zhi)是(shi)被動地去記錄目標參數(shu)(shu)，而是(shi)變得更主動、更智能(neng)，能(neng)夠(gou)基(ji)于收集(ji)到的(de)數(shu)(shu)據主動去做融合、分類和預測等等一系列此(ci)前無法實現的(de)功能(neng)。
這(zhe)些(xie)(xie)改變(bian)都得益于AI相關技(ji)術的引入，如(ru)果說此前這(zhe)些(xie)(xie)升級與(yu)革新只是錦上(shang)添花的話，到了現在人形機器(qi)人具(ju)身智(zhi)能時代，端側(ce)設備上(shang)傳感器(qi)與(yu)AI的結合絕對已經(jing)成(cheng)為(wei)必(bi)不(bu)可少的技(ji)術棧。
因為具身(shen)智(zhi)能(neng)(neng)(neng)與傳統智(zhi)能(neng)(neng)(neng)差別(bie)在于具身(shen)智(zhi)能(neng)(neng)(neng)是具有主(zhu)動性的(de)第一人(ren)稱智(zhi)能(neng)(neng)(neng)，能(neng)(neng)(neng)夠在與環境的(de)交互感(gan)(gan)知中(zhong)將數(shu)據(ju)的(de)采集、模(mo)型的(de)學(xue)習、任務的(de)執行融為一體實現(xian)自主(zhu)學(xue)習，感(gan)(gan)知層不與AI深度結合難以實現(xian)這(zhe)種(zhong)主(zhu)動智(zhi)能(neng)(neng)(neng)。
從具身智能(neng)整個(ge)實(shi)現的(de)(de)技(ji)(ji)術框(kuang)架來看，仍舊是(shi)感知(zhi)(zhi)、決策、執行(xing)(xing)三個(ge)核心技(ji)(ji)術環(huan)節以(yi)及配(pei)套的(de)(de)通信與(yu)交(jiao)互技(ji)(ji)術。具身感知(zhi)(zhi)是(shi)后續環(huan)節的(de)(de)支撐(cheng)，包括(kuo)對世(shi)(shi)界模(mo)型的(de)(de)全感知(zhi)(zhi)及與(yu)環(huan)境(jing)的(de)(de)實(shi)時交(jiao)互感知(zhi)(zhi)，可(ke)以(yi)結合真(zhen)實(shi)交(jiao)互反饋數據不斷自(zi)主(zhu)修(xiu)正(zheng)預先構(gou)建(jian)的(de)(de)數據庫，獲得更精確的(de)(de)世(shi)(shi)界理解與(yu)模(mo)型建(jian)立。而后通過構(gou)建(jian)仿真(zhen)引擎，對具身任務進行(xing)(xing)模(mo)擬，結合感知(zhi)(zhi)數據進行(xing)(xing)想象操作，為機器人(ren)具身執行(xing)(xing)提供支撐(cheng)。
可以說，具(ju)(ju)(ju)(ju)身(shen)傳(chuan)(chuan)感(gan)(gan)(gan)是具(ju)(ju)(ju)(ju)身(shen)智能(neng)機(ji)器(qi)人的(de)(de)基礎，只有(you)一套完整(zheng)(zheng)的(de)(de)具(ju)(ju)(ju)(ju)身(shen)傳(chuan)(chuan)感(gan)(gan)(gan)系統才能(neng)讓機(ji)器(qi)人實現(xian)真正具(ju)(ju)(ju)(ju)身(shen)智能(neng)，通過(guo)感(gan)(gan)(gan)知的(de)(de)傳(chuan)(chuan)遞(di)完成(cheng)對運(yun)動(dong)控(kong)(kong)制(zhi)的(de)(de)指(zhi)導。具(ju)(ju)(ju)(ju)身(shen)智能(neng)機(ji)器(qi)人需(xu)要多種傳(chuan)(chuan)感(gan)(gan)(gan)器(qi)，感(gan)(gan)(gan)知帶動(dong)運(yun)動(dong)控(kong)(kong)制(zhi)的(de)(de)范式變化(hua)。例如(ru)在抓取(qu)物(wu)品的(de)(de)時候，會先(xian)利用傳(chuan)(chuan)感(gan)(gan)(gan)器(qi)組合判斷方位(wei)，再識別物(wu)品的(de)(de)大小，調(diao)整(zheng)(zheng)伸手距離等，再通過(guo)力/觸覺傳(chuan)(chuan)感(gan)(gan)(gan)器(qi)調(diao)整(zheng)(zheng)抓握力，進(jin)而完成(cheng)一系列動(dong)作。其中每一個(ge)環節，都(dou)有(you)著AI能(neng)夠助力的(de)(de)空間。
端側AI賦能下的機器人感知
端側的(de)AI與傳(chuan)感(gan)(gan)器(qi)融合是機器(qi)人發展較(jiao)為迅(xun)速的(de)一個領域，不少(shao)感(gan)(gan)知方向的(de)傳(chuan)感(gan)(gan)都(dou)已經有了明顯的(de)智能化提升。各個不同維度的(de)傳(chuan)感(gan)(gan)方向，都(dou)有相關技術(shu)力量在推動。
機器視覺
AI＋3D視覺主導的機器人視覺傳(chuan)感(gan)已經在(zai)行(xing)業內發展(zhan)了很多年(nian)，是(shi)AI與傳(chuan)感(gan)器結(jie)合得(de)較為成(cheng)(cheng)熟的賽道。以(yi)往更多的是(shi)在(zai)實時(shi)收集真實數(shu)據后不斷在(zai)云端(duan)(duan)優化(hua)視覺算法。端(duan)(duan)側(ce)AI的興起，開始直(zhi)接在(zai)端(duan)(duan)側(ce)進(jin)行(xing)數(shu)據處理，降低(di)了可(ke)能因傳(chuan)輸數(shu)據造成(cheng)(cheng)的延(yan)遲與可(ke)靠性問題。
同時基(ji)(ji)于獲取到(dao)的(de)點云/圖像信息，端側能夠直接(jie)進行一定計算量AI功能實(shi)現，如進行姿態識(shi)別(bie)、手(shou)勢識(shi)別(bie)、人(ren)(ren)臉識(shi)別(bie)等等。此外，機器(qi)人(ren)(ren)向具身(shen)智能的(de)發展更強(qiang)調傳感器(qi)對3D空間和(he)(he)(he)動(dong)態環境有更深入的(de)理解(jie)。端側的(de)視覺信息收集只是(shi)第一步，后續要進行視覺感知和(he)(he)(he)推理，理解(jie)場景(jing)中的(de)3D關(guan)系，并基(ji)(ji)于視覺信息預(yu)測和(he)(he)(he)執行復雜任(ren)務(wu)，最終形成主動(dong)的(de)視覺感知，結合真實(shi)交互反(fan)饋數(shu)據不斷自主修正完成從仿真到(dao)現實(shi)的(de)跨越。
根據(ju)Yole的調研數據(ju)，3D視覺傳感市場(chang)在2022年(nian)的收入已達(da)到(dao)82億(yi)(yi)美(mei)(mei)元，并預計到(dao)2028年(nian)將翻倍增長至(zhi)172億(yi)(yi)美(mei)(mei)元。同(tong)時，MarketsandMarkets的預測(ce)顯(xian)示(shi)，到(dao)2028年(nian)全球AI傳感器市場(chang)規模將達(da)到(dao)221億(yi)(yi)美(mei)(mei)元，相比2022年(nian)的30億(yi)(yi)美(mei)(mei)元，年(nian)復合增長率高達(da)41.6%
語義識別處理
端(duan)側AI在自(zi)(zi)然語(yu)言處(chu)理NLP領(ling)域上的優(you)勢也正在被機(ji)器人應用起來。借助端(duan)側的大模型進行自(zi)(zi)然語(yu)言識別來做(zuo)語(yu)音交互、語(yu)音喚醒(xing)、聊天問答等等功能只是(shi)最基礎的一部(bu)分(fen)，也只是(shi)第(di)一步。
被下達任(ren)(ren)(ren)務(wu)指令(ling)的(de)(de)機(ji)器(qi)人(ren)，大語(yu)言(yan)模(mo)型(xing)識別完成后自(zi)動拆解出涉及(ji)的(de)(de)機(ji)器(qi)人(ren)技能與子技能，根據(ju)給定的(de)(de)最終目標任(ren)(ren)(ren)務(wu)進(jin)行自(zi)主(zhu)地從Language到Action模(mo)型(xing)構建，在端(duan)側(ce)AI使(shi)能下自(zi)主(zhu)編排復雜任(ren)(ren)(ren)務(wu)才是具身智能機(ji)器(qi)人(ren)更前(qian)瞻的(de)(de)方(fang)向。
國內NLP市場規模(mo)于2021年達(da)到181.3億元，在AI技術不斷融合與迭代升級的背(bei)景下，國內NLP市場將于2026年達(da)到836.6億元。隨(sui)著人(ren)工(gong)智(zhi)能技術的不斷融合與提(ti)升以及(ji)高度(du)智(zhi)能化機器(qi)人(ren)發展，NLP技術的應用邊界仍在不斷拓展。
機器觸覺與多模(mo)態感知(zhi)
嗅(xiu)覺(jue)(jue)(jue)和(he)味覺(jue)(jue)(jue)較少在(zai)(zai)機器(qi)人中提及，而觸覺(jue)(jue)(jue)作為人類感知(zhi)世界的(de)重(zhong)要(yao)手段，在(zai)(zai)機器(qi)人中相比(bi)于視覺(jue)(jue)(jue)與聽(ting)覺(jue)(jue)(jue)的(de)進展則(ze)慢得(de)(de)很(hen)多。即便到(dao)現在(zai)(zai)，對觸覺(jue)(jue)(jue)的(de)感知(zhi)也(ye)很(hen)難稱得(de)(de)上完備。
觸(chu)(chu)覺本身就是多模態的(de)，對力的(de)感(gan)(gan)知(zhi)的(de)確占據(ju)(ju)了很大一部(bu)分，但并(bing)不是全部(bu)，材(cai)質、溫(wen)度、滑動、回彈等(deng)等(deng)物體觸(chu)(chu)覺信息都(dou)囊括(kuo)在其(qi)(qi)中(zhong)。想要(yao)完(wan)整對觸(chu)(chu)覺進行(xing)定(ding)量的(de)標注，需(xu)(xu)要(yao)對傳感(gan)(gan)器收集(ji)到(dao)的(de)大量數(shu)據(ju)(ju)進行(xing)處(chu)理。一些傳感(gan)(gan)器廠商會(hui)將(jiang)原始信號的(de)復雜解(jie)析函數(shu)映射到(dao)一維(wei)線性空間完(wan)成力學信號的(de)快速求(qiu)解(jie)，這樣(yang)能(neng)降(jiang)低(di)算力需(xu)(xu)求(qiu)，但其(qi)(qi)他維(wei)度的(de)數(shu)據(ju)(ju)仍舊需(xu)(xu)要(yao)后(hou)期處(chu)理。
借助(zhu)端(duan)側AI硬(ying)件，多模(mo)態(tai)觸(chu)覺(jue)感(gan)知會(hui)變得(de)更加(jia)簡(jian)單，以數(shu)據(ju)為驅動(dong)算力(li)的加(jia)持能(neng)快速(su)分(fen)類各維度信號(hao)，解析(xi)出完備的多模(mo)態(tai)參數(shu)。前(qian)端(duan)更快的反應速(su)度也讓(rang)機器人的觸(chu)感(gan)反應速(su)度能(neng)媲美(mei)(mei)人類。據(ju)知名國(guo)外咨詢(xun)機構VMR預測，2028年觸(chu)覺(jue)傳感(gan)器市(shi)場將達到260.8億(yi)美(mei)(mei)元。
這些外部(bu)信息感(gan)知(zhi)都已經開始與端(duan)側(ce)AI結(jie)合，機器(qi)(qi)人內部(bu)感(gan)知(zhi)同(tong)樣不例外。例外意法半導體(ti)早在(zai)2019年就推出了集成ML內核(he)(he)的(de)傳感(gan)器(qi)(qi)，能(neng)夠運(yun)行一些簡單的(de)AI模型(xing)。后續(xu)又在(zai)機器(qi)(qi)人核(he)(he)心的(de)IMU器(qi)(qi)件上更新了加持DSP的(de)ISPU（Intelligent Sensor Processing Unit），能(neng)在(zai)端(duan)側(ce)自動分析處(chu)理(li)機器(qi)(qi)人位置(zhi)數據。
傳感器上(shang)的(de)(de)AI算力(li)的(de)(de)增強(qiang)實現(xian)了(le)海量數據處理的(de)(de)分區，根據算法難(nan)度(du)調配算力(li)資源，大幅提升(sheng)整(zheng)個端側系統(tong)的(de)(de)能(neng)效(xiao)，讓(rang)整(zheng)個感知更加智能(neng)。
具身智能端側AI傳感，不止于感知
智能決策(ce)感(gan)(gan)知先行，具身智能概(gai)念(nian)推動著機器人向(xiang)更自主更智能的(de)未來發展，為打(da)好具身智能感(gan)(gan)知基(ji)礎，傳感(gan)(gan)器技術(shu)與端側AI技術(shu)結合得越(yue)(yue)來越(yue)(yue)緊(jin)密。日后，機器人會通過(guo)視覺(jue)/觸覺(jue)等感(gan)(gan)知方式識別建立并不(bu)斷修正具身多模(mo)態基(ji)礎模(mo)型，通過(guo)聽覺(jue)理解(jie)指令，并理解(jie)自身的(de)狀態，以實現復(fu)雜的(de)交互和操作(zuo)。
同樣，具身(shen)智(zhi)能下的(de)機器(qi)人(ren)傳感(gan)(gan)，始于(yu)感(gan)(gan)知但(dan)又不只是感(gan)(gan)知。傳感(gan)(gan)器(qi)也(ye)將不再只是用于(yu)感(gan)(gan)知的(de)硬件，而是在實時精(jing)準多(duo)維感(gan)(gan)知的(de)基礎(chu)上，拓展更多(duo)和(he)(he)AI相關的(de)功能，借力端側(ce)AI提供更多(duo)數據處(chu)理(li)、分(fen)類、融合的(de)價值，最(zui)終通過融合的(de)多(duo)模態(tai)傳感(gan)(gan)數據來增強(qiang)智(zhi)能體的(de)理(li)解(jie)和(he)(he)決(jue)策(ce)。
當(dang)然(ran)，現階段端還面臨著如何更好地融合傳感器與端側SoC兼顧性能(neng)與成本(ben)的難題(ti)。雖然(ran)機器人(ren)并不像其他端側設備對成本(ben)很敏感，但對于想要落地的機器人(ren)來(lai)說(shuo)，這一問(wen)題(ti)遲早(zao)也會(hui)面對。雖然(ran)多位(wei)科技行(xing)業巨頭都表(biao)示(shi)未來(lai)人(ren)形機器人(ren)會(hui)像汽車一樣普及，但機器人(ren)的商業落地仍舊要考慮這些實(shi)際問(wen)題(ti)。
寫在最后
從(cong)傳統感知到機器(qi)(qi)人具身智(zhi)能傳感，機器(qi)(qi)人傳感器(qi)(qi)延展出(chu)了更(geng)(geng)多地和AI相關(guan)的(de)(de)計算、融(rong)合的(de)(de)功(gong)能。在(zai)端側AI時代(dai)，傳感器(qi)(qi)將提供更(geng)(geng)多的(de)(de)數(shu)據處理的(de)(de)價值，通過交互感知、自主挖掘為機器(qi)(qi)人構建起不斷優(you)化的(de)(de)真實世界模(mo)型，推動具身智(zhi)能目標的(de)(de)實現。
