4月25日，騰訊Robotics X實驗室公布最新機器人研究進展，首次展示在靈巧操作領域的成果，推出自研機器人靈巧手 TRX-Hand和機械臂 TRX-Arm。
其中，靈巧手TRX-Hand擁(yong)有(you)像人手一樣靈活(huo)的(de)操作能力(li)，可適(shi)應(ying)不同場景，靈活(huo)規劃動(dong)作，自主完成“操作”。而機械臂TRX-Arm針對人居環境自主研(yan)發，擁(yong)有(you)七自由度和擬人的(de)特性，具有(you)運動(dong)靈巧、爆發力(li)強、觸控一體以及柔順安全等特點。
一(yi)般來說，機(ji)器(qi)人(ren)技術(shu)根據“智能(neng)(neng)(neng)(neng)程度”可(ke)分(fen)為三個階段：只能(neng)(neng)(neng)(neng)完成固(gu)定(ding)命令的(de)(de)程序機(ji)器(qi)人(ren)、能(neng)(neng)(neng)(neng)夠(gou)感知周圍環境的(de)(de)自適應機(ji)器(qi)人(ren)以(yi)及能(neng)(neng)(neng)(neng)夠(gou)自主學(xue)習和(he)決策的(de)(de)智能(neng)(neng)(neng)(neng)機(ji)器(qi)人(ren)。常(chang)見的(de)(de)工廠流水線機(ji)械臂以(yi)及拉(la)面機(ji)器(qi)人(ren)等(deng)即(ji)屬于第一(yi)階段，它們只能(neng)(neng)(neng)(neng)在(zai)單一(yi)的(de)(de)場景內(nei)重復(fu)固(gu)定(ding)的(de)(de)動作。
具備(bei)靈(ling)巧操(cao)(cao)作(zuo)能(neng)(neng)力(li)的(de)機(ji)器人則(ze)屬(shu)于第二(er)和第三階段(duan)，人類(lei)真(zhen)實的(de)生活中會涉及大(da)量(liang)的(de)操(cao)(cao)作(zuo)場景(jing)，如拾取物品、倒水等，為了讓機(ji)器人更好地幫助人類(lei)、發揮更大(da)作(zuo)用(yong)，提升其(qi)操(cao)(cao)作(zuo)能(neng)(neng)力(li)至關重要。想要在各類(lei)場景(jing)里靈(ling)活操(cao)(cao)作(zuo)物體，機(ji)器人必須能(neng)(neng)感(gan)知環境、理(li)解物體、評估(gu)狀態、預測(ce)行為并(bing)自主規劃完成(cheng)物體操(cao)(cao)作(zuo)，這意味著機(ji)器人要具備(bei)豐(feng)富的(de)感(gan)知、強大(da)的(de)決策與(yu)可(ke)靠的(de)執行能(neng)(neng)力(li)。
以(yi)(yi)騰(teng)訊(xun)本(ben)次(ci)展示的機(ji)器人花式調(diao)酒場(chang)景為例(li)，為完成一(yi)杯酒的調(diao)制，機(ji)器人需對多(duo)種物(wu)體連續進行30多(duo)次(ci)操(cao)(cao)作(zuo)，這也對機(ji)器人本(ben)體、感知與控制的精(jing)(jing)準度(du)、穩定性、容錯(cuo)度(du)提出了極高(gao)(gao)的要求，這個過(guo)程不(bu)僅涉及瓶子(zi)、杯子(zi)、攪(jiao)拌(ban)棒等(deng)多(duo)種常(chang)見物(wu)體，機(ji)器人還(huan)需要以(yi)(yi)多(duo)種動作(zuo)操(cao)(cao)作(zuo)這些(xie)物(wu)體，包含抓、放(fang)、倒這些(xie)常(chang)規操(cao)(cao)作(zuo)和旋轉、搖晃(huang)等(deng)雙(shuang)手協同動作(zuo)，以(yi)(yi)及更高(gao)(gao)難度(du)的拋(pao)接、翻轉等(deng)動態操(cao)(cao)作(zuo)和插孔、穿刺(ci)、攪(jiao)拌(ban)等(deng)精(jing)(jing)細操(cao)(cao)作(zuo)動作(zuo)。
這一系列連(lian)貫、復雜、精巧的動作(zuo)，體(ti)現了(le)騰(teng)訊 Robotics X 實(shi)驗室在機器人本體(ti)、感知與(yu)控制技術(shu)上(shang)領先的綜合實(shi)力。
自主研發高性能三指靈巧手首次亮相
在運動能力上，得益于創新的剛柔混合驅動專利技術和自研高功率密度驅動器，騰訊靈巧手TRX-Hand兼具高靈巧和高負載速度的特性，擁有8個可獨立控制關節，自重僅1.16千克，最大持續指尖力可達15牛，最大關節速度不低于600度每秒，可輕松應對不同形狀尺寸物體的抓取和操作，對高動態的拋接動作也游刃有余。同時，柔性驅動的指尖設計有效提升了手指的抗沖擊能力。
在感知能力上，靈巧手在指尖、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺傳感器陣列，掌心處安裝有微型激光雷達和接近傳感器，同時每一個關節均集成了角度傳感器，保證靈巧手在抓取和操作過程中能準確地感知自身與物體狀態信息。
視覺、接近覺、觸覺、力覺多傳感器融合
考(kao)慮到(dao)人居(ju)環(huan)境中充斥著透明、反(fan)光、細(xi)小的(de)物體以及由遮(zhe)擋、光照、打滑等(deng)因素(su)造成的(de)各(ge)種(zhong)不(bu)確定性，為了(le)讓機器人精準可靠地(di)獲取物體信息(xi)，需要結合多種(zhong)傳感信息(xi)，如(ru)視(shi)覺(jue)、接近覺(jue)、觸覺(jue)和力(li)覺(jue)等(deng)。
這些不同模態傳感信息各有各的特點，如，相機可以看到場景全貌，為機器人做全局運動規劃提供必要信息；接近覺在機器人靠近環境物體過程中提供更實時的反饋，彌補系統建模的誤差，使機器人更精準地獲取物體；觸覺可以感知相機無法看到的接觸細節，包括接觸位置和形狀，實時感知手內物體的狀態；力覺使機器人感知與環境/物體交互時的整體受力情況，使交互更為輕柔和自然。
騰訊Robotics X實驗室對(dui)不同(tong)傳感(gan)器進行了建模與標(biao)定，采(cai)用多(duo)傳感(gan)器信息(xi)融合技術，使機器人能在(zai)各種操作任務(wu)中更全(quan)面及時地(di)感(gan)知物體(ti)信息(xi)、自身運動狀態以及與環(huan)境的物理交(jiao)互，從(cong)而更可靠地(di)完(wan)成任務(wu)。
軟硬結合讓機器人像人一樣“動手”
機器人是一項綜合性的技術，不僅對本體和傳感器等硬件有著極高的要求，軟件算法也是機器人的核心要件。據研究員介紹，騰訊Robotics X實驗室本次展示的機器人是在六自由度工業機械臂上搭載靈巧機器手TRX-Hand以及自主開發的感知與控制算法后，讓機器人能夠順暢地完成一系列操作動作。
針(zhen)對抓放物(wu)體與(yu)(yu)倒水等常規動(dong)作(zuo)，首先基于視覺和(he)觸覺對物(wu)體進行(xing)(xing)實時識別與(yu)(yu)定(ding)位，利用在線規劃算(suan)(suan)法，讓機器(qi)人能夠計算(suan)(suan)出臂手的最佳(jia)構(gou)型與(yu)(yu)安全運動(dong)軌跡，隨后(hou)，在執行(xing)(xing)中利用手上三種傳感器(qi)進行(xing)(xing)自適(shi)應調整(zheng)，進一(yi)步保(bao)證動(dong)作(zuo)執行(xing)(xing)的精度與(yu)(yu)可靠性，同時借助機械臂末端(duan)六維力(li)傳感器(qi)感知(zhi)與(yu)(yu)環境的交互力(li)，避免猛烈(lie)碰撞。這(zhe)樣才能保(bao)證機器(qi)人抓得穩、放得輕、倒得準。
讓機器人的“雙手”在高速運動的同時保持協同極具挑戰，協同失誤會產生過大沖擊或應力，損傷被操作物體甚至機器人本身。在調酒的過程中，騰訊Robotics X實驗室展示的機器人結合視觸覺融合的手內物體姿態估計與基于機械臂末端力傳感信號的力位混合控制，實現了酒瓶與搖酒器高速旋轉倒酒、大小搖酒器相扣搖酒等雙手協同動作。
本次展示中，騰訊Robotics X實驗(yan)室讓(rang)機器人順利完成“拋接”等高難度的(de)(de)動作(zuo)，這(zhe)類動作(zuo)對(dui)實時(shi)性要(yao)求極高，感知或執行上的(de)(de)細微(wei)誤差都會導(dao)致操作(zuo)失敗。
研究團(tuan)隊在這一過程中(zhong)創新性(xing)地提出了(le)基于(yu)機器人本體(ti)感知的(de)(de)抓拋過程建模與(yu)物體(ti)飛行(xing)軌跡(ji)預測(ce)(ce)方法，有效(xiao)彌(mi)補傳(chuan)統視覺算(suan)(suan)法在短距離、強遮擋、高動態操(cao)作(zuo)(zuo)場景下的(de)(de)局限性(xing)，實現了(le)高精度、高時(shi)效(xiao)的(de)(de)抓拋物體(ti)飛行(xing)軌跡(ji)預測(ce)(ce)。此外，團(tuan)隊還提出了(le)飛行(xing)物體(ti)的(de)(de)最(zui)(zui)優(you)攔截(jie)時(shi)間、最(zui)(zui)優(you)攔截(jie)位姿與(yu)最(zui)(zui)優(you)攔截(jie)軌跡(ji)的(de)(de)計(ji)算(suan)(suan)方法，以動作(zuo)(zuo)持(chi)續時(shi)間、機器人運動能(neng)量以及與(yu)物體(ti)的(de)(de)接觸力為優(you)化目標，能(neng)在數毫(hao)秒內完成計(ji)算(suan)(suan)，實現對(dui)快速飛行(xing)物體(ti)的(de)(de)平穩攔接。
在攪(jiao)拌(ban)棒(bang)(bang)(bang)插(cha)孔(kong)(kong)(kong)(kong)和(he)使用(yong)簽子插(cha)葡(pu)萄的(de)(de)任務中(zhong)，不(bu)銹(xiu)鋼攪(jiao)拌(ban)棒(bang)(bang)(bang)和(he)金屬簽子都是(shi)無紋理、高反(fan)光(guang)(guang)的(de)(de)細長物體，攪(jiao)拌(ban)棒(bang)(bang)(bang)直徑8mm，與孔(kong)(kong)(kong)(kong)直徑相差僅1mm，簽子直徑不(bu)足(zu)2mm，這(zhe)給(gei)物體的(de)(de)識(shi)別與定位帶來(lai)不(bu)少挑戰(zhan)。特(te)別是(shi)，攪(jiao)拌(ban)棒(bang)(bang)(bang)在經過(guo)一系列攪(jiao)拌(ban)動作后(hou)(hou)并不(bu)一定停留在原來(lai)的(de)(de)手內位置(zhi)(zhi)，其在接近孔(kong)(kong)(kong)(kong)時會對孔(kong)(kong)(kong)(kong)造成(cheng)遮擋，它的(de)(de)反(fan)光(guang)(guang)表面更會倒映出孔(kong)(kong)(kong)(kong)造成(cheng)視覺的(de)(de)混淆。對此(ci)，研(yan)究團隊在僅依(yi)靠機(ji)(ji)器人(ren)頭部相機(ji)(ji)的(de)(de)條件下，通(tong)過(guo)對物體間相對位置(zhi)(zhi)的(de)(de)估計，并融入(ru)觸覺感(gan)知，獲得了(le)(le)穩定的(de)(de)攪(jiao)拌(ban)棒(bang)(bang)(bang)、孔(kong)(kong)(kong)(kong)和(he)簽子的(de)(de)識(shi)別與定位。此(ci)外，通(tong)過(guo)力(li)覺感(gan)知到(dao)插(cha)孔(kong)(kong)(kong)(kong)失敗(bai)后(hou)(hou)能抬起手臂再次(ci)嘗試(shi)，通(tong)過(guo)幾(ji)次(ci)試(shi)探使攪(jiao)拌(ban)棒(bang)(bang)(bang)逐漸接近真實孔(kong)(kong)(kong)(kong)位、確保完(wan)成(cheng)插(cha)孔(kong)(kong)(kong)(kong)操作，展示了(le)(le)機(ji)(ji)器人(ren)能實時感(gan)知任務狀態(tai)，識(shi)別失敗(bai)并自(zi)主(zhu)調整(zheng)(zheng)策略，最終成(cheng)功(gong)完(wan)成(cheng)任務的(de)(de)調整(zheng)(zheng)和(he)容錯能力(li)。
此外，高分辨率的指尖觸覺讓機器人精巧的手內操作成為可能。所謂手內操作，指的是僅利用手指來操控手里的物體，改變其位姿和狀態。這是一種充分發揮手指運動能力的技能，能以最小能耗達到操作物體的目的，同時也對手部的感知能力和控制精度有極高要求，是“靈巧”性的集中體現。人類在日常生活中大量使用手內操作，例如攪拌湯勺、寫字、使用筷子等。但對于機器人來說，手內操作非常有挑戰性，在“感知—控制”回環的任一部分稍有差池，就會造成物體掉落和任務失敗。
演示(shi)中(zhong)，機(ji)器人以(yi)指(zhi)尖(jian)抓(zhua)住一根(gen)細長的(de)(de)(de)攪(jiao)(jiao)拌(ban)(ban)(ban)棒(bang)(bang)，先以(yi)臂手協同(tong)的(de)(de)(de)方(fang)式大力(li)攪(jiao)(jiao)拌(ban)(ban)(ban)杯子(zi)里的(de)(de)(de)液體(ti)，然后靜(jing)止手臂，以(yi)純(chun)手指(zhi)運動的(de)(de)(de)方(fang)式平滑(hua)柔(rou)順地攪(jiao)(jiao)拌(ban)(ban)(ban)，其中(zhong)后者的(de)(de)(de)手內(nei)操作結合了(le)深(shen)度強(qiang)化學習和sim2real等技術，使用(yong)了(le)指(zhi)尖(jian)傳感器實時反(fan)饋接觸狀(zhuang)態(tai)，生成三個(ge)手指(zhi)的(de)(de)(de)協同(tong)運動，同(tong)時對攪(jiao)(jiao)拌(ban)(ban)(ban)棒(bang)(bang)施加合適(shi)的(de)(de)(de)力(li)，在保(bao)證攪(jiao)(jiao)拌(ban)(ban)(ban)棒(bang)(bang)不掉落的(de)(de)(de)前提下，驅動攪(jiao)(jiao)拌(ban)(ban)(ban)棒(bang)(bang)按期望軌(gui)跡攪(jiao)(jiao)拌(ban)(ban)(ban)杯子(zi)里的(de)(de)(de)液體(ti)，充分展現(xian)機(ji)器人的(de)(de)(de)靈巧操作能力(li)。
讓機器人技術更好地服務現實需求
此外(wai)，騰訊(xun)自主研發(fa)的(de)高(gao)(gao)性能七(qi)自由度(du)擬人機械(xie)臂(bei)TRX-Arm也(ye)首次對外(wai)亮(liang)相。不同(tong)于傳(chuan)(chuan)統的(de)協作型機械(xie)臂(bei)，TRX-Arm采(cai)用了繩(sheng)索(suo)傳(chuan)(chuan)動與差(cha)分驅(qu)動相結合的(de)方式，不僅(jin)有效降低了傳(chuan)(chuan)動摩擦和(he)運動慣量，還實現(xian)了多電機多關節協同(tong)驅(qu)動，具有高(gao)(gao)動態運動的(de)能力(li)，其(qi)最大速(su)度(du)7.4m/s，最大加(jia)速(su)度(du)44.5m/s2，可負(fu)載6kg以上(shang)。同(tong)時，其(qi)前臂(bei)集成了768點的(de)觸覺陣列，其(qi)刷(shua)新頻率高(gao)(gao)達1000Hz，以此實現(xian)了酒瓶在滾動和(he)平衡過程(cheng)中(zhong)的(de)高(gao)(gao)頻實時定位。
據研究員介紹，接下來騰訊Robotics X實(shi)驗室(shi)將把繼續推(tui)動自研機(ji)器(qi)人(ren)靈(ling)巧手TRX-Hand和(he)機(ji)械臂TRX-Arm的(de)融(rong)合(he)，并引(yin)入深度學習等(deng)前(qian)沿算法，提(ti)升機(ji)器(qi)人(ren)的(de)靈(ling)巧操作能力和(he)解決復雜問(wen)題的(de)能力，讓其更好(hao)地(di)服(fu)務現實(shi)需求。
騰訊 Robotics X 實驗室致力于機器人前沿技術的研究，打造人機共存、共創和共贏的未來，此前已經推出多模態四足機器人Max和輪腿式機器人Ollie等多款自研機器人。接下來，騰訊將繼續探索機器人前沿技術，推動機器人技術在養老護理、居家服務、智能制造等領域的落地應用。
