4月25日，騰訊Robotics X實驗室公布最新機器人研究進展，首次展示在靈巧操作領域的成果，推出自研機器人靈巧手 TRX-Hand和機械臂 TRX-Arm。
其(qi)中，靈巧手TRX-Hand擁有像人手一樣(yang)靈活的操作(zuo)能力，可(ke)適應(ying)不同場景，靈活規劃動(dong)作(zuo)，自主(zhu)完成“操作(zuo)”。而機(ji)械臂TRX-Arm針對人居環境自主(zhu)研(yan)發，擁有七自由度(du)和擬(ni)人的特(te)性，具有運動(dong)靈巧、爆發力強、觸控一體以及(ji)柔順(shun)安全等(deng)特(te)點。
一(yi)(yi)般來說，機(ji)(ji)(ji)器(qi)(qi)(qi)人(ren)技(ji)術(shu)根據“智能程(cheng)度(du)”可分為三個階段(duan)：只能完成(cheng)固(gu)定(ding)命令的(de)(de)(de)程(cheng)序機(ji)(ji)(ji)器(qi)(qi)(qi)人(ren)、能夠(gou)(gou)感知周圍環境的(de)(de)(de)自(zi)(zi)適應機(ji)(ji)(ji)器(qi)(qi)(qi)人(ren)以(yi)及(ji)(ji)能夠(gou)(gou)自(zi)(zi)主學(xue)習和決策的(de)(de)(de)智能機(ji)(ji)(ji)器(qi)(qi)(qi)人(ren)。常見(jian)的(de)(de)(de)工廠流水線機(ji)(ji)(ji)械臂以(yi)及(ji)(ji)拉面(mian)機(ji)(ji)(ji)器(qi)(qi)(qi)人(ren)等即(ji)屬于第一(yi)(yi)階段(duan)，它們只能在單一(yi)(yi)的(de)(de)(de)場景內重復(fu)固(gu)定(ding)的(de)(de)(de)動作。
具備靈巧操作(zuo)(zuo)能力(li)(li)的(de)機器(qi)人(ren)(ren)(ren)則(ze)屬于(yu)第(di)二和第(di)三階段(duan)，人(ren)(ren)(ren)類(lei)真實的(de)生活中會涉及大(da)(da)量的(de)操作(zuo)(zuo)場景(jing)，如拾取(qu)物品、倒水等，為(wei)了(le)讓(rang)機器(qi)人(ren)(ren)(ren)更好地幫助人(ren)(ren)(ren)類(lei)、發揮更大(da)(da)作(zuo)(zuo)用，提升其操作(zuo)(zuo)能力(li)(li)至關重要(yao)。想(xiang)要(yao)在各類(lei)場景(jing)里靈活操作(zuo)(zuo)物體(ti)，機器(qi)人(ren)(ren)(ren)必須能感(gan)知環境、理解物體(ti)、評估狀(zhuang)態、預(yu)測行為(wei)并(bing)自主(zhu)規劃完成物體(ti)操作(zuo)(zuo)，這意(yi)味著機器(qi)人(ren)(ren)(ren)要(yao)具備豐富的(de)感(gan)知、強大(da)(da)的(de)決策與可靠的(de)執行能力(li)(li)。
以騰(teng)訊本(ben)次(ci)展示(shi)的(de)(de)(de)機(ji)器人花(hua)式調酒場景(jing)為例，為完成一杯酒的(de)(de)(de)調制，機(ji)器人需(xu)對多種(zhong)(zhong)物體連續(xu)進(jin)行30多次(ci)操(cao)作(zuo)，這(zhe)也對機(ji)器人本(ben)體、感知與(yu)控制的(de)(de)(de)精準度、穩定性(xing)、容錯度提出了極高的(de)(de)(de)要求(qiu)，這(zhe)個過程不僅涉及(ji)瓶子(zi)、杯子(zi)、攪拌棒(bang)等(deng)多種(zhong)(zhong)常見(jian)物體，機(ji)器人還需(xu)要以多種(zhong)(zhong)動(dong)作(zuo)操(cao)作(zuo)這(zhe)些(xie)物體，包含抓(zhua)、放、倒這(zhe)些(xie)常規操(cao)作(zuo)和(he)旋(xuan)轉、搖晃(huang)等(deng)雙手協同動(dong)作(zuo)，以及(ji)更高難度的(de)(de)(de)拋(pao)接、翻(fan)轉等(deng)動(dong)態操(cao)作(zuo)和(he)插(cha)孔、穿刺(ci)、攪拌等(deng)精細(xi)操(cao)作(zuo)動(dong)作(zuo)。
這(zhe)一(yi)系列連貫、復雜、精巧的(de)(de)動作，體(ti)現(xian)了(le)騰訊 Robotics X 實驗室在機(ji)器人本體(ti)、感知與控制技(ji)術上領先(xian)的(de)(de)綜合(he)實力。
自主研發高性能三指靈巧手首次亮相
在運動能力上，得益于創新的剛柔混合驅動專利技術和自研高功率密度驅動器，騰訊靈巧手TRX-Hand兼具高靈巧和高負載速度的特性，擁有8個可獨立控制關節，自重僅1.16千克，最大持續指尖力可達15牛，最大關節速度不低于600度每秒，可輕松應對不同形狀尺寸物體的抓取和操作，對高動態的拋接動作也游刃有余。同時，柔性驅動的指尖設計有效提升了手指的抗沖擊能力。
在感知能力上，靈巧手在指尖、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺傳感器陣列，掌心處安裝有微型激光雷達和接近傳感器，同時每一個關節均集成了角度傳感器，保證靈巧手在抓取和操作過程中能準確地感知自身與物體狀態信息。
視覺、接近覺、觸覺、力覺多傳感器融合
考慮到人居環境中充(chong)斥著透明(ming)、反光、細小的物體以(yi)及由遮擋、光照(zhao)、打滑等因素造成的各種不(bu)確定性，為了讓機器人精準可靠地獲取物體信息，需(xu)要結合多種傳感(gan)信息，如視覺、接近覺、觸覺和力覺等。
這些不同模態傳感信息各有各的特點，如，相機可以看到場景全貌，為機器人做全局運動規劃提供必要信息；接近覺在機器人靠近環境物體過程中提供更實時的反饋，彌補系統建模的誤差，使機器人更精準地獲取物體；觸覺可以感知相機無法看到的接觸細節，包括接觸位置和形狀，實時感知手內物體的狀態；力覺使機器人感知與環境/物體交互時的整體受力情況，使交互更為輕柔和自然。
騰訊Robotics X實驗室對不同(tong)傳感器(qi)進行了建模與標定，采用多(duo)傳感器(qi)信息(xi)融(rong)合技術，使機器(qi)人能在各(ge)種操作任(ren)務中更全(quan)面及時地(di)感知物(wu)體信息(xi)、自身運動狀態以及與環境的(de)物(wu)理(li)交(jiao)互，從(cong)而更可(ke)靠地(di)完成任(ren)務。
軟硬結合讓機器人像人一樣“動手”
機器人是一項綜合性的技術，不僅對本體和傳感器等硬件有著極高的要求，軟件算法也是機器人的核心要件。據研究員介紹，騰訊Robotics X實驗室本次展示的機器人是在六自由度工業機械臂上搭載靈巧機器手TRX-Hand以及自主開發的感知與控制算法后，讓機器人能夠順暢地完成一系列操作動作。
針對抓(zhua)放物體(ti)與(yu)倒(dao)水等常規動(dong)作(zuo)，首先基于視覺(jue)和觸覺(jue)對物體(ti)進行(xing)實時識別與(yu)定(ding)位(wei)，利用在(zai)線(xian)規劃算法，讓機(ji)(ji)器人(ren)能(neng)夠計算出臂手的(de)(de)最(zui)佳(jia)構型(xing)與(yu)安全運動(dong)軌跡，隨后，在(zai)執(zhi)行(xing)中(zhong)利用手上三種傳(chuan)感器進行(xing)自適應調整，進一步保證動(dong)作(zuo)執(zhi)行(xing)的(de)(de)精(jing)度與(yu)可靠性，同時借助(zhu)機(ji)(ji)械臂末端六維力傳(chuan)感器感知與(yu)環境的(de)(de)交互力，避免猛烈(lie)碰撞(zhuang)。這(zhe)樣才(cai)能(neng)保證機(ji)(ji)器人(ren)抓(zhua)得穩、放得輕、倒(dao)得準。
讓機器人的“雙手”在高速運動的同時保持協同極具挑戰，協同失誤會產生過大沖擊或應力，損傷被操作物體甚至機器人本身。在調酒的過程中，騰訊Robotics X實驗室展示的機器人結合視觸覺融合的手內物體姿態估計與基于機械臂末端力傳感信號的力位混合控制，實現了酒瓶與搖酒器高速旋轉倒酒、大小搖酒器相扣搖酒等雙手協同動作。
本次展示中，騰訊Robotics X實驗室(shi)讓機器人順利完成“拋接(jie)”等高難度的動作(zuo)，這類(lei)動作(zuo)對實時性要求極(ji)高，感知(zhi)或執(zhi)行上的細(xi)微誤差都會(hui)導致操(cao)作(zuo)失(shi)敗(bai)。
研究(jiu)團(tuan)隊(dui)在這一過程中創新性(xing)(xing)地提(ti)出(chu)了基于機器(qi)人(ren)本體(ti)感知的(de)抓(zhua)拋過程建模與物(wu)(wu)(wu)體(ti)飛(fei)行軌(gui)跡(ji)預測方法(fa)，有效彌補傳統視覺算(suan)法(fa)在短距離、強遮擋、高動(dong)態(tai)操作(zuo)場景下的(de)局限(xian)性(xing)(xing)，實現(xian)了高精(jing)度、高時效的(de)抓(zhua)拋物(wu)(wu)(wu)體(ti)飛(fei)行軌(gui)跡(ji)預測。此外，團(tuan)隊(dui)還(huan)提(ti)出(chu)了飛(fei)行物(wu)(wu)(wu)體(ti)的(de)最優(you)(you)(you)(you)攔截時間、最優(you)(you)(you)(you)攔截位(wei)姿與最優(you)(you)(you)(you)攔截軌(gui)跡(ji)的(de)計算(suan)方法(fa)，以動(dong)作(zuo)持續時間、機器(qi)人(ren)運(yun)動(dong)能(neng)量以及與物(wu)(wu)(wu)體(ti)的(de)接(jie)觸力為優(you)(you)(you)(you)化目標，能(neng)在數毫秒內完成計算(suan)，實現(xian)對(dui)快(kuai)速飛(fei)行物(wu)(wu)(wu)體(ti)的(de)平穩攔接(jie)。
在(zai)攪(jiao)拌(ban)棒插(cha)孔(kong)(kong)和使(shi)用簽子插(cha)葡萄的(de)(de)(de)任(ren)務中(zhong)，不銹鋼(gang)攪(jiao)拌(ban)棒和金(jin)屬簽子都是無紋理、高反光的(de)(de)(de)細長物體(ti)，攪(jiao)拌(ban)棒直(zhi)徑8mm，與(yu)孔(kong)(kong)直(zhi)徑相差僅(jin)1mm，簽子直(zhi)徑不足2mm，這給物體(ti)的(de)(de)(de)識(shi)別(bie)與(yu)定(ding)(ding)位(wei)(wei)帶來不少挑戰。特別(bie)是，攪(jiao)拌(ban)棒在(zai)經過(guo)(guo)一系列(lie)攪(jiao)拌(ban)動作后(hou)并(bing)不一定(ding)(ding)停(ting)留(liu)在(zai)原來的(de)(de)(de)手(shou)內位(wei)(wei)置(zhi)，其(qi)在(zai)接近孔(kong)(kong)時會(hui)對孔(kong)(kong)造(zao)成(cheng)遮(zhe)擋，它(ta)的(de)(de)(de)反光表面更會(hui)倒映出孔(kong)(kong)造(zao)成(cheng)視覺的(de)(de)(de)混淆。對此，研(yan)究團隊在(zai)僅(jin)依靠機器人頭部(bu)相機的(de)(de)(de)條件下，通過(guo)(guo)對物體(ti)間相對位(wei)(wei)置(zhi)的(de)(de)(de)估計，并(bing)融入觸覺感知(zhi)，獲得了穩(wen)定(ding)(ding)的(de)(de)(de)攪(jiao)拌(ban)棒、孔(kong)(kong)和簽子的(de)(de)(de)識(shi)別(bie)與(yu)定(ding)(ding)位(wei)(wei)。此外，通過(guo)(guo)力(li)覺感知(zhi)到插(cha)孔(kong)(kong)失敗后(hou)能抬起(qi)手(shou)臂再次嘗試，通過(guo)(guo)幾次試探使(shi)攪(jiao)拌(ban)棒逐漸(jian)接近真實孔(kong)(kong)位(wei)(wei)、確(que)保完成(cheng)插(cha)孔(kong)(kong)操作，展(zhan)示了機器人能實時感知(zhi)任(ren)務狀態(tai)，識(shi)別(bie)失敗并(bing)自主(zhu)調(diao)整策略，最終成(cheng)功完成(cheng)任(ren)務的(de)(de)(de)調(diao)整和容錯(cuo)能力(li)。
此外，高分辨率的指尖觸覺讓機器人精巧的手內操作成為可能。所謂手內操作，指的是僅利用手指來操控手里的物體，改變其位姿和狀態。這是一種充分發揮手指運動能力的技能，能以最小能耗達到操作物體的目的，同時也對手部的感知能力和控制精度有極高要求，是“靈巧”性的集中體現。人類在日常生活中大量使用手內操作，例如攪拌湯勺、寫字、使用筷子等。但對于機器人來說，手內操作非常有挑戰性，在“感知—控制”回環的任一部分稍有差池，就會造成物體掉落和任務失敗。
演(yan)示中，機器人以(yi)(yi)指尖抓(zhua)住一根細長的(de)攪(jiao)(jiao)拌(ban)(ban)棒(bang)，先以(yi)(yi)臂(bei)手(shou)協同(tong)(tong)的(de)方式(shi)大力(li)攪(jiao)(jiao)拌(ban)(ban)杯子里(li)的(de)液體(ti)，然后靜止手(shou)臂(bei)，以(yi)(yi)純(chun)手(shou)指運動的(de)方式(shi)平滑柔順(shun)地攪(jiao)(jiao)拌(ban)(ban)，其中后者的(de)手(shou)內操(cao)作結合了深度強化學(xue)習和sim2real等技術，使用了指尖傳感(gan)器實時反饋接觸(chu)狀(zhuang)態，生(sheng)成三(san)個手(shou)指的(de)協同(tong)(tong)運動，同(tong)(tong)時對攪(jiao)(jiao)拌(ban)(ban)棒(bang)施加合適的(de)力(li)，在保證攪(jiao)(jiao)拌(ban)(ban)棒(bang)不掉落的(de)前(qian)提(ti)下，驅動攪(jiao)(jiao)拌(ban)(ban)棒(bang)按期望軌跡攪(jiao)(jiao)拌(ban)(ban)杯子里(li)的(de)液體(ti)，充分展(zhan)現機器人的(de)靈巧操(cao)作能力(li)。
讓機器人技術更好地服務現實需求
此外，騰(teng)訊自(zi)主研發的(de)高(gao)性能七自(zi)由度擬人(ren)機(ji)械(xie)(xie)臂(bei)TRX-Arm也首次(ci)對(dui)外亮(liang)相。不(bu)同(tong)于傳統的(de)協(xie)作型機(ji)械(xie)(xie)臂(bei)，TRX-Arm采用了(le)繩索(suo)傳動(dong)(dong)(dong)與差分(fen)驅動(dong)(dong)(dong)相結(jie)合(he)的(de)方式，不(bu)僅有效降低了(le)傳動(dong)(dong)(dong)摩(mo)擦和運動(dong)(dong)(dong)慣量，還實現了(le)多(duo)電(dian)機(ji)多(duo)關(guan)節協(xie)同(tong)驅動(dong)(dong)(dong)，具有高(gao)動(dong)(dong)(dong)態運動(dong)(dong)(dong)的(de)能力，其最(zui)大速度7.4m/s，最(zui)大加速度44.5m/s2，可負(fu)載6kg以(yi)上。同(tong)時，其前臂(bei)集(ji)成了(le)768點的(de)觸覺(jue)陣列，其刷新頻(pin)率高(gao)達1000Hz，以(yi)此實現了(le)酒瓶(ping)在滾動(dong)(dong)(dong)和平衡過程中的(de)高(gao)頻(pin)實時定(ding)位(wei)。
據研究員介紹，接下來騰訊Robotics X實驗室(shi)將(jiang)把(ba)繼續推動自研機(ji)器人靈巧手TRX-Hand和機(ji)械(xie)臂TRX-Arm的(de)融合，并引入深度學習(xi)等(deng)前沿算法，提(ti)升(sheng)機(ji)器人的(de)靈巧操作能(neng)力和解(jie)決(jue)復(fu)雜問題(ti)的(de)能(neng)力，讓其更好(hao)地(di)服務現實需求。
騰訊 Robotics X 實驗室致力于機器人前沿技術的研究，打造人機共存、共創和共贏的未來，此前已經推出多模態四足機器人Max和輪腿式機器人Ollie等多款自研機器人。接下來，騰訊將繼續探索機器人前沿技術，推動機器人技術在養老護理、居家服務、智能制造等領域的落地應用。
