調(diào)酒師也要下崗了么？騰訊把手伸向了調(diào)酒

Callejon

注意看,，這個(gè)機(jī)器人靈巧手，主打的就是能和人手靈活程度媲美的操作能力,。

可適應(yīng)不同場(chǎng)景,，靈活規(guī)劃動(dòng)作，還能自主完成操作,。

& q0 O# _7 S: H8 @

它的名字叫TRX-Hand,，是騰訊Robotics X實(shí)驗(yàn)室公布的最新機(jī)器人研究進(jìn)展，同時(shí)亮相的還有自研機(jī)器人機(jī)械臂TRX-Arm——這是Robotics X實(shí)驗(yàn)室首次展示在靈巧操作領(lǐng)域的成果,。

. u/ l1 B9 i1 Q. w0 }3 z, L5 p

與靈巧手不同,，機(jī)械臂TRX-Arm主要針對(duì)人居環(huán)境研發(fā)，擁有七自由度和擬人的特性,，具有靈巧,、爆發(fā)力強(qiáng)、觸控一體以及柔順安全等特點(diǎn)。

8個(gè)可獨(dú)立控制關(guān)節(jié)

展示過程中,，設(shè)定了一個(gè)花式調(diào)酒的場(chǎng)景,。

1 H6 ^4 s9 \; h! q! n3 x& T9 J

要調(diào)制一杯酒，機(jī)器人需要對(duì)多種物體連續(xù)進(jìn)行30多次操作,，不僅涉及瓶子、杯子,、攪拌棒等多種常見物體,，還需要機(jī)器人用多種動(dòng)作操作這些物體。

' d; U' T& h* E7 c

其中,，既有抓,、放、倒這些常規(guī)操作,，還有旋轉(zhuǎn),、搖晃等雙手協(xié)同動(dòng)作，以及更高難度的拋接,、翻轉(zhuǎn)等動(dòng)態(tài)操作和插孔,、穿刺、攪拌等精細(xì)操作動(dòng)作,。

) O" {  Q# }5 d

一般來說,，機(jī)器人技術(shù)根據(jù)智能程度可分為三個(gè)階段：

只能完成固定命令的程序機(jī)器人；

能夠感知周圍環(huán)境的自適應(yīng)機(jī)器人,；

能夠自主學(xué)習(xí)和決策的智能機(jī)器人,。

常見的工廠流水線機(jī)械臂以及拉面機(jī)器人等，屬于第一階段,，只能在單一的場(chǎng)景內(nèi)重復(fù)固定動(dòng)作,。

: t; J% W. }6 \

具備靈巧操作能力的機(jī)器人則屬于第二和第三階段，現(xiàn)實(shí)生活中有大量操作場(chǎng)景,，如拾取物品,、倒水等。

想要在各類場(chǎng)景里靈活操作物體,，機(jī)器人必須能感知環(huán)境,、理解物體、評(píng)估狀態(tài),、預(yù)測(cè)行為并自主規(guī)劃完成物體操作,，這意味著機(jī)器人必須得感知豐富、能決策,、執(zhí)行力可靠,。

運(yùn)動(dòng)能力方面，得益于創(chuàng)新的剛?cè)峄旌向?qū)動(dòng)專利技術(shù)和自研高功率密度驅(qū)動(dòng)器，騰訊靈巧手TRX-Hand兼具高靈巧和高負(fù)載速度的特性,。

它擁有8個(gè)可獨(dú)立控制關(guān)節(jié),，自重僅1.16千克，最大持續(xù)指尖力可達(dá)15牛,，最大關(guān)節(jié)速度不低于600度/秒,，可輕松應(yīng)對(duì)不同形狀尺寸物體的抓取和操作，對(duì)高動(dòng)態(tài)的拋接動(dòng)作也游刃有余,。

# k7 \* a6 f6 L' n" V  ]

同時(shí),，柔性驅(qū)動(dòng)的指尖設(shè)計(jì)有效提升了手指的抗沖擊能力。

# f; q, q& }% n4 i& F5 r: b

多傳感器融合

在感知能力上,，靈巧手在指尖,、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺傳感器陣列，掌心處安裝有微型激光雷達(dá)和接近傳感器,。

0 W# |3 c6 w+ W8 p% V- c

同時(shí)每一個(gè)關(guān)節(jié)均集成了角度傳感器,，保證靈巧手在抓取和操作過程中能準(zhǔn)確地感知自身與物體狀態(tài)信息。

9 R8 V  S: {- \% w0 G

考慮到人居環(huán)境中充斥著透明,、反光,、細(xì)小的物體，以及由遮擋,、光照,、打滑等因素造成的各種不確定性，機(jī)器人想要精準(zhǔn)可靠地獲取物體信息,，就需要結(jié)合多種傳感信息,，如視覺、接近覺,、觸覺和力覺等,。

- s" t7 R: R6 Z  |; H' B& j8 {

這些不同模態(tài)傳感信息各有各的特點(diǎn)——

如，相機(jī)可以看到場(chǎng)景全貌,，為機(jī)器人做全局運(yùn)動(dòng)規(guī)劃提供必要信息,；

接近覺在機(jī)器人靠近環(huán)境物體過程中提供更實(shí)時(shí)的反饋，彌補(bǔ)系統(tǒng)建模的誤差,，使機(jī)器人更精準(zhǔn)地獲取物體,；

觸覺可以感知相機(jī)無法看到的接觸細(xì)節(jié)，包括接觸位置和形狀,，實(shí)時(shí)感知手內(nèi)物體的狀態(tài),；

力覺使機(jī)器人感知與環(huán)境/物體交互時(shí)的整體受力情況，使交互更為輕柔和自然,。

- w- @# B2 o/ h+ q/ J- X7 E9 h# P/ w

* |. r# V$ o% |' ~

騰訊Robotics X實(shí)驗(yàn)室對(duì)不同傳感器進(jìn)行了建模與標(biāo)定,，采用多傳感器信息融合技術(shù)，使機(jī)器人能在各種操作任務(wù)中更全面及時(shí)地感知物體信息、自身運(yùn)動(dòng)狀態(tài)以及與環(huán)境的物理交互,，從而更可靠地完成任務(wù),。

軟硬結(jié)合，讓機(jī)器人“動(dòng)手”

造機(jī)器人,，不僅對(duì)本體和傳感器等硬件有著極高要求,，軟件算法也核心要件之一。

Robotics X本次展示的機(jī)器人能夠順暢完成一系列操作,，是因?yàn)樵诹�自由度工業(yè)機(jī)械臂上搭載靈巧機(jī)器手TRX-Hand以及自主開發(fā)的感知與控制算法,。

7 z* Z$ o& I( k% q0 W8 Y

) }2 [9 C3 h0 X" t. [; ?& J

針對(duì)抓放物體與倒水等常規(guī)動(dòng)作，首先基于視覺和觸覺對(duì)物體進(jìn)行實(shí)時(shí)識(shí)別與定位,，利用在線規(guī)劃算法，讓機(jī)器人能夠計(jì)算出臂手的最佳構(gòu)型與安全運(yùn)動(dòng)軌跡,。

隨后,，在執(zhí)行中利用手上三種傳感器進(jìn)行自適應(yīng)調(diào)整，進(jìn)一步保證動(dòng)作執(zhí)行的精度與可靠性,，同時(shí)借助機(jī)械臂末端六維力傳感器感知與環(huán)境的交互力,，避免猛烈碰撞。

讓機(jī)器人的“雙手”在高速運(yùn)動(dòng)的同時(shí)保持協(xié)同極具挑戰(zhàn),，協(xié)同失誤會(huì)產(chǎn)生過大沖擊或應(yīng)力,，損傷被操作物體甚至機(jī)器人本身。

$ `8 K+ B( N% l8 i8 E+ m/ c/ k

調(diào)酒過程中,，騰訊Robotics X實(shí)驗(yàn)室展示的機(jī)器人結(jié)合視觸覺融合的手內(nèi)物體姿態(tài)估計(jì)與基于機(jī)械臂末端力傳感信號(hào)的力位混合控制,，實(shí)現(xiàn)了酒瓶與搖酒器高速旋轉(zhuǎn)倒酒、大小搖酒器相扣搖酒等雙手協(xié)同動(dòng)作,。

) |$ B* h9 r1 J4 o2 R. f

本次展示中,，騰訊Robotics X實(shí)驗(yàn)室讓機(jī)器人順利完成“拋接”等高難度的動(dòng)作，這類動(dòng)作有很高的實(shí)時(shí)性要求,，感知或執(zhí)行上的細(xì)微誤差都會(huì)導(dǎo)致操作失敗,。

這個(gè)過程中，研究團(tuán)隊(duì)創(chuàng)新性地提出了基于機(jī)器人本體感知的抓拋過程建模與物體飛行軌跡預(yù)測(cè)方法,，有效彌補(bǔ)傳統(tǒng)視覺算法在短距離,、強(qiáng)遮擋、高動(dòng)態(tài)操作場(chǎng)景下的局限性,，實(shí)現(xiàn)了高精度,、高時(shí)效的抓拋物體飛行軌跡預(yù)測(cè)。

此外,，團(tuán)隊(duì)還提出了飛行物體的最優(yōu)攔截時(shí)間,、最優(yōu)攔截位姿與最優(yōu)攔截軌跡的計(jì)算方法，以動(dòng)作持續(xù)時(shí)間、機(jī)器人運(yùn)動(dòng)能量以及與物體的接觸力為優(yōu)化目標(biāo),，能在數(shù)毫秒內(nèi)完成計(jì)算,，實(shí)現(xiàn)對(duì)快速飛行物體的平穩(wěn)攔接。

7 @7 n6 x5 d4 o; C$ y0 R

在攪拌棒插孔和使用簽子插葡萄的任務(wù)中,，不銹鋼攪拌棒和金屬簽子都是無紋理,、高反光的細(xì)長物體，攪拌棒直徑8mm,，與孔直徑相差僅1mm,，簽子直徑不足2mm，這給物體的識(shí)別與定位帶來不少挑戰(zhàn),。

2 T7 @# K. m/ |2 ?( Z7 B- q

! T9 `, r3 }2 V% s$ U( e. t

尤其是攪拌棒在經(jīng)過一系列攪拌動(dòng)作后并不一定停留在原來的手內(nèi)位置,，其在接近孔時(shí)會(huì)對(duì)孔造成遮擋，它的反光表面更會(huì)倒映出孔造成視覺的混淆,。

對(duì)此,，研究團(tuán)隊(duì)在僅依靠機(jī)器人頭部相機(jī)的條件下，通過對(duì)物體間相對(duì)位置的估計(jì),，并融入觸覺感知,，獲得了穩(wěn)定的攪拌棒、孔和簽子的識(shí)別與定位,。

此后,，通過力覺感知到插孔失敗后能抬起手臂再次嘗試，通過幾次試探使攪拌棒逐漸接近真實(shí)孔位,、確保完成插孔操作,，展示了機(jī)器人能實(shí)時(shí)感知任務(wù)狀態(tài)，識(shí)別失敗并自主調(diào)整策略,，最終成功完成任務(wù)的調(diào)整和容錯(cuò)能力,。

- ]! N( s$ N. e5 d( F/ h0 p) l+ e

此外，高分辨率的指尖觸覺讓機(jī)器人精巧的手內(nèi)操作成為可能,。

所謂手內(nèi)操作,，指的是僅利用手指來操控手里的物體，改變其位姿和狀態(tài),。這是一種充分發(fā)揮手指運(yùn)動(dòng)能力的技能,，能以最小能耗達(dá)到操作物體的目的，同時(shí)也對(duì)手部的感知能力和控制精度有極高要求,，是“靈巧”性的集中體現(xiàn),。

$ B; X& {% W; n5 @5 G

人類在日常生活中大量使用手內(nèi)操作，例如攪拌湯勺,、寫字,、使用筷子等,。但對(duì)于機(jī)器人來說，手內(nèi)操作非常有挑戰(zhàn)性,，在“感知——控制”回環(huán)的任一部分稍有差池,，就會(huì)造成物體掉落和任務(wù)失敗。

; g0 I# ^) M9 K4 Z

演示中,，機(jī)器人以指尖抓住一根細(xì)長的攪拌棒,，先以臂手協(xié)同的方式大力攪拌杯子里的液體，然后靜止手臂,，以純手指運(yùn)動(dòng)的方式平滑柔順地?cái)嚢琛?/font>

5 Y8 M; i  e8 c, `0 n4 A& r- z% P9 k

其中,，后者的手內(nèi)操作結(jié)合了深度強(qiáng)化學(xué)習(xí)和sim2real等技術(shù)，使用了指尖傳感器實(shí)時(shí)反饋接觸狀態(tài),，生成三個(gè)手指的協(xié)同運(yùn)動(dòng),，同時(shí)對(duì)攪拌棒施加合適的力，在保證攪拌棒不掉落的前提下,，驅(qū)動(dòng)攪拌棒按期望軌跡攪拌杯子里的液體,，充分展現(xiàn)機(jī)器人的靈巧操作能力。

" t( T" P; }. K: P2 }$ a

繩索傳動(dòng)與差分驅(qū)動(dòng)相結(jié)合的機(jī)械臂
. Z) W6 S8 U: F' q

騰訊自主研發(fā)的高性能七自由度擬人機(jī)械臂TRX-Arm也首次對(duì)外亮相,。

不同于傳統(tǒng)的協(xié)作型機(jī)械臂，TRX-Arm采用了繩索傳動(dòng)與差分驅(qū)動(dòng)相結(jié)合的方式,，不僅有效降低了傳動(dòng)摩擦和運(yùn)動(dòng)慣量,，還實(shí)現(xiàn)了多電機(jī)多關(guān)節(jié)協(xié)同驅(qū)動(dòng)，具有高動(dòng)態(tài)運(yùn)動(dòng)的能力,。

其最大速度7.4m/s,，最大加速度44.5m/s（2），可負(fù)載6kg以上,。同時(shí),，其前臂集成了768點(diǎn)的觸覺陣列，其刷新頻率高達(dá)1000Hz,，以此實(shí)現(xiàn)了酒瓶在滾動(dòng)和平衡過程中的高頻實(shí)時(shí)定位,。

9 a9 o, I2 a0 p& O% p" W

據(jù)悉，騰訊Robotics X實(shí)驗(yàn)室將繼續(xù)推動(dòng)自研機(jī)器人靈巧手TRX-Hand和機(jī)械臂TRX-Arm的融合,，并引入深度學(xué)習(xí)等前沿算法,，提升機(jī)器人的靈巧操作能力和解決復(fù)雜問題的能力，讓其更好地服務(wù)現(xiàn)實(shí)需求,。

2 r, q" q" f# H" q) p

騰訊Robotics X實(shí)驗(yàn)室致力于機(jī)器人前沿技術(shù)的研究,，打造人機(jī)共存、共創(chuàng)和共贏的未來,，此前已經(jīng)推出多模態(tài)四足機(jī)器人Max和輪腿式機(jī)器人Ollie等多款自研機(jī)器人,。

接下來,，騰訊將繼續(xù)探索機(jī)器人前沿技術(shù)，推動(dòng)機(jī)器人技術(shù)在養(yǎng)老護(hù)理,、居家服務(wù),、智能制造等領(lǐng)域的落地應(yīng)用。