機(jī)器人靈巧手正在成為具體化人工智能的基石。運(yùn)動(dòng)捕捉、模擬、強(qiáng)化學(xué)習(xí)和自我監(jiān)督基礎(chǔ)模型的最新進(jìn)展使機(jī)器人能夠執(zhí)行越來(lái)越像人類的操縱技能。

人手由27塊骨頭、幾十塊肌肉和肌腱以及近30個(gè)自由度組成。復(fù)制人手的精確性、適應(yīng)性和觸覺控制仍然是機(jī)器人領(lǐng)域最大的挑戰(zhàn)之一。

建造一只與人手靈活性、靈敏性和協(xié)調(diào)性相匹配的機(jī)器人手不僅需要機(jī)械設(shè)計(jì)，還需要能夠?qū)⑷祟愡\(yùn)動(dòng)轉(zhuǎn)化為智能控制的先進(jìn)訓(xùn)練管道。

本文比較了兩個(gè)領(lǐng)先的培訓(xùn)策略，RialTo和V-JEPA 2，并概述了MANUS手套如何支持這兩種方法實(shí)現(xiàn)遙操作機(jī)器人靈巧手。

通過(guò)模擬協(xié)調(diào)現(xiàn)實(shí)：一種用于遙操作的真實(shí)對(duì)比模擬仿真的方法(麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室)

V-JEPA 2：自我監(jiān)督視頻模型實(shí)現(xiàn)理解、預(yù)測(cè)和規(guī)劃(Meta AI)

兩種培訓(xùn)策略：RialTo vs. V-JEPA 2

RialTo：從真實(shí)-模擬-真實(shí)的培訓(xùn)方案

RialTo將模仿學(xué)習(xí)(IL)和強(qiáng)化學(xué)習(xí)(RL)結(jié)合起來(lái)，為特定的操縱任務(wù)訓(xùn)練提供數(shù)據(jù)高效的控制策略。

該過(guò)程從真實(shí)世界的演示開始，在模擬中擴(kuò)展學(xué)習(xí)，并將改進(jìn)的策略用于物理部署。

它是如何工作的

捕捉專家演示：演示可以通過(guò)人類操作員通過(guò)遠(yuǎn)程操作或運(yùn)動(dòng)捕捉執(zhí)行任務(wù)來(lái)獲得，這為初始學(xué)習(xí)提供了高質(zhì)量的演示數(shù)據(jù)。

建立一個(gè)數(shù)字孿生：具有精確三維物理和視覺感官真實(shí)的環(huán)境數(shù)字孿生，以創(chuàng)造一個(gè)適用于模擬的訓(xùn)練空間。

模擬訓(xùn)練：機(jī)器人執(zhí)行強(qiáng)化學(xué)習(xí)試驗(yàn)，對(duì)物體位置、照明和物理干擾進(jìn)行領(lǐng)域隨機(jī)化，以建立穩(wěn)定性。

虛擬現(xiàn)實(shí)部署：優(yōu)化的基于視覺的策略部署在機(jī)器人上，在現(xiàn)實(shí)條件下保持穩(wěn)定性和精確性。

這種真實(shí)到模擬到真實(shí)的循環(huán)允許機(jī)器人大規(guī)模安全訓(xùn)練，彌合模擬與現(xiàn)實(shí)之間的差距，并在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)可靠的表現(xiàn)。

虛擬JEPA新策略——自我監(jiān)督的世界模型

V-JEPA 2使用自我監(jiān)督學(xué)習(xí)(SSL)來(lái)建立一個(gè)連接感知和物理行為的通用世界模型。

它不是掌握一項(xiàng)任務(wù)，而是學(xué)習(xí)運(yùn)動(dòng)和因果關(guān)系的廣泛表示，從而能夠在不熟悉的環(huán)境中進(jìn)行零樣本學(xué)習(xí)。

它是如何工作的

無(wú)動(dòng)作預(yù)訓(xùn)練(V-JEPA 2)：大型視覺轉(zhuǎn)換器(ViT)通過(guò)預(yù)測(cè)不同在線視頻中的掩蔽區(qū)域來(lái)學(xué)習(xí)對(duì)運(yùn)動(dòng)、外觀和物理動(dòng)態(tài)的總體理解。

動(dòng)作條件后訓(xùn)練(V-JEPA-AC)：一個(gè)較小的改變?cè)趤?lái)自大型機(jī)器人操作數(shù)據(jù)集中未標(biāo)記機(jī)器人視頻微調(diào)，以促使其能夠?qū)W習(xí)已執(zhí)行動(dòng)作和環(huán)境變化之間的核心關(guān)系。

規(guī)劃和控制：該系統(tǒng)使用模型預(yù)測(cè)控制(MPC)來(lái)預(yù)測(cè)未來(lái)狀態(tài)，并選擇使其最接近目標(biāo)的行動(dòng)，不需要特定任務(wù)的獎(jiǎng)勵(lì)或再培訓(xùn)。

這種自我監(jiān)督的過(guò)程使機(jī)器人能夠跨任務(wù)進(jìn)行歸納，適應(yīng)新環(huán)境，并在沒(méi)有特定任務(wù)經(jīng)驗(yàn)的情況下智能地行動(dòng)。

通過(guò)MANUS手套捕捉人體運(yùn)動(dòng)

RialTo和V-JEPA 2都依靠高保真的人類和機(jī)器人運(yùn)動(dòng)數(shù)據(jù)來(lái)連接感知和行動(dòng)。

這些數(shù)據(jù)通常通過(guò)使用高級(jí)手部跟蹤解決方案的遙控操作來(lái)收集，MANUS手套可以高精度、低延遲地捕捉手指的細(xì)微動(dòng)作。

通過(guò)實(shí)時(shí)記錄自然的手部運(yùn)動(dòng)，MANUS為創(chuàng)建靈巧手遙操作和訓(xùn)練的數(shù)據(jù)集提供了基礎(chǔ)，從而推動(dòng)了應(yīng)用化人工智能研究。

運(yùn)動(dòng)數(shù)據(jù)表示

關(guān)節(jié)角度數(shù)據(jù)

最常見的格式是將人類手指關(guān)節(jié)旋轉(zhuǎn)直接映射到機(jī)器人手關(guān)節(jié)。這種方法快速簡(jiǎn)單，但是當(dāng)人和機(jī)器人的運(yùn)動(dòng)學(xué)不同步時(shí)將會(huì)失去準(zhǔn)確性。

指尖軌跡映射

一種新興的方法將關(guān)注指尖位置和方向，而非關(guān)節(jié)旋轉(zhuǎn)。這減少了運(yùn)動(dòng)不匹配，并提高了精細(xì)任務(wù)的精度，如手動(dòng)操作和工具使用。

模擬策略培訓(xùn)

在RialTo風(fēng)格的管道中，遠(yuǎn)程操作的運(yùn)動(dòng)數(shù)據(jù)可以傳輸?shù)侥M訓(xùn)練中，在模擬中，強(qiáng)化學(xué)習(xí)和域隨機(jī)化可以幫助機(jī)器人適應(yīng)照明、紋理和物理動(dòng)態(tài)的變化。

NVIDIA Isaac Sim等模擬平臺(tái)可為機(jī)器人訓(xùn)練提供了安全、可擴(kuò)展的環(huán)境。

有了機(jī)器人訓(xùn)練框架，Isaac實(shí)驗(yàn)室2.3，研究人員可以加速全身控制，集成多個(gè)遙操作接口(包括MANUS手套、Apple Vision Pro和Vive手部跟蹤)，更高效地評(píng)估策略性能。

結(jié)論

RialTo和V-JEPA 2的核心是通過(guò)捕捉到的高保真人體運(yùn)動(dòng)數(shù)據(jù)來(lái)訓(xùn)練機(jī)器人。

在RialTo中，這些數(shù)據(jù)為數(shù)字孿生模擬中的模仿學(xué)習(xí)提供了基礎(chǔ)事實(shí)。

在V-JEPA 2中，其提供了因果基礎(chǔ)，幫助AI理解人類運(yùn)動(dòng)如何影響現(xiàn)實(shí)世界的結(jié)果。

憑借毫米級(jí)的精確度和真實(shí)程度，MANUS手套證明了精確的動(dòng)作捕捉將有巨大的潛力把人類的靈活性和機(jī)器的智能連接在一起。

隨著人工智能的不斷發(fā)展，人類運(yùn)動(dòng)和機(jī)器人學(xué)習(xí)之間的協(xié)同作用將塑造下一代更靈巧、適應(yīng)性更強(qiáng)的機(jī)器人，實(shí)現(xiàn)與世界自然互動(dòng)。