近年來，仿真到真實（Sim2Real）作為機器人學習與具身智能中的關鍵環(huán)節(jié)，在推動機器人操作技能的高效獲取與遷移中發(fā)揮著日益重要的作用。在這一背景下，一個核心挑戰(zhàn)是如何獲取高質(zhì)量、高保真且可直接遷移至真實機器人用于訓練的精細操作演示數(shù)據(jù)?，F(xiàn)有方法多依賴于遠程操作或基于預定義物理假設的仿真環(huán)境，但前者缺乏有效的力反饋與操作直覺，后者則難以充分建模真實世界中復雜的接觸動力學與多模態(tài)感知。

為了應對上述挑戰(zhàn)，MIT與UC Berkeley的研究團隊提出了一種被動式手部外骨骼設備DEXOP（Dexterous Operation Device），并提出了一種“perioperation”的新型機器人數(shù)據(jù)采集范式。DEXOP目前已發(fā)表在RSS 2025 Dexterous Manipulation Workshop上，并被評為Best Paper。DEXOP采用了高透明度的連桿結構來傳遞力反饋信號，并集成視覺觸覺傳感器來實現(xiàn)全手的接觸感知，可以實現(xiàn)人機動作與感知的機械耦合。在保持人類操作自然性的同時，確保所采集數(shù)據(jù)在運動學與感知層面與目標機器人系統(tǒng)高度一致。

論文題目： DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation 文章鏈接： https://arxiv.org/abs/2509.04441 項目鏈接： https://dex-op.github.io/

機器人學習系統(tǒng)中的一個關鍵挑戰(zhàn)是“具身差異”（embodiment gap）：即演示者（人）與學習者（機器人）在物理形態(tài)、動力學和感知能力上的不匹配。這種差異使得從人類演示中提取的策略在機器人上表現(xiàn)不佳?，F(xiàn)有方法，如從視頻中學習[1]或簡單的運動重定向[2]，都難以克服這一差距，因為它們無法捕獲和傳遞操作中至關重要的力和接觸物理信息。DEXOP的設計哲學源于一個核心思想：要消除具身差異，就必須讓人類在提供演示時，直接“具身”于一個與目標機器人盡可能一致的環(huán)境中。因此，DEXOP不僅僅是一個數(shù)據(jù)收集工具，更是一個精心設計的“具身模擬器”，一切設計都圍繞 “最大化數(shù)據(jù)遷移性” 和 “保持人類操作自然性” 這兩個有時相互沖突的目標進行權衡。它通過機械結構的硬連接，強制實現(xiàn)了人與機器人之間在運動學和接觸力學上的高度一致性，從而在數(shù)據(jù)源頭就最大限度地縮小了這種差異。

上圖演示了本文提出DEXOP結構。DEXOP使操作者能夠自然地執(zhí)行多種靈巧操作任務，并同步采集包含視覺、觸覺與本體感覺的多模態(tài)演示數(shù)據(jù)。DEXOP所收集的高質(zhì)量數(shù)據(jù)不僅適用于高度靈巧的任務，還能有效用于機器人策略訓練，來實現(xiàn)人類操作技能向機器人的高效遷移。

二、本文方法 2.1 Perioperation范式

本文提出 “Perioperation”作為一種全新的機器人數(shù)據(jù)收集范式，其核心在于：操作者并非通過遠程控制，而是借助專用硬件接口直接“具身”于一個與目標機器人形態(tài)及感知能力一致的代理中，在真實環(huán)境中進行自然演示，從而產(chǎn)生可直接遷移的高質(zhì)量數(shù)據(jù)。該范式遵循三大原則，并直接指導了DEXOP的硬件設計：

(1). 自然性與透明度：最大化人類操作員的靈巧性和操作直覺，使其能夠以接近徒手操作的水平執(zhí)行任務，而非遠程控制機器人。

(2). 數(shù)據(jù)遷移性：確保收集的數(shù)據(jù)能最大限度地直接遷移到目標機器人上，最小化“具身差異”。

(3). 感知豐富性：捕獲操作任務中全面的多模態(tài)交互信息（視覺、觸覺、本體感覺）而不僅僅是關節(jié)運動軌跡。

2.2 DEXOP 硬件設計

DEXOP硬件系統(tǒng)是與上述范式原則共同迭代設計的產(chǎn)物。它主要由三部分組成：可穿戴外骨骼、被動機器人手和連接二者的連桿傳動系統(tǒng)。

2.2.1 DEXOP 的機械結構與可穿戴外骨骼

本文設計了三種DEXOP變體以適應不同應用場景：DEXOP-12（4指12自由度）和DEXOP-9（3指9自由度）和DEXOP-7（3指7自由度）。下圖 (a) 展示了各版本的實物形態(tài)，圖 (b) 呈現(xiàn)了DEXOP-9在抓取球體任務中的典型應用及對應的多模態(tài)傳感數(shù)據(jù)。

可穿戴外骨骼的核心在于精準捕捉人手運動意圖并傳遞給被動手，同時實時反饋環(huán)境交互力。該系統(tǒng)采用指套式人因工程設計，可適配不同手形，其運動學鏈與被動手及目標機器人手完全一致，確保運動與力映射的準確性。外骨骼結構針對人體解剖特征進行了優(yōu)化，如食指與中指采用側(cè)置薄板、拇指TM關節(jié)軸線偏移等設計，有效避免了運動過程中的機械干涉。

2.2.2 DEXOP 的運動學設計與被動機械人手

被動機械人手設計的目標是緊密匹配人類手指的運動鏈，使操作更加直觀。DEXOP-12 擁有 12 個完全驅(qū)動的自由度 (DoF)，每根手指 3 個 DoF。食指、中指和無名指各有一個 2-DoF 的 MCP 關節(jié)和一個 PIP 關節(jié)。2-DoF 的 MCP 關節(jié)用于實現(xiàn)外展功能，以改變手指間距。拇指具有一個 2-DoF 的 TM 關節(jié)和一個 IP 關節(jié)，TM 關節(jié)實現(xiàn)拇指的屈曲運動，支持對掌抓取。DEXOP-12 未包含 DIP 關節(jié)和拇指 MCP 關節(jié)。下圖以藍色與橙色共同展示的是人手運動鏈中關節(jié)的示意圖，DEXOP-12 所實現(xiàn)的關節(jié)結構只有藍色部分。

2.2.3 DEXOP 的連桿傳動系統(tǒng)

DEXOP通過多組四連桿機構（4-bar linkages）連接被動機器人手與可穿戴外骨骼，形成高效的動力傳遞系統(tǒng)。

上圖(b)上半部分詳細展示了食指、中指和無名指的四連桿傳動結構。每組手指由兩套串聯(lián)的四連桿機構分別驅(qū)動近端和遠端指骨，確保運動精確與力傳遞可靠。下半部分為拇指旋轉(zhuǎn)連桿系統(tǒng)的示意圖。其關節(jié)的兩個垂直軸中，外展軸與exoskeleton對應關節(jié)保持同軸，由單一連桿協(xié)同驅(qū)動屈曲與外展。IP關節(jié)則通過一個空間四連桿機構實現(xiàn)獨立控制，以適應拇指復雜的運動需求。

三、實驗與驗證

本文提出的DEXOP系統(tǒng)通過收集多模態(tài)數(shù)據(jù)（如視覺、觸覺和運動數(shù)據(jù)），涵蓋了多種精細操作任務，如鉆孔、瓶蓋開啟、盒子包裝和燈泡安裝。數(shù)據(jù)通過高精度觸覺傳感器和手腕相機獲取，并用于訓練機器人控制策略。本文測試了DEXOP系統(tǒng)的硬件特性并將其數(shù)據(jù)收集效率與遠程操作系統(tǒng)進行比較。評估過程需依托真實的機械手平臺，才能獲得具有實際意義的對比結果。因此，本文采用了DEXOP-7變體及其協(xié)同設計的EyeSight Hand真實機械手作為實驗對象。 為了評估DEXOP的效果，本文將其與遠程操作（通過視覺反饋控制機器人）和人工手操作進行了對比。實驗結果如下表所示。

DEXOP-7 在與目標機器人之間的硬件性能匹配能力和數(shù)據(jù)可遷移方面有明顯優(yōu)勢。具體而言，DEXOP-7在力輸出、工作空間和手指速度三個關鍵維度上與真實機械手EyeSight Hand高度匹配，不僅保障了人類操作可高效、無損地轉(zhuǎn)化為機器人可執(zhí)行的動作指令，也從機理上避免了因“具身差異”導致的數(shù)據(jù)失效問題。

上圖直觀反應了DEXOP系統(tǒng)相比傳統(tǒng)遠程操作的優(yōu)勢。在鉆孔、包裝盒封裝、開瓶和燈泡安裝四項任務中，采用DEXOP-7系統(tǒng)的參與者表現(xiàn)顯著優(yōu)于傳統(tǒng)遠程操作，其任務吞吐量接近徒手操作（性能上限）。DEXOP在一些接觸密集型任務（如鉆孔與包裝）中優(yōu)勢最為突出。相反，遠程操作由于缺乏真實的觸覺反饋，在操作精確對齊與接觸狀態(tài)判斷方面存在明顯不足，導致執(zhí)行效率與成功率較低。

此外，DEXOP系統(tǒng)在多種任務中具備靈巧操作的能力。上圖中箭頭標示了被操作物體或其部件的運動軌跡。DEXOP系統(tǒng)不僅能夠完成精確的手指級操作，例如物體重定向、注射器操控以及微小螺絲與螺帽的精細處理，還支持全手協(xié)同操作，包括打開調(diào)味瓶蓋、按壓噴霧器以及穩(wěn)定使用裁紙刀等任務。

DEXOP采集的數(shù)據(jù)可以有效提升真實機器人的操作性能。本文使用DEXOP-7與定制全身外骨骼AirExo-2和遠程操作同步采集數(shù)據(jù)，并在相同條件下進行模型訓練與測試。從上圖（a）可以看到混合160條DEXOP與40條遙操作數(shù)據(jù)訓練出的策略，在綜合性能上顯著優(yōu)于遠程操作數(shù)據(jù)訓練的策略，證明DEXOP所獲數(shù)據(jù)在質(zhì)量與效率上的優(yōu)勢。圖(b)進一步展示了DEXOP在各步驟的數(shù)據(jù)采集速度均優(yōu)于遠程操作，誤差線表征平均值的標準誤差。

四、總結

DEXOP 作為一種新型的硬件接口，為機器人靈巧操作研究提供了高效且可擴展的高質(zhì)量數(shù)據(jù)收集解決方案。盡管當前系統(tǒng)仍存在一定局限性，例如尚未實現(xiàn)基于傳感數(shù)據(jù)的關節(jié)扭矩估計、受限于現(xiàn)有 EyeSight Hand 的自由度而無法完全復現(xiàn)人手的全部靈巧動作，以及缺乏面向操作者的觸覺反饋。然而，其提出的“perioperation范式”，展現(xiàn)出在大規(guī)模、高真實性、接觸豐富的機器人數(shù)據(jù)收集中巨大的發(fā)展?jié)摿?/strong>。該研究為推動“數(shù)據(jù)－硬件－算法”的協(xié)同進化奠定了堅實基礎。通過提供更優(yōu)質(zhì)的數(shù)據(jù)，可以促進更具表現(xiàn)力的機器人硬件發(fā)展，從而推動更靈巧、更通用機器人系統(tǒng)的實現(xiàn)。

參考

[1] Antotsiou D, Garcia-Hernando G, Kim T K. Task-oriented hand motion retargeting for dexterous manipulation imitation[C]//Proceedings of the European conference on computer vision (ECCV) workshops. 2018: 0-0.

[2] Qin Y, Su H, Wang X. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation[J]. IEEE Robotics and Automation Letters, 2022, 7(4): 10873-10881.

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關于我“門”

將門是一家以專注于數(shù)智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈