本文將通過研究論文“通過Sim-to-Real傳輸，使用靈巧手進行關節(jié)式工具的手動操作”中的內容，描述使用Manus數(shù)據(jù)手套操作靈巧手的技術結果和方法，該案例全部基于作者發(fā)現(xiàn)所表述。

機器手使用人類工具

機器人學的一個主要目標是開發(fā)能夠在以人為中心的環(huán)境中有效運行的系統(tǒng)。為此，機器人必須能夠與專為人手設計的工具互動。掌握工具操作允許機器人在日常環(huán)境中執(zhí)行多種任務，并超越傳統(tǒng)的工廠自動化。

在這項研究中，加州大學圣地亞哥分校通過使用比人手自由度更少的機械手實現(xiàn)關節(jié)式工具的靈巧手動操作來探索這一挑戰(zhàn)。

挑戰(zhàn)

對于人類來說，使用剪刀或鑷子感覺毫不費力。然而，對于機器人來說，使用帶有活動關節(jié)的鉸接工具帶來了巨大的挑戰(zhàn)，原因在于:

1. 極其復雜的接觸動力學

內部關節(jié)摩擦、靜摩擦、間隙和小的結構間隙很難精確建模，從而導致模擬和真實世界之間的嚴重不匹配。

2. 模擬到真實的傳輸差距很大

在模擬中表現(xiàn)良好的策略在物理硬件上往往會遇到困難或失敗，因為物理屬性的微小差異會導致較大的行為偏差。

MANUS數(shù)據(jù)手套解決方案

為了解決機器人初始化抓取姿態(tài)不穩(wěn)定或不一致的問題，UCSD團隊將MANUS Metagloves Pro整合進他們的工作流程：

手套被用作手部跟蹤器，以提供遠程操作演示。

它們提供了工具操作的初始抓取配置。

每當機器手不能可靠地實現(xiàn)穩(wěn)定抓取時，他們就會初始化關節(jié)對象狀態(tài)。

Manus在三階段訓練框架中的位置

研究小組設計了一個三階段訓練框架，MANUS手套通過在需要時提供人類演示的初始抓握動作推動了這一過程。

階段1:模擬訓練和干擾注入

使用完美對象姿態(tài)信息特權策略。

添加隨機的力和扭矩以提高真實性。

每當機器人不能自主固定工具時，團隊就使用MANUS手套為遙控演示提供一致的、可行的初步理解。

階段2:策略升華到僅本體感受

僅使用聯(lián)合立場和簡單命令，將特權政策提煉為學生政策。

移除特權信息，以便能夠在真實機器人上部署。

階段3: CATFA觸覺適應

引入CATFA(交叉注意觸覺力適應)，融合觸覺信號和電機扭矩反饋。

實現(xiàn)在線微調、干擾補償和穩(wěn)定接觸控制。

(a)研究工作流程概述。模擬培訓和政策提煉；(b)通過CATFA模塊在硬件上進行在線調整。

結果

在手術鉗、縫合器、腹腔鏡器械等領域，CATFA系統(tǒng)取得了持續(xù)良好的使用效果。具有挑戰(zhàn)性的工具的成功率從大約20-30%上升到100 %，而已經表現(xiàn)良好的任務則獲得了額外的穩(wěn)定性和精確性。

未來影響

在這項研究中，MANUS Metagloves Pro在機器人努力建立自主抓握時，通過提供可靠的、人類演示的初始抓握姿態(tài)來支持訓練過程。這種工作流程得益于Manus高精度的手部姿態(tài)捕捉方案，Manus可以再現(xiàn)自然的人手動作，并捕捉鉸接工具所需的細微抓握變化。通過使用平穩(wěn)集成到機器人管道中的遠程操作演示系統(tǒng)，研究人員能夠確保每次試驗的穩(wěn)定開始狀態(tài)，這實現(xiàn)了有效的機械學習和虛擬模擬到現(xiàn)實應用的轉移。

在這項研究之外，使MANUS適用于抓取初始化的相同特征也支持機器人、數(shù)字人研究、VR和AR交互以及康復技術中更廣泛的應用。MANUS手套為捕捉人手運動并將其轉換為可用于訓練、遠程操作和交互控制的數(shù)據(jù)提供了一個自然的界面。