Robotics(RBT) TU/e、Mechanical Engineering TU/e和AI Matters EU的三方合作，推動(dòng)了人機(jī)交互的未來(lái)，展示了人類(lèi)運(yùn)動(dòng)捕捉和高級(jí)機(jī)器人控制之間的強(qiáng)大協(xié)同作用。

背景

TESOLLO公司總部設(shè)在韓國(guó)。通過(guò)精確的運(yùn)動(dòng)控制、先進(jìn)的嵌入式系統(tǒng)和人工智能的智能集成來(lái)重新定義機(jī)器人自動(dòng)化。

其旗艦產(chǎn)品DG-5F是一個(gè)可完全驅(qū)動(dòng)的五指擬人機(jī)器手，可達(dá)到人手動(dòng)作水平的靈活性、抓握和控制。其具有20個(gè)自由度(DOF)，無(wú)縫結(jié)合了高精度機(jī)械、可選觸覺(jué)傳感和靈活的軟件兼容性，是研究、工業(yè)自動(dòng)化和服務(wù)機(jī)器人應(yīng)用的理想選擇。

挑戰(zhàn)

用傳統(tǒng)的輸入方法控制像DG-5F這樣的20自由度機(jī)器人手具有挑戰(zhàn)性。手動(dòng)編程或使用操縱桿控制通常會(huì)造成延遲、低精度以及陡峭的學(xué)習(xí)曲線。為了解決這個(gè)問(wèn)題，TESOLLO開(kāi)發(fā)了ROS2包，使機(jī)器手控制更加直觀和有效。

除了展示靈活性，DG-5F的功能還支持安裝在Franka Research 3機(jī)器臂上并使用NOKOV光學(xué)系統(tǒng)定位并擴(kuò)展到現(xiàn)實(shí)世界中完成實(shí)際應(yīng)用。這種集成大大提高了系統(tǒng)的靈活性、機(jī)動(dòng)性和執(zhí)行復(fù)雜操縱任務(wù)的能力。

解決方案

隨著MANUS Metagloves Pro和Manus Core ROS 2套裝的發(fā)布，TESOLLO開(kāi)發(fā)了人機(jī)無(wú)縫遙操作流水線解決方案。該解決放哪使用NOKOV光學(xué)跟蹤系統(tǒng)作為Franka Research 3機(jī)器臂的定位錨，為人類(lèi)和機(jī)器人運(yùn)動(dòng)之間的精確對(duì)準(zhǔn)提供空間參考。

實(shí)時(shí)手指跟蹤：MANUS Metagloves Pro以毫米級(jí)的精度捕捉操作員的手指和手部動(dòng)作，以超低延遲傳輸數(shù)據(jù)。
?

ROS2集成：MANUS Core ROS 2軟件包將SDK(包括位置和手指跟蹤數(shù)據(jù))封裝到ROS 2兼容接口中，便于集成。
?

位置跟蹤：NOKOV光學(xué)跟蹤為Franka機(jī)器臂提供精確的空間參考點(diǎn)，確保人類(lèi)和機(jī)器人運(yùn)動(dòng)之間的精確對(duì)準(zhǔn)。
?

遙操作控制層:手指姿態(tài)數(shù)據(jù)被映射到TESOLLO DG-5F靈巧手上，而位置數(shù)據(jù)驅(qū)動(dòng)Franka機(jī)械臂，實(shí)現(xiàn)具有自然、直觀控制的全臂遙操作。

未來(lái)發(fā)展

通過(guò)此次合作，TESOLLO展示了與MANUS Metagloves Pro，ROS2集成光學(xué)跟蹤實(shí)現(xiàn)高度靈活的遙操作工作流程。

然而，由于人手和機(jī)器人手的運(yùn)動(dòng)學(xué)差異，精確的遙操作仍然面臨挑戰(zhàn)。MANUS的端點(diǎn)傳感器流提供了一個(gè)新的方向，允許像DG-5F這樣的靈巧手隨著時(shí)間的推移學(xué)習(xí)和完善他們的運(yùn)動(dòng)模型。

該解決方案驗(yàn)證了高保真運(yùn)動(dòng)數(shù)據(jù)與自適應(yīng)控制的結(jié)合的可行性，為未來(lái)由數(shù)據(jù)驅(qū)動(dòng)且更智能的操縱系統(tǒng)提供了發(fā)展方向。