在今年的英偉達(dá)GTC展會上，英偉達(dá)帶來了Isaac Teleop。Isaac Teleop是一個跨模擬和現(xiàn)實(shí)世界系統(tǒng)的遠(yuǎn)程操作和數(shù)據(jù)收集的統(tǒng)一框架，標(biāo)準(zhǔn)化了人類輸入如何轉(zhuǎn)化為機(jī)器人動作。

全新版本的Isaac Teleop在機(jī)器人領(lǐng)域帶來了更廣泛應(yīng)用。隨著該領(lǐng)域向具身智能和通用機(jī)器人政策發(fā)展，瓶頸不再僅僅是模型架構(gòu)，而是高質(zhì)量人類演示數(shù)據(jù)方向轉(zhuǎn)變。NVIDIA的Isaac生態(tài)系統(tǒng)一直在不斷發(fā)展，其提供了一個端到端的堆棧，涵蓋模擬(Isaac Sim)、學(xué)習(xí)(Isaac Lab)和遙操作(Isaac Teleop)。

Isaac Teleop與Manus的整合

MANUS作為高保真手部跟蹤輸入設(shè)備被集成到Isaac Teleop中，以高維形式捕捉精確的手部運(yùn)動，供機(jī)器人和模擬環(huán)境實(shí)時使用。

通過采集精確交互動態(tài)，例如手指卷曲、收縮調(diào)制和微調(diào)，MANUS手套在工具使用、抓握適應(yīng)和雙手協(xié)調(diào)等任務(wù)中可實(shí)現(xiàn)靈巧操作。這使得遙操作工作流程能夠包含對復(fù)雜操作至關(guān)重要的詳細(xì)手部行為。

系統(tǒng)架構(gòu)和集成

從系統(tǒng)的角度來看，MANUS通過一個專用插件集成到Isaac Teleop中，作為遙操作堆棧中的輸入設(shè)備。手和手指的運(yùn)動被實(shí)時捕捉，并通過重定目標(biāo)管道進(jìn)行處理，以生成機(jī)器人動作。

Isaac Teleop標(biāo)準(zhǔn)化了模擬和真實(shí)世界系統(tǒng)之間的管道，在兩種環(huán)境中實(shí)現(xiàn)了一致的控制和數(shù)據(jù)收集。人類運(yùn)動被翻譯成機(jī)器人指令，同時能夠收集演示數(shù)據(jù)。

MANUS可以捕捉精細(xì)的手和手指運(yùn)動，提高遠(yuǎn)程操作精度和數(shù)據(jù)質(zhì)量。MANUS SDK*支持將跟蹤數(shù)據(jù)傳輸?shù)絋eleop框架中。

工作流程和集成優(yōu)勢

MANUS與Isaac Teleop的集成簡化了遙操作工作流程的構(gòu)建和擴(kuò)展。MANUS手套可以通過插件連接到Isaac Teleop，而無需為每個系統(tǒng)建立定制的集成管道。這減少了集成工作，并支持跨不同機(jī)器人和環(huán)境的重復(fù)使用。

此外將Manus采集到的數(shù)據(jù)投入到機(jī)器人訓(xùn)練使用，還提高了模擬和真實(shí)世界系統(tǒng)之間的一致性。相同的MANUS設(shè)置可以在模擬和真實(shí)世界環(huán)境中重復(fù)使用，以減少數(shù)據(jù)收集的差異，并支持更有效的模擬到真實(shí)的工作流。

使用MANUS捕獲的演示可用于學(xué)習(xí)管道，高保真手指跟蹤保留了靈巧操作所需的細(xì)節(jié)，并提高了訓(xùn)練數(shù)據(jù)的質(zhì)量。

Isaac生態(tài)系統(tǒng)中的MANUS：從遙操作到可擴(kuò)展訓(xùn)練

在Isaac生態(tài)系統(tǒng)中，Isaac Teleop是Isaac lab中連接模擬、數(shù)據(jù)收集和學(xué)習(xí)的更廣泛數(shù)據(jù)管道的一部分。MANUS通過在模擬和真實(shí)世界環(huán)境中提供高保真的手部數(shù)據(jù)輸入，增強(qiáng)了這一渠道。

通過Isaac Teleop收集的演示可以集成到學(xué)習(xí)管道中，為靈巧手操作任務(wù)保留細(xì)粒度的運(yùn)動。通過與Isaac lab整合，開發(fā)人員可以使用真實(shí)的人類運(yùn)動來驅(qū)動虛擬機(jī)器人手部，從而在將策略部署到物理機(jī)器人投入生產(chǎn)之前，在模擬中實(shí)現(xiàn)快速原型制作、驗(yàn)證和數(shù)據(jù)生成。

Isaac Teleop和Isaac Lab共同提供了一個緊密集成的工作流程，從人工演示到策略培訓(xùn)和在真實(shí)硬件上的部署。最近NVIDIA主導(dǎo)的研究自我量表強(qiáng)調(diào)了大規(guī)模人類數(shù)據(jù)在訓(xùn)練靈巧機(jī)器人策略中的重要性。在這些方法中，準(zhǔn)確的手和手指運(yùn)動成為學(xué)習(xí)的關(guān)鍵輸入信號。MANUS解決方案能夠捕捉高保真的人體運(yùn)動，支持小規(guī)模的遠(yuǎn)程操作數(shù)據(jù)收集和新興的大規(guī)模人機(jī)學(xué)習(xí)工作流。