“RoboBrain-Dex：多源自我中心訓(xùn)練用于集成靈巧視覺(jué)-語(yǔ)言-行動(dòng)模型”。

靈巧手遙操作目前為止仍然是機(jī)器人技術(shù)中最具挑戰(zhàn)性的前沿領(lǐng)域之一。盡管視覺(jué)-語(yǔ)言-動(dòng)作模型在通用機(jī)器人能力方面表現(xiàn)出很大潛力，但其面臨一個(gè)關(guān)鍵瓶頸：靈巧手技能的大規(guī)模學(xué)習(xí)、動(dòng)作注釋數(shù)據(jù)稀缺。傳統(tǒng)遙操作方法成本高且耗時(shí)，而現(xiàn)有的人類(lèi)運(yùn)動(dòng)數(shù)據(jù)集則存在視角依賴(lài)、遮擋和捕獲環(huán)境受限等問(wèn)題，這限制了它們?cè)跈C(jī)器人訓(xùn)練中的應(yīng)用。

北京大學(xué)和北京人工智能學(xué)院的研究人員開(kāi)發(fā)了RoboBrain-Dex，這是一個(gè)通過(guò)利用MANUS數(shù)據(jù)手套來(lái)克服這些數(shù)據(jù)收集挑戰(zhàn)的靈巧手操作的突破性視覺(jué)-語(yǔ)言-動(dòng)作模型。其工作展示了高保真手部追蹤如何實(shí)現(xiàn)大規(guī)模、多源的自我中心數(shù)據(jù)集的創(chuàng)建，這些數(shù)據(jù)集將人類(lèi)和機(jī)器人操作緊密聯(lián)系在一起。

便攜式、高保真大規(guī)模數(shù)據(jù)收集

RoboBrain-Dex 研究團(tuán)隊(duì)構(gòu)建了Ego Atlas，一個(gè)綜合的多源自我中心數(shù)據(jù)集，將人類(lèi)和機(jī)器人操作數(shù)據(jù)統(tǒng)一在一個(gè)動(dòng)作空間下。其數(shù)據(jù)收集基礎(chǔ)設(shè)施的核心：MANUS Quantum Metagloves 可捕捉每只手的所有25個(gè)手關(guān)鍵點(diǎn)的精確3D位置。

與受限于捕捉體積和遮擋問(wèn)題的基于相機(jī)或VR追蹤系統(tǒng)不同，MANUS手套追蹤系統(tǒng) 實(shí)現(xiàn)了便攜、隨時(shí)隨地的動(dòng)作捕捉。結(jié)合VIVE追蹤器進(jìn)行6自由度手腕姿態(tài)追蹤，該系統(tǒng)提供了手部定位，同時(shí)保持指尖級(jí)的精度。這種方法消除了視角依賴(lài)性，并能夠在各種真實(shí)環(huán)境下收集數(shù)據(jù)，這對(duì)于構(gòu)建用于穩(wěn)定的VLA模型訓(xùn)練所需的規(guī)模和多樣化的數(shù)據(jù)集至關(guān)重要。

從人類(lèi)演示到機(jī)器人控制

由MANUS手套捕獲的高保真運(yùn)動(dòng)數(shù)據(jù)在RoboBrain-Dex管道中起到了雙重作用。對(duì)于人類(lèi)演示，手套記錄了自然的操縱行為，為學(xué)習(xí)機(jī)器人動(dòng)作提供了豐富的先驗(yàn)知識(shí)。對(duì)于機(jī)器人遠(yuǎn)程操作，相同的手套追蹤系統(tǒng)實(shí)現(xiàn)了精確控制：通過(guò)逆運(yùn)動(dòng)學(xué)將手腕姿勢(shì)轉(zhuǎn)換為機(jī)器人手臂配置，而指尖軌跡通過(guò)基于IK的重新目標(biāo)映射到靈巧手關(guān)節(jié)空間。

這種無(wú)縫的人機(jī)翻譯對(duì)于收集補(bǔ)充RoboBrain-Dex人類(lèi)數(shù)據(jù)集的機(jī)器人演示數(shù)據(jù)至關(guān)重要。研究人員成功地將這種遠(yuǎn)程控制方法應(yīng)用于配備Inspire 6-DoF靈巧手的Unitree G1人形機(jī)器人上，收集了高質(zhì)量的多種操作任務(wù)演示數(shù)據(jù)。

推動(dòng)該領(lǐng)域發(fā)展的成果

基于由MANUS手套支持的多源第一人稱(chēng)數(shù)據(jù)，RoboBrain-Dex在六個(gè)真實(shí)世界的靈巧操作任務(wù)中實(shí)現(xiàn)了超高的平均成功率。該模型在分布外場(chǎng)景中表現(xiàn)出色。

RoboBrain-Dex模型代表了一個(gè)重要的轉(zhuǎn)變，通過(guò)數(shù)據(jù)采集設(shè)備MANUS的毫米級(jí)手部追蹤精度和便攜、可擴(kuò)展的部署訓(xùn)練機(jī)器人靈巧手更加貼合真實(shí)人類(lèi)操作。隨著具身人工智能繼續(xù)向人類(lèi)水平的操縱能力發(fā)展，高保真第一人稱(chēng)數(shù)據(jù)采集設(shè)備仍然是彌合人類(lèi)靈巧度與機(jī)器人智能之間差距的基礎(chǔ)。