這個(gè)情人節(jié)，Unitree G1 人形機(jī)器人解鎖了 “求婚” 新技能。

在人類(lèi)眼中充滿(mǎn)儀式感的求婚動(dòng)作，對(duì)于機(jī)器人來(lái)說(shuō)其實(shí)是頗具難度的全身操作任務(wù)：既要維持重心穩(wěn)定，又要保證手部動(dòng)作的精準(zhǔn)，這對(duì)機(jī)器人的全身協(xié)調(diào)能力提出了不小的考驗(yàn)。

這一浪漫場(chǎng)景的背后，是清華叉院、上海期智研究院、千尋智能與上海交通大學(xué)聯(lián)合團(tuán)隊(duì)的最新研究成果 ——HuMI (Humanoid Manipulation Interface)，一個(gè)集成了人形機(jī)器人便攜式數(shù)據(jù)采集與多樣化技能學(xué)習(xí)的通用框架：研究人員不再受困于繁瑣的遙操作或昂貴的動(dòng)捕環(huán)境，只需佩戴簡(jiǎn)單的追蹤設(shè)備，就能高效教會(huì)人形機(jī)器人協(xié)調(diào)全身，完成復(fù)雜的操作任務(wù) 。

• 論文標(biāo)題：Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations
• 論文鏈接：http://arxiv.org/abs/2602.06643
• 項(xiàng)目主頁(yè)：https://humanoid-manipulation-interface.github.io

教人形機(jī)器人學(xué)會(huì)全身操作，難在哪里？

盡管遙操作是目前獲取數(shù)據(jù)的主流方案，但其采集效率低下，對(duì)操作員的經(jīng)驗(yàn)要求也較高；同時(shí)，由于無(wú)法脫離實(shí)體機(jī)器人，采集場(chǎng)景往往局限于實(shí)驗(yàn)室內(nèi)部，難以獲取支撐泛化的多樣性數(shù)據(jù)。

相比之下，雖然 UMI 的 “無(wú)真機(jī)” 數(shù)采方案在機(jī)械臂上大獲成功，但直接遷移到人形機(jī)器人時(shí)卻面臨如下難題：

• 演示信息缺失：僅記錄手持夾爪部軌跡無(wú)法約束全身姿態(tài)，機(jī)器人不知道向下抓取時(shí)該 “彎腰” 還是 “下蹲”；
• 人機(jī)構(gòu)型差異：人與機(jī)器人的身體比例不同，簡(jiǎn)單的尺寸縮放會(huì)導(dǎo)致機(jī)器人與交互物體的空間錯(cuò)位；
• 執(zhí)行誤差干擾：與機(jī)械臂的高精度不同，人形機(jī)器人的底層控制器往往存在較大的跟蹤誤差，導(dǎo)致高層策略規(guī)劃的軌跡與實(shí)際執(zhí)行脫節(jié)。

HuMI 系統(tǒng)的核心技術(shù)

針對(duì)人形機(jī)器人數(shù)據(jù)采集難、效率低的痛點(diǎn)，團(tuán)隊(duì)提出了 HuMI 系統(tǒng)。該系統(tǒng)通過(guò)硬件、交互與算法的協(xié)同設(shè)計(jì)，實(shí)現(xiàn)了低成本、高效率的人形機(jī)器人全身操作策略學(xué)習(xí)。

1. 硬件設(shè)計(jì)：便攜式穿戴設(shè)備

采集數(shù)據(jù)時(shí)，操作員僅需手持兩個(gè)帶有魚(yú)眼 GoPro 相機(jī)的 UMI 手柄，并在手柄上、腰部和雙腳佩戴 5 個(gè) HTC Ultimate VIVE 追蹤器。有了這套便攜的設(shè)備，無(wú)需將笨重的實(shí)體機(jī)器人搬運(yùn)到現(xiàn)場(chǎng)，即可在樓道、大堂等各種環(huán)境中采集全身動(dòng)作數(shù)據(jù)，極大降低了數(shù)據(jù)獲取的門(mén)檻。

2. 數(shù)據(jù)采集：實(shí)時(shí)逆運(yùn)動(dòng)學(xué)預(yù)覽

為了解決人機(jī)身體構(gòu)型差異導(dǎo)致的動(dòng)作不可用問(wèn)題，HuMI 提供了實(shí)時(shí)逆運(yùn)動(dòng)學(xué)（IK）預(yù)覽。采集數(shù)據(jù)時(shí)，操作員可以通過(guò)屏幕觀察虛擬機(jī)器人做出對(duì)應(yīng)動(dòng)作的效果。如果人的動(dòng)作超出了機(jī)器人的物理極限，操作員能立刻發(fā)現(xiàn)并調(diào)整姿態(tài)，從而確保采集到的數(shù)據(jù)物理可行。此外，重定向后的全身數(shù)據(jù)也會(huì)進(jìn)一步用于底層控制器的訓(xùn)練。

3. 算法架構(gòu)：分層控制策略

HuMI 采用高低層協(xié)同的分層式控制架構(gòu)，通過(guò)精心設(shè)計(jì)的接口層將規(guī)劃與控制模塊有機(jī)串聯(lián)，共同完成復(fù)雜的全身操作任務(wù)：

• 高層規(guī)劃策略：基于 Diffusion Policy，利用手腕相機(jī)的視覺(jué)輸入規(guī)劃全身關(guān)鍵點(diǎn)軌跡；
• 底層控制策略：通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練。在訓(xùn)練階段，HuMI 設(shè)計(jì)了自適應(yīng)的手部跟蹤獎(jiǎng)勵(lì)，并引入了變速增強(qiáng)訓(xùn)練，使機(jī)器人能同時(shí)兼顧全身的協(xié)調(diào)平衡與手部的精準(zhǔn)操作。

實(shí)驗(yàn)表現(xiàn)：多維任務(wù)驗(yàn)證

團(tuán)隊(duì)在 Unitree G1 人形機(jī)器人上進(jìn)行了多方面測(cè)試，從任務(wù)能力、泛化表現(xiàn)和采集效率三個(gè)維度驗(yàn)證了系統(tǒng)的有效性：

1.任務(wù)能力：HuMI 成功實(shí)現(xiàn)了五項(xiàng)頗具挑戰(zhàn)性的全身操作任務(wù)：求婚（單膝下跪）、拔劍出鞘、投擲玩具、上前清理桌面以及下蹲拾取，展現(xiàn)了雙臂協(xié)同、高動(dòng)態(tài)、長(zhǎng)距離移動(dòng)操作等多方面能力，且均達(dá)到了 75% 以上的成功率。實(shí)驗(yàn)證明，機(jī)器人能夠流暢地完成大幅度重心轉(zhuǎn)移和精細(xì)的手部動(dòng)作，保持了極高的平衡穩(wěn)定性和動(dòng)作連貫性。

2.泛化表現(xiàn)：憑借便攜硬件隨時(shí)隨地采集數(shù)據(jù)的優(yōu)勢(shì)，HuMI 能夠輕松覆蓋各種真實(shí)場(chǎng)景，為策略的泛化性打下了堅(jiān)實(shí)基礎(chǔ)。在下蹲拾取這一任務(wù)上的實(shí)驗(yàn)結(jié)果顯示，機(jī)器人在會(huì)議室、電梯間、走廊等未見(jiàn)過(guò)的場(chǎng)景，面對(duì)未見(jiàn)過(guò)的瓶狀物體時(shí)，仍能保持 70% 的任務(wù)成功率。上述實(shí)驗(yàn)表明，得益于便攜式設(shè)備帶來(lái)的數(shù)據(jù)采集規(guī)模與多樣性，策略在復(fù)雜環(huán)境下具有出色的泛化能力。

3.采集效率：與傳統(tǒng)遙操作模式相比，HuMI 在數(shù)據(jù)收集效率上展現(xiàn)出顯著優(yōu)勢(shì)。由于擺脫了對(duì)機(jī)器人真機(jī)的依賴(lài)，系統(tǒng)的數(shù)據(jù)采集吞吐量提升至傳統(tǒng)方式的 3 倍 —— 以拔劍任務(wù)為例，僅需 15 分鐘即可快速收集 60 條有效演示數(shù)據(jù)。此外，HuMI 還擴(kuò)展了動(dòng)作采集的邊界：在遙操作中，若底層控制器不支持單膝下跪等高難度動(dòng)作，操作員便無(wú)法進(jìn)行數(shù)據(jù)采集；而 HuMI 則能夠擺脫真機(jī)限制，先行采集這類(lèi)復(fù)雜動(dòng)作。

HuMI 的核心價(jià)值在于打破了數(shù)據(jù)采集對(duì)機(jī)器人實(shí)體的依賴(lài)。通過(guò)全新的數(shù)據(jù)采集方式，HuMI 大幅降低了人形機(jī)器人數(shù)據(jù)的獲取門(mén)檻與成本，在顯著提升學(xué)習(xí)效率的同時(shí)，也為開(kāi)發(fā)更具泛化性的通用人形機(jī)器人技能提供了有力支持。

關(guān)于作者

該項(xiàng)目有三位共同一作：佴瑞乾，鄭博遠(yuǎn)，趙俊銘。

佴瑞乾是清華大學(xué)交叉信息研究院的四年級(jí)博士生，導(dǎo)師為高陽(yáng)教授。他的主要研究方向?yàn)榫呱碇悄埽铝τ谕ㄟ^(guò)大規(guī)模數(shù)據(jù)使機(jī)器人能夠感知、推理和學(xué)習(xí)。佴瑞乾已在 ICLR, ICRA, AAAI, NeurIPS 等多個(gè)機(jī)器人學(xué)和機(jī)器學(xué)習(xí)頂會(huì)發(fā)表論文，研究項(xiàng)目涵蓋人形機(jī)器人，VLA，四足機(jī)器人等多個(gè)方向。

鄭博遠(yuǎn)是清華大學(xué)交叉信息研究院的一年級(jí)博士生，導(dǎo)師為高陽(yáng)教授。他的主要研究方向?yàn)榫呱碇悄?，目前?zhuān)注于通過(guò)人形機(jī)器人的全身協(xié)同控制，實(shí)現(xiàn)復(fù)雜多樣的移動(dòng)操作任務(wù)。鄭博遠(yuǎn)已在 CoRL、ICLR 等多個(gè)機(jī)器人學(xué)和機(jī)器學(xué)習(xí)頂會(huì)發(fā)表論文。

趙俊銘是清華大學(xué)交叉信息院（IIIS）的一年級(jí)博士生，導(dǎo)師為高陽(yáng)教授。他的研究聚焦于具身智能，致力于賦予機(jī)器人更通用和魯棒的操作能力。他重點(diǎn)關(guān)注機(jī)器人操作數(shù)據(jù)的高效擴(kuò)展及人形機(jī)器人的移動(dòng)操作。此前的工作包括高效泛化的插入裝配模型，以及融合自適應(yīng)推理的 VLA 模型等。

項(xiàng)目的通訊作者是清華大學(xué)交叉信息研究院助理教授、千尋智能聯(lián)合創(chuàng)始人高陽(yáng)，他主要研究計(jì)算機(jī)視覺(jué)與機(jī)器人學(xué)。此前，他在美國(guó)加州大學(xué)伯克利分校獲得博士學(xué)位，師從 Trevor Darrell 教授。他還在加州伯克利大學(xué)與 Pieter Abbeel 等人合作完成了博士后工作。在此之前，高陽(yáng)從清華大學(xué)計(jì)算機(jī)系畢業(yè)，與朱軍教授在貝葉斯推理方面開(kāi)展了研究工作。他在 2011-2012 年在谷歌研究院進(jìn)行了自然語(yǔ)言處理相關(guān)的研究工作、2016 年在谷歌自動(dòng)駕駛部門(mén) Waymo 的相機(jī)感知團(tuán)隊(duì)工作，在 2018 年與 Vladlen Koltun 博士在英特爾研究院在端到端自動(dòng)駕駛方面進(jìn)行了研究工作。高陽(yáng)在人工智能頂級(jí)會(huì)議 NeurIPS，ICML，CVPR，ECCV，ICLR 等發(fā)表過(guò)多篇學(xué)術(shù)論文，谷歌學(xué)術(shù)引用量超過(guò) 5000 次。