機(jī)器人憑單一策略，可完成多項(xiàng)復(fù)雜操作任務(wù)。

作者 | 許麗思

編輯 | 漠影

機(jī)器人前瞻1月30日?qǐng)?bào)道，剛剛，宇樹(shù)科技正式開(kāi)源其通用人形機(jī)器人操作大模型UnifoLM-VLA-0。

這款模型通過(guò)在機(jī)器人操作數(shù)據(jù)上開(kāi)展持續(xù)預(yù)訓(xùn)練，讓機(jī)器人僅憑單一策略，就能完成多項(xiàng)復(fù)雜的長(zhǎng)程操作任務(wù)，比如機(jī)器人協(xié)作整理桌面、擰開(kāi)有一定阻力的瓶蓋、折疊毛巾，以及在人為干擾的情況下堆疊積木、給水果分類等，泛化能力更強(qiáng)了。

并且，模型在空間感知能力上有了明顯提升，在零樣本的場(chǎng)景下，就可以精準(zhǔn)推理目標(biāo)所處位置、生成運(yùn)動(dòng)軌跡、判斷物體可抓取點(diǎn)、完成目標(biāo)物品的檢測(cè)、分割與定位等。

01.

從VLM到VLA，

僅用340小時(shí)真機(jī)數(shù)據(jù)進(jìn)行訓(xùn)練

宇樹(shù)介紹，該模型基于開(kāi)源視覺(jué)語(yǔ)言模型Qwen2.5-VL-7B演化而來(lái)。

宇樹(shù)先是構(gòu)建了覆蓋機(jī)器人與通用場(chǎng)景的多任務(wù)數(shù)據(jù)集并開(kāi)展持續(xù)預(yù)訓(xùn)練，該數(shù)據(jù)集涵蓋2D檢測(cè)與分割、任務(wù)層級(jí)分解、3D目標(biāo)檢測(cè)、空間位置推理及軌跡預(yù)測(cè)等多維數(shù)據(jù)，有效提升了模型對(duì)幾何空間與語(yǔ)義邏輯的對(duì)齊能力。

在操作任務(wù)上，宇樹(shù)對(duì)開(kāi)源數(shù)據(jù)集進(jìn)行了系統(tǒng)化清洗，最終僅使用約340小時(shí)真機(jī)數(shù)據(jù)進(jìn)行離散動(dòng)作預(yù)測(cè)訓(xùn)練。

在動(dòng)作建模上，模型進(jìn)一步集成了動(dòng)作分塊預(yù)測(cè)，并加入前向與逆向動(dòng)力學(xué)約束，把動(dòng)作序列統(tǒng)一建模，從而讓VLM具備對(duì)“機(jī)器人—物體”物理交互規(guī)律的更深理解，并支持更長(zhǎng)時(shí)序的動(dòng)作規(guī)劃與決策。

完成上述持續(xù)預(yù)訓(xùn)練后，UnifoLM-VLM-0在多類任務(wù)場(chǎng)景下展現(xiàn)出更強(qiáng)的空間推理能力與更可靠的多模態(tài)感知表現(xiàn)，相關(guān)零樣本測(cè)試示例如下:

▲任務(wù)推理:根據(jù)文本推理目標(biāo)物體和位置并生成移動(dòng)軌跡

▲空間推理：理解空間的位置關(guān)系

▲圖像定位：檢測(cè)圖像中物體的3D框

02.

可實(shí)現(xiàn)低延時(shí)實(shí)時(shí)操作，

LIBERO基準(zhǔn)獲98.7分

UnifoLM-VLM-0在“no thinking”模式下，在ERQA、RoboSpatial、Where2Place三個(gè)空間理解基準(zhǔn)上的表現(xiàn)，比肩谷歌的Gemini Robotics ER 1.5。

“no thinking”模式，指的是模型不進(jìn)行額外的推理過(guò)程，直接給出結(jié)果的一種運(yùn)行方式。這意味著模型的空間理解能力已經(jīng)被充分內(nèi)化，更適合機(jī)器人在真實(shí)環(huán)境中進(jìn)行低延遲實(shí)時(shí)操作。

在LIBERO仿真基準(zhǔn)測(cè)試中，UnifoLM-VLA-0在“空間”子項(xiàng)獲得99.0分，在“物體”子項(xiàng)獲得100分，在“目標(biāo)”子項(xiàng)獲得99.4分，在“長(zhǎng)序列”任務(wù)獲得96.2分，平均分為98.7分。

相較于OpenVLA-OFT的平均分為97.1分、GR00T-N1.6的平均分為97.0分，UnifoLM-VLA-0較為領(lǐng)先。

03.

單一策略下，

穩(wěn)定完成12項(xiàng)復(fù)雜長(zhǎng)程任務(wù)

在宇樹(shù)G1上，團(tuán)隊(duì)構(gòu)建了覆蓋12類復(fù)雜操作任務(wù)的高質(zhì)量真機(jī)數(shù)據(jù)集，并基于此對(duì)UnifoLM-VLA-0進(jìn)行單一策略網(wǎng)絡(luò)的端到端統(tǒng)一訓(xùn)練。

宇樹(shù)稱，真機(jī)實(shí)驗(yàn)表明：模型能在同一策略checkpoint下穩(wěn)定完成全部12項(xiàng)任務(wù)，并在外部擾動(dòng)下保持較好的魯棒性與抗干擾能力。

這些任務(wù)，涉及了整理收納、多機(jī)協(xié)作、帶阻力的開(kāi)合旋轉(zhuǎn)、多步驟長(zhǎng)鏈條執(zhí)行、規(guī)則推理與抗干擾糾錯(cuò)等不同維度，貼近機(jī)器人要真正落地的可用能力。

比如，兩臺(tái)G1協(xié)同收納桌子上餐盤與垃圾，其中一臺(tái)還將散落的筆遞給另一臺(tái)，再一起放入盒中。

G1拿起筆袋放入背包并拉上拉鏈；打開(kāi)藥瓶，將藥丸倒入盒中；鋪平毛巾后，折疊成正方形并放置到位。

按“紅色-綠色-黃色”順序堆疊積木，即使人為移走已堆好的積木，G1也能及時(shí)調(diào)整并重新完成堆疊。

把水果按照顏色放入對(duì)應(yīng)顏色的盤子，面對(duì)人為干擾，機(jī)器人依舊可以較順利完成。

04.

結(jié)語(yǔ)：從硬件生產(chǎn)到軟件算法，

宇樹(shù)加快構(gòu)造全鏈路壁壘

2025年，宇樹(shù)以5500臺(tái)出貨量登頂全球人形機(jī)器人銷量榜首，在硬件量產(chǎn)端構(gòu)筑起堅(jiān)實(shí)壁壘的同時(shí)，正持續(xù)在軟件算法領(lǐng)域深耕布局、打造核心優(yōu)勢(shì)，UnifoLM-VLA-0的落地正是其算法端的一大突破。

UnifoLM-VLA-0所展現(xiàn)的少數(shù)據(jù)高效訓(xùn)練、強(qiáng)空間理解及復(fù)雜場(chǎng)景抗干擾操作等核心能力，有望推動(dòng)人形機(jī)器人領(lǐng)域從碎片化任務(wù)訓(xùn)練，向開(kāi)放場(chǎng)景的通用化能力構(gòu)建穩(wěn)步邁進(jìn)。