新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】人大與北航團(tuán)隊(duì)發(fā)現(xiàn)：機(jī)器人在動(dòng)作切換時(shí)，視覺常被本體感覺「壓制」而失效。他們提出GAP算法，動(dòng)態(tài)削弱本體信號(hào)的訓(xùn)練權(quán)重，讓視覺重獲學(xué)習(xí)機(jī)會(huì)，顯著提升機(jī)器人精準(zhǔn)操作能力。

本體感覺信息能夠提供機(jī)器人狀態(tài)的實(shí)時(shí)反饋，其與視覺信息的協(xié)同被普遍認(rèn)為有助于提升機(jī)器人在復(fù)雜操縱任務(wù)中的性能。

然而，近期研究在視覺–本體感覺策略的泛化能力方面報(bào)告了不一致的觀察結(jié)果：有的策略受益于視覺本體覺的聯(lián)合，而有的卻比純視覺策略表現(xiàn)更差——視覺-本體操縱策略究竟何時(shí)會(huì)「掉鏈子」？

近日，人大高瓴GeWu-Lab與北京航空航天大學(xué)聯(lián)合團(tuán)隊(duì)對(duì)該問題進(jìn)行了系統(tǒng)性研究，發(fā)現(xiàn)在操縱任務(wù)的運(yùn)動(dòng)轉(zhuǎn)變階段，視覺-本體策略中的視覺模態(tài)「失效」了！

為此，研究團(tuán)隊(duì)提出了基于階段引導(dǎo)的梯度調(diào)整算法（Gradient Adjustment with Phase-guidance，GAP），該研究論文為機(jī)器人操縱中視覺-本體感覺策略的設(shè)計(jì)與發(fā)展提供了有價(jià)值的見解，并已被ICLR 2026接收。

項(xiàng)目主頁：https://gewu-lab.github.io/GAP/

代碼倉庫：https://github.com/GeWu-Lab/GAP

論文鏈接：https://arxiv.org/abs/2602.12032

研究背景

隨著深度學(xué)習(xí)的發(fā)展，研究者們開始將本體感覺信息（如關(guān)節(jié)位置、速度等）引入基于視覺的機(jī)器人操縱策略。視覺負(fù)責(zé)「看」，本體覺負(fù)責(zé)「感」，兩者的協(xié)同被認(rèn)為有助于提升策略在復(fù)雜環(huán)境中的泛化能力，讓機(jī)器人不僅能在熟悉場(chǎng)景中穩(wěn)定操作，也能在任務(wù)條件變化時(shí)靈活應(yīng)對(duì)。

然而，現(xiàn)實(shí)卻開了個(gè)玩笑。多篇研究表明，有時(shí)加入了本體信息的策略反而比純視覺策略表現(xiàn)更差。

這一現(xiàn)象并非個(gè)例，而是在不同環(huán)境、不同任務(wù)中均有出現(xiàn)（圖1左）。

這些發(fā)現(xiàn)讓人困惑：視覺-本體策略究竟何時(shí)會(huì)失?。渴悄B(tài)融合方式的問題，還是訓(xùn)練過程的失衡？是在所有任務(wù)階段都會(huì)失敗，還是只在某些關(guān)鍵時(shí)刻掉鏈子？理解這一點(diǎn)，不僅能夠解釋已有矛盾，更有助于設(shè)計(jì)真正魯棒的機(jī)器人操縱策略。

問題探究

圖1：視覺-本體策略的泛化性

為了探究這些問題，來自人大高瓴GeWu-Lab與北京航空航天大學(xué)聯(lián)合團(tuán)隊(duì)的研究者們?cè)O(shè)計(jì)了一個(gè)精巧的控制實(shí)驗(yàn)。他們讓一個(gè)純視覺策略執(zhí)行裝配任務(wù)，但在某些特定時(shí)段（僅10個(gè)時(shí)間步長(zhǎng)），將當(dāng)前動(dòng)作替換為由視覺–本體策略在相同觀測(cè)下預(yù)測(cè)的動(dòng)作。

如圖1右側(cè)所示，結(jié)果令人驚訝：

• 在「向前移動(dòng)」這類穩(wěn)定運(yùn)動(dòng)階段，這種替換幾乎沒有影響；

• 但在「定位底座」、「裝配零件」這類運(yùn)動(dòng)轉(zhuǎn)變階段，替換策略后任務(wù)成功率明顯下降。

這說明在需要視覺發(fā)揮作用的運(yùn)動(dòng)轉(zhuǎn)變階段，視覺–本體策略中的視覺模態(tài)「失效」了。為什么視覺會(huì)被邊緣化？研究者進(jìn)一步從訓(xùn)練優(yōu)化的角度尋找答案。

他們發(fā)現(xiàn)，在運(yùn)動(dòng)轉(zhuǎn)變階段，視覺線索往往非常細(xì)小，有時(shí)甚至只是像素級(jí)的差異，而本體信號(hào)則簡(jiǎn)潔、直接。

在訓(xùn)練過程中，策略會(huì)本能地依賴那些能讓損失更快下降的本體信號(hào)，使得本體模態(tài)在優(yōu)化中占據(jù)主導(dǎo)地位。這種主導(dǎo)地位反過來抑制了視覺模態(tài)的學(xué)習(xí)，導(dǎo)致視覺信息在運(yùn)動(dòng)轉(zhuǎn)變階段被嚴(yán)重忽視。

核心技術(shù)

針對(duì)視覺模態(tài)在運(yùn)動(dòng)轉(zhuǎn)變階段被抑制的問題，研究團(tuán)隊(duì)提出了如圖2所示的基于階段引導(dǎo)的梯度調(diào)整算法（Gradient Adjustment with Phase-guidance, GAP）。核心思路是：先識(shí)別出任務(wù)中的運(yùn)動(dòng)轉(zhuǎn)變階段，然后在這些關(guān)鍵時(shí)刻動(dòng)態(tài)調(diào)整本體覺信號(hào)的優(yōu)化強(qiáng)度，為視覺模態(tài)「讓出學(xué)習(xí)空間」。

圖2：GAP方法架構(gòu)

為了識(shí)別運(yùn)動(dòng)轉(zhuǎn)變階段，研究團(tuán)隊(duì)首先利用機(jī)械臂末端執(zhí)行器的位置、朝向和開合程度來定義機(jī)器人的運(yùn)動(dòng)。

隨后采用變化點(diǎn)檢測(cè)算法，通過計(jì)算不同時(shí)段運(yùn)動(dòng)方向的一致性，將軌跡分割為一系列「運(yùn)動(dòng)一致階段」，如「持續(xù)向前移動(dòng)」、「穩(wěn)定抓取」等。在這些階段之間，就是機(jī)器人的「運(yùn)動(dòng)轉(zhuǎn)變階段」。

然而，運(yùn)動(dòng)的轉(zhuǎn)變是連續(xù)且漸變的，簡(jiǎn)單的離散切分難以刻畫該過程的平滑特性。

為此，研究進(jìn)一步引入時(shí)序網(wǎng)絡(luò)，利用本體覺信號(hào)的時(shí)序差異，預(yù)測(cè)每個(gè)時(shí)刻屬于運(yùn)動(dòng)轉(zhuǎn)變階段的概率。

在反向傳播時(shí)，GAP會(huì)根據(jù)當(dāng)前時(shí)刻的轉(zhuǎn)變概率，動(dòng)態(tài)降低本體覺特征提取模塊的梯度更新幅度。轉(zhuǎn)變概率越高，本體覺的梯度被抑制得越明顯，讓視覺模態(tài)有機(jī)會(huì)被充分學(xué)習(xí)。

性能亮點(diǎn)

GAP算法的有效性在大量實(shí)驗(yàn)中得到了充分驗(yàn)證。無論是在仿真環(huán)境還是真實(shí)機(jī)器人上，無論是單臂還是雙臂任務(wù)，GAP加持下的視覺–本體策略都交出了亮眼的成績(jī)單。

可以看到，在操縱任務(wù)「移交」中，純視覺策略難以完成精細(xì)的放置操作，而視覺-本體策略在抓取失敗后忽視視覺反饋，仍按照本體的經(jīng)驗(yàn)繼續(xù)執(zhí)行動(dòng)作。應(yīng)用GAP的視覺-本體策略則得益于兩者的協(xié)同，順利地完成了任務(wù)。

如表1所示，在多樣的任務(wù)設(shè)置中，GAP不僅幫助了視覺-本體策略超越純視覺策略，真正利用模態(tài)協(xié)同的優(yōu)勢(shì)，同時(shí)還超越了多種現(xiàn)有的基線方法。

表1：對(duì)比實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)同時(shí)也驗(yàn)證了GAP是否適用于視覺-語言-動(dòng)作模型（VLA）。如表2所示，在多個(gè)任務(wù)上，加入本體覺的Octo-VP反而比純視覺的Octo-V表現(xiàn)更差，而GAP的介入則徹底扭轉(zhuǎn)了這一局面。

表2：VLA實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)同時(shí)也驗(yàn)證了GAP對(duì)多種常見的模態(tài)融合方式的兼容性（表3），并觀察了GAP預(yù)測(cè)的運(yùn)動(dòng)轉(zhuǎn)變概率與任務(wù)RGB圖像和視覺不確定性的關(guān)系（圖3），以提升方法的可解釋性。

表3：模態(tài)融合方式實(shí)驗(yàn)

圖3：運(yùn)動(dòng)轉(zhuǎn)變概率可視化

結(jié)語

從多篇研究的反直覺現(xiàn)象一步步深入，該研究揭示了運(yùn)動(dòng)轉(zhuǎn)變階段中被抑制的視覺模態(tài)學(xué)習(xí)。

研究團(tuán)隊(duì)據(jù)此提出了GAP算法，使得兩種模態(tài)在機(jī)器人操縱任務(wù)中更好地協(xié)同。真正的多模態(tài)具身智能，必須建立在對(duì)模態(tài)之間動(dòng)態(tài)關(guān)系的深刻理解之上。

而GAP通過運(yùn)動(dòng)轉(zhuǎn)變階段提供了一種分析框架，為具身智能中的高質(zhì)量多模態(tài)融合與交互提供了全新的視角。

參考資料：

https://arxiv.org/pdf/2602.12032