文章來源：鼓搗AI。

在擁擠商場里，陪伴機器人如何精準跟隨主人，即便被人群短暫遮擋、遇到穿同款衣服的干擾者也不跟丟？在復雜室內(nèi)環(huán)境中，引導機器人怎樣持續(xù)鎖定目標，完成長時程跟蹤任務？這些場景的核心技術——具身視覺跟蹤（EVT），長期面臨遮擋、干擾物、長時記憶漂移三大痛點。

近日，來自北大等機構的團隊提出了TrackVLA++，一款融合顯式空間推理與長時目標記憶的新型VLA（視覺-語言-動作）模型，在仿真與真實場景中均實現(xiàn)SOTA性能，為具身機器人的精準跟蹤提供了新的解決方案。

論文鏈接：

https://arxiv.org/pdf/2510.07134

項目主頁：

https://pku-epic.github.io/TrackVLA-plus-plus-Web/

具身視覺跟蹤的核心痛點

具身視覺跟蹤（EVT）是機器人在動態(tài)物理環(huán)境中，基于視覺觀測和語言指令，持續(xù)追蹤指定移動目標的關鍵能力，廣泛支撐陪伴機器人、引導機器人、服務助手等實際應用。

盡管近年來VLA模型（如TrackVLA、LOVON）推動了語言引導跟蹤的發(fā)展，但現(xiàn)有方法仍存在兩大致命缺陷：

1. 缺乏顯式空間推理 ：依賴視覺特征直接匹配，無法精準推斷目標相對位置，遇到相似干擾物易誤判；

2. 長時記憶機制薄弱 ：目標被長時間遮擋或脫離視野后，記憶易漂移或被干擾物污染，難以重新識別目標。

這些問題導致現(xiàn)有模型在復雜場景中性能大幅下降，成為EVT技術落地的主要瓶頸。

核心創(chuàng)新：推理與記憶的雙重突破

TrackVLA++基于導航基礎模型NavFoM構建，核心升級在于兩個專屬模塊：Polar-CoT（極坐標思維鏈） 和TIM（目標識別記憶）。

模型Pipeline流程圖，展示TrackVLA++的完整流程：從視頻流和語言指令輸入、Polar-CoT推理、TIM記憶更新、動作軌跡輸出。

傳統(tǒng)思維鏈（CoT）推理會生成冗長文本或復雜邊界框，計算開銷大且不適用于多相機場景。TrackVLA++提出的Polar-CoT做出兩大優(yōu)化：

• 極坐標離散化 ：將機器人0.6-5.0m環(huán)形視場，離散為60個角度（θ）×30個距離（d）的扇區(qū)，每個扇區(qū)編碼為唯一token，形成緊湊的空間表征；

• 高效推理輸出 ：僅預測一個推理token，要么是 <θ,d> （目標在視場內(nèi)的相對位置），要么是 （目標遮擋或超出視野），既保證效率又消除多相機歧義。

這種設計讓模型具備“空間思考能力”，不再依賴純視覺匹配，而是像人一樣通過“角度+距離”定位目標，推理效率較傳統(tǒng)CoT提升顯著。

TIM：置信門控的長時目標記憶

為解決長時跟蹤中的記憶漂移問題，TIM模塊采用置信度感知門控策略，實現(xiàn)穩(wěn)健記憶更新：

• 記憶更新規(guī)則：僅當Polar-CoT以高置信度（通過歸一化熵計算）檢測到目標時，才用新視覺特征更新記憶；

• 遮擋保護機制：目標被遮擋時， token強制置信度歸零，凍結記憶更新，保留最后一次可靠的目標表征；

• 輕量化設計：僅用4個token編碼記憶狀態(tài)，無需額外算力，且增加token數(shù)量無法帶來性能提升，兼顧高效與穩(wěn)健。

通過“推理引導記憶”的模式，TIM有效抵御干擾物污染，在長時間遮擋后仍能快速重新識別目標。

實驗驗證

團隊在EVT-Bench、Gym-UnrealCV兩大基準，以及三大真實場景中對TrackVLA++進行了全面驗證，結果亮點十足。

配圖3：論文Fig.4 仿真實驗可視化圖） 插入位置：3.1仿真基準部分開頭 配圖說明：展示TrackVLA++在EVT-Bench不同子任務（STT/DT/AT）和UnrealCV場景中的跟蹤效果，紅色區(qū)域標記Polar-CoT預測的目標位置，直觀體現(xiàn)模型在遮擋、干擾下的精準定位能力。

仿真基準

在EVT-Bench（復雜室內(nèi)場景，含大量干擾物）中，TrackVLA++表現(xiàn)突出：

• 干擾跟蹤（DT）任務：多視圖成功率（SR）達74.0%，較前作NavFoM提升12%，單視圖提升5.1%；

• 單目標跟蹤（STT）：多視圖SR達90.9%，碰撞率（CR）僅1.50%，平衡跟蹤精度與安全性；

• 零樣本泛化：在Gym-UnrealCV的未知環(huán)境中，干擾物任務 episode長度（EL）達484，成功率（SR）0.92，超越TrackVLA等現(xiàn)有模型。

在視覺識別能力上，TrackVLA++在SYNTH-PEDES零樣本人物識別任務中準確率達87.5%，較SoM+GPT-4o提升5.1%，且推理速度達4.8 FPS，是GPT-based方法的48倍，兼顧精度與實時性。

仿真實驗可視化結果。TrackVLA++ 在遮擋和干擾條件下表現(xiàn)優(yōu)異。左上角小圖展示了 Polar-CoT 的預測結果，紅色區(qū)域表示預測的目標位置；為簡潔起見，EVT-Bench 上的可視化結果僅截取了前方扇區(qū)。放大查看可獲得更佳視覺效果。

團隊在Unitree GO2四足機器人上部署TrackVLA++（配備4個多視圖相機），在三大核心場景中驗證：

1. 障礙遮擋：目標被大型障礙物臨時遮擋，成功率較TrackVLA提升14%；

2. 蜿蜒路徑：目標沿復雜軌跡移動，跟蹤保真度提升7%；

3. 相似干擾物：存在視覺相似的人類干擾者，識別穩(wěn)健性提升17%。

真實世界實驗結果圖：左側展示三大真實場景（障礙遮擋、蜿蜒路徑、相似干擾物）的跟蹤過程，右側柱狀圖對比TrackVLA++與TrackVLA的成功率。

通過 ablation 實驗（EVT-Bench DT多視圖場景），明確兩大模塊的貢獻：

• 僅移除Polar-CoT：成功率下降6.0%，證明空間推理對定位精度的關鍵作用；

• 僅移除TIM：成功率下降2.8%，驗證長時記憶對遮擋場景的支撐價值；

• TIM token數(shù)量從4增至16：性能無明顯提升，印證輕量化設計的合理性。

TrackVLA++的核心優(yōu)勢的在于精準+高效+泛化 三者兼?zhèn)洌?/p>

• 精準性：Polar-CoT的空間推理+TIM的置信門控記憶，解決遮擋、干擾、記憶漂移三大痛點；

• 高效性：推理token緊湊設計+輕量化記憶，推理速度達4.8 FPS，滿足實時跟蹤需求；

• 泛化性：零樣本性能優(yōu)異，無需針對新場景重新訓練，適配真實世界的動態(tài)變化。

這些特性使其在多個領域具備落地潛力：

• 服務機器人：商場、機場的引導與陪伴，精準跟隨目標并規(guī)避干擾；

• 工業(yè)場景：車間內(nèi)跟蹤特定設備或工作人員，完成巡檢、輔助任務；

• 安防監(jiān)控：動態(tài)鎖定可疑目標，即便短暫遮擋也能持續(xù)追蹤。

TrackVLA++通過Polar-CoT極坐標推理和TIM置信門控記憶兩大創(chuàng)新，首次將顯式空間推理與長時目標記憶融入VLA模型，徹底解決了具身視覺跟蹤的核心痛點。實驗證明，該模型在仿真基準中刷新SOTA，在真實場景中展現(xiàn)出強穩(wěn)健性，為具身機器人的精準跟蹤提供了全新技術路徑。

未來，團隊可進一步探索多目標跟蹤、動態(tài)環(huán)境自適應等方向，推動EVT技術在更復雜場景中落地。對于機器人研發(fā)者而言，TrackVLA++的模塊化設計也具備極高的參考價值，為后續(xù)模型優(yōu)化提供了清晰思路。