告別碎片化！以全棧之姿，開啟具身導航的 2026 新篇章。

作者丨吳琦

【編者注】自 2018 年吳琦老師等人在CVPR發(fā)表第一篇 VLN（視覺-語言-導航）論文以來，這個領(lǐng)域已經(jīng)走過了七年。在今年初AI科技評論的“具身先鋒十人談”中，吳琦老師曾回顧 VLN 與 VLA 的前世今生，并指出：數(shù)據(jù)匱乏、物理仿真缺失以及跨本體部署的鴻溝，是制約具身導航向前的三大“大山”。彼時，吳老師還透露，團隊正在秘密打造一個全棧式平臺，引發(fā)了圈內(nèi)的無限遐想。

念念不忘，必有回響。 隨著 2025 年步入尾聲，吳琦老師帶著他的深度思考與誠意之作正式回歸。

在這篇文章中，吳琦老師正式推出了他在前一篇訪談中提及的那個“全棧夢”——VLNVerse，回顧并重構(gòu)了 VLN 的版圖。他指出，導航的本質(zhì)是重感知與推理，而這正是模擬器的天下。針對目前領(lǐng)域內(nèi)任務碎片化、實機部署難、sim2real 差距大等痛點，吳琦團隊祭出了 2025 年的重磅賀禮——VLNVerse。這是一個涵蓋了從場景生成（InteriorAnything）、高保真物理模擬（Isaac Sim 驅(qū)動）、五大統(tǒng)一任務基準，到跨本體通用模型（NavFoM）的全棧式“具身導航宇宙”。

從 InteriorAnything 的無限場景生成，到解決機器狗低視角難題的 Multi-view Transformer，吳老師團隊不僅補全了此前未曾展開的技術(shù)版圖，更在歲末之際，為 VLN 向 Embodied VLN 的跨越畫上了圓滿的句號。

舊歲將盡，萬象更新。讓我們隨吳琦老師一起，走進這個打通 Real2Sim2Real 的具身導航新紀元。

01
具身智能導航到底要解決什么？

要想理解具身智能導航是什么以及要解決什么就要先理解具身智能是什么。大家現(xiàn)在都在聊具身智能，但是到底什么是具身智能，很多人的概念其實還是很模糊，甚至單純的把具身智能和機器人劃等號，這是一種很錯誤的理解。具身智能分為兩個詞，一個‘具身’，一個‘智能’。先說‘智能’，我認為廣義上的智能就是指一個‘智能體’能‘看’，能‘聽’， 會‘說’，愛‘思考’還能‘動’。而‘具身’ （embodied）的含義，其實就是‘賦予身體’的意思，那么具身智能的概念便非常清晰了，就是給一個‘智能體’賦予一副‘身體’，而這個身體，可以是多種形態(tài)的，不一定非得是機器‘人’這么狹義的一個物理容器。

CVPR 2024 Embodied AI workshop上關(guān)于Embodied AI的定義

理解了具身智能的概念，具身智能導航要研究的問題就呼之欲出 -----一個具有物理本體（不限于機器人，無人機，無人車）的智能體能夠依靠自身‘視覺’理解能力，‘聽從’人類語言指令，依靠空間‘推理’，在真實環(huán)境中完成‘導航’任務，并且在需要的情況下和人類或其他智能體進行‘交流’。看、說、聽、想、動再加個本體，這就是具身智能導航，就是我們今天要解決的問題的本質(zhì)，缺一不可。

那么，視覺語言導航（VLN）呢？VLN又是研究什么的？其實，VLN研究的就是在拋開‘本體’的情況下的智能體的看、說、聽、想、動（導航）的能力。所以早期甚至現(xiàn)在很多的VLN工作，都是只在simulator中進行的。我并不認為這有什么問題，因為很顯然，即使是在simulation的環(huán)境下，這些任務也都沒有被很好的解決。真正對VLN工作了解過的，也不會相信 ‘導航’是一個簡單，甚至是已經(jīng)被‘解決’的任務。不然，也不會有了‘空間智能’這個衍生的方向。

Peter Anderson，吳琦等人在CVPR 2018年首先提出了VLN這個任務

02
大道之爭，模擬 or 真機？

在今年的各個論壇和場合中，大家都會有一個爭論，就是具身智能到底應該走模擬數(shù)據(jù)路線，還是應該走真機收集數(shù)據(jù)路線。真機派認為模擬數(shù)據(jù)以及模擬器中訓練出的模型始終和實際環(huán)境存在非常大sim2real gap，模擬器中再好的模型，放在真機上，真實環(huán)境中，往往成功率偏低。二模擬派認為真機數(shù)據(jù)獲取難度大，多樣性不夠，訓練費時費力，而且換個主機或者環(huán)境，訓練的模型也不一定能遷移的過去。

關(guān)于這個問題，我也思考過很多次，但是以我目前的理解和經(jīng)驗，不敢妄言哪個流派是對的，是‘大道’。但是，如果僅僅是放在具身導航這個領(lǐng)域內(nèi)，這個爭論，也許就不那么難解決了。我們都知道，目前具身智能主要分上半身和下半身，上半身抓?。╩anipulation），下半身移動（locomotion），而這兩個方向其實都遵循一個工作流，就是 ‘感知，推理，執(zhí)行’。

我認為（也許不一定對），manipulation應該重‘執(zhí)行’，而輕‘感知和推理’，因為manipulation面對的操作環(huán)境不會特別復雜，甚至單一物體場景居多，那么相對來說對感知，理解，推理的要求會低一些，難點在于‘抓取和操作’本身，需要細粒度的控制信號。而這些控制信號，從真人演示，真機操作上可以獲得很好很精準的數(shù)據(jù)，所以manipulation可能更傾向于真機派。

而我們反觀locomotion，或者說navigation，其實真正的難點在于工作流的前端，‘感知和推理’。因為導航所要面對的環(huán)境是一個空間環(huán)境，而空間中的物體種類，位置千差萬別，這就需要我們對空間理解，物理識別，語義理解有足夠強的能力去拆解環(huán)境，推理出目的地的位置。而本體如何走到推理出的目標點位置，其實在目前的機器人領(lǐng)域，已經(jīng)是解決的比較成熟的問題了。所以從研究的角度，我們可以說navigation其實是一個重‘感知推理’，而輕‘執(zhí)行’的課題。而感知推理，空間理解，并不需要太多的真機數(shù)據(jù)和真人演示，simulator中模擬出的數(shù)據(jù)，只要仿真度夠高，就可以訓練出這些能力，尤其在數(shù)據(jù)多樣性方面，模擬數(shù)據(jù)有天然的優(yōu)勢。所以可以說，單純的從具身智能導航這個方向來看，我是妥妥的‘模擬派’。

既然信奉了‘模擬派’，那么我接下來思考的一個問題，就變成了‘如何打造一個足夠好的模擬平臺’去打通所有的VLN任務，以及最小化仿真與真實環(huán)境和本體的差距。于是，過去一年，我們從各角度發(fā)力，打造了一個全棧式’的Real to Sim to Real的Embodied VLN平臺，VLNVerse。

1. VLNVerse，全棧式Real 2 Sim 2 Real 具身視覺語言導航宇宙

何為全棧式？我認為的全棧式，應該是一個包含仿真環(huán)境生成（real2sim），具備物理仿真的模擬器（simulator），多種類和級別的任務數(shù)據(jù)（data and benchmark），端到端的VLA/VLN模型 （model）以及跨本體的真機部署（sim2real）。

VLNVerse，全棧式Real 2 Sim 2 Real 具身視覺語言導航宇宙

我們又將這個全棧式的Real 2 Sim 2 Real宇宙分成了四個子宇宙，接下來給大家逐個介紹。

（1）宇宙一：Real to Sim

從構(gòu)建訓練平臺的角度，這里的real to sim不是單純意義上的數(shù)字孿生（Digital Twin），換句話說，像Mattport3D那樣單純的將真實環(huán)境掃描成點云或者模擬數(shù)據(jù)在模擬器中使用并不是我們所追求的。我們希望看到的是一個能夠接受各種模態(tài)輸入，然后可以生成無限個符合用戶描述，但又具備一定隨機性的3D環(huán)境。輸入的模態(tài)可以是描述房間的文本，圖像，視頻，甚至是房間的設(shè)計草圖等，而輸出的3D環(huán)境需要足夠真實（渲染，物理仿真），可編輯，可交互，又有足夠的多樣性。

VLNVerse中的real to sim

針對這個需求，在和群核科技（酷家樂）的合作下，我們提出了一個InteriorAnything的工作，能夠基于各種模態(tài)的輸入，生成符合要求的3D場景。

InteriorAnything 框架

如圖中所示，我們的方法首先接收文本、圖像、視頻和三維點云等多模態(tài)輸入 （一種或多種），綜合獲取場景語義與空間信息。隨后在第一階段利用大語言模型與視覺語言模型結(jié)合三維定位技術(shù)解析輸入內(nèi)容，自動識別場景中的對象及其空間關(guān)系，并構(gòu)建基礎(chǔ)場景圖，這個基礎(chǔ)圖保證了后面生成的內(nèi)容能與用戶需求一致。第二階段基于KaleidoTree（萬花筒樹） 結(jié)構(gòu)對場景圖進行增強與擴展，通過子結(jié)構(gòu)替換與組合生成多種候選場景圖以提升多樣性與魯棒性。在第三階段，方法將增強后的場景圖轉(zhuǎn)化為三維布局，并通過可微優(yōu)化將“相鄰、支撐、面對”等語義關(guān)系約束為幾何約束，從而自動調(diào)整物體的位置、朝向和尺度，篩除不合理的布局。最后在第四階段對生成的三維場景進行細化與修正，進一步優(yōu)化局部結(jié)構(gòu)與視覺細節(jié)，提升整體真實感與一致性?？傮w而言，我們這個方法實現(xiàn)了從非結(jié)構(gòu)化多模態(tài)輸入到結(jié)構(gòu)化三維場景生成與精修的端到端流程，兼顧語義理解、結(jié)構(gòu)推理與幾何優(yōu)化。

值得一提的是，我們這個工作中采用的是Retrieval的方式去從一個龐大的3D資產(chǎn)庫中找到最接近用戶描述的部件，再進行組合。這樣做的好處是場景中每個物體（部件）都是可交互的，比如柜子，抽屜，門，都可以打開或者關(guān)閉，物體可以移動等等。

（2）宇宙二：VLNVerse Simulator

VLN早期的simulator主要有兩個，一個是當時和我們VLN R2R數(shù)據(jù)一起發(fā)布的MP3D simulator，還有一個是由Meta開發(fā)的Habitat。 MP3D的問題自不必說，采用的是靜態(tài)圖片的形式，也就是所謂的‘離散’環(huán)境，agent采用ghost-like的移動方式，某些情況下甚至可以穿越障礙物，不考慮碰撞，更談不上和物體交互。Habitat由離散環(huán)境跨越到了連續(xù)環(huán)境，但是依然要面對場景不夠真實，物理仿真不到位等問題。而最近一些基于 Isaac Sim 的新工作，實際上只是將舊的 Matterport3D (R2R) 或 Habitat 場景進行了格式轉(zhuǎn)換 。

我們近期剛剛發(fā)布的VLNVerse Simulator （https://arxiv.org/abs/2512.19021）基于 NVIDIA Isaac Sim 構(gòu)建，包含 263 個高保真物理場景，并且統(tǒng)一了 細粒度 (Fine-grained)、粗粒度 (Coarse-grained)、視覺參考 (Visual-Reference)、長程 (Long-Horizon) 及對話式 (Dialogue-based) 五大導航任務。

VLNVerse Simulator分成了環(huán)境層，模擬層以及任務&數(shù)據(jù)層

在環(huán)境層，我們提供了263 個全新構(gòu)建的、具有獨立拓撲結(jié)構(gòu)的 USD (Universal Scene Description) 場景 ，這不僅僅是視覺上的高保真，更是拓撲結(jié)構(gòu)上的全新設(shè)計，打破了場景數(shù)據(jù)的停滯局面。每個場景中的物體均可移動，交互。物體的物理屬性，比如質(zhì)量，摩擦系數(shù)，反光系數(shù)也都有提供。除此之外，我們還提供了詳細的拓撲和語義標注，以及occupancy map。

VLNVerse Simulator中提供的新場景數(shù)據(jù)

在模擬層，我們基于 NVIDIA Isaac Sim 構(gòu)建該層，利用其高保真渲染與強大的物理引擎，但我們的主要貢獻并非仿真引擎本身，而是專門為 VLN 設(shè)計的高層抽象 API。該 API 具備三項關(guān)鍵能力：無縫地將物理仿真能力集成到 VLN 工作流中，通過標準化接口抽象復雜的機器人控制同時保持物理真實感，以及對不同機器人形態(tài)與多類傳感器的通用兼容性。借助這一設(shè)計，我們可以無需再處理繁瑣的底層機器人細節(jié)，可以專注于高層導航與交互邏輯。我們的模擬層在具身性、控制與感知三方面體現(xiàn)核心設(shè)計思想：在具身性上，我們提供可參數(shù)化的智能體建模接口，可靈活設(shè)定智能體的物理尺寸與運動學屬性，從而滿足碰撞、動量等真實物理約束并支持從仿真到現(xiàn)實的遷移；在控制上，我們提供統(tǒng)一的物理感知控制接口，實現(xiàn)連續(xù)、真實的運動與相機控制；在感知上，我們提供模塊化傳感器平臺，使用戶能夠靈活配置 RGB、深度、LiDAR 等多種傳感器及其采樣頻率、分辨率與視場角，以滿足不同研究任務對觀測與感知的需求。

VLNVerse Simulator

在任務數(shù)據(jù)層，以往的 VLN 研究往往“各自為戰(zhàn)”，有的只做指令跟隨，有的只做目標尋找。VLNVerse 首次在一個統(tǒng)一的框架下，定義并支持了 5 大核心任務，解決了任務碎片化的問題 ：

1. 細粒度導航 (Fine-grained)：經(jīng)典的 R2R 風格，一步一指令 。

2. 粗粒度導航 (Coarse-grained)：目標導向，只給出最終目標描述 。

3. 視覺參考導航 (Visual-Reference)：不再只靠語言，“看圖找物” 。

4. 長程導航 (Long-Horizon)：多階段連續(xù)導航，考驗長期規(guī)劃能力 。

5. 對話式導航 (Dialogue-based)：允許 Agent 向 Oracle 提問，通過交互解決歧義 。

作為一個全面的 Benchmark，我們不僅僅是“跑個分”。VLNVerse系統(tǒng)地評測了當前 VLN 領(lǐng)域的代表性方法，旨在揭示物理仿真環(huán)境下的真實性能差距。

• 物理世界的殘酷考驗：許多在傳統(tǒng)數(shù)據(jù)集上表現(xiàn)優(yōu)異的經(jīng)典方法 (Seq2Seq, CMA)，在 VLNVerse 中由于無法處理物理碰撞，性能大幅下降。

• 大模型的“滑鐵盧”：未針對物理環(huán)境優(yōu)化的 LLM Agent （如Qwen-VL） 在嚴格模式下碰撞頻發(fā)，任務失敗率極高，證明了單純的邏輯推理無法替代物理感知 。

（3）宇宙三：Universal VLN Foundational Models

有了好的場景數(shù)據(jù)，Simulator以及一個全面的Benchmark，接下來就是考慮形成一個統(tǒng)一的模型去解決所有的視覺語言導航任務。

如上圖所示，之前的VLN發(fā)展，無論從數(shù)據(jù)層面還是方法層面，都非常的‘碎片化’。從任務的角度來看，有不同‘粒度’的指令，比如只有‘物體’來作為指令的object-navigation，也有非常細粒度的R2R，RxR甚至是對話式的VLN 任務，更麻煩的是，不同的任務數(shù)據(jù)可能是在不同的simulator中形成的，這大大的增加了訓練一個統(tǒng)一模型的難度。所以早期的方法是task-specific，即針對單一任務，設(shè)計并訓練單獨的模型。就導致雖然都是VLN任務，但是不同粒度任務的模型架構(gòu)都不一樣。后來引入‘預訓練’的機制，會預訓練一個統(tǒng)一的‘大’模型，然后再在各個VLN任務上微調(diào)。形成的格局就是雖然模型架構(gòu)一樣，但是不同任務之間的模型參數(shù)是不一樣的。

這就給實機部署和應用帶來了很大的難度，因為我們在實際使用的時候，給定的指令的粒度并不是固定的，那么就需要在同一個本體上，部署多個VLN模型，每個模型解決不同粒度的任務。而我們真正需要的，應該是一個統(tǒng)一的模型，只有一套參數(shù)，來解決不同粒度的視覺語言導航任務。也許有人會問，那么把所有VLN任務數(shù)據(jù)拿來訓練一個模型不就可以了么？理論上可行，但是由于很多任務之間的互斥性，這樣訓練出來的模型結(jié)果并不好。

我們在今年的ICCV上，就提出了一個叫SAME （State-Adaptive Mixture of Experts， https://arxiv.org/abs/2412.05552）的方法，用MoE的方式去解決這個問題，并取得了不錯的結(jié)果。這是因為傳統(tǒng)的 MoE 往往是 Token 級別的，而 SAME 引入了 時間維度的路由機制。根據(jù)導航過程中的不同階段（狀態(tài)），動態(tài)選擇最合適的專家網(wǎng)絡。

SAME在各個VLN任務上的表現(xiàn) （單一模型參數(shù)解決所有類型任務）

除了任務的統(tǒng)一，最近，和北大王鶴老師團隊合作，我們還嘗試了用一個統(tǒng)一的模型去解決跨本體（機器人，機器狗，無人車，無人機）的視覺語言導航任務。文章叫NavFom: Embodied Navigation Foundation Model ，大家感興趣可以到https://pku-epic.github.io/NavFoM-Web/ 看相關(guān)的細節(jié)和demo。（https://arxiv.org/abs/2509.12129）

（4）宇宙四：Sim to Real

有了一個統(tǒng)一的模型，接下來就是部署的問題，如何將模型部署在實機上，那么我們要解決的一大難題就是sim2real。

首先要面對的問題就是open-world的domain shift問題，現(xiàn)實場景中的很多物體，環(huán)境或者是用戶需求，很有可能是在simulator訓練中沒有見過的。一種思路就是利用大語言模型（LLM）去拆解任務和理解場景，結(jié)構(gòu)成一個個在simulator中訓練的模型可理解可執(zhí)行的任務。我們在ICRA 2025上提出一個Open-Nav （https://arxiv.org/abs/2409.18794），就是試圖利用LLM解決真機在open-world遇到的問題。

Open-Nav Pipeline

另外一個sim2real的挑戰(zhàn)來自于物理設(shè)備的限制，比如機器狗和人的視角高度差問題。在VLN當中，指令一般是由人類給出的，也就是說，是人類根據(jù)自己的視角高度來給出指令，這個高度在1.7m左右。而假設(shè)執(zhí)行該指令的是機器狗，那個高度可能在0.3m左右，很多人類指令中所描述的參照物，對于機器狗來說，可能甚至觀測不到，比如下圖中的例子，一個關(guān)鍵的參照物是足球桌，而對于機器狗來說，在當前視角下，只能觀測到桌子的腿。如果只靠當前信息，就無法完成該任務。

在ICRA 2025 上，我們提出了一個multi-view transformer（https://arxiv.org/abs/2502.19024）的方案，依靠調(diào)取低視角機器人（比如機器狗，掃地機器人等）在其他位置獲得的相關(guān)視覺信息，來補全當前視角，完成導航。

除此之外，sim2real的另外一個難點就是計算效率的問題。由于VLN使用的模型較大（大部分給予transformer），有些也使用了LLM等大語言模型， 目前大部分的部署和實現(xiàn)方式都是機器人傳感器獲得信息，傳回給server，在server端完成計算和推理，再將預測的動作指令傳回給機器人執(zhí)行，這自然就會造成一定程度的延遲。所以減少模型大小，提升模型計算效率，就成為一個必須要解決的問題。

今年（2025）的ICRABest paper Final List， MiniVLN （https://arxiv.org/abs/2409.18800）就提出了用蒸餾的方式，大大的降低了模型的大小，在ScaleVLN僅1/7的大小下，達到了相同的準確率。

而像Fast-SmartWay ，則通過減少獲取全景圖的方式，來起到加速的效果。（https://arxiv.org/abs/2511.00933）

04

總結(jié)與展望

視覺語言導航（VLN）起始于2018年，到現(xiàn)在已是‘七年之癢’，很多設(shè)計和任務可能已經(jīng)不再適合今天的方法和需求。比如我們當時設(shè)計這個任務時，初衷是解決視覺與語言對齊的問題的，所以對動作的輸出上并沒有很好的進行設(shè)計，也使得和真實應用場景有了一定的gap。隨著這幾年的發(fā)展，尤其是具身智能的興起，新的數(shù)據(jù)和任務層出不窮，無論學術(shù)界還是業(yè)界，都對VLN這個任務越來越關(guān)注。但是正如我前面所說，VLN 在模擬器，任務，數(shù)據(jù)和方法上的過度碎片化，導致一直無法出現(xiàn)一個統(tǒng)一的模型出現(xiàn)，離落地更是還有一段距離。所以在2025年的年初，我們團隊就著手開始打造一個全棧式的視覺語言導航平臺，從數(shù)據(jù)生成，數(shù)據(jù)收集，任務定義，到仿真模擬和基座模型，再到跨本體的部署，全棧打通，統(tǒng)一但是又能高度定制。終于在新年來到前，VLNVerse和大家見面，希望能夠真正的服務VLN 社區(qū)。除了整個平臺以及訓練/驗證集數(shù)據(jù)完全開源之外，我們后面也將提供測試平臺和leaderboard，供大家公平測試。我們后續(xù)還會陸續(xù)加入Mobile Manipulation，Multi-agent VLN等新任務，使用相同的VLNVerse平臺。而我們于2018年提出的R2R，REVERIE的一系列數(shù)據(jù)，我們也將陸續(xù)把之前未公開的測試集開源，并停止testing server的維護。

舊的終將過去，新的總會到來。希望VLN跨越到Embodied VLN，在VLNVerse的加持下，越‘走’越好。

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。