JanusVLN通過(guò)雙重隱式記憶解耦語(yǔ)義與空間，實(shí)現(xiàn)高效視覺(jué)語(yǔ)言導(dǎo)航。

01

引言

視覺(jué)-語(yǔ)言導(dǎo)航（Vision-and-Language Navigation, VLN）作為具身智能的關(guān)鍵研究領(lǐng)域，旨在賦予智能體根據(jù)自然語(yǔ)言指令在未知三維環(huán)境中導(dǎo)航的能力。近期，多模態(tài)大語(yǔ)言模型（MLLM）憑借其卓越的語(yǔ)義理解與推理能力，極大地推動(dòng)了VLN領(lǐng)域的發(fā)展。然而，當(dāng)前主流方法普遍依賴(lài)于構(gòu)建**顯式記憶**（如文本拓?fù)涞貓D或存儲(chǔ)歷史圖像序列），這一范式面臨三大核心挑戰(zhàn)：

1. 空間信息損失：基于文本的記憶難以精確表征復(fù)雜的空間幾何關(guān)系。

2. 計(jì)算效率低下：重復(fù)處理歷史觀測(cè)數(shù)據(jù)導(dǎo)致巨大的計(jì)算冗余與推理延遲。

3. 記憶無(wú)限膨脹：記憶體積隨導(dǎo)航步數(shù)線性增長(zhǎng)，阻礙了模型在長(zhǎng)時(shí)序任務(wù)中的有效信息提取。

更根本的矛盾在于，現(xiàn)有模型大多沿用為2D圖文任務(wù)設(shè)計(jì)的視覺(jué)編碼器，未能充分利用RGB圖像中蘊(yùn)含的豐富3D空間線索（如透視、遮擋），從根本上限制了其三維空間感知能力。為突破這些瓶頸，我們從人類(lèi)認(rèn)知科學(xué)中獲得啟發(fā)——人腦在導(dǎo)航時(shí)，左右半球分別處理語(yǔ)義與空間信息，并形成高效的隱式表征。

基于此，我們提出了一種全新的VLN框架——JanusVLN。該框架首次引入雙重隱式神經(jīng)記憶（Dual Implicit Neural Memory），將視覺(jué)語(yǔ)義與空間幾何信息解耦，并將其建模為兩個(gè)獨(dú)立的、緊湊的、固定大小的神經(jīng)表征(neural representation)。JanusVLN僅需單目RGB視頻流，便能賦予模型強(qiáng)大的3D空間推理能力，并通過(guò)高效的增量式更新機(jī)制，在實(shí)現(xiàn)卓越性能的同時(shí)，顯著降低了計(jì)算開(kāi)銷(xiāo)。

論文標(biāo)題：JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation

論文鏈接：https://arxiv.org/abs/2509.22548

項(xiàng)目主頁(yè)：https://miv-xjtu.github.io/JanusVLN.github.io/

代碼地址：https://github.com/MIV-XJTU/JanusVLN

02

JanusVLN：雙重隱式記憶框架

JanusVLN的核心創(chuàng)新在于其雙重隱式記憶框架，它將導(dǎo)航記憶從顯式、高維的原始數(shù)據(jù)，轉(zhuǎn)變?yōu)殡[式、緊湊的神經(jīng)網(wǎng)絡(luò)內(nèi)部表征。

核心設(shè)計(jì)理念

1.**解耦的視覺(jué)感知：語(yǔ)義與空間**

為實(shí)現(xiàn)全面的環(huán)境理解，JanusVLN采用雙編碼器架構(gòu)，分別處理“是什么”（語(yǔ)義）與“在哪里”（空間）的問(wèn)題：

- **2D視覺(jué)語(yǔ)義編碼器**：采用Qwen2.5-VL的視覺(jué)編碼器，提取圖像中的高級(jí)語(yǔ)義特征。

- **3D空間幾何編碼器**：引入預(yù)訓(xùn)練的3D視覺(jué)幾何基礎(chǔ)模型（VGGT），僅從RGB視頻中便可推斷出蘊(yùn)含深度、遮擋等豐富3D結(jié)構(gòu)的幾何特征，賦予模型無(wú)需昂貴深度傳感器的3D感知能力。

2.**雙重隱式神經(jīng)記憶：以KV緩存為載體**

我們創(chuàng)新地將神經(jīng)網(wǎng)絡(luò)注意力模塊的鍵值對(duì)（Key-Value, KV）緩存作為記憶的載體。這種經(jīng)網(wǎng)絡(luò)深度處理的KV對(duì)是環(huán)境信息的高度抽象和濃縮，構(gòu)成了緊湊且高效的隱式記憶。JanusVLN分別為語(yǔ)義與空間編碼器維護(hù)獨(dú)立的KV緩存，形成了互補(bǔ)的雙重記憶。

3.**高效的混合增量更新**

為維持記憶的固定大小并兼顧全局與局部信息，我們?cè)O(shè)計(jì)了一種混合緩存更新策略：

- **滑動(dòng)窗口**：緩存最近幾幀的KV，確保對(duì)即時(shí)環(huán)境的敏銳感知。

- **初始窗口**：永久保留任務(wù)初始幾幀的KV。研究表明，這些初始幀如同“注意力接收器”，為長(zhǎng)期任務(wù)提供關(guān)鍵的全局錨點(diǎn)。

該機(jī)制使得模型在每一步僅需處理當(dāng)前幀，并通過(guò)與固定大小的隱式記憶交互來(lái)復(fù)用歷史信息，徹底避免了對(duì)歷史幀的重復(fù)計(jì)算，從而解決了記憶膨脹問(wèn)題并大幅提升了推理效率。

03

實(shí)驗(yàn)驗(yàn)證

1.定量性能對(duì)比

我們?cè)跈?quán)威的VLN-CE基準(zhǔn)上進(jìn)行了全面評(píng)估。實(shí)驗(yàn)結(jié)果表明，JanusVLN在各項(xiàng)指標(biāo)上均取得了SOTA性能。

- **超越SOTA方法**：與同樣僅使用RGB輸入的SOTA方法（如NaVILA, StreamVLN）相比，JanusVLN在成功率（SR）上取得了**3.6至10.8個(gè)點(diǎn)**的顯著提升，且使用了更少的外部訓(xùn)練數(shù)據(jù)，驗(yàn)證了雙重隱式記憶范式的優(yōu)越性。

- **超越多模態(tài)輸入方法**：相較于依賴(lài)全景圖、深度圖等昂貴多模態(tài)輸入的方法，JanusVLN僅憑單目RGB輸入，便在SR指標(biāo)上實(shí)現(xiàn)了**10.5至35.5個(gè)點(diǎn)**的巨大優(yōu)勢(shì)。

- **強(qiáng)大的泛化能力**：在更具挑戰(zhàn)性的多語(yǔ)言RxR-CE數(shù)據(jù)集上，JanusVLN同樣刷新了SOTA記錄，展現(xiàn)了其卓越的泛化性能。

2.計(jì)算效率優(yōu)勢(shì)

*圖3：隨著序列長(zhǎng)度增加，JanusVLN（Cached Memory）與基線方法（VGGT）的單幀推理時(shí)間對(duì)比*

如圖所示，JanusVLN的增量式更新機(jī)制使其推理時(shí)間幾乎不受導(dǎo)航步數(shù)影響，而VGGT由于需要重復(fù)處理整個(gè)序列，其計(jì)算成本呈指數(shù)級(jí)增長(zhǎng)。這證明了JanusVLN在實(shí)現(xiàn)長(zhǎng)時(shí)序?qū)Ш椒矫娴木薮鬂摿Α?/p>

3.空間推理能力定性分析

我們選取了幾個(gè)對(duì)空間理解要求極高的導(dǎo)航任務(wù)，例如：

- **深度感知**（定位到“最遠(yuǎn)的”黃色凳子）

- **相對(duì)方位理解**（停在盆栽“旁邊”而非“前方”）

- **空間關(guān)聯(lián)推理**（找到橙色柜子“旁邊”的凳子）

實(shí)驗(yàn)表明，得益于空間幾何記憶提供的3D感知能力，JanusVLN能夠準(zhǔn)確理解這些復(fù)雜的空間指令，并成功完成任務(wù)，而這正是傳統(tǒng)VLN模型面臨的主要挑戰(zhàn)。

04

總結(jié)與展望

本文提出的**JanusVLN**框架，通過(guò)引入開(kāi)創(chuàng)性的**雙重隱式神經(jīng)記憶**，成功將視覺(jué)語(yǔ)義與空間幾何信息解耦，從根本上解決了傳統(tǒng)VLN方法在記憶機(jī)制上的核心瓶頸。該框架不僅實(shí)現(xiàn)了僅依靠RGB輸入進(jìn)行精確的3D空間感知，還通過(guò)高效的增量式更新大幅提升了計(jì)算效率。

全面的實(shí)驗(yàn)結(jié)果驗(yàn)證了JanusVLN的卓越性能與泛化能力。我們相信，這項(xiàng)工作將推動(dòng)VLN研究從“2D語(yǔ)義主導(dǎo)”的范式，邁向“3D空間與語(yǔ)義協(xié)同”的新階段，為構(gòu)建下一代具備高級(jí)空間認(rèn)知能力的具身智能體鋪平了道路。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。