哈嘍，大家好，今天小墨這篇評論，主要來分析吳琦團(tuán)隊(duì)如何用VLNVerse平臺，給機(jī)器人裝上"空間大腦"，讓AI真正學(xué)會看路走路

今年年初，吳琦在接受采訪時(shí)透露團(tuán)隊(duì)正在秘密打造一個(gè)全棧式平臺，這個(gè)消息在圈內(nèi)引發(fā)了不少猜測。

如今年底將至，這個(gè)被稱為VLNVerse的"具身導(dǎo)航宇宙"正式亮相，從場景生成到真機(jī)部署，一次性解決了困擾行業(yè)多年的難題。

很多人以為導(dǎo)航就是簡單的路徑規(guī)劃，但實(shí)際情況遠(yuǎn)比想象復(fù)雜。具身智能導(dǎo)航要解決的，是讓一個(gè)有物理身體的智能體，能看、能聽、能想、還能動(dòng)。這里的身體不只是機(jī)器人，也可以是無人機(jī)、無人車，甚至是掃地機(jī)器人。

吳琦團(tuán)隊(duì)在研究中發(fā)現(xiàn)，導(dǎo)航的本質(zhì)其實(shí)是重感知和推理，而不是重執(zhí)行。和抓取物體需要精細(xì)控制不同，導(dǎo)航面對的是復(fù)雜多變的空間環(huán)境，物體種類位置千差萬別，真正的難點(diǎn)在于理解空間、識別物體、推理目的地位置。

至于怎么走到目標(biāo)點(diǎn)，在現(xiàn)有機(jī)器人技術(shù)中已經(jīng)相對成熟了。

這就帶來一個(gè)問題，過去七年里，VLN領(lǐng)域的任務(wù)和數(shù)據(jù)非常碎片化。有的任務(wù)只給一個(gè)物體名稱讓機(jī)器人去找，有的給出詳細(xì)的分步指令，還有的需要機(jī)器人主動(dòng)提問。

不同任務(wù)用不同的模擬器，訓(xùn)練出來的模型互不兼容，想要實(shí)際應(yīng)用就得在一個(gè)機(jī)器人上裝好幾套系統(tǒng)，這顯然不現(xiàn)實(shí)。

VLNVerse的核心思路是打通從真實(shí)世界到模擬環(huán)境，再回到真實(shí)世界的完整鏈條。這個(gè)平臺分成四個(gè)部分，每個(gè)部分都針對具體問題給出解決方案。

這些場景不只是好看，里面的柜子能開關(guān)，物體能移動(dòng)，每個(gè)東西都有質(zhì)量、摩擦系數(shù)這些物理屬性。系統(tǒng)會先用大語言模型理解用戶需求，構(gòu)建基礎(chǔ)場景圖，再通過KaleidoTree結(jié)構(gòu)生成多個(gè)候選方案，最后用可微優(yōu)化調(diào)整物體位置朝向，確保場景符合物理規(guī)律。

VLNVerse基于英偉達(dá)Isaac Sim構(gòu)建，提供了263個(gè)全新設(shè)計(jì)的高保真場景，每個(gè)場景都有獨(dú)立的拓?fù)浣Y(jié)構(gòu)和完整的語義標(biāo)注。更重要的是，團(tuán)隊(duì)設(shè)計(jì)了一套專門的API接口，讓研究人員不用糾結(jié)底層機(jī)器人控制細(xì)節(jié)，可以直接關(guān)注導(dǎo)航邏輯本身。

任務(wù)統(tǒng)一是這個(gè)平臺最大的創(chuàng)新點(diǎn)。過去不同粒度的導(dǎo)航任務(wù)各自為戰(zhàn)，VLNVerse首次在一個(gè)框架下定義了五大核心任務(wù)，從經(jīng)典的分步指令跟隨，到只給最終目標(biāo)的粗粒度導(dǎo)航，再到看圖找物的視覺參考導(dǎo)航，還有需要多階段規(guī)劃的長程導(dǎo)航，以及允許機(jī)器人主動(dòng)提問的對話式導(dǎo)航。

團(tuán)隊(duì)在ICCV上提出的SAME方法，用混合專家模型的方式，讓一套參數(shù)就能解決所有類型的導(dǎo)航任務(wù)，不再需要針對不同任務(wù)部署不同模型。

從模擬器到真實(shí)環(huán)境，還有不少坑要填。最直接的問題是視角高度差。人類給出指令時(shí)是按照1.7米左右的視角，但機(jī)器狗的視角只有0.3米，很多參照物根本看不到。比如指令里說"經(jīng)過足球桌"，機(jī)器狗只能看到桌腿，根本不知道那是什么。

團(tuán)隊(duì)在ICRA 2025上提出的multi-view transformer方案，讓低視角機(jī)器人能調(diào)取自己在其他位置獲得的視覺信息，補(bǔ)全當(dāng)前視角的缺失部分。這個(gè)思路其實(shí)很巧妙，就像人類會回憶之前看到的場景來理解當(dāng)前位置。

另一個(gè)難題是計(jì)算效率。VLN模型普遍比較大，很多還用到了大語言模型，目前大多數(shù)部署方式是機(jī)器人把數(shù)據(jù)傳回服務(wù)器計(jì)算，再把指令傳回來執(zhí)行，這就會造成延遲。

吳琦團(tuán)隊(duì)還和北大王鶴團(tuán)隊(duì)合作，開發(fā)了NavFoM這個(gè)跨本體的導(dǎo)航基座模型。同一個(gè)模型可以部署在機(jī)器人、機(jī)器狗、無人車和無人機(jī)上，不需要針對不同設(shè)備重新訓(xùn)練。這意味著一套算法能適配多種硬件平臺，大大降低了實(shí)際應(yīng)用的門檻。

VLNVerse的出現(xiàn)，讓機(jī)器人導(dǎo)航從碎片化的研究任務(wù)，變成了一個(gè)完整的技術(shù)體系。從場景生成到真機(jī)部署的全鏈條打通，讓具身智能導(dǎo)航真正有了落地的可能。

吳琦團(tuán)隊(duì)承諾會持續(xù)開源數(shù)據(jù)和工具，還會加入多智能體協(xié)作等新任務(wù)，這對整個(gè)行業(yè)來說都是好消息。

七年的積累終于迎來突破，接下來就看這些技術(shù)能在現(xiàn)實(shí)世界創(chuàng)造多少價(jià)值了。