InternVLA·N1基于『書生』具身全棧引擎Intern-Robotics構(gòu)建，實(shí)現(xiàn)了高層遠(yuǎn)距離目標(biāo)空間推理規(guī)劃和底層敏捷執(zhí)行的雙系統(tǒng)解耦。以純合成數(shù)據(jù)驅(qū)動(dòng)異步架構(gòu)的兩階段課程訓(xùn)練，讓InternVLA·N1不僅保留了更強(qiáng)的語義理解和長程指令跟隨能力，還可與高頻動(dòng)態(tài)避障策略有機(jī)融合。性能表現(xiàn)上，InternVLA·N1在6個(gè)主流基準(zhǔn)測(cè)試中的得分達(dá)到國際領(lǐng)先水平；實(shí)際應(yīng)用中，該模型可以60Hz的連續(xù)推理效率實(shí)現(xiàn)跨場(chǎng)景、跨本體的零樣本泛化。

論文標(biāo)題： InternVLA-N1: An Open Dual-System Vision-Language Navigation Foundation Model with Learned Latent Plans 技術(shù)報(bào)告： https://internrobotics.github.io/internvla-n1.github.io/static/pdfs/InternVLA_N1.pdf

項(xiàng)目主頁： https://internrobotics.github.io/internvla-n1.github.io/ 代碼 GitHub 鏈接： https://github.com/InternRobotics/InternNav

亮點(diǎn)速覽：

• 端到端雙系統(tǒng)導(dǎo)航大模型架構(gòu)：以最遠(yuǎn)可見像素目標(biāo)點(diǎn)作為導(dǎo)航大模型雙系統(tǒng)初始化訓(xùn)練的中間媒介，在聯(lián)調(diào)階段免除人為先驗(yàn)，引入可學(xué)習(xí)隱式規(guī)劃表征，異步聯(lián)調(diào)和推理實(shí)現(xiàn)雙系統(tǒng)聯(lián)合優(yōu)化和緊密協(xié)同。

• Intern-Robotics 開源全棧引擎底層支持：基于桃源仿真引擎和多源場(chǎng)景資產(chǎn)，以基于傳統(tǒng)優(yōu)化策略的軌跡合成和自動(dòng)化拆分標(biāo)注管線為核心構(gòu)建起數(shù)據(jù)引擎，形成目前場(chǎng)景最豐富的大規(guī)模導(dǎo)航數(shù)據(jù)集 InternData·N1；構(gòu)建訓(xùn)測(cè)工具鏈 InternNav 全流程支撐雙系統(tǒng)不同階段迭代需求，涵蓋傳統(tǒng)評(píng)測(cè) Habitat VLN-CE R2R/RxR 和基于 Isaac Sim 物理仿真評(píng)測(cè) VLN-PE 等。

• 純仿真訓(xùn)練，60Hz 異步推理真機(jī)零樣本泛化：InternVLA·N1 在大模型空間推理規(guī)劃（R2R-CE/RxR-CE）、泛化執(zhí)行避障（ClutteredEnv/InternScenes-100）、端到端全系統(tǒng)執(zhí)行（VLN-PE-Flash/VLN-PE）等6個(gè)主流基準(zhǔn)上領(lǐng)先；通過端到端從數(shù)據(jù)合成到真機(jī)部署的協(xié)同優(yōu)化，僅使用合成數(shù)據(jù)訓(xùn)練，真實(shí)場(chǎng)景部署即可實(shí)現(xiàn) 60Hz “跨樓宇長距離”聽令行走和密集障礙物間敏捷避障的絲滑融合。

圖1：InternVLA·N1 的主要特性展示：系統(tǒng)2長時(shí)序空間推理退化和系統(tǒng)1敏捷執(zhí)行的有機(jī)融合，在6個(gè)主流基準(zhǔn)上實(shí)現(xiàn)了3%-28%的性能提升創(chuàng)新雙系統(tǒng)架構(gòu)，實(shí)現(xiàn)長程空間推理與敏捷執(zhí)行有機(jī)融合

視覺語言導(dǎo)航是具身智能體基礎(chǔ)能力之一。受限于基準(zhǔn)的設(shè)置和有限的模型方法嘗試，當(dāng)前大部分工作采用大模型直接預(yù)測(cè)離散的動(dòng)作空間（向前，左轉(zhuǎn)15°，右轉(zhuǎn)15°，停止），忽略了大模型的長程推理規(guī)劃能力，同時(shí)限制了導(dǎo)航模型的移動(dòng)能力和執(zhí)行效率。

InternVLA·N1 則針對(duì)性設(shè)計(jì)了更加符合直覺的雙系統(tǒng)架構(gòu)：多模態(tài)大模型理解語言指令，并根據(jù)視覺觀測(cè)低頻地在圖像上預(yù)測(cè)下一步執(zhí)行的目標(biāo)像素；另有一個(gè)導(dǎo)航擴(kuò)散策略網(wǎng)絡(luò)給定目標(biāo)像素，負(fù)責(zé)高頻響應(yīng)敏捷避障并確保能夠準(zhǔn)確到達(dá)目標(biāo)點(diǎn)。其中，目標(biāo)像素作為連接雙系統(tǒng)的要點(diǎn)，如何自動(dòng)化標(biāo)注也影響了模型的預(yù)訓(xùn)練有效性?？紤]到不同規(guī)劃長度的歧義性，像素點(diǎn)的標(biāo)注在設(shè)計(jì)中統(tǒng)一設(shè)置為可視范圍內(nèi)能看到真值路徑上最遠(yuǎn)可達(dá)的點(diǎn)，當(dāng)這一點(diǎn)不存在于目標(biāo)視角時(shí)，會(huì)設(shè)置當(dāng)前行為為相應(yīng)轉(zhuǎn)向。

基于這種設(shè)置，雙系統(tǒng)大模型的訓(xùn)練共分兩個(gè)階段：

（1）預(yù)訓(xùn)練階段：多模態(tài)大模型（系統(tǒng)2）給定轉(zhuǎn)向/移動(dòng)到目標(biāo)像素的規(guī)劃拆解真值進(jìn)行監(jiān)督微調(diào)，導(dǎo)航擴(kuò)散策略（系統(tǒng)1）給定目標(biāo)像素和軌跡真值學(xué)習(xí)避障執(zhí)行到目標(biāo)點(diǎn)的移動(dòng)能力；

（2）聯(lián)合微調(diào)階段：固定多模態(tài)大模型，在系統(tǒng) 2 輸入側(cè)插入 learnable queries，讓系統(tǒng) 2 除了可以輸出顯式的語言和目標(biāo)外，額外生成 latent plans 作為 goal condition 傳至系統(tǒng) 1，以端到端的語言指令輸入-軌跡輸出作為監(jiān)督微調(diào)連接層和系統(tǒng)1，實(shí)現(xiàn)更優(yōu)的雙系統(tǒng)協(xié)作。

為了實(shí)現(xiàn)異步執(zhí)行的最優(yōu)效果，系統(tǒng)1可以給定同一個(gè)時(shí)刻的 latent plans 和不同時(shí)刻的觀測(cè)學(xué)習(xí)不同時(shí)刻的執(zhí)行策略，由此實(shí)現(xiàn)訓(xùn)練和推理時(shí)的一致性。值得一提的是，這種范式還可以進(jìn)一步延伸通過增加一個(gè)世界模型作為預(yù)測(cè)式解碼器進(jìn)行視頻生成預(yù)訓(xùn)練，利用海量的、無需人為先驗(yàn)引入標(biāo)注的真實(shí)視頻數(shù)據(jù)可擴(kuò)展地訓(xùn)練得到更好的 latent plans（實(shí)驗(yàn)發(fā)現(xiàn)可提升雙系統(tǒng)聯(lián)調(diào)效率50%），使得模型可以更好更快地適應(yīng)動(dòng)態(tài)環(huán)境，并實(shí)現(xiàn)真實(shí)環(huán)境的泛化。

圖2：InternVLA·N1 的端到端雙系統(tǒng)架構(gòu)構(gòu)建大規(guī)模多元場(chǎng)景導(dǎo)航數(shù)據(jù)集，Sim2Real 零樣本泛化

導(dǎo)航大模型的訓(xùn)練離不開高質(zhì)量多元化的場(chǎng)景數(shù)據(jù)和可擴(kuò)展的數(shù)據(jù)飛輪。因此，團(tuán)隊(duì)廣泛收集了開源的場(chǎng)景數(shù)據(jù)集構(gòu)造了目前場(chǎng)景最多元的大規(guī)模導(dǎo)航數(shù)據(jù)集 InternData·N1，涵蓋了HM3D、3D-Front、Gibson、HSSD、Matterport3D、Replica 等主流場(chǎng)景數(shù)據(jù)，以自動(dòng)化可擴(kuò)展的數(shù)據(jù)管線構(gòu)建了包含超過 5000 萬幀第一視角圖像、4839公里導(dǎo)航里程的大規(guī)模數(shù)據(jù)集。另外，面向不同階段和系統(tǒng)的訓(xùn)練需求，團(tuán)隊(duì)進(jìn)一步推出了 VLN-CE 和 VLN-N1 兩個(gè)數(shù)據(jù)子集。

其中VLN-CE子集面向 HM3D 相應(yīng)的 benchmark，基于自建軌跡合成管線進(jìn)行了相應(yīng)的軌跡數(shù)據(jù)優(yōu)化，并面向目標(biāo)像素的標(biāo)注進(jìn)行了片段切分和自動(dòng)化標(biāo)注，主要用于系統(tǒng)2的預(yù)訓(xùn)練和雙系統(tǒng)聯(lián)調(diào)；另一方面VLN-N1 子集基于多元的場(chǎng)景數(shù)據(jù)，主打場(chǎng)景的多元性，軌跡合成也充分加入視角、光照的隨機(jī)化增強(qiáng)，通過大模型的自動(dòng)化指令標(biāo)注、改寫和篩選管線構(gòu)造了一批更多元化的軌跡數(shù)據(jù)，主要用于系統(tǒng)1的預(yù)訓(xùn)練和雙系統(tǒng)聯(lián)調(diào)泛化性的加強(qiáng)。

VLN-N1 的數(shù)據(jù)合成共分成三個(gè)階段：

（1）軌跡數(shù)據(jù)渲染合成：基于場(chǎng)景資產(chǎn)、全局地圖和本體信息，通過傳統(tǒng)運(yùn)控方法設(shè)置規(guī)則合成相應(yīng)的軌跡數(shù)據(jù)；

（2）語料標(biāo)注和改寫：通過大模型對(duì)軌跡視頻進(jìn)行語言描述，形成初版指令，再根據(jù)需求微調(diào)和改寫語言指令；

（3）數(shù)據(jù)篩選：通過軌跡中涉及有意義語義信息/物體數(shù)量進(jìn)行打分，分三檔濾除分?jǐn)?shù)為0的數(shù)據(jù)，最終篩選了23%的低質(zhì)量數(shù)據(jù)。經(jīng)驗(yàn)證，篩選掉數(shù)據(jù)并未影響模型性能的同時(shí)，顯著降低了訓(xùn)練成本；同時(shí)，多元場(chǎng)景使得模型性能以可擴(kuò)展的方式持續(xù)提升。

圖3：InternData·N1中的VLN-N1子集的數(shù)據(jù)構(gòu)造流程

圖4：InternData·N1中的VLN-N1子集的數(shù)據(jù)分布統(tǒng)計(jì)訓(xùn)練-評(píng)測(cè)、規(guī)劃-控制聯(lián)合優(yōu)化，軟硬協(xié)同高效迭代模型性能

具備基礎(chǔ)的數(shù)據(jù)并訓(xùn)練出導(dǎo)航大模型后，一套系統(tǒng)的評(píng)測(cè)基準(zhǔn)和真機(jī)部署方案才能最終實(shí)現(xiàn)模型的高效迭代和落地應(yīng)用。由此，面向雙系統(tǒng)的評(píng)測(cè)，一方面團(tuán)隊(duì)在傳統(tǒng) R2R 和 RxR 基準(zhǔn)上實(shí)現(xiàn)了雙系統(tǒng)方案和端到端離散預(yù)測(cè)+最短路徑執(zhí)行的直接比較，方便有一個(gè)相對(duì)直觀的性能比較結(jié)果；另一方面，面向連續(xù)軌跡控制以及和物理世界更加一致的評(píng)測(cè)需求，構(gòu)造了一套基于 Isaac Sim 物理仿真的評(píng)測(cè)機(jī)制，具體包括面向系統(tǒng)1各種目標(biāo)的視覺導(dǎo)航評(píng)測(cè)基準(zhǔn)（雜亂環(huán)境 ClutteredEnv 和桃源場(chǎng)景 InternScenes-100），面向整體系統(tǒng)考慮本體運(yùn)動(dòng)的基準(zhǔn) VLN-PE，提供了更多元場(chǎng)景和更全面的系統(tǒng)評(píng)測(cè)方法，進(jìn)一步加速模型的有效迭代。

圖5：InternVLA·N1 雙系統(tǒng)在傳統(tǒng) VLN-CE 和物理仿真評(píng)測(cè) VLN-PE 中的推理示例。對(duì)應(yīng)語言指令分別為“離開浴室進(jìn)入臥室，從臥室出去到走廊，在樓梯上面等待”、“經(jīng)過廚房從右邊進(jìn)入房間，路過桌子和椅子停在沙發(fā)前”

圖6：系統(tǒng)1在物理仿真評(píng)測(cè)（InternScenes-100）中的推理示例，從左到右依次為推理第一視角、目標(biāo)達(dá)到的第一視角圖像、實(shí)時(shí)推理軌跡

在真機(jī)部署方面，以宇樹機(jī)器狗 Go2 為例，首先在視覺傳感器方面采用 Intel Realsense D455 以實(shí)現(xiàn)移動(dòng)過程中較優(yōu)的圖像清晰度，進(jìn)一步對(duì)齊高度（0.6米）和朝向（斜向下15°）以保證和仿真評(píng)測(cè)效果的相對(duì)一致性；

在機(jī)器人本體控制和模型推理方面，InternVLA·N1 輸出的軌跡通過定位信息轉(zhuǎn)換到世界坐標(biāo)系并通過 MPC 控制器進(jìn)行跟蹤，模型方面通過系統(tǒng)2在多輪對(duì)話時(shí)的 KV-cache 機(jī)制優(yōu)化和系統(tǒng)1的 TensorRT 部署，分別可在單卡 RTX 4090 上實(shí)現(xiàn) 2Hz 和 30Hz 的實(shí)際推理速度，進(jìn)而通過異步機(jī)制可實(shí)現(xiàn)綜合推理速度近 60Hz，再通過 200Hz 的控制器跟蹤軌跡，由此也可看出雙系統(tǒng)推理機(jī)制在敏捷反應(yīng)上相比純系統(tǒng)2大模型的顯著優(yōu)越性。這一推理效率可通過模型結(jié)構(gòu)等方式進(jìn)一步優(yōu)化，配合端側(cè)芯片以實(shí)現(xiàn)更優(yōu)的部署應(yīng)用體驗(yàn)。

圖7：真機(jī)測(cè)試比較示例：InternVLA·N1 能以更絲滑的推理過程和更快的執(zhí)行速度，在長程導(dǎo)航任務(wù)中完成敏捷避開障礙物的同時(shí)更好地完成指令跟隨

當(dāng)前，以導(dǎo)航大模型 InternVLA·N1 為代表的全鏈條數(shù)據(jù)集-訓(xùn)測(cè)工具鏈已全部開放。其中，包含三部分子集 VLN-N1、VLN-CE 和 VLN-PE 的全量數(shù)據(jù)集 InternData·N1 已開源至 Hugging Face 和魔搭社區(qū)，同時(shí)提供 mini 版本以方便社區(qū)開發(fā)者更輕量化地進(jìn)行體驗(yàn)。訓(xùn)測(cè)工具鏈 InternNav 除了支持了最新版本的 InternVLA·N1 預(yù)訓(xùn)練模型的推理和測(cè)試外，同時(shí)系統(tǒng)性支持了雙系統(tǒng)各模塊（系統(tǒng)1/2）、不同平臺(tái)（Habitat，Isaac Sim）主流和自建6個(gè)數(shù)據(jù)集、10余種 baselines 的訓(xùn)練和閉環(huán)評(píng)測(cè)，歡迎廣大開發(fā)者體驗(yàn)。

來源：公眾號(hào)【書生Intern】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈