當您開車時，您是如何決策的？是靠腦中默念“前方5米有車，我應減速”，還是通過一種更直覺的方式——在腦海中“預演”出幾秒后的路況，并自然地做出反應？

人類駕駛員依賴的是一種強大的視覺前瞻能力。然而，長期以來，自動駕駛系統(tǒng)卻被困在一種“看圖說話”的模式中：將復雜的視覺信息強行壓縮成冰冷的文字和坐標，再基于這些抽象符號進行邏輯推理。這個過程中，大量關(guān)鍵的時空細節(jié)被無情地“蒸發(fā)”了，導致模型在面對瞬息萬變的真實路況時，決策往往顯得遲鈍和脆弱。

我們不禁要問：能否讓AI擺脫這種“翻譯”的束縛，像人類一樣，直接在“視覺空間”里思考和規(guī)劃？

為了回應這一挑戰(zhàn)，高德&西交研究團隊榮幸地推出被NeurIPS 2025 會議接收為Spotlight的最新研究成果——FSDrive (FutureSightDrive)。這是一個革命性的自動駕駛框架，它通過一種首創(chuàng)的“時空思維鏈”（Spatio-temporal CoT），首次賦予了自動駕駛大模型“視覺化預演”的非凡能力。

論文標題： FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving 論文鏈接： https://arxiv.org/abs/2505.17685 代碼鏈接： https://github.com/MIV-XJTU/FSDrive 項目主頁： https://miv-xjtu.github.io/FSDrive.github.io/

傳統(tǒng)自動駕駛VLA（視覺-語言-動作）模型的決策鏈路，如同一個蹩腳的翻譯官，存在兩大核心瓶頸：

1. 信息降維打擊：將豐富、連續(xù)的視覺世界壓縮成離散、稀疏的文本，好比將一幅高清電影硬生生轉(zhuǎn)成了一份劇情梗概，畫面的動態(tài)、光影和精確的相對位置都消失了。

2. 模態(tài)間的“巴別塔”：在“視覺→文本→決策”之間反復橫跳，極易產(chǎn)生理解偏差和語義鴻溝，嚴重影響規(guī)劃的精準度和安全性。

圖1：傳統(tǒng)的文本CoT（上）信息抽象；圖文CoT（中）存在模態(tài)不一致；FSDrive的時空CoT（下）在統(tǒng)一的視覺空間內(nèi)完成思考，信息保真度最高。

FSDrive則徹底顛覆了這一流程。我們提出的時空思維鏈（Spatio-temporal CoT），不再生成任何中間文本，而是讓模型直接生成一幅“未來的戰(zhàn)略地圖”作為思考的“草稿”。

這幅“草稿圖”極具內(nèi)涵，它不僅包含了對未來場景的像素級預測（時間維度），更巧妙地將未來的車道線、3D障礙物等關(guān)鍵規(guī)劃要素，以高亮形式直接繪制其上（空間維度）。

這使得FSDrive能夠一身分飾兩角：

• “未來預言家”（世界模型）：通過生成這幅圖像，精準預見未來世界的物理結(jié)構(gòu)（哪里能開、障礙物在哪）和動態(tài)演變。

• “策略規(guī)劃師”（逆動力學模型）：基于當前觀測和自己“腦補”的未來畫面，反向推導出實現(xiàn)這一最安全、最高效未來的最佳行駛軌跡。

至此，F(xiàn)SDrive構(gòu)建了一個純視覺的“觀察-預演-決策”閉環(huán)，讓模型在最原始、最豐富的視覺信息流中完成端到端的因果推理。

圖2：FSDrive整體框架。模型首先進行統(tǒng)一的視覺理解與生成預訓練（左），在推理時，通過生成“時空思維鏈”這步關(guān)鍵的視覺思考，最終輸出安全可靠的規(guī)劃軌跡（右）。 二、核心實現(xiàn)：如何教會VLA“畫”出未來？

為了低成本、高效率地“解鎖”現(xiàn)有視覺語言模型的圖像生成能力，我們設(shè)計了一套創(chuàng)新的訓練范式：

1. 統(tǒng)一的預訓練范式：我們僅對VLA模型的詞表做了微小擴展，就在保留其強大場景理解能力的同時，激活了其潛藏的視覺生成能力，無需從零開始訓練龐大的模型。

2. “先骨后肉”的漸進式生成：直接“畫”出復雜的未來場景極易出錯。我們借鑒人類繪畫的邏輯，讓模型先學習生成代表物理約束的“骨架”（車道線、3D框），再基于骨架“填充”場景細節(jié)。這種由簡到繁的生成策略，確保了“想象”出的未來既真實又符合物理規(guī)律。

我們在nuScenes數(shù)據(jù)集上進行了全面驗證，結(jié)果證明FSDrive在多個維度上均取得了SOTA（業(yè)界最佳）表現(xiàn)。

3.1 更安全的規(guī)劃：碰撞率顯著降低

在核心的軌跡規(guī)劃任務中，F(xiàn)SDrive展現(xiàn)了強大的安全意識。如下表所示，尤其在碰撞率這一“生命線”指標上，F(xiàn)SDrive取得了極為優(yōu)異的成績，充分證明了“視覺預演”對于規(guī)避潛在風險的決定性作用。

規(guī)劃性能對比 3.2 更逼真的“想象”：媲美專用生成模型

FSDrive生成的“未來草稿圖”質(zhì)量有多高？我們發(fā)現(xiàn)，盡管FSDrive采用的是計算效率更高的自回歸方式，其生成圖像的FID指標（衡量生成質(zhì)量）甚至優(yōu)于許多專用的擴散模型，證明了我們訓練范式的先進性。

生成質(zhì)量對比 3.3 更聰明的理解：生成與理解能力兼得

我們證實，賦予模型“想象力”并未削弱其“理解力”。在權(quán)威的DriveLM基準測試中，F(xiàn)SDrive在多項場景問答和描述任務上均名列前茅，實現(xiàn)了生成與理解能力的協(xié)同進化。

場景理解能力評估 3.4 可視化：洞見未來的力量

下圖生動展示了FSDrive的思考過程。通過在腦海中“畫出”包含未來車道和障礙物的畫面，模型得以提前洞察風險，規(guī)劃出一條更具前瞻性的安全路徑。

可視化分析 四、結(jié)語

FSDrive的提出，標志著自動駕駛決策范式的一次重要演進。我們通過創(chuàng)新的時空思維鏈，讓模型從依賴抽象的語言符號，轉(zhuǎn)向了更接近人類直覺的“視覺化思考”。它不再是機械地遵循指令，而是開始主動地、可視化地“預演”和“推敲”未來。

我們相信，通過建立與物理世界更直接的像素級關(guān)聯(lián)，F(xiàn)SDrive為通向更安全、更智能、更具泛化能力的自動駕駛系統(tǒng)，開辟了一條充滿潛力的新路徑。

llustration From IconScout By IconScout Store

-The End-

下周預告！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈