VLA 模型正被越來越多地應(yīng)用于端到端自動駕駛系統(tǒng)中。然而，VLA 模型中冗長的視覺 token 極大地增加了計算成本。但現(xiàn)有的視覺 token 剪枝方法都不是專為自動駕駛設(shè)計的，在自動駕駛場景中都具有局限性。

小鵬汽車聯(lián)合北京大學(xué)計算機科學(xué)學(xué)院多媒體信息處理國家重點實驗室發(fā)表論文《FastDriveVLA》，不僅為自動駕駛 VLA 模型中的高效視覺 token 剪枝建立了新的范式，也為特定任務(wù)的剪枝策略提供了有價值的洞察。

受人類駕駛員主要關(guān)注前景區(qū)域而非背景區(qū)域的啟發(fā)，研究團隊做出假設(shè)：對于自動駕駛而言，與前景信息相關(guān)的視覺 token 比與背景內(nèi)容相關(guān)的視覺 token 更有價值。為了驗證這個假設(shè)，研究團隊構(gòu)建了大規(guī)模自動駕駛標注數(shù)據(jù)集nuScenes-FG（包含來自 6 個攝像頭視角的、帶有前景區(qū)域標注的 24.1 萬個圖像 - 掩碼對），通過 MAE 風(fēng)格的像素重建策略和新穎的對抗性前景 - 背景重建策略，訓(xùn)練出了一個適用于不同 VLA 模型的、可以即插即用的視覺 token 剪枝器 ReconPruner

實驗結(jié)果顯示，在不同剪枝比例下，F(xiàn)astDriveVLA 在 nuScenes 開環(huán)規(guī)劃基準測試中均取得了 SOTA 性能。FastDriveVLA 也非常高效，當視覺 token 數(shù)量從 3249 減少至 812 時，F(xiàn)astDriveVLA 的 FLOPs 直降約 7.5 倍；在 CUDA 推理延遲方面，F(xiàn)astDriveVLA 將預(yù)填充（prefill）時間減少了 3.7 倍、將解碼（decode）時間減少了 1.3 倍，顯著提升了推理效率。

該篇論文被 AAAI 2026 錄用。

• 論文標題：FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning
• 論文鏈接：https://arxiv.org/pdf/2507.23318

研究背景與問題

端到端自動駕駛最近展現(xiàn)出巨大潛力，有望徹底改變未來的交通系統(tǒng)。與傳統(tǒng)的模塊化自動駕駛系統(tǒng)不同，端到端方法在一個統(tǒng)一的框架中學(xué)習(xí)整個駕駛流程，這種設(shè)計不僅減少了模塊之間信息傳遞時的誤差，還增強了系統(tǒng)的簡潔性。

然而，現(xiàn)有的 VLA 模型通常將視覺輸入轉(zhuǎn)換為大量的視覺 token，這種方法導(dǎo)致了巨大的計算開銷和推理延遲的增加，對真實場景的車端部署提出了重大挑戰(zhàn)，因為計算資源和推理速度都受到嚴重限制。

已經(jīng)有大量研究嘗試通過減少視覺 token 來加速 VLM 的推理，但在自動駕駛場景中都具有局限性：引入新設(shè)計的多模態(tài)投影器需要重新訓(xùn)練整個模型，基于注意力的剪枝策略容易受到無關(guān)信息的影響，基于相似性的剪枝策略會錯誤保留與駕駛無關(guān)的信息。

為了解決這些挑戰(zhàn)，我們專為端到端自動駕駛 VLA 模型定制了一個新型的、基于重建的視覺 token 剪枝框架 FastDriveVLA。

圖 1：不同視覺 token 剪枝策略的對比，（c）為基于重建的剪枝策略

方法與創(chuàng)新

nuScenes-FG 數(shù)據(jù)集

受人類駕駛員主要關(guān)注前景區(qū)域而非背景區(qū)域的啟發(fā)，我們首先對自動駕駛場景中的「前景區(qū)域」進行了明確定義。這些區(qū)域包括行人、道路、車輛、交通標志（含交通信號燈）以及交通障礙物（如位于車道上或緊鄰車道的障礙物）等對駕駛決策具有直接影響的元素。相比之下，建筑物、天空、行道樹等背景區(qū)域即使被完全遮擋，通常也不會顯著影響人類駕駛員的判斷。然后，借助 Grounded-SAM 對 nuScenes 場景進行細粒度、語義一致的前景分割，構(gòu)建了 nuScenes-FG 數(shù)據(jù)集。

圖 2：nuScenes-FG 數(shù)據(jù)集，為 nuScenes 場景提供了 24.1 萬個前景分割標注。

基于重建的剪枝器 ReconPruner

我們提出了一種輕量級的、可即插即用的剪枝器 ReconPruner，主要目標是讓 ReconPruner 能夠有效識別并選擇包含有意義前景信息的視覺 token，因此借鑒 Masked Image Modeling（掩碼圖像建模）方法設(shè)計了 MAE 風(fēng)格的像素重建策略。在訓(xùn)練過程中，我們選取 ReconPruner 預(yù)測的可獲得高分的視覺 token 子集，用于掩碼前景重建。該子集上的重建誤差作為監(jiān)督信號，鼓勵 ReconPruner 為真正對應(yīng)前景內(nèi)容的視覺 token 打高分。

圖 3：FastDriveVLA 框架。在訓(xùn)練階段，提出了一種新穎的「前景 - 背景對抗重建」策略，以增強 ReconPruner 對前景視覺 token 的感知能力；在推理階段，ReconPruner 可直接嵌入自動駕駛 VLA 模型，用于 token 剪枝。

對抗性前景 - 背景重建策略

但若僅僅依賴前景重建，ReconPruner 可能會采取捷徑，不加區(qū)分地為所有視覺 token 打高分。我們從生成對抗網(wǎng)絡(luò)（GANs）中汲取靈感，提出了對抗性前景 - 背景重建策略。具體來說，ReconPruner 還需要使用獲得低分的視覺 token 來重建背景區(qū)域。這種對抗性設(shè)置增強了 ReconPruner 區(qū)分前景 token 和背景 token 的能力。

實驗結(jié)果

實驗設(shè)置

我們采用 Impromptu-VLA 作為視覺 token 剪枝的基礎(chǔ)模型，在專為城區(qū)自動駕駛設(shè)計的大規(guī)?；鶞蕼y試數(shù)據(jù)集 nuScenes 上對不同剪枝方法進行了評估。nuScenes 數(shù)據(jù)集包含 1000 個駕駛場景、每個場景約持續(xù) 20 秒。測試時，我們總計使用了 6019 個測試樣本，并通過 L2 軌跡誤差、碰撞率、路外率三個指標來評估開環(huán)規(guī)劃的性能。

我們使用余弦調(diào)度器以 2e-5 的學(xué)習(xí)率訓(xùn)練 FastDriveVLA，總計進行了 10 輪訓(xùn)練，僅在兩塊 H800 GPU 上運行 3 小時就完成了訓(xùn)練。

不同剪枝方法在 nuScenes 數(shù)據(jù)集上的對比

FastV、SparseVLM 是基于注意力的基線，DivPrune、VisPruner 是基于相似性的基線。

• 當剪枝 25% 時，F(xiàn)astDriveVLA 在所有評估指標上均表現(xiàn)最佳，尤其在 L2 軌跡誤差和碰撞指標上分別比未剪枝的原始模型低了 0.1% 和 1.0%，這證明了聚焦于與前景相關(guān)的視覺 token 是提升自動駕駛性能的關(guān)鍵。
• 當剪枝 50% 時，F(xiàn)astDriveVLA 在碰撞指標上的表現(xiàn)優(yōu)于剪枝 25%。
• 當剪枝 75% 時，F(xiàn)astDriveVLA 在路外率指標上的表現(xiàn)優(yōu)于剪枝 50%。

總體來看，F(xiàn)astDriveVLA 在各種剪枝比例下均優(yōu)于現(xiàn)有方法。特別值得注意的是，當剪枝 50% 時，F(xiàn)astDriveVLA 在所有指標上的表現(xiàn)都更加均衡。因此，我們建議，在實際部署自動駕駛系統(tǒng)時采用 50% 這一剪枝比例，以實現(xiàn)性能與效率的最佳平衡。

效率分析

為了展示 FastDriveVLA 的高效，我們從 FLOPs 與 CUDA 延遲的角度對不同剪枝方法進行了效率分析。當視覺 token 數(shù)量從 3249 減少至 812 時，F(xiàn)astDriveVLA 的 FLOPs 直降約 7.5 倍。在 CUDA 推理延遲方面，F(xiàn)astDriveVLA 將預(yù)填充提速 3.7 倍、解碼提速 1.3 倍，實際推理效率顯著提升。

定性可視化分析

ReconPruner 幾乎完整留下了前景 token ，把背景壓成極稀疏的色塊，重建畫面依舊清晰，證明它能在減少 token 冗余的同時保留關(guān)鍵信息，如圖 4 所示。

再把 FastV（基于注意力）、DivPrune（基于相似性）和 FastDriveVLA 放到圖 5 中進行對比，可以看到：我們的點密密麻麻落在車道、車道線和車身；FastV 幾乎漏掉了車輛；DivPrune 雖然撒點更多，卻幾乎沒往車道線上靠。