2025年底，卡耐基梅隆大學(xué)教授、AI2研究科學(xué)家Tim Dettmers在博客中指出：“當(dāng)前AI領(lǐng)域的創(chuàng)新多基于現(xiàn)有思想的漸進(jìn)修補(bǔ)，技術(shù)架構(gòu)的觀念空間不斷萎縮。我們或許正站在技術(shù)進(jìn)步的臨界點(diǎn)，面臨創(chuàng)新上限的嚴(yán)峻挑戰(zhàn)?！?/p>

同一時(shí)間，何小鵬正在硅谷體驗(yàn)FSD V14。在發(fā)現(xiàn)該版本已經(jīng)進(jìn)化為「完全不一樣的物種」后，他意識(shí)到，自己狂砸數(shù)十億研發(fā)的基座模型是最值得的賭注——因?yàn)橹挥胁捎萌碌奈锢硎澜缒Ｐ图軜?gòu)，才能捅開(kāi)已經(jīng)觸手可及的天花板。

3月2日，被小鵬定位為「物理世界基座模型」的第二代VLA，宣布將于本月正式開(kāi)啟推送。該模型實(shí)現(xiàn)了大膽重構(gòu)——扔掉了「L」拐杖，也就是去掉了語(yǔ)言轉(zhuǎn)譯環(huán)節(jié)，首次實(shí)現(xiàn)從視覺(jué)信號(hào)到動(dòng)作指令的端到端直接生成

「基座模型」具身智能行業(yè)常被提及，這也是玩家們極力挖掘的護(hù)城河。而小鵬的第二代VLA，不僅重構(gòu)了范式，還實(shí)現(xiàn)了工程化落地和規(guī)模化驗(yàn)證。

在RoboX近80公里的城區(qū)測(cè)試中，第二代VLA不僅全程無(wú)需人工介入，而且行為高度擬人甚至優(yōu)于人類司機(jī)，全程沒(méi)有出現(xiàn)急剎頓挫，確實(shí)刷新體驗(yàn)上限。

這種已經(jīng)開(kāi)始「涌現(xiàn)」的能力，也將應(yīng)用于小鵬的機(jī)器人、飛行汽車等智能體上。

根據(jù)小鵬汽車董事長(zhǎng)兼CEO何小鵬、以及小鵬汽車通用智能中心負(fù)責(zé)人-劉先明的深入解析，我們會(huì)發(fā)現(xiàn)第二代VLA代表了物理AI的幾點(diǎn)最新變化，這些變化有的已成為新的共識(shí)，有的則打破了普通人對(duì)于大模型發(fā)展的傳統(tǒng)認(rèn)知。

通用基座」才能救自動(dòng)駕駛

如今，劉先明的Title已經(jīng)由「自動(dòng)駕駛負(fù)責(zé)人」變?yōu)椤竿ㄓ弥悄苤行呢?fù)責(zé)人」。

何小鵬稱，這是跨域融合進(jìn)程中的一部分：不重構(gòu)完整模型架構(gòu)，就無(wú)法實(shí)現(xiàn)高級(jí)自動(dòng)駕駛突破和物理AI發(fā)展。如今小鵬正在構(gòu)建底層通用能力體系，以實(shí)現(xiàn)代際差。

他堅(jiān)信，3-5年內(nèi)所有汽車都會(huì)成為全域融合的超級(jí)智能體；1-3年內(nèi)，全自動(dòng)駕駛也會(huì)落地。

“小鵬不再專研自動(dòng)駕駛、而是要?jiǎng)?chuàng)建物理AI體系。如今小鵬的基座模型會(huì)先在汽車領(lǐng)域的第一步落地，但未來(lái)也會(huì)在智能座艙、機(jī)器人和飛行器上應(yīng)用?！焙涡※i說(shuō)道。

劉先明稱，第二代VLA的底層復(fù)用能力還是很強(qiáng)的，因?yàn)樵摶Ｐ偷脑O(shè)計(jì)是原生多模態(tài)，不會(huì)只針對(duì)自動(dòng)駕駛，而是可以復(fù)用的。

他認(rèn)為，自動(dòng)駕駛的技術(shù)范式已經(jīng)發(fā)生了很大的變化，Waymo等幾家采用規(guī)則算法的L4公司，上限已經(jīng)觸手可及，大家只能不停的去往前去卷。

“L4一直受限于ODD，其技術(shù)路線成本極高、并且泛化性很差。而如果真想泛化性解決整個(gè)問(wèn)題，技術(shù)范式就一定要變，這是不可避免的?！?/p>

他指出，做好基座模型，是一家做L4公司的必修課，因此Waymo也在做基座模型。但能否成功還得看它到底有沒(méi)有決心投入，以及多快能完成轉(zhuǎn)型。

從「預(yù)測(cè)詞匯」向「預(yù)測(cè)物理狀態(tài)」轉(zhuǎn)移

劉先明表示，相比起數(shù)字世界，物理世界的任務(wù)難度呈指數(shù)級(jí)上升。因?yàn)槠漭斎胄盘?hào)不僅信息量大，而且是非結(jié)構(gòu)化的。

“它是連續(xù)信號(hào)，不像離散的文字可以拆解，處理起來(lái)尤為困難。更別提物理世界那千變?nèi)f化的交互方法和無(wú)限的多樣化場(chǎng)景?！?/p>

為此，小鵬第二代VLA架構(gòu)被打造為原生多模態(tài)物理世界模型，并采取了以下優(yōu)化措施：

• 1、針對(duì)處理連續(xù)信號(hào)及多模態(tài)信號(hào)的問(wèn)題，小鵬設(shè)計(jì)了原生多模態(tài)tokenizer作為信號(hào)處理單元，以更高效率、更嚴(yán)謹(jǐn)?shù)姆绞秸纤行盘?hào)，并在早期階段避免單一模態(tài)偏差；
• 2、針對(duì)物理世界的復(fù)雜性，小鵬構(gòu)建了長(zhǎng)序列、高效率的推理邏輯，即設(shè)備推理的CoT（思維鏈）機(jī)制。為確保實(shí)時(shí)性，小鵬將整體推理效率提升了32倍；
• 3、至于輸出多模態(tài)能力，該模型可生成視頻、音頻及動(dòng)作行為。這不僅代表了第二代VLA的基礎(chǔ)技術(shù)突破，更是仿真、強(qiáng)化學(xué)習(xí)等領(lǐng)域的創(chuàng)新實(shí)踐。
• 4、艙駕一體，讓整車更像有機(jī)的智能體。

同時(shí)我們注意到，一篇被AAAI2026錄用的論文也在近期引發(fā)熱議。這是由北大計(jì)算機(jī)科學(xué)學(xué)院多媒體信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室與小鵬汽車聯(lián)合創(chuàng)作的論文，它針對(duì)VLA處理圖像超高計(jì)算量問(wèn)題，提出了視覺(jué)token剪枝框架FastDriveVLA。這一技術(shù)也已應(yīng)用于小鵬第二代VLA。

該框架采用基于「重建」的對(duì)抗性前景-背景重建策略，它能夠使模型像人類駕駛員一樣，自動(dòng)過(guò)濾無(wú)關(guān)緊要的視覺(jué)信息，只關(guān)注有用的核心信息。這一方法不僅顯著提升了模型的推理效率，還保持了駕駛性能的穩(wěn)定甚至提升。

在nuScenes數(shù)據(jù)集測(cè)試中，剪掉25%視覺(jué)token，駕駛性能幾乎不變且部分指標(biāo)提升；剪掉50%，各項(xiàng)指標(biāo)均衡。同時(shí)，F(xiàn)LOPS降低近7.5倍，計(jì)算量銳減；CUDA延遲上，prefill和decode階段耗時(shí)分別減少3.7倍和1.3倍，推理效率顯著提升。

專用芯片深度定制

據(jù)悉，小鵬根據(jù)芯片和編譯器去重新定義和設(shè)計(jì)了底座模型的基本結(jié)構(gòu)，也就是圖靈結(jié)構(gòu)。正是因?yàn)橛辛诉@三方面的聯(lián)合優(yōu)化，使得大模型在車端應(yīng)用的效率提升了12倍。

AI芯片的兩個(gè)基本操作是訪存+計(jì)算，其中計(jì)算的占用密度越高，就意味著算力的利用率越高。

劉先明曬出了通用芯片和圖靈芯片的效率對(duì)比，指出「圖靈芯片深度定制+編譯器聯(lián)合優(yōu)化」這種模式，比「通用芯片+開(kāi)源模型」的效率提升了4倍左右，達(dá)到了82.5%。

他指出，以「有效算力=名義算力×算力利用率」的公式來(lái)看，一顆圖靈芯片的名義算力約相當(dāng)于3顆Orin-X，而經(jīng)過(guò)了聯(lián)合優(yōu)化后，一顆圖靈的有效算力已經(jīng)達(dá)到了約10顆Orin-X。

“其實(shí)英偉達(dá)在GPU和CUDA時(shí)代就在做這件事——把算力用好，比單純說(shuō)算力提升多少倍更有價(jià)值。這也是我們從通用處理器向?qū)Ｓ锰幚砥鰽SIC過(guò)渡的原因?！?/p>

另外，大算力一定需要更高信息密度的輸入、更大的模型來(lái)匹配，否則算力就是空轉(zhuǎn)。

總而言之，如果只是搞算力軍備競(jìng)賽、單純堆高數(shù)值，消費(fèi)者是感受不到明顯的體感提升的。

卷GPU

更要卷云端運(yùn)行效率

在模型訓(xùn)練層面，人們往往過(guò)于關(guān)注單卡GPU，而忽略了云端算力集群運(yùn)行效率。

如今，小鵬汽車已建成國(guó)內(nèi)領(lǐng)先的3萬(wàn)卡規(guī)模算力集群，算力儲(chǔ)備達(dá)到10EFLOPS。

同時(shí)需要注意的是，該算力集群利用率常年高達(dá)90%以上，高峰時(shí)期的運(yùn)行效率甚至達(dá)到98%。而且這套「云端模型工廠」涵蓋了基座模型預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)、模型蒸餾、車端模型預(yù)訓(xùn)練到部署上車的完整生產(chǎn)鏈路。

同時(shí)，小鵬汽車自主開(kāi)發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施，使數(shù)據(jù)上傳規(guī)模提升22倍、訓(xùn)練中的數(shù)據(jù)帶寬提升15倍。

“基于強(qiáng)大的AI Infra，從去年11月發(fā)布會(huì)科技發(fā)布會(huì)到現(xiàn)在，我們一共更新了468版模型?！?/p>

劉先明表示，從2025年到現(xiàn)在，單GPU訓(xùn)練效率提升了1010%，單任務(wù)訓(xùn)練效率提升了4360%，GPU硬件利用率提升125%。

汽車銷量不再代表數(shù)據(jù)優(yōu)勢(shì)

何小鵬稱，雖然物理世界和人類世界的數(shù)據(jù)量看起來(lái)是無(wú)限的，可實(shí)際上卻遠(yuǎn)遠(yuǎn)不夠。

“很多人說(shuō)車賣得越多，數(shù)據(jù)優(yōu)勢(shì)就越高，這是片面的。如何收集有質(zhì)量、有價(jià)值、超大規(guī)模的數(shù)據(jù)，這是非常困難的。不論是汽車還是機(jī)器人，這件事上都遠(yuǎn)遠(yuǎn)沒(méi)有看到頭，模型訓(xùn)練還沒(méi)出現(xiàn)明顯的收斂趨勢(shì)?！?/p>

劉先明介紹稱，數(shù)據(jù)一般是指Token，高質(zhì)量的Token越多，模型的性能和泛化性一般會(huì)越強(qiáng)。

通過(guò)不斷上傳的真實(shí)世界高質(zhì)量數(shù)據(jù)，小鵬已經(jīng)積累了超過(guò)50PB的訓(xùn)練數(shù)據(jù)。目前每一個(gè)版本的模型訓(xùn)練數(shù)據(jù)達(dá)到了4萬(wàn)億個(gè)tokens，這些都是第二代VLA的核心能力來(lái)源。

在去年的CVPR演講中，劉先明表示，小鵬在云上訓(xùn)練了從10億到720億參數(shù)的多個(gè)模型，累計(jì)吃下了數(shù)千萬(wàn)條視頻片段。

但是，如何挖掘真實(shí)世界里真正好用的數(shù)據(jù)，卻一直是行業(yè)難題——數(shù)據(jù)每天都在被收集，但存儲(chǔ)成本高，而且很多也用不上。

不過(guò)，小鵬車端攝像頭所采集到的高分辨率數(shù)據(jù)，數(shù)量可達(dá)每秒鐘53億字節(jié)的視覺(jué)數(shù)據(jù)，遠(yuǎn)超其他傳感器所能提供的信息量，信息密度是其他傳感器的300倍左右。

同時(shí)他也表示，搭載小鵬第二代VLA的20萬(wàn)輛車日均消耗58.8萬(wàn)億Tokens，約等于全國(guó)數(shù)字Al Token日調(diào)用量（0.737萬(wàn)億Tokens）的80倍。

這說(shuō)明物理世界確實(shí)比數(shù)據(jù)世界更加復(fù)雜，前者數(shù)據(jù)密度對(duì)于算力的消耗更是巨大，如果沒(méi)有一個(gè)強(qiáng)大的算力和數(shù)據(jù)處理體系作為基礎(chǔ)，就不可能做好高階智能駕駛。

在此背景下，世界模型的仿真測(cè)試發(fā)揮了重要作用：在過(guò)去的一年當(dāng)中，小鵬仿真的case的數(shù)量從3萬(wàn)多增加到50萬(wàn)多；一天的測(cè)試當(dāng)量相當(dāng)于去跑3000萬(wàn)公里的測(cè)試。

強(qiáng)化學(xué)習(xí)不是「萬(wàn)金油」

據(jù)劉先明介紹，強(qiáng)化學(xué)習(xí)依賴無(wú)模型獎(jiǎng)勵(lì)機(jī)制，通過(guò)試錯(cuò)學(xué)習(xí)調(diào)整策略。但在物理世界中，獲取真實(shí)反饋面臨挑戰(zhàn)，其核心難點(diǎn)在于難以構(gòu)建與真實(shí)環(huán)境完全一致的仿真環(huán)境。

對(duì)此，小鵬將世界模型引入強(qiáng)化學(xué)習(xí)體系，以實(shí)現(xiàn)自我學(xué)習(xí)（self - learning）與自我模擬。從本質(zhì)上講，這類似于構(gòu)建一個(gè)可靈活替換的執(zhí)行場(chǎng)景。

“我們借助第二代VLA模型輸出的軌跡信息，引導(dǎo)世界模型重新生成其對(duì)周圍環(huán)境的認(rèn)知與理解?！?/p>

也就是說(shuō)，每當(dāng)VLA模型基于當(dāng)前環(huán)境狀態(tài)輸出一個(gè)動(dòng)作，世界模型就會(huì)依據(jù)該動(dòng)作生成一個(gè)新的場(chǎng)景描述；隨后，系統(tǒng)獲取大量新的環(huán)境信息以及基于推理得到的數(shù)據(jù)，并以此為基礎(chǔ)進(jìn)入下一個(gè)場(chǎng)景的交互循環(huán)。

正是由于這種動(dòng)態(tài)交互機(jī)制的存在，模型能夠變得越來(lái)越強(qiáng)大。

但是，劉先明也強(qiáng)調(diào)了「強(qiáng)化學(xué)習(xí)不是萬(wàn)金油」：“現(xiàn)在學(xué)術(shù)界、工業(yè)界都給強(qiáng)化學(xué)習(xí)套上了光環(huán)，覺(jué)得它‘可解萬(wàn)物’。但如果連沒(méi)有強(qiáng)大的基座模型，強(qiáng)化學(xué)習(xí)就無(wú)法繼續(xù)提升?！?/p>

跳過(guò)L3，直奔L4

在何小鵬看來(lái)，L3對(duì)于硬件軟件、法律法規(guī)都是挑戰(zhàn)。所以他在今年兩會(huì)提出的建議是「推動(dòng)自動(dòng)駕駛技術(shù)從L2跨越到L4，完善法規(guī)與管理政策」。

劉先明表示，雖然目前還不能說(shuō)第二代VLA可以100%達(dá)到L4水平，但其架構(gòu)已經(jīng)非常通用且高效，每天都會(huì)有新的版本出來(lái)，不停地在解決新的問(wèn)題。

“這個(gè)進(jìn)步速度是超過(guò)我們想象的，所以我們是有信心在未來(lái)的一段時(shí)間內(nèi)達(dá)到l4水平的完整體系?！焙涡※i對(duì)此周期的預(yù)判是1-3年。

涌現(xiàn)時(shí)代已經(jīng)到來(lái)

去年，第二代VLA出現(xiàn)了一些「涌現(xiàn)」的行為，也就是未經(jīng)刻意學(xué)習(xí)的自我進(jìn)化，例如紅燈即將轉(zhuǎn)綠時(shí)的蠕行、或者主動(dòng)避讓救護(hù)車，聽(tīng)從交警指揮等。

何小鵬舉例稱，部分極端場(chǎng)景，例如廣州曾出現(xiàn)過(guò)的珠江漫堤等，絕大多數(shù)人都沒(méi)有經(jīng)歷過(guò)。但因?yàn)橄到y(tǒng)看過(guò)大量類似數(shù)據(jù)，就有可能進(jìn)化出應(yīng)對(duì)能力。

“第二代VLA模型還會(huì)越來(lái)越聰明，出現(xiàn)越來(lái)越多具備進(jìn)化能力的CoT。到那個(gè)階段，大家會(huì)明顯感受到：它既足夠安全，又會(huì)展現(xiàn)出一些超出預(yù)期的能力?！?/p>

但是，這種涌現(xiàn)必須可控，才能保障安全。劉先明指出，雖然涌現(xiàn)本身不是一個(gè)嚴(yán)格可控的過(guò)程，但是做自動(dòng)駕駛肯定要守住安全底線。為此，小鵬正在通過(guò)數(shù)據(jù)篩選、強(qiáng)化學(xué)習(xí)等方式來(lái)進(jìn)行把控，而他們認(rèn)為，涌現(xiàn)的整體趨勢(shì)一定會(huì)是「讓所有人開(kāi)車越來(lái)越舒心」。

通過(guò)對(duì)第二代VLA的體驗(yàn)，我切實(shí)感受到它已經(jīng)在超越人類司機(jī)，根本不需要我做任何介入。此時(shí)我才終于理解了何小鵬「首先邀請(qǐng)媽媽們」參加試駕的原因——因?yàn)槿缃裎乙财炔患按叵胱屪约簨寢岓w驗(yàn)這種近乎「無(wú)感」的智駕科技，而且她也不必再因?yàn)椤嘎凡皇臁苟桓议_(kāi)車去陌生的地方了。