作者 ｜ 張睿
編輯 ｜志豪

理想汽車(chē)發(fā)布新自動(dòng)駕駛基礎(chǔ)模型，李想與基座模型一把手出面詳解。

車(chē)東西3月18日消息，今日，理想汽車(chē)CEO李想與理想汽車(chē)基座模型負(fù)責(zé)人詹錕交流了理想汽車(chē)發(fā)布的新基礎(chǔ)模型。

▲李想（圖左）與詹錕（圖右）

理想汽車(chē)在NVIDIA GTC 2026上發(fā)布的理想汽車(chē)下一代自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1，而根據(jù)詹錕的介紹，MindVLA-o1以原生多模態(tài)MoETransformer為核心，通過(guò)五大技術(shù)——3D空間理解、多模態(tài)思考、統(tǒng)一行為生成、閉環(huán)強(qiáng)化學(xué)習(xí)（Closed-loop RL）和軟硬件協(xié)同設(shè)計(jì)（Hardware–Software Co-Design），讓自動(dòng)駕駛看得更遠(yuǎn)、想得更深、行得更穩(wěn)、進(jìn)化更快、部署更高效。

▲MindVLA-o1基礎(chǔ)模型

而李想問(wèn)詹錕，理想自研的馬赫M100芯片能不能“扛得住”最新的模型，詹錕則透露道馬赫M100芯片的性能很強(qiáng)，在標(biāo)準(zhǔn)的矩陣層計(jì)算任務(wù)上比上一代芯片強(qiáng)三倍，同時(shí)詹錕覺(jué)得到今年年中新模型就將具備一定的思維鏈能力。

▲理想汽車(chē)基座模型負(fù)責(zé)人詹錕

同時(shí)根據(jù)詹錕的說(shuō)法，MindVLA-o1基礎(chǔ)模型正在向具身智能通用模型進(jìn)化，他表示：“當(dāng)我們把視覺(jué)、語(yǔ)言和行動(dòng)統(tǒng)一到一個(gè)模型中時(shí)，它已不再只是自動(dòng)駕駛模型，而是在逐漸演化為面向物理世界的通用智能體?；谕惶譜LA模型，不僅可以控制車(chē)輛，也能夠擴(kuò)展到機(jī)器人。因此，自動(dòng)駕駛只是物理AI的起點(diǎn)，未來(lái)這類基礎(chǔ)模型將驅(qū)動(dòng)新的具身智能范式?！?/p>

李想本人也在社交媒體上發(fā)文，進(jìn)一步解讀了MindVLA-o1。

▲李想在社交媒體上發(fā)文

李想在視頻中還提到了對(duì)于AI的看法，他認(rèn)為AI對(duì)所有人都是一個(gè)杠桿，必須主動(dòng)擁抱。

對(duì)一家公司而言，如果所在領(lǐng)域里，AI無(wú)法創(chuàng)造新需求，往往只能用AI替代人力、降低成本。

但是對(duì)于理想汽車(chē)這樣的企業(yè)，李想表示，理想目前布局了汽車(chē)、機(jī)器人、芯片等領(lǐng)域，目前年收入1000多億，而全球汽車(chē)行業(yè)規(guī)模超過(guò)10萬(wàn)億，機(jī)器人、算力、下一代終端等領(lǐng)域加起來(lái)也是幾十萬(wàn)億的市場(chǎng)。

因此，理想汽車(chē)思考的不是用AI去替代人，而是把AI這個(gè)杠桿用起來(lái)，用今天的三萬(wàn)多員工，做到1萬(wàn)億的收入。

一、VLA方案存在三大挑戰(zhàn)效率仍不夠理想

自2021年啟動(dòng)輔助駕駛自研以來(lái)，理想輔助駕駛技術(shù)架構(gòu)經(jīng)歷了多輪迭代，2025年理想汽車(chē)推出了VLA司機(jī)大模型，并于8月隨理想i8交付正式推送，9月向AD Max用戶全量推送。

而詹錕表示，當(dāng)進(jìn)一步觀察當(dāng)前業(yè)界VLA方案時(shí)，理想汽車(chē)發(fā)現(xiàn)VLA方案仍然存在三個(gè)非常關(guān)鍵的挑戰(zhàn)：

1、3D空間語(yǔ)言思考和行為之間存在對(duì)齊效率不夠理想。

詹錕提到在自動(dòng)駕駛系統(tǒng)中，模型需要同時(shí)完成三件事情，理解3D空間、進(jìn)行語(yǔ)義層面的思考和推理、輸出具體的駕駛行為軌跡，如何讓這三個(gè)過(guò)程在同一個(gè)隱空間中高效對(duì)齊是非常困難的事情。

如果對(duì)齊的不夠好，就會(huì)出現(xiàn)兩類問(wèn)題。第一是語(yǔ)義理解和行為出現(xiàn)了偏差，模型能夠理解場(chǎng)景，但最后生成的軌跡并不符合預(yù)期。

第二是決策延遲，視覺(jué)語(yǔ)言行動(dòng)之間的傳遞鏈路過(guò)長(zhǎng)，導(dǎo)致反應(yīng)速度下降。

詹錕舉了一個(gè)例子，當(dāng)車(chē)輛前方出現(xiàn)了一個(gè)行駛較慢的車(chē)時(shí)，系統(tǒng)不僅需要理解這個(gè)場(chǎng)景，還要快速推理，是要立即變道還是持續(xù)跟隨，而且變道的時(shí)候速度應(yīng)該如何控制。

如果空間理解、語(yǔ)言推理和行為決策對(duì)齊效率不夠高，最后的生成的軌跡可能就并不是最優(yōu)，因此需要提升3D空間理解能力，讓語(yǔ)義和行為之間對(duì)齊精度和整體推理效率進(jìn)一步提升。

2、長(zhǎng)尾場(chǎng)景問(wèn)題。

詹錕表示，在自動(dòng)駕駛中很多關(guān)鍵問(wèn)題都來(lái)自極少發(fā)生的長(zhǎng)尾場(chǎng)景，僅僅依靠真實(shí)數(shù)據(jù)的規(guī)模擴(kuò)展很難覆蓋這些場(chǎng)景。

比如山區(qū)道路的突發(fā)落石、高速上的小動(dòng)物竄出，這些場(chǎng)景在真實(shí)數(shù)據(jù)中占比較低，但卻是用戶實(shí)際駕駛中可能遇到的風(fēng)險(xiǎn)點(diǎn)。

理想汽車(chē)發(fā)現(xiàn)必須需要結(jié)合合成數(shù)據(jù)與強(qiáng)化學(xué)習(xí)，在架構(gòu)設(shè)計(jì)初就必須考慮好強(qiáng)化學(xué)習(xí)的范式特點(diǎn)，通過(guò)仿真環(huán)境進(jìn)行大規(guī)模的訓(xùn)練，才能讓系統(tǒng)真正具備泛化能力和魯棒性。

3、計(jì)算效率和系統(tǒng)成本。

詹錕表示，VLA模型往往包含大規(guī)模的語(yǔ)言能力，這會(huì)帶來(lái)非常高的計(jì)算和內(nèi)存開(kāi)銷。

這會(huì)帶來(lái)兩方面的問(wèn)題，一方面如果遇到算力不足的情況，可能影響輔助駕駛使用體驗(yàn)；另一方面，高計(jì)算開(kāi)銷也會(huì)推高車(chē)企的硬件成本，要么導(dǎo)致車(chē)型定價(jià)上漲，要么壓縮其他配置的成本，最終影響用戶購(gòu)車(chē)決策。

在車(chē)端系統(tǒng)中，如何在有限的計(jì)算資源下運(yùn)行VLA，詹錕認(rèn)為這是非常現(xiàn)實(shí)的問(wèn)題，未來(lái)的方向必須是軟硬協(xié)同的架構(gòu)設(shè)計(jì)，通過(guò)聯(lián)合優(yōu)化模型架構(gòu)、推理系統(tǒng)以及硬件能力，才能讓VLA真正在車(chē)端規(guī)模化的落地。

▲詹錕提出的VLA方案三大挑戰(zhàn)

二、基于五大技術(shù) 多方面提升自動(dòng)駕駛性能

為了解決上文提到的三大問(wèn)題，理想汽車(chē)提出了下一代自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1。具體來(lái)看，理想汽車(chē)自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1有以下五大技術(shù)要點(diǎn)：

1、具備3D空間理解能力，使模型看得更遠(yuǎn)。

在感知層面，理想汽車(chē)采用以視覺(jué)為核心的3D ViT Encoder（3D視覺(jué)模型編碼器），用于對(duì)真實(shí)世界三維結(jié)構(gòu)進(jìn)行直接建模。詹錕介紹到，3D ViT Encoder并不是簡(jiǎn)單的將2D圖像和3D信息進(jìn)行拼接，而是在編碼階段直接構(gòu)建3D的空間表示，使得模型能夠更加自然的理解真實(shí)的物理世界的空間結(jié)構(gòu)。

▲3D空間理解技術(shù)

在訓(xùn)練過(guò)程中，理想汽車(chē)同時(shí)利用視覺(jué)和雷達(dá)的數(shù)據(jù)，雷達(dá)提供了準(zhǔn)確的三維幾何信息，視覺(jué)提供了豐富的語(yǔ)義信息，通過(guò)自監(jiān)督訓(xùn)練，模型可以在同一個(gè)表示空間中同時(shí)學(xué)習(xí)幾何結(jié)構(gòu)和語(yǔ)義信息。

為了進(jìn)一步提升對(duì)環(huán)境的理解，理想汽車(chē)在訓(xùn)練中引入前饋式3DGS表示（Feedforward 3D Representation），將場(chǎng)景拆分為靜態(tài)環(huán)境與動(dòng)態(tài)物體分別建模，靜態(tài)環(huán)境用穩(wěn)定的3DGS進(jìn)行建模，動(dòng)態(tài)環(huán)境單獨(dú)建模運(yùn)動(dòng)狀態(tài)。

在訓(xùn)練過(guò)程中，通過(guò)下一幀預(yù)測(cè)（Next-state prediction）作為自監(jiān)督信號(hào)，使模型同時(shí)學(xué)習(xí)深度信息、語(yǔ)義結(jié)構(gòu)與物體運(yùn)動(dòng)，最終形成融合了空間結(jié)構(gòu)時(shí)間的上下文信息，并將大規(guī)模的自監(jiān)督預(yù)訓(xùn)練進(jìn)行特征提取，因此不僅能夠描述當(dāng)前場(chǎng)景，還能夠?yàn)楹竺娴臎Q策模型提供高質(zhì)量的3D視覺(jué)表征。

總結(jié)來(lái)看，3D空間理解能力核心目的是縮短決策的時(shí)間，讓輔助駕駛在緊急場(chǎng)景反應(yīng)更快，或者在跟車(chē)之類的場(chǎng)景減少頓挫等問(wèn)題。

2、擁有多模態(tài)思考能力，讓模型想得更深。

在語(yǔ)言模型承擔(dān)語(yǔ)義理解、常識(shí)知識(shí)和交互能力的基礎(chǔ)上，理想汽車(chē)引入了預(yù)測(cè)式隱世界模型，核心思想是讓模型在預(yù)空間中模擬未來(lái)。

▲多模態(tài)思考能力

如果直接生成未來(lái)真實(shí)的圖像，計(jì)算成本會(huì)非常高，因此理想汽車(chē)選擇在Latent World中進(jìn)行預(yù)測(cè)。首先把當(dāng)前的視覺(jué)輸入編碼成一組Latent World Token，作為當(dāng)前場(chǎng)景的一個(gè)緊湊的表征。然后World Model會(huì)基于token預(yù)測(cè)未來(lái)的Latent的狀態(tài)，通過(guò)這種方式，模型可以在隱空間中高效的模擬未來(lái)場(chǎng)景的演化過(guò)程。

在訓(xùn)練上則分為三個(gè)階段：第一，用海量視頻數(shù)據(jù)預(yù)訓(xùn)練Latent World Token（隱世界詞元），構(gòu)建未來(lái)表征；第二，在MindVLA-o1中持續(xù)世界模型的推演，形成隱空間的未來(lái)推理能力；第三，將世界模型、多模態(tài)推理能力及駕駛行為進(jìn)行聯(lián)合訓(xùn)練與對(duì)齊。

由此，模型可以對(duì)未來(lái)的環(huán)境狀態(tài)進(jìn)行預(yù)測(cè)，不僅僅能理解當(dāng)前環(huán)境，還能在隱空間中模擬未來(lái)發(fā)生的可能情況。這個(gè)能力對(duì)于自動(dòng)駕駛的決策非常關(guān)鍵，理想汽車(chē)稱之為多模態(tài)思考（Generative Multimodal Thinking）。

總的來(lái)看，多模態(tài)思考能力讓模型能預(yù)判下一步應(yīng)該做什么，來(lái)提前規(guī)劃應(yīng)對(duì)策略，用戶的體驗(yàn)自然就更加流暢舒適。

3、形成統(tǒng)一行為生成機(jī)制，使模型行得更穩(wěn)。

在行為層面，理想汽車(chē)構(gòu)建了統(tǒng)一行為生成（Unified Action Generation）機(jī)制。

▲統(tǒng)一行為生成

首先，MindVLA-o1使用VLA-MoE（混合專家模型）架構(gòu)，并引入專門(mén)的Action Expert（動(dòng)作專家），從3D場(chǎng)景特征、導(dǎo)航目標(biāo)、駕駛指令等多維輸入中提取信息，并結(jié)合多模態(tài)思考生成高精度駕駛軌跡。

其次，為滿足實(shí)時(shí)性要求，系統(tǒng)采用并行解碼（Parallel Decoding），同時(shí)生成所有軌跡點(diǎn)，大幅提升效率。

最后，引入Discrete Diffusion（離散擴(kuò)散）進(jìn)行多輪迭代優(yōu)化，類似逐步去噪，確保軌跡空間連續(xù)、時(shí)間穩(wěn)定，并符合車(chē)輛動(dòng)力學(xué)約束。

這套軌跡生成的機(jī)制可以總結(jié)為三個(gè)點(diǎn)：MOE保證了生成的專業(yè)性、Parallel保證了生成的速度、Diffusion保證了生成的軌跡精度。

從具體效果來(lái)看，統(tǒng)一行為生成機(jī)制讓輔助駕駛更“老司機(jī)”，可以減少急打方向或急加減速等操作，提升了駕駛的流暢性與乘客的乘坐體驗(yàn)，同時(shí)也降低了車(chē)輛的能耗與制動(dòng)損耗。

4、在閉環(huán)強(qiáng)化學(xué)習(xí)框架下，模型實(shí)現(xiàn)更快進(jìn)化。

在模型迭代層面，理想汽車(chē)構(gòu)建了閉環(huán)強(qiáng)化學(xué)習(xí)框架，讓模型不僅能從真實(shí)數(shù)據(jù)學(xué)習(xí)，還能在世界模擬器（World Simulator）中持續(xù)探索和優(yōu)化策略，系統(tǒng)可以在模擬環(huán)境下不斷嘗試新的策略，根據(jù)反饋進(jìn)行策略更新。

▲閉環(huán)強(qiáng)化學(xué)習(xí)

其中幾個(gè)關(guān)鍵的組成部分，首先是要確定探索的數(shù)據(jù)集，理想汽車(chē)通常采用人類接管的困難數(shù)據(jù)集作為探索。其次，要具備一個(gè)很好的反饋模型，確認(rèn)給模型正確的反饋。最后，需要構(gòu)建良好的世界模引擎來(lái)探索不同的場(chǎng)景。

而在整個(gè)強(qiáng)化學(xué)習(xí)框架中，World Simulator的能力實(shí)際上直接決定了強(qiáng)化學(xué)習(xí)的上限。

為此，理想汽車(chē)將逐步優(yōu)化式重建為Feed-forward（前饋）場(chǎng)景重建，使系統(tǒng)能夠瞬時(shí)生成大規(guī)模、高保真駕駛場(chǎng)景，支持大規(guī)模并行訓(xùn)練。

同時(shí)，結(jié)合生成式模型（Generative Models），模擬環(huán)境可擴(kuò)展、編輯并生成全新場(chǎng)景。為支持大規(guī)模模擬與訓(xùn)練，理想汽車(chē)開(kāi)發(fā)了統(tǒng)一的3D Gaussian Splatting（3D高斯?jié)姙R）渲染引擎和分布式訓(xùn)練框架，渲染速度提升近2倍，整體訓(xùn)練成本降低約75%。

只有在這種效率的提升的情況下，才能真正進(jìn)行大規(guī)模的3DGS分布式的訓(xùn)練，實(shí)現(xiàn)真正的低成本高效率的強(qiáng)化學(xué)習(xí)閉環(huán)。

總的來(lái)看，閉環(huán)強(qiáng)化學(xué)習(xí)能快速生成各類真實(shí)場(chǎng)景與長(zhǎng)尾場(chǎng)景，讓模型在虛擬環(huán)境中反復(fù)訓(xùn)練、試錯(cuò)，無(wú)需等待真實(shí)道路數(shù)據(jù)采集，縮短模型迭代周期，也就是可以讓用戶更快的用上新版本。

5、在軟硬件協(xié)同設(shè)計(jì)定律下，模型部署更高效。

為解決傳統(tǒng)端側(cè)大模型部署耗時(shí)長(zhǎng)、調(diào)試頻繁的問(wèn)題，理想汽車(chē)面向端側(cè)大模型的軟硬件協(xié)同設(shè)計(jì)定律，將模型結(jié)構(gòu)與驗(yàn)證損失建模，并結(jié)合Roofline模型刻畫(huà)硬件計(jì)算能力與內(nèi)存帶寬限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架。

▲軟硬件協(xié)同設(shè)計(jì)

理想汽車(chē)基座模型團(tuán)隊(duì)評(píng)估了近2000種模型架構(gòu)配置，在英偉達(dá)Orin與Thor平臺(tái)上完成驗(yàn)證，找到了模型精度與推理延遲之間的Pareto Front（帕累托前沿），可以在給定的計(jì)算預(yù)算下得出模型的層數(shù)、隱藏的維度、MOE的激活比例應(yīng)該如何組合才能達(dá)到性能最優(yōu)。

詹錕分享了一個(gè)觀察，在端側(cè)計(jì)算資源受限的情況下，更寬且更淺的模型結(jié)構(gòu)往往比傳統(tǒng)的深層模型更加有效。通過(guò)這一套軟硬件協(xié)同的設(shè)計(jì)方案，理想汽車(chē)將模型探索的架構(gòu)探索的時(shí)間從數(shù)月縮短到了幾天，大大提升了端側(cè)VLA的模型設(shè)計(jì)效率和部署速度。

三、四大核心構(gòu)建AI框架也可擴(kuò)展至機(jī)器人

同時(shí)，理想汽車(chē)方面提到，MindVLA-o1是理想汽車(chē)面向物理世界智能核心AI框架的重要組成部分，這套AI框架由四大核心模塊組成：

1、MindData，統(tǒng)一的VLA數(shù)據(jù)引擎，負(fù)責(zé)大規(guī)模數(shù)據(jù)的采集、清洗和自動(dòng)標(biāo)注；

2、MindVLA-o1，統(tǒng)一的原生多模態(tài)VLA模型，可以理解環(huán)境、進(jìn)行推理，并生成駕駛行為；

3、MindSim，可控的多模態(tài)世界模型，用于生成復(fù)雜駕駛場(chǎng)景并支持大規(guī)模閉環(huán)訓(xùn)練；

4、RL Infra（強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施），通過(guò)獎(jiǎng)勵(lì)模型和策略學(xué)習(xí)，使系統(tǒng)在仿真與真實(shí)環(huán)境中自我進(jìn)化。

▲AI框架四大核心模塊

四部分協(xié)同形成完整閉環(huán)，使AI能夠感知、理解并在物理世界中自主行動(dòng)，并持續(xù)學(xué)習(xí)。

從結(jié)構(gòu)上看，這套系統(tǒng)如同一個(gè)“數(shù)字大腦”：感知層對(duì)應(yīng)視覺(jué)皮層，推理與規(guī)劃如前額葉，場(chǎng)景生成似運(yùn)動(dòng)皮層，強(qiáng)化學(xué)習(xí)則類似多巴胺反饋，實(shí)現(xiàn)了感知、理解、行動(dòng)和持續(xù)優(yōu)化的完整閉環(huán)。

理想汽車(chē)方面表示，車(chē)是最大號(hào)的機(jī)器人，其本質(zhì)是在構(gòu)建硅基生命體的軀干與大腦，而該AI框架不僅服務(wù)于汽車(chē)，也可擴(kuò)展至機(jī)器人及各種物理系統(tǒng)。

另外，理想汽車(chē)方面還提到，MindVLA-o1相關(guān)的多篇論文已在CVPR、ICLR、ICRA、AAAI等國(guó)際頂會(huì)上發(fā)表。

結(jié)語(yǔ)：理想加速AI轉(zhuǎn)型

理想汽車(chē)CEO李想曾在多個(gè)場(chǎng)合公開(kāi)表示，理想汽車(chē)要轉(zhuǎn)型為“人工智能（AI）企業(yè)”。

根據(jù)理想汽車(chē)2025年全年財(cái)報(bào)，理想汽車(chē)在2025年的研發(fā)投入達(dá)到113億元，平均每月投入近10億元，創(chuàng)歷史新高，其中AI相關(guān)投入占比50%。

而從理想汽車(chē)在NVIDIA GTC 2026上發(fā)布的MindVLA-o1自動(dòng)駕駛基礎(chǔ)模型來(lái)看，其不僅是在自動(dòng)駕駛領(lǐng)域的一次技術(shù)升級(jí)，更是理想汽車(chē)向AI企業(yè)全面轉(zhuǎn)型的又一重要進(jìn)程。