經(jīng)觀感知

自動(dòng)駕駛技術(shù)正在進(jìn)入新的階段。

3月17日，在美國硅谷舉行的NVIDIA GTC 2026大會(huì)上，理想汽車發(fā)布下一代自動(dòng)駕駛基礎(chǔ)模型 MindVLA-o1。

理想汽車基座模型負(fù)責(zé)人詹錕在演講中表示，這一模型通過統(tǒng)一視覺、語言和行動(dòng)三類能力，使自動(dòng)駕駛系統(tǒng)不僅能夠理解環(huán)境并生成駕駛行為，還能夠在模型內(nèi)部推演未來場(chǎng)景，從而形成類似“思考—決策—行動(dòng)”的能力。

在理想汽車的描述中，這一模型不再只是傳統(tǒng)意義上的自動(dòng)駕駛算法，而是面向物理世界的一種基礎(chǔ)智能模型架構(gòu)。按照其規(guī)劃，同一套模型未來不僅可以用于車輛控制，也可以擴(kuò)展至機(jī)器人等物理系統(tǒng)。

近年來，隨著大模型技術(shù)在自然語言和視覺領(lǐng)域的突破，自動(dòng)駕駛行業(yè)也在嘗試將視覺理解、語言推理與行動(dòng)決策統(tǒng)一到同一模型中。這類模型通常被稱為 VLA（Vision-Language-Action）模型。其核心目標(biāo)是讓機(jī)器同時(shí)具備環(huán)境理解、邏輯推理以及行為生成能力，從而提升自動(dòng)駕駛系統(tǒng)在復(fù)雜場(chǎng)景中的泛化能力。

在不少業(yè)內(nèi)人士看來，VLA模型正在成為自動(dòng)駕駛技術(shù)新的研究方向。相比傳統(tǒng)模塊化系統(tǒng)，統(tǒng)一模型架構(gòu)有望減少系統(tǒng)之間的信息損失，并通過大規(guī)模數(shù)據(jù)訓(xùn)練提升系統(tǒng)在未知場(chǎng)景中的適應(yīng)能力。

理想汽車此次發(fā)布MindVLA-o1，被視為車企在這一技術(shù)路徑上的一次探索。

智駕路線紛爭(zhēng)

自動(dòng)駕駛技術(shù)過去十余年的發(fā)展，大致經(jīng)歷了從規(guī)則系統(tǒng)到深度學(xué)習(xí)的轉(zhuǎn)變。

在最早階段，自動(dòng)駕駛系統(tǒng)主要依賴工程規(guī)則。系統(tǒng)通常由感知、定位、預(yù)測(cè)、規(guī)劃和控制等多個(gè)模塊組成，每個(gè)模塊獨(dú)立設(shè)計(jì)，并通過大量規(guī)則邏輯進(jìn)行連接。這種架構(gòu)在高速公路等簡(jiǎn)單場(chǎng)景中運(yùn)行穩(wěn)定，但在復(fù)雜城市交通環(huán)境中容易遇到難以覆蓋的極端情況。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，自動(dòng)駕駛企業(yè)開始嘗試端到端模型。該方法通過神經(jīng)網(wǎng)絡(luò)直接從傳感器數(shù)據(jù)生成駕駛軌跡，從而減少人工規(guī)則的依賴。特斯拉FSD、小鵬汽車以及多家自動(dòng)駕駛公司均在探索這一技術(shù)路線。

不過，端到端模型也存在新的挑戰(zhàn)。雖然模型可以通過學(xué)習(xí)生成駕駛行為，但在復(fù)雜交通環(huán)境中仍然缺乏對(duì)場(chǎng)景的深層理解能力。

在這一背景下，融合多模態(tài)能力的VLA模型逐漸受到關(guān)注。VLA模型通過結(jié)合視覺感知、語言模型推理以及行動(dòng)生成，使自動(dòng)駕駛系統(tǒng)不僅能夠識(shí)別環(huán)境，還能夠通過推理生成決策。

MindVLA-o1正是在這一思路下設(shè)計(jì)。

自動(dòng)駕駛系統(tǒng)的核心能力之一，是對(duì)真實(shí)世界環(huán)境的理解。車輛傳感器獲取的數(shù)據(jù)通常以二維圖像形式呈現(xiàn)，但駕駛決策需要基于三維空間。例如車輛之間的距離、行人的運(yùn)動(dòng)軌跡以及道路結(jié)構(gòu)等信息，都需要通過三維建模進(jìn)行理解。

MindVLA-o1在感知層采用了以視覺為核心的三維編碼架構(gòu)，并結(jié)合激光雷達(dá)點(diǎn)云信息作為幾何提示，使模型能夠同時(shí)學(xué)習(xí)語義信息與空間結(jié)構(gòu)。

此外，系統(tǒng)還引入三維高斯?jié)姙R（3D Gaussian Splatting）等技術(shù)，對(duì)場(chǎng)景進(jìn)行三維重建，并通過預(yù)測(cè)下一幀圖像作為自監(jiān)督信號(hào)訓(xùn)練模型，使其在學(xué)習(xí)語義信息的同時(shí)理解深度與運(yùn)動(dòng)關(guān)系。

這種方法的目標(biāo)，是讓自動(dòng)駕駛模型不僅能夠識(shí)別物體，還能夠理解物體在空間中的位置以及運(yùn)動(dòng)關(guān)系。

“大模型時(shí)代”

在自動(dòng)駕駛系統(tǒng)中，理解當(dāng)前環(huán)境只是第一步，更重要的是預(yù)測(cè)未來場(chǎng)景變化。例如車輛接近路口時(shí)，需要判斷行人是否準(zhǔn)備過馬路、前車是否會(huì)突然減速、周圍車輛是否可能并線等。

傳統(tǒng)自動(dòng)駕駛系統(tǒng)通常依賴單獨(dú)的預(yù)測(cè)模塊進(jìn)行場(chǎng)景預(yù)測(cè)。而MindVLA-o1通過引入世界模型，使系統(tǒng)能夠在隱空間中模擬未來場(chǎng)景。

在訓(xùn)練過程中，模型首先通過大量視頻數(shù)據(jù)學(xué)習(xí)未來場(chǎng)景變化的規(guī)律，然后在隱空間中持續(xù)推演可能出現(xiàn)的情境，并將這些推理結(jié)果與駕駛行為進(jìn)行聯(lián)合訓(xùn)練。

理想汽車將這一能力稱為“多模態(tài)思考”。在這一機(jī)制下，自動(dòng)駕駛系統(tǒng)可以在生成駕駛決策之前，對(duì)未來場(chǎng)景進(jìn)行預(yù)測(cè)和推演。

在駕駛決策階段，MindVLA-o1采用混合專家模型架構(gòu)，并設(shè)置專門的動(dòng)作專家模塊生成駕駛軌跡。系統(tǒng)會(huì)綜合環(huán)境信息、導(dǎo)航目標(biāo)以及駕駛指令，直接生成車輛行駛軌跡。

為了滿足實(shí)時(shí)性要求，系統(tǒng)通過并行解碼方式一次性生成全部軌跡點(diǎn)，同時(shí)利用擴(kuò)散模型進(jìn)行多輪優(yōu)化，使軌跡更加平滑并符合車輛動(dòng)力學(xué)約束。

這種方式與傳統(tǒng)自動(dòng)駕駛系統(tǒng)存在明顯差異。過去系統(tǒng)通常通過規(guī)則和優(yōu)化算法計(jì)算駕駛軌跡，而新的模型則通過生成式方法直接生成駕駛行為。

MindVLA-o1還引入強(qiáng)化學(xué)習(xí)框架，并通過世界模擬器進(jìn)行大規(guī)模訓(xùn)練。系統(tǒng)可以在虛擬環(huán)境中生成大量駕駛場(chǎng)景，使模型通過不斷試錯(cuò)優(yōu)化駕駛策略。

為了支持這種訓(xùn)練方式，理想汽車開發(fā)了新的三維渲染引擎和分布式訓(xùn)練框架，以提升模擬環(huán)境生成效率并降低訓(xùn)練成本。

近年來，自動(dòng)駕駛競(jìng)爭(zhēng)正逐漸從硬件能力轉(zhuǎn)向人工智能能力。一方面，自動(dòng)駕駛系統(tǒng)需要大量數(shù)據(jù)和算力支持；另一方面，大模型技術(shù)正在改變自動(dòng)駕駛系統(tǒng)的整體架構(gòu)。

包括特斯拉、Wayve以及部分自動(dòng)駕駛公司都在探索大模型路線。部分企業(yè)還通過構(gòu)建超級(jí)計(jì)算平臺(tái)訓(xùn)練自動(dòng)駕駛模型。

在這一背景下，車企的角色也在發(fā)生變化。從傳統(tǒng)制造企業(yè)向技術(shù)公司轉(zhuǎn)型，或成為不少車企的重要戰(zhàn)略方向。

理想汽車表示，其AI體系由數(shù)據(jù)引擎MindData、VLA模型MindVLA-o1、世界模型MindSim以及強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施等模塊組成。這些模塊共同構(gòu)成一個(gè)閉環(huán)系統(tǒng)，使AI能夠在真實(shí)世界與模擬環(huán)境中持續(xù)學(xué)習(xí)和優(yōu)化。

按照理想汽車的設(shè)想，這套系統(tǒng)未來不僅可以服務(wù)于汽車，也可以擴(kuò)展至機(jī)器人等物理系統(tǒng)。

不過，大模型路線仍面臨不少挑戰(zhàn)。首先，大模型訓(xùn)練需要巨量數(shù)據(jù)與算力，成本極高；其次，自動(dòng)駕駛系統(tǒng)的安全性仍需要長期驗(yàn)證；此外，監(jiān)管政策與商業(yè)化進(jìn)程也會(huì)影響技術(shù)落地速度。

自動(dòng)駕駛技術(shù)的發(fā)展歷程表明，每一次技術(shù)突破都需要經(jīng)歷較長的驗(yàn)證周期。

MindVLA-o1的發(fā)布意味著自動(dòng)駕駛行業(yè)正在嘗試新的技術(shù)方向，但這一技術(shù)路徑是否會(huì)成為未來主流，還需要時(shí)間檢驗(yàn)。

可以確定的是，隨著人工智能技術(shù)的發(fā)展，自動(dòng)駕駛已經(jīng)不再只是車輛控制系統(tǒng)的問題，而正在逐漸演變?yōu)橐粋€(gè)復(fù)雜的人工智能問題。在這一變化中，車企與科技公司的邊界也在逐漸模糊。

免責(zé)聲明：本文觀點(diǎn)僅代表作者本人，供參考、交流，不構(gòu)成任何建議。