一年前，DeepSeek R1 橫空出世，人們才意識(shí)到，真正讓模型產(chǎn)生推理能力質(zhì)變的，不必是更大的預(yù)訓(xùn)練規(guī)模 —— 后訓(xùn)練，用強(qiáng)化學(xué)習(xí)、過程獎(jiǎng)勵(lì)、閉環(huán)反饋，以極低的代價(jià)解鎖了原本需要數(shù)倍算力才能觸達(dá)的能力邊界。
這場(chǎng)范式革命，正在物理世界重演。
自動(dòng)駕駛系統(tǒng)已經(jīng)在海量駕駛數(shù)據(jù)上完成了預(yù)訓(xùn)練，但距離真正的 Physical AGI，仍有一道鴻溝：模型知道 "該怎么開"，卻不知道「為什么這樣開更好」。真正的進(jìn)化，需要閉環(huán)、需要反饋、需要在與世界的交互中不斷修正。
香港大學(xué)李弘揚(yáng)團(tuán)隊(duì)聯(lián)合華為、上海創(chuàng)智學(xué)院給出了他們的答案 —— 世界引擎：以后訓(xùn)練為核心范式，以閉環(huán)仿真為訓(xùn)練環(huán)境，驅(qū)動(dòng)自動(dòng)駕駛系統(tǒng)在海量真實(shí)與合成場(chǎng)景的交互中，涌現(xiàn)出真正的決策能力。

• 代碼地址：https://github.com/OpenDriveLab/WorldEngine
• 主頁：https://opendrivelab.com/WorldEngine/

作為自動(dòng)駕駛領(lǐng)域的重要學(xué)術(shù)力量，2022 年底，OpenDriveLab 推出UniAD—— 第一個(gè)將感知、預(yù)測(cè)、規(guī)劃統(tǒng)一在單一框架下的端到端系統(tǒng)，以「規(guī)劃為中心」重新定義了自動(dòng)駕駛的建模范式，成為學(xué)術(shù)界公認(rèn)的里程碑。

但 UniAD 之后，一個(gè)更深的問題浮出水面：端到端系統(tǒng)在學(xué)術(shù) benchmark 上表現(xiàn)優(yōu)異，真實(shí)世界卻是另一回事。

雨夜里逆行的電動(dòng)車，施工路段突然倒下的錐桶，大客車后方的鬼探頭 —— 這些長(zhǎng)尾場(chǎng)景，在訓(xùn)練數(shù)據(jù)里幾乎不存在。靠更大的數(shù)據(jù)集、更深的網(wǎng)絡(luò)，無法根本性地解決。

OpenDriveLab 開始從兩個(gè)方向同時(shí)推進(jìn)。一方面，MTGS 通過多次遍歷的 3D 高斯?jié)姙R技術(shù)，構(gòu)建出高保真的可渲染駕駛場(chǎng)景 —— 這是閉環(huán)仿真的物理基礎(chǔ)。另一方面，Nexus、Omega 等世界模型工作聚焦于反事實(shí)難例高動(dòng)態(tài)交互模擬，突破真實(shí)數(shù)據(jù)對(duì)長(zhǎng)尾場(chǎng)景覆蓋的天然局限。

至此，一個(gè)核心問題自然浮現(xiàn)：有了高保真仿真環(huán)境，有了能生成難例的世界模型，如何讓端到端系統(tǒng)真正在其中安全進(jìn)化？

答案，就是后訓(xùn)練

2025 年 4 月，華為發(fā)布 ADS 4.0，正式披露了全新技術(shù)架構(gòu) WEWA。其中云端核心World Engine，正是華為與 OpenDriveLab 聯(lián)合開發(fā)的成果。（https://auto.huawei.com/cn/ads）華為將這套架構(gòu)的目標(biāo)定義為：面向自動(dòng)駕駛，從類人到超人。

World Engine，由此登場(chǎng)。

World Engine：邁向物理 AI 的后訓(xùn)練時(shí)代

如果說預(yù)訓(xùn)練讓自動(dòng)駕駛系統(tǒng)學(xué)會(huì)了「模仿」，那后訓(xùn)練要解決的，是如何讓系統(tǒng)學(xué)會(huì)「判斷」。

World Engine 的設(shè)計(jì)哲學(xué)，正是圍繞這一目標(biāo)展開。它不是一個(gè)單一模型，而是一套完整的后訓(xùn)練 pipeline，由三個(gè)核心能力構(gòu)成：

• 3DGS 仿真環(huán)境—— 基于 3DGS 構(gòu)建的高保真視覺輸入，為后訓(xùn)練提供了真正意義上的閉環(huán)反饋。系統(tǒng)的每一個(gè)決策，都能在環(huán)境中得到即時(shí)響應(yīng)，而不是停留在數(shù)據(jù)回放。
• 難例挖掘 & 擴(kuò)散生成—— 真實(shí)世界的長(zhǎng)尾場(chǎng)景稀缺且難以復(fù)現(xiàn)。World Engine 首先從海量真實(shí)駕駛數(shù)據(jù)中主動(dòng)挖掘難例，再以世界模型為工具，對(duì)這些難例進(jìn)行擴(kuò)散生成后，依托仿真環(huán)境進(jìn)行渲染，放大長(zhǎng)尾場(chǎng)景的密度與多樣性，讓系統(tǒng)在訓(xùn)練中「見過」它在路上可能遇到的一切。
• 基于強(qiáng)化學(xué)習(xí)的后訓(xùn)練——World Engine 在仿真生成的大規(guī)模難例場(chǎng)景上，以強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)系統(tǒng)優(yōu)化，將安全價(jià)值規(guī)范內(nèi)化為獎(jiǎng)勵(lì)信號(hào)，讓系統(tǒng)不只是「開得快」，更是「開得對(duì)」。

三者協(xié)同，構(gòu)成了一個(gè)完整的飛輪：仿真生成難例，難例驅(qū)動(dòng)后訓(xùn)練，后訓(xùn)練強(qiáng)化決策能力。

圖 1 World Engine 架構(gòu)總覽

從暴露弱點(diǎn)到超越弱點(diǎn)

三個(gè)模塊，一套飛輪。

難例挖掘與擴(kuò)散生成

World Engine 首先讓模型「自己暴露弱點(diǎn)」。將預(yù)訓(xùn)練好的端到端模型在訓(xùn)練集上做開環(huán)推理，以 PDMS 作為評(píng)判標(biāo)準(zhǔn)，自動(dòng)篩選出模型表現(xiàn)差的場(chǎng)景 —— 碰撞、偏離道路、自車停滯不前。這些場(chǎng)景，就是模型的能力邊界所在。

挖掘出難例之后，World Engine 并不止步于此。行為世界模型（Behaviour World Model） 以解耦擴(kuò)散的方式，對(duì)這些難例場(chǎng)景進(jìn)行變體生成 —— 在保持真實(shí)地圖拓?fù)渑c場(chǎng)景布局的前提下，引入對(duì)抗性交通行為，批量合成高密度的安全關(guān)鍵場(chǎng)景。真實(shí)數(shù)據(jù)的長(zhǎng)尾，由此被系統(tǒng)性地放大。

圖 2 難例擴(kuò)散生成典型 case

高保真閉環(huán)仿真

難例場(chǎng)景需要一個(gè)足夠真實(shí)的舞臺(tái)。World Engine 內(nèi)置了基于3DGS 的場(chǎng)景重建 pipeline—— 融合同一路段的多次真實(shí)駕駛記錄，構(gòu)建出扎根于真實(shí)世界的高保真三維場(chǎng)景。這不是憑空生成的虛擬沙盒，而是閉環(huán)訓(xùn)練的真實(shí)物理基礎(chǔ)。

圖 3 高保真閉環(huán)仿真效果圖

基于強(qiáng)化學(xué)習(xí)的后訓(xùn)練

有了大規(guī)模難例數(shù)據(jù)，World Engine 以離線強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)端到端模型持續(xù)優(yōu)化。獎(jiǎng)勵(lì)信號(hào)將舒適性、避障、道路合規(guī)等安全價(jià)值直接內(nèi)化為訓(xùn)練目標(biāo)。模型不再只是模仿人類駕駛員，而是在與難例的反復(fù)博弈中，學(xué)會(huì)真正的安全決策。

圖 4 navsim 測(cè)試難例集對(duì)比

World Engine 發(fā)現(xiàn)了什么？

數(shù)據(jù)量上做加法，不如在訓(xùn)練范式上做乘法

圖 5 驗(yàn)證 Data Scaling: 將預(yù)訓(xùn)練數(shù)據(jù)集場(chǎng)景數(shù)量從 12k 增廣至 103k 進(jìn)行對(duì)比

自動(dòng)駕駛行業(yè)有一個(gè)長(zhǎng)期信仰：數(shù)據(jù)越多，模型越安全。World Engine 給出了一個(gè)更復(fù)雜的答案。

將預(yù)訓(xùn)練數(shù)據(jù)從 1.3 萬個(gè)場(chǎng)景一路擴(kuò)大到 10.3 萬個(gè)，在日常駕駛場(chǎng)景上，scaling law 如期生效 —— 數(shù)據(jù)越多，表現(xiàn)越好。但在安全關(guān)鍵的長(zhǎng)尾場(chǎng)景上，曲線很快躺平。原因并不意外：真實(shí)路測(cè)中危險(xiǎn)場(chǎng)景本就極度稀缺，堆再多常規(guī)數(shù)據(jù)，模型在關(guān)鍵時(shí)刻依然束手無策。

數(shù)據(jù) scaling，在長(zhǎng)尾場(chǎng)景這件事上，撞上了天花板。

World Engine 的后訓(xùn)練給出了另一條路徑：在仿真環(huán)境中以強(qiáng)化學(xué)習(xí)反復(fù)博弈難例場(chǎng)景，將避障、合規(guī)、舒適性直接編碼為優(yōu)化目標(biāo)，同時(shí)確保系統(tǒng)不丟失預(yù)訓(xùn)練階段習(xí)得的基礎(chǔ)駕駛能力。從同一個(gè)基礎(chǔ)模型出發(fā)，后訓(xùn)練直接跨越了 scaling 曲線，實(shí)現(xiàn)了等效于將預(yù)訓(xùn)練數(shù)據(jù)擴(kuò)大約 14 倍的閉環(huán)性能增益。

一塊都不能少

后訓(xùn)練有效，但增益從何而來？World Engine 對(duì)自身的三個(gè)核心模塊做逐一拆解。

圖 6 navsim 數(shù)據(jù)集上不同訓(xùn)練后范式對(duì)比

光喂數(shù)據(jù)沒用。拿到稀有場(chǎng)景數(shù)據(jù)，模仿學(xué)習(xí)幾乎不改善閉環(huán)表現(xiàn)。模型學(xué)會(huì)了「照做」，沒學(xué)會(huì)「判斷」。強(qiáng)化學(xué)習(xí)才是那個(gè)開關(guān)。

練什么比怎么練更重要。同樣是強(qiáng)化學(xué)習(xí)，在普通場(chǎng)景上練，閉環(huán)成功率反而下降 —— 就像一個(gè)學(xué)生只刷簡(jiǎn)單題，考試遇到難題反而更慌。只有聚焦難例，能力才真正提升。

仿真不是有就行，得「活」起來。當(dāng)仿真里的其他車輛只是錄像回放，收益有限；當(dāng)它們開始對(duì)自車行為做出反應(yīng)、甚至主動(dòng)制造對(duì)抗，閉環(huán)成功率從 76% 一路拉到 89% 。World Engine 的行為世界模型，補(bǔ)上的正是這最后一環(huán)。

從仿真到路測(cè)：World Engine 的工業(yè)級(jí)答卷

學(xué)術(shù) benchmark 之外，World Engine 接受了一次更嚴(yán)苛的考驗(yàn) —— 華為 ADS 系統(tǒng)的工業(yè)級(jí)驗(yàn)證。

基礎(chǔ)模型在超過 8 萬小時(shí)真實(shí)駕駛數(shù)據(jù)上完成預(yù)訓(xùn)練，覆蓋全國 100 余座城市、逾千萬條駕駛片段。這已經(jīng)是一個(gè)極強(qiáng)的起點(diǎn)。World Engine 后訓(xùn)練在此基礎(chǔ)上繼續(xù)發(fā)力。

工業(yè)閉環(huán)仿真

圖 7 ADS 工業(yè)級(jí)閉環(huán)仿真結(jié)果對(duì)比

團(tuán)隊(duì)利用華為 ADS 的工業(yè)級(jí)閉環(huán)仿真平臺(tái)對(duì)后訓(xùn)練模型進(jìn)行了全面評(píng)估 —— 超過1 萬個(gè)測(cè)試場(chǎng)景，累計(jì)模擬駕駛里程逾3000 公里，全部為高密度交互的事件性場(chǎng)景，而非平淡的常規(guī)巡航。結(jié)果橫跨六項(xiàng)安全指標(biāo)，全面改善，其中切入碰撞更是下降 45.5%。

實(shí)車路測(cè)

仿真之后，World Engine 走上了上海真實(shí)路面。測(cè)試路線涵蓋城市快速路與城區(qū)道路，總計(jì)約200 公里，重復(fù)測(cè)試三次完成。

圖 8 上海市內(nèi)高架測(cè)試路線

圖 9 上海市城區(qū)測(cè)試路線

測(cè)試覆蓋的場(chǎng)景，是城市駕駛中真正讓人驚出冷汗的時(shí)刻：夜間施工區(qū)的臨時(shí)改道、行人從視覺盲區(qū)橫穿、無保護(hù)左轉(zhuǎn)后的施工區(qū)。這些場(chǎng)景的共同特征是 —— 即便是經(jīng)驗(yàn)豐富的人類駕駛員，也需要高度集中注意力，稍有遲疑就可能出事。

典型實(shí)車場(chǎng)景 1

典型實(shí)車場(chǎng)景 2

典型實(shí)車場(chǎng)景 3

而 World Engine 后訓(xùn)練模型全程無需人工介入。

Post Training，不止于自動(dòng)駕駛

World Engine 的故事，從自動(dòng)駕駛出發(fā)。但它真正想回答的問題，遠(yuǎn)不止于此。

回到最核心的洞見：當(dāng)真實(shí)世界無法為你提供足夠的關(guān)鍵失敗場(chǎng)景時(shí)，就主動(dòng)去創(chuàng)造它們。在這些失敗中反復(fù)博弈，在這些邊界上持續(xù)進(jìn)化。這個(gè)邏輯，和駕駛無關(guān) —— 它是所有 Physical AI 系統(tǒng)共同面臨的根本困境。

Physical AI 與數(shù)字 AI 最本質(zhì)的區(qū)別，在于不可逆性。語言模型說錯(cuò)一句話，刷新重來；推薦系統(tǒng)給錯(cuò)一個(gè)結(jié)果，下一次糾正。但物理世界里，機(jī)器人打碎了一個(gè)杯子，手術(shù)機(jī)器人劃錯(cuò)了一刀，自動(dòng)駕駛追尾了一輛車 —— 錯(cuò)誤已經(jīng)發(fā)生，無法撤銷。這意味著，Physical AI 必須在真正上線之前，就已經(jīng) "見過" 那些最危險(xiǎn)的時(shí)刻。

但現(xiàn)實(shí)是，這些最危險(xiǎn)的時(shí)刻，恰恰是最難收集的數(shù)據(jù)。

這些領(lǐng)域，和自動(dòng)駕駛面對(duì)的是同一個(gè)結(jié)構(gòu)性困境：最需要學(xué)習(xí)的場(chǎng)景，天然地缺席于訓(xùn)練數(shù)據(jù)。

World Engine 提供的范式正是針對(duì)這一困境的系統(tǒng)性回答。具體的技術(shù)實(shí)現(xiàn)會(huì)因領(lǐng)域而異：3DGS 渲染可以換成物理引擎或視頻世界模型，行為世界模型可以換成機(jī)械臂動(dòng)力學(xué)仿真或人體運(yùn)動(dòng)生成 —— 但核心邏輯不變：不被動(dòng)等待數(shù)據(jù)，主動(dòng)生成經(jīng)驗(yàn)；不只模仿人類，在與世界的博弈中涌現(xiàn)能力。

OpenDriveLab 正在將這條路延伸到更廣闊的具身智能領(lǐng)域。從端到端自動(dòng)駕駛出發(fā)，走向能在物理世界中感知、推理、行動(dòng)、進(jìn)化的通用智能體 —— 這是具身智能研究的終極命題，也是 Physical AGI 真正的意涵所在。

自動(dòng)駕駛，是這場(chǎng)旅程的第一個(gè)戰(zhàn)場(chǎng)。

而 Post-Training，將是 Physical AGI 時(shí)代最重要的基礎(chǔ)設(shè)施之一。

項(xiàng)目作者簡(jiǎn)介

World Engine 由香港大學(xué)助理教授、上海創(chuàng)智學(xué)院全時(shí)導(dǎo)師李弘揚(yáng)博士與華為蘇鵬博士共同擔(dān)任項(xiàng)目負(fù)責(zé)人，李天羽（上海創(chuàng)智學(xué)院）、陳立（香港大學(xué)）、王曹俊（上海創(chuàng)智學(xué)院）、劉浩晨（南洋理工大學(xué)）為項(xiàng)目核心貢獻(xiàn)者，共同主導(dǎo)新范式的研究與實(shí)現(xiàn)；蘇鵬博士團(tuán)隊(duì)從產(chǎn)業(yè)視角出發(fā)，推動(dòng)技術(shù)的量產(chǎn)落地與應(yīng)用部署。