為什么自動(dòng)駕駛系統(tǒng)在某些場(chǎng)景中越訓(xùn)練越安全，然而在其他場(chǎng)景中卻突然出錯(cuò)？長(zhǎng)期以來(lái)，這種被稱為“蹺蹺板效應(yīng)”的問(wèn)題成為自動(dòng)駕駛安全訓(xùn)練的挑戰(zhàn)。

近期，清華大學(xué)封碩副教授與美國(guó)密西根大學(xué)團(tuán)隊(duì)用一種“反直覺(jué)”的方法解決了這個(gè)問(wèn)題。他們提出了一種密集學(xué)習(xí)（Dense Learning）方法，從理論上重新審視了自動(dòng)駕駛訓(xùn)練中的高價(jià)值數(shù)據(jù)。

密集學(xué)習(xí)方法的核心思想，不是大量學(xué)習(xí)無(wú)效的海量數(shù)據(jù)，而是主動(dòng)“學(xué)得更少”，即對(duì)少部分?jǐn)?shù)據(jù)學(xué)得更密集、學(xué)得更多，而對(duì)其他數(shù)據(jù)則不學(xué)或?qū)W得更少，進(jìn)而保留真正有價(jià)值的信息密集型樣本。

這就像在考試前有效刷題一樣，假如你有 1 萬(wàn)道模擬試題，傳統(tǒng)方法是把每道題都做一遍，對(duì)于提分效果并不顯著。與太簡(jiǎn)單和難度高的題相比，難度適中的題反而更有價(jià)值：做對(duì)了總結(jié)成功的經(jīng)驗(yàn)，做錯(cuò)了總結(jié)失敗的教訓(xùn)。這項(xiàng)技術(shù)就像是給你配了智能題庫(kù)，它能從題海中精準(zhǔn)篩選出那些“差點(diǎn)就做對(duì)了”的關(guān)鍵題目，進(jìn)而實(shí)現(xiàn)成績(jī)的高效突破。

基于增強(qiáng)現(xiàn)實(shí)測(cè)試平臺(tái)，該團(tuán)隊(duì)使用密集學(xué)習(xí)方法對(duì) L4 級(jí)自動(dòng)駕駛汽車進(jìn)行了安全性訓(xùn)練和測(cè)試。結(jié)果表明，該方法打破了自動(dòng)駕駛安全性的增長(zhǎng)停滯，并將自動(dòng)駕駛的安全性提升了 1-2 個(gè)數(shù)量級(jí)。

“這項(xiàng)研究對(duì)于自動(dòng)駕駛汽車達(dá)到乃至超越人類駕駛員的安全水平，對(duì)助力自動(dòng)駕駛從輔助駕駛更快地走向無(wú)人駕駛具有重要意義。”封碩對(duì) DeepTech 表示。

圖丨封碩（來(lái)源：受訪者）

相關(guān)論文以《通過(guò)密集學(xué)習(xí)突破自動(dòng)駕駛安全性能停滯瓶頸》（Breaking through safety performance stagnation in autonomous vehicles with dense learning）為題發(fā)表在 Nature Communications[1]。清華大學(xué)自動(dòng)化系封碩副教授是第一作者，密西根大學(xué)劉向宏（Henry X. Liu）教授擔(dān)任通訊作者。

圖丨相關(guān)論文（來(lái)源：Nature Communications）

行業(yè)困境：為什么 AI 數(shù)據(jù)“越吃越笨”？

近年來(lái)，隨著自動(dòng)駕駛技術(shù)的持續(xù)發(fā)展，安全性已成為制約其大規(guī)模商業(yè)落地應(yīng)用的核心瓶頸。為提升自動(dòng)駕駛的安全性，現(xiàn)有的深度學(xué)習(xí)方法面臨著信號(hào)微弱、方差巨大的行業(yè)困境，目前的方法通常依賴事故場(chǎng)景數(shù)據(jù)進(jìn)行訓(xùn)練。但關(guān)鍵問(wèn)題在于，如何高效發(fā)現(xiàn)自動(dòng)駕駛中的長(zhǎng)尾風(fēng)險(xiǎn)事件？

在此過(guò)程中，容易產(chǎn)生一種“蹺蹺板效應(yīng)”（Seesaw Effect）。馬斯克也曾公開(kāi)提到過(guò)這種效應(yīng)，他認(rèn)為找到相關(guān)案例和數(shù)據(jù)投喂給自動(dòng)駕駛大模型，當(dāng)完成模型訓(xùn)練后，訓(xùn)練過(guò)的數(shù)據(jù)可能會(huì)沒(méi)問(wèn)題，但是當(dāng)將大模型部署到實(shí)車上，會(huì)在訓(xùn)練以外的方面冒出新的問(wèn)題。

可以理解這是一種“此消彼長(zhǎng)”的關(guān)系：自動(dòng)駕駛模型在部分場(chǎng)景中提升了安全性，但與此同時(shí)，在其他場(chǎng)景中相對(duì)容易出現(xiàn)安全性退化，這會(huì)導(dǎo)致事故如同“按下葫蘆浮起瓢”那樣并非真正減少。

其根本原因在于，高價(jià)值的安全攸關(guān)事件具有極高的稀疏度，傳統(tǒng)深度學(xué)習(xí)訓(xùn)練過(guò)程中損失函數(shù)梯度估計(jì)的方差過(guò)大，導(dǎo)致無(wú)法進(jìn)行有效學(xué)習(xí)。

業(yè)界一般會(huì)采取兩種應(yīng)對(duì)方案，第一種方案是高度關(guān)注失敗數(shù)據(jù)，例如特斯拉在采集人類駕駛中難以處理場(chǎng)景的方式進(jìn)行系統(tǒng)訓(xùn)練；第二種方案是采取規(guī)則或形式化方法約束系統(tǒng)，如責(zé)任敏感安全模型。

但兩種方案各有局限性：第一種方案容易因理論支撐不足而導(dǎo)致偏差，第二種方案則應(yīng)對(duì)復(fù)雜的現(xiàn)實(shí)環(huán)境仍具挑戰(zhàn)。

破局關(guān)鍵：聚焦高價(jià)值“避險(xiǎn)”數(shù)據(jù)

傳統(tǒng)思路僅關(guān)注事故場(chǎng)景，而該團(tuán)隊(duì)提出的密集學(xué)習(xí)方法利用具有高信息量的安全攸關(guān)場(chǎng)景數(shù)據(jù)，以及可避免的事故場(chǎng)景數(shù)據(jù)進(jìn)行訓(xùn)練，并根據(jù)這些數(shù)據(jù)對(duì)深度強(qiáng)化學(xué)習(xí)策略梯度的貢獻(xiàn)程度、出現(xiàn)頻率進(jìn)行自適應(yīng)采樣，從而顯著提升了訓(xùn)練數(shù)據(jù)中包含的高價(jià)值信息的密度。

（來(lái)源：Nature Communications）

傳統(tǒng)深度強(qiáng)化學(xué)習(xí)基于蒙特卡洛估計(jì)來(lái)更新策略梯度，但在罕見(jiàn)事件場(chǎng)景下，絕大多數(shù)樣本的梯度貢獻(xiàn)接近于零，在海量噪聲中有價(jià)值的信息往往容易被淹沒(méi)。

研究團(tuán)隊(duì)通過(guò)理論推導(dǎo)分析了蹺蹺板效應(yīng)，指出該效應(yīng)背后的核心與稀疏性災(zāi)難密切相關(guān)，并通過(guò)一套算法給出高價(jià)值數(shù)據(jù)的定義以及自動(dòng)生成與篩選高價(jià)值樣本的方法。根據(jù)推導(dǎo)結(jié)果，最優(yōu)的訓(xùn)練數(shù)據(jù)分布應(yīng)滿足兩個(gè)條件：一是數(shù)據(jù)對(duì)策略梯度的貢獻(xiàn)非零，二是在現(xiàn)實(shí)世界中的出現(xiàn)頻率。

我們經(jīng)常說(shuō)“失敗乃成功之母”，但研究團(tuán)隊(duì)發(fā)現(xiàn)，在自動(dòng)駕駛領(lǐng)域更適用的一句話是“成功乃成功之母”或者“差點(diǎn)成功是通往成功的基石”：“失敗”的數(shù)據(jù)訓(xùn)練不僅可能遇到瓶頸，甚至還可能導(dǎo)致原本表現(xiàn)良好的場(chǎng)景性能下降。原因在于，單純堆砌事故數(shù)據(jù)會(huì)讓模型過(guò)度擬合高風(fēng)險(xiǎn)場(chǎng)景，反而在常規(guī)場(chǎng)景中表現(xiàn)不佳，這正是“蹺蹺板效應(yīng)”的體現(xiàn)。

也就是說(shuō)，不能只用表現(xiàn)不好的案例進(jìn)行數(shù)據(jù)訓(xùn)練，真正高價(jià)值的是那些可避免的事故或可避免的風(fēng)險(xiǎn)，以及邊緣事件，即險(xiǎn)些發(fā)生的事故的數(shù)據(jù)。尤其是，那些自動(dòng)駕駛系統(tǒng)無(wú)論如何也學(xué)不會(huì)如何避免的事故場(chǎng)景，將其它用于模型訓(xùn)練的作用并不大。

為此，研究人員設(shè)計(jì)了包括三個(gè)層級(jí)的數(shù)據(jù)密化機(jī)制，不僅大幅提升了訓(xùn)練數(shù)據(jù)的信息密度，在保證策略梯度估計(jì)無(wú)偏性的前提下，密集學(xué)習(xí)方法還顯著降低了訓(xùn)練的方差，成功突破了自動(dòng)駕駛安全性能的停滯瓶頸。

應(yīng)用驗(yàn)證：從虛擬仿真到現(xiàn)實(shí)街道，顯著降低事故率

有了高價(jià)值數(shù)據(jù)，接下來(lái)的問(wèn)題就是如何用它們來(lái)進(jìn)行自動(dòng)駕駛的數(shù)據(jù)訓(xùn)練。如果直接用于數(shù)據(jù)訓(xùn)練，仍然難逃“蹺蹺板效應(yīng)”。

2023年，封碩與合作者首次揭示了自動(dòng)駕駛汽車安全性挑戰(zhàn)背后的科學(xué)難題——稀疏度災(zāi)難（Curse of Rarity），并以封面論文形式發(fā)表于Nature。相關(guān)研究開(kāi)辟了基于生成式 AI 的安全性加速測(cè)試與可持續(xù)學(xué)習(xí)框架，將仿真與實(shí)車測(cè)試速度提高 3 至 5 個(gè)數(shù)量級(jí)。并且，有可能對(duì)現(xiàn)有的強(qiáng)化學(xué)習(xí)、監(jiān)督學(xué)習(xí)、預(yù)訓(xùn)練等方向的方法理論帶來(lái)沖擊。

在此基礎(chǔ)上，該團(tuán)隊(duì)對(duì)上述自動(dòng)駕駛測(cè)試方法進(jìn)行了系統(tǒng)性迭代推廣，通過(guò)密集學(xué)習(xí)聚焦高價(jià)值數(shù)據(jù)，讓自動(dòng)駕駛模型在持續(xù)學(xué)習(xí)中不斷提升安全性。研究人員通過(guò)融合負(fù)責(zé)自動(dòng)駕駛的模塊，為模型打造了一個(gè)“AI 安全教練”SafeDriver。

當(dāng)發(fā)現(xiàn)駕駛有問(wèn)題或有風(fēng)險(xiǎn)時(shí)，它會(huì)接管或干預(yù)基礎(chǔ)自動(dòng)駕駛系統(tǒng)，其余時(shí)刻則保持“沉默”。重要的是，這種干預(yù)并非靠規(guī)則設(shè)計(jì)，而基于密集學(xué)習(xí)的數(shù)據(jù)訓(xùn)練。

結(jié)果顯示，該方法可將原本安全事故率為 10-5 的 AI Agent，再降低 1 到 2 個(gè)數(shù)量級(jí)。這為打造更高效的數(shù)據(jù)閉環(huán)，以及實(shí)現(xiàn)自動(dòng)駕駛持續(xù)進(jìn)化提供了一種可行路徑。

（來(lái)源：Nature Communications）

研究團(tuán)隊(duì)在仿真和實(shí)車方面的實(shí)驗(yàn)證明，SafeDriver 可與多種 AI Agent 有效配合。從仿真實(shí)驗(yàn)來(lái)看，整體碰撞率和可避免事故率都表現(xiàn)出大幅度降低。其中，高速場(chǎng)景降低 86.3%，城市場(chǎng)景降低 98.0%，環(huán)島場(chǎng)景降低 74.5%；在城市 SUMO 模型測(cè)試中，可避免碰撞率降幅最高可達(dá) 98.9%，提升幅度約 2 個(gè)數(shù)量級(jí)。

為驗(yàn)證方法的泛化能力，研究團(tuán)隊(duì)還在 nuPlan 基準(zhǔn)測(cè)試上進(jìn)行了評(píng)估測(cè)試。以 SOTA 級(jí) PDM-Hybrid 模型為基礎(chǔ)，SafeDriver 在預(yù)測(cè)到 2 秒內(nèi)碰撞時(shí)接管控制。結(jié)果顯示，總碰撞數(shù)降低了 21.7%，自動(dòng)駕駛責(zé)任碰撞則降低 29.2%。

在實(shí)車測(cè)試方面，研究人員在密西根大學(xué)的 Mcity 測(cè)試場(chǎng)進(jìn)行了混合現(xiàn)實(shí)實(shí)驗(yàn)，通過(guò)融合虛擬背景車輛與真實(shí)道路基礎(chǔ)設(shè)施，構(gòu)建出高保真的安全關(guān)鍵場(chǎng)景。從結(jié)果來(lái)看，實(shí)體車輛碰撞率從 1.44×10?? 降低到了1.42×10??，降幅達(dá) 90.1%；可避免事故降低幅度則實(shí)現(xiàn)了 98.8%。

從仿真與實(shí)車的測(cè)試結(jié)果中可以看到，SafeDriver 的作用相當(dāng)于教會(huì)了 AI學(xué)會(huì)在自動(dòng)駕駛中避險(xiǎn)，為未來(lái)自動(dòng)駕駛真正接管和幫助人類開(kāi)車奠定了基礎(chǔ)。封碩指出，Scaling Law 也適用于這項(xiàng)技術(shù)，如果 SafeDriver 能有更多的數(shù)據(jù)、更大的網(wǎng)絡(luò)、更長(zhǎng)的訓(xùn)練時(shí)間，安全事故率可能進(jìn)一步降低。

在未來(lái)的研究中，該團(tuán)隊(duì)計(jì)劃與車企密切合作，將自動(dòng)駕駛安全做到量產(chǎn)實(shí)車，推動(dòng)它從輔助駕駛向無(wú)人駕駛發(fā)展。“這項(xiàng)研究對(duì)解決蹺蹺板效應(yīng)具有顯著的價(jià)值，它不僅可應(yīng)用于自動(dòng)駕駛領(lǐng)域，未來(lái)還有望進(jìn)一步拓展至具身智能領(lǐng)域以及安全關(guān)鍵系統(tǒng)（例如醫(yī)療機(jī)器人、航空航天）的AI訓(xùn)練中。”封碩表示。

參考資料：

1.https://www.nature.com/articles/s41467-026-69761-x

排版：胡莉花