新智元報道

編輯：LRST

【新智元導(dǎo)讀】清華大學(xué)李升波教授團隊提出RACS算法，通過引入「探險者」策略主動探索違規(guī)邊界，破解安全強化學(xué)習(xí)的「安全性悖論」。該方法在不增加采樣成本的前提下，顯著提升違規(guī)樣本質(zhì)量與系統(tǒng)安全認知，實現(xiàn)安全與性能的雙贏，刷新多項基準的SOTA成績。

隨著強化學(xué)習(xí)（RL）在虛擬世界的統(tǒng)治級表現(xiàn)，將其遷移至自動駕駛、機器人控制等真實物理系統(tǒng)已成為行業(yè)共識。然而，物理世界的高風險特性畫出了一道不可逾越的紅線——「零約束違反」。

為了守住這道紅線，學(xué)界提出了多種方案：OpenAI結(jié)合拉格朗日乘子法動態(tài)權(quán)衡安全與性能，UC Berkeley提出的CPO算法利用信賴域?qū)⒉呗韵拗圃诳尚锌臻g內(nèi)。

然而，現(xiàn)有方法始終面臨一個核心痛點：策略難以做到嚴格的「零違反」。大多數(shù)算法只能將違規(guī)控制在極低水平，一旦試圖追求絕對的零違規(guī)，就會遭遇巨大阻力。

清華大學(xué)李升波教授課題組于安全強化學(xué)習(xí)領(lǐng)域獲得突破性進展，首次在理論層面揭示并證明了安全強化學(xué)習(xí)（Safe RL）中的一個反直覺現(xiàn)象——「安全性悖論」（Safety Paradox）：策略越追求安全，反而可能越不安全。

論文鏈接：https://openreview.net/forum?id=BHSSV1nHvU

代碼倉庫：https://github.com/yangyujie-jack/Feasible-Dual-Policy-Iteration

在安全強化學(xué)習(xí)中，智能體通常依賴交互數(shù)據(jù)學(xué)習(xí)一個可行性函數(shù)（Feasibility Function），以此判斷當前狀態(tài)是否長期安全，從而規(guī)避危險區(qū)域。

然而，研究通過嚴格的理論證明揭示了一個嚴峻事實：

隨著策略變得越來越安全，其產(chǎn)生的違規(guī)樣本會變得極度稀疏。這直接導(dǎo)致可行性函數(shù)的估計誤差急劇增大，進而使指導(dǎo)策略優(yōu)化的約束函數(shù)出現(xiàn)偏差，最終導(dǎo)致策略安全性崩塌。

這就像一個從未見過懸崖的人，在行走時即便再小心翼翼，也會因為缺乏對「懸崖邊緣」的確切認知，而無法精準判斷危險界限究竟在哪里。越是刻意追求安全，對危險邊界的認知就越模糊，最終反而導(dǎo)致安全防線失效。 這就是所謂的「安全性悖論」——策略陷入了一個自我挫敗的死循環(huán)。

針對這一困境，團隊提出了Region-wise Actor-Critic-Scenery（RACS）算法，通過引入專門收集違規(guī)樣本的「探險者」策略，成功打破悖論，在權(quán)威基準Safety-Gymnasium上刷新了SOTA成績，該工作發(fā)表于人工智能頂會ICLR 2026。

破局之道RACS算法

既然「不敢越雷池一步」會導(dǎo)致認知盲區(qū)，那么破解之道便是主動探險、直面危險。

研究團隊提出了Region-wise Actor-Critic-Scenery（RACS）算法，創(chuàng)造性地引入了雙策略架構(gòu)：

（1）原始策略（Primal Policy）：扮演「守規(guī)矩的執(zhí)行者」。它負責在滿足安全約束的前提下，盡可能最大化任務(wù)獎勵。

（2）對偶策略（Dual Policy）：扮演「無畏的探險者」。它的目標與前者相反，旨在策略性地最大化約束違反，主動觸探原始策略不敢涉足的危險邊界。

通過這種「左右互搏」的機制，RACS在不增加總采樣成本的前提下，顯著提升了關(guān)鍵違規(guī)樣本的比例，從而讓系統(tǒng)對「安全邊界」有了清晰、精準的認知。

為了解決雙策略數(shù)據(jù)混合帶來的分布偏移（Distributional Shift）問題，RACS采用了重要性采樣（Importance Sampling）技術(shù)進行數(shù)學(xué)修正，并約束對偶策略與原始策略間的KL散度，確保訓(xùn)練過程的平穩(wěn)收斂。

實驗結(jié)果：刷新SOTA

研究團隊在安全強化學(xué)習(xí)權(quán)威基準Safety-Gymnasium上進行了廣泛驗證。結(jié)果表明，RACS在14項任務(wù)中的綜合性能達到了State-of-the-art（SOTA）水平：

（1）安全性顯著提升：RACS實現(xiàn)了最低的平均約束違反次數(shù)（Cost），顯著優(yōu)于現(xiàn)有的拉格朗日乘子法或信賴域方法。特別是在HalfCheetahVelocity、Walker2dVelocity等任務(wù)中，實現(xiàn)了嚴格的零約束違反。

（2）控制性能無退化：在保證安全性的同時，RACS的平均累積回報（Return）依然位居榜首，實現(xiàn)了安全與性能的雙贏。在高維的HumanoidVelocity、復(fù)雜的PointPush（推箱子導(dǎo)航避障）等多項高難度任務(wù)中，安全指標與任務(wù)性能均名列前茅。

為探究性能提升的根本原因，研究團隊統(tǒng)計了增加對偶策略后的關(guān)鍵指標變化：

（1）違規(guī)樣本顯著增加：在所有 14 項任務(wù)中，對偶策略成功采集了大量高價值的違規(guī)樣本，大部分任務(wù)中的樣本量提升了一個數(shù)量級。

（2）估計誤差大幅降低：統(tǒng)計顯示，可行性函數(shù)的擬合誤差顯著減小，尤其是「低估風險」（誤差小于零）的頻率大幅降低。這意味著系統(tǒng)不再將危險狀態(tài)誤判為安全，從而從根本上提升了策略的安全性。

總結(jié)與展望

該研究從理論上揭示了強化學(xué)習(xí)中的「安全性悖論」，闡明了違規(guī)樣本稀疏性與可行性函數(shù)估計誤差之間的內(nèi)在因果。

RACS算法通過對偶策略的「對抗式」探索打破了「安全性悖論」，證明了一個深刻的道理：為了真正的安全，必須充分地了解危險。

該研究為自動駕駛、機器人等高風險場景下的強化學(xué)習(xí)落地提供了堅實的理論基礎(chǔ)與有效的解決方案。

參考資料：

https://openreview.net/forum?id=BHSSV1nHvU