編輯｜Panda

2024 年底，一篇題為「流式深度強(qiáng)化學(xué)習(xí)終于跑通了」的論文（arXiv:2410.14606）在學(xué)界引發(fā)廣泛討論。作者來自阿爾伯塔大學(xué)的 Mahmood 團(tuán)隊，他們花了大量篇幅描述一個令人尷尬的現(xiàn)實：強(qiáng)化學(xué)習(xí)作為一種天生應(yīng)該「邊走邊學(xué)」的方法，在深度神經(jīng)網(wǎng)絡(luò)時代卻幾乎無法做到這一點。只要去掉回放緩沖區(qū)、只要把批量大小設(shè)為 1，訓(xùn)練就會崩潰。他們稱之為「流式壁壘」（stream barrier）

那篇論文提出的 StreamX 系列算法，靠著精細(xì)調(diào)配的超參數(shù)、稀疏初始化和各種穩(wěn)定化技巧，勉強(qiáng)越過了這堵墻。

然而不到一年半后，同一課題組的一位成員，連同來自 Openmind 研究院的合作者，給出了一個截然不同的答案：流式壁壘的根源不是「數(shù)據(jù)不夠多」，而是「步長選錯了單位」

• 論文標(biāo)題：Intentional Updates for Streaming Reinforcement Learning
• 論文地址：https://arxiv.org/pdf/2604.19033v1
• 代碼庫：https://github.com/sharifnassab/Intentional_RL

一腳油門，開出了多大的坑

想象你正在駕車學(xué)習(xí)停車入庫。教練告訴你每次「踩油門 0.1 秒」。問題在于，同樣踩 0.1 秒，上坡、下坡、空載、滿載，車子前進(jìn)的距離可能天差地別。有時候差一厘米恰好入庫，有時候差 30 厘米直接撞墻。

傳統(tǒng)梯度學(xué)習(xí)的步長，做的正是這件事：它規(guī)定參數(shù)每次移動多大，但對函數(shù)輸出到底改變了多少，則完全沒有控制。在批量訓(xùn)練時，成百上千個樣本的誤差平均下來，極端情況被稀釋掉了，問題并不明顯。但在「流式」環(huán)境下，每一步只有一個樣本，沒有平均可言。一旦梯度方向不穩(wěn)定，更新幅度就會忽大忽小 —— 今天前進(jìn) 30 厘米，明天后退 50 厘米，學(xué)習(xí)過程在劇烈震蕩中崩潰。

這種「過沖與欠沖」（overshooting and undershooting）現(xiàn)象在強(qiáng)化學(xué)習(xí)里尤為嚴(yán)重，因為每個時間步的梯度不僅幅度各異，方向也在高速變化。

重新定義「一步該做多少」

來自 Openmind 研究院的 Arsalan Sharifnassab 與阿爾伯塔大學(xué)的 Mohamed Elsayed、A. Rupam Mahmood 和 Richard Sutton 等人，近日發(fā)表的論文中提出了一個換一個角度思考的方案：與其指定參數(shù)移動多少，不如直接指定函數(shù)輸出該改變多少。

這個想法并不是憑空而來的。1967 年，日本學(xué)者 Nagumo 和 Noda 在論文《A learning method for system identification》中就在自適應(yīng)濾波領(lǐng)域提出了「歸一化最小均方差」（NLMS）算法；本質(zhì)上也是用期望的輸出變化來反推步長，而不是反過來。只不過那個算法只適用于簡單的線性場景。

研究者們將這一思路推廣到了深度強(qiáng)化學(xué)習(xí)。他們稱之為「意圖更新」（Intentional Updates）：每次更新之前，先明確「我希望這一步實現(xiàn)什么」，然后反推出應(yīng)該用多大的步長。

對于價值學(xué)習(xí)（即預(yù)測未來獎勵），他們定義的意圖是：每次更新后，當(dāng)前狀態(tài)的價值預(yù)測誤差應(yīng)該縮小一個固定比例 —— 例如縮小 5%，不多也不少。對于策略學(xué)習(xí)（即優(yōu)化決策行為），他們定義的意圖是：當(dāng)前動作的選擇概率，每一步只允許改變一個「適度」的量

用駕車的比喻來說：這就好比司機(jī)在每次操作前先決定「我要讓車向前移動 20 厘米」，然后根據(jù)當(dāng)前路況（坡度、載重）自動計算該踩多深的油門，而不是每次都踩同樣的深度聽天由命。

圖靈獎得主與他的拼圖

論文的署名之一，是 Richard S. Sutton——2024 年圖靈獎得主，被廣泛稱為「現(xiàn)代強(qiáng)化學(xué)習(xí)之父」。

Sutton 在學(xué)界的地位大約相當(dāng)于物理學(xué)里的費曼：他不僅提出了時間差分學(xué)習(xí)（TD learning）和策略梯度（policy gradient）這兩個現(xiàn)代強(qiáng)化學(xué)習(xí)的基礎(chǔ)框架，還與 Andrew Barto 合著了該領(lǐng)域最權(quán)威的教材《Reinforcement Learning: An Introduction》（現(xiàn)已出至第二版，可免費在線閱讀）。他與 Barto 于 2024 年共享圖靈獎，獎項評語是「為強(qiáng)化學(xué)習(xí)奠定了概念與算法基礎(chǔ)」。

獲獎后，Sutton 沒有選擇退休，而是將獎金投入創(chuàng)立的 Openmind 研究院，專門資助那些愿意在「不受商業(yè)化壓迫的環(huán)境下探索基礎(chǔ)問題」的年輕研究者。這篇新論文，正是從這家非營利機(jī)構(gòu)走出來的。

而論文一作 Sharifnassab，之前剛剛在 ICML 2025 發(fā)表了 MetaOptimize 框架，研究如何在線自動調(diào)整學(xué)習(xí)率。兩個課題的關(guān)注點高度一致：如何讓步長本身變得更智能。

算法細(xì)節(jié)：比想象中簡潔

「意圖更新」的數(shù)學(xué)推導(dǎo)并不復(fù)雜，其核心公式可以用一句話描述：步長等于「期望的輸出變化量」除以「梯度方向?qū)敵龅膶嶋H影響力」。

在價值學(xué)習(xí)中，這個「實際影響力」就是梯度向量的范數(shù)（相當(dāng)于衡量當(dāng)前參數(shù)區(qū)域有多「陡」）：越陡的地方步長越小，越平的地方步長越大，從而保證每次更新對價值函數(shù)的沖擊保持一致。

在策略學(xué)習(xí)中，「期望變化量」被定義為與優(yōu)勢函數(shù)成比例：當(dāng)前動作比平均水平好多少，策略就往那個方向動多少 —— 通過一個跑動平均來歸一化量級，確保長期下來策略改變的幅度穩(wěn)定在一個可解釋的范圍。

研究者還將這一核心思想與兩個工程實踐結(jié)合：RMSProp 風(fēng)格的對角縮放（處理不同參數(shù)維度量級差異）和資格跡（eligibility traces，幫助獎勵信號向過去時間步傳播）。

最終形成三個完整算法：用于價值預(yù)測的Intentional TD (λ)、用于離散動作控制的Intentional Q (λ)，以及用于連續(xù)控制的Intentional Policy Gradient

實驗結(jié)果：不靠 GPU 也能打平 SAC

論文在多個標(biāo)準(zhǔn)基準(zhǔn)上評估了這套方法，結(jié)果令人印象深刻。

在 MuJoCo 連續(xù)控制任務(wù)（包括 Ant、Humanoid、HalfCheetah 等復(fù)雜仿真機(jī)器人）上，新方法 Intentional AC 在流式設(shè)置下（批量大小 = 1，無回放緩沖區(qū)）的最終性能，多次接近甚至比肩 SAC—— 一個使用大批量回放緩沖區(qū)、幾乎是當(dāng)前連續(xù)控制任務(wù)黃金標(biāo)準(zhǔn)的算法。而在計算量上，每次 Intentional AC 更新所需的浮點運(yùn)算，只有一次 SAC 更新的約 1/140

在 Atari 和 MinAtar 離散動作游戲上，Intentional Q-learning 的表現(xiàn)同樣與使用回放緩沖區(qū)的 DQN 相當(dāng)，且用同一套超參數(shù)設(shè)置跑通了全部任務(wù)，無需逐個調(diào)參。

研究者還專門驗證了「意圖」是否真的被實現(xiàn)了：他們測量了實際更新量與預(yù)期更新量的比值。在禁用資格跡的簡化設(shè)置下，這個比值的標(biāo)準(zhǔn)差僅為 0.016 到 0.029，99 分位數(shù)均在 1.07 以內(nèi)；意味著絕大多數(shù)時候，更新確實做到了「說好要做多少就做多少」。

此外，一組消融實驗表明，去掉 RMSProp 歸一化或者 σ 項之后，性能有所下降但仍然有競爭力，而這個「意圖縮放」本身是首要貢獻(xiàn)者，其他組件都是輔助。

問題還是有的

「意圖更新」框架在魯棒性上也展示出明顯優(yōu)勢。當(dāng)研究者逐一去掉 StreamX 方法所依賴的各種穩(wěn)定化輔助技巧（稀疏初始化、獎勵縮放、輸入歸一化、LayerNorm）時，Intentional AC 的性能退化明顯少于原始 StreamAC，說明意圖縮放從根源上減少了對外部「拐杖」的依賴。

但論文也坦誠了一個尚未完全解決的問題：策略學(xué)習(xí)中，步長依賴于當(dāng)前采樣的動作，這會使不同動作被隱性賦予不同的「權(quán)重」，可能改變策略梯度的期望方向。在 Humanoid 和 HumanoidStandup 任務(wù)中，通過測量期望更新方向的余弦相似度，研究者發(fā)現(xiàn)這種偏差在關(guān)鍵學(xué)習(xí)階段接近 0.96（幾乎沒有影響）；但在 Ant-v4 中，對齊度降至中位數(shù) 0.63，說明問題并非總能被忽視。

作者指出，未來研究應(yīng)當(dāng)尋找對動作無關(guān)的步長選擇策略，使「意圖」在期望意義下也保持無偏。這是該方向上留給后來者的明確作業(yè)。

結(jié)語：讓 AI 像人一樣邊做邊學(xué)

當(dāng)前主流的大模型訓(xùn)練范式，依賴海量數(shù)據(jù)的批量消化：把互聯(lián)網(wǎng)上的文字和代碼統(tǒng)統(tǒng)喂進(jìn)去，反復(fù)迭代，最終涌現(xiàn)出令人驚嘆的能力。這套路線已經(jīng)被證明行之有效，但它從根本上是「先學(xué)后用」的：一旦訓(xùn)練完成，模型就凍結(jié)了，無法從后續(xù)的每一次實際交互中持續(xù)更新。

流式強(qiáng)化學(xué)習(xí)所追求的，是另一種截然不同的學(xué)習(xí)模式：不依賴海量回放，不依賴龐大 GPU 集群，每一步經(jīng)歷都立刻轉(zhuǎn)化為參數(shù)更新，持續(xù)、廉價、自適應(yīng)。這更接近人類和動物真實的學(xué)習(xí)方式。

從 Elsayed 等人 2024 年「終于跑通了」的初步突破，到這篇論文提出的「意圖更新」原則，流式深度強(qiáng)化學(xué)習(xí)正在以令人意外的速度走向成熟。它不會取代批量訓(xùn)練的大模型，但對于需要長期在線適應(yīng)的機(jī)器人、邊緣設(shè)備，以及任何無法承受大規(guī)?；胤啪彌_區(qū)和 GPU 集群的應(yīng)用場景，這條路線正變得越來越有說服力。

步長不只是一個超參數(shù)，它是 AI 每一步「想做多少」的承諾。當(dāng)這個承諾終于變得可控，學(xué)習(xí)本身就穩(wěn)定了。