本文第一作者單子康是北京大學(xué)二年級在讀博士生，研究方向為大語言模型與強化學(xué)習(xí)，曾于 ICML 2025 以共同一作發(fā)表 Spotlight 論文，本工作為微軟亞洲研究院實習(xí)期間完成。本文最后一作趙立是微軟亞洲研究院高級研究員，現(xiàn)任微軟亞洲研究院機器學(xué)習(xí)組負責(zé)人。

強化學(xué)習(xí)（RL）已經(jīng)成為大語言模型（LLM）后訓(xùn)練階段最重要的技術(shù)之一。早期伴隨著 ChatGPT 的出圈，價值對齊 RL 受到廣泛關(guān)注；DeepSeek-R1 以大規(guī)?？沈炞C RL 激發(fā)了模型的推理能力，引領(lǐng)了推理 RL 的熱潮；如今的智能體（Agent）訓(xùn)練更是離不開 RL。

可以說，大模型時代的能力演進，很大程度上是 RL 范式不斷深化應(yīng)用的過程。

然而，RL 有一個經(jīng)典難題始終懸而未決：信用分配（credit assignment）。模型生成了一段長長的回答，最終收到一個獎勵信號。但這段回答里，哪些步驟真正做出了貢獻？哪些是冗余的，甚至引入了錯誤？信用分配不精準，訓(xùn)練信號就只能保持稀疏，模型的學(xué)習(xí)效率也就因此受限。

經(jīng)典 RL 算法 PPO（Proximal Policy Optimization）的解法是訓(xùn)練一個價值模型（Critic），估計序列中每個 token 的價值（Value），借此將信用精確分配到每一步。然而在 LLM 的實踐中，隨著生成序列越來越長、任務(wù)越來越復(fù)雜，Critic 的訓(xùn)練逐漸變得不穩(wěn)定，效果也難以保證。

于是，研究者轉(zhuǎn)向更簡單的無 Value 方法例如 GRPO，利用獎勵來構(gòu)造每個軌跡的優(yōu)勢，廣播到每一步上，相當(dāng)于將優(yōu)化過程簡化為一個多臂老虎機問題。盡管訓(xùn)練流程簡潔了許多，這種簡化的代價是徹底放棄了細粒度的信用分配。隨著推理鏈越來越長、Agent 任務(wù)越來越復(fù)雜，這一代價也變得越來越難以接受。

這不禁讓人重新審視一個根本問題：價值模型真的不堪一用嗎？還是我們一直沒能正確地實現(xiàn)它？

微軟亞洲研究院聯(lián)合北京大學(xué)的研究者，給出了答案。

• 論文標題：Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning
• 論文鏈接：https://arxiv.org/abs/2604.10701

判別式 Critic 的根本局限

傳統(tǒng) Critic 是「判別式」的：輸入一個狀態(tài)，輸出一個標量作為價值估計。這一設(shè)計看似自然，卻暗藏著一個深層的架構(gòu)矛盾。

研究者將兩個已知的結(jié)論結(jié)合，得出了一個頗具啟發(fā)性的推論。其一，LLM 生成過程所對應(yīng)的馬爾可夫鏈的價值函數(shù)的精確建模，在計算復(fù)雜度上屬于 P-complete。其二，Transformer 單次前向傳播的表達能力上界已被證明為 TC?，一個遠弱于 P-complete 的復(fù)雜度類。

將這兩個結(jié)論結(jié)合來看，判別式 Critic 在 LLM 任務(wù)上的持續(xù)失敗或許并非偶然：價值建模本質(zhì)上依賴大量順序推理，難以通過簡單的并行前向傳播實現(xiàn)。判別式 Critic 是在用一個表達能力受限的架構(gòu)，去擬合一個理論上更復(fù)雜的函數(shù)。更關(guān)鍵的是，這一錯配無法通過規(guī)模化來彌補：更多的參數(shù)、更多的數(shù)據(jù)或更多的計算，對于表達能力層面的鴻溝并無根本幫助。

研究者通過實驗印證了這一推斷。固定一個目標價值函數(shù)，讓判別式 Critic 去擬合，其誤差與簡單的平均獎勵基線相比并無顯著優(yōu)勢。更重要的是，將模型規(guī)模從 0.6B 擴展到 14B，擬合誤差幾乎沒有改善。與此同時，判別式 Critic 在不同隨機種子下表現(xiàn)出極大的波動，說明其表現(xiàn)高度依賴初始化，而非穩(wěn)健地收斂。

不可擴展加上不穩(wěn)定，共同指向同一個結(jié)論：判別式 Critic 的問題并非調(diào)參不當(dāng)，而是架構(gòu)層面的固有不足。

生成式 Critic：讓價值估計變得可推理

既然判別式架構(gòu)存在本質(zhì)局限，一個自然的問題是：換成生成式會怎樣？

生成式 Critic 的核心思路是：不直接輸出一個標量，而是先使用思維鏈推理，再給出價值的估計。這一思路與生成式獎勵模型有相通之處，后者已在多項工作中被驗證具有更強的魯棒性和泛化能力。從理論上看，顯式的推理鏈可以有效提升模型的表達能力，從而繞過 TC?的表達能力上界約束，為價值建模開辟新的空間。

但價值建模比獎勵建模面臨更深層的挑戰(zhàn)：價值是與當(dāng)前策略深度綁定的。同一個中間狀態(tài)，對于能力較弱的策略而言可能價值很高，而對于能力更強的策略則已不值一提。獎勵模型無需感知策略，但價值模型必須「知道自己在評估誰」。這一挑戰(zhàn)在一個具體對比中體現(xiàn)得格外清晰：生成式獎勵模型的訓(xùn)練通常以蒸餾強大的通用模型為起點，但對于價值建模而言，并不存在天然的「價值先知」可供蒸餾。

研究者發(fā)現(xiàn)，即便是能力極強的通用大模型例如 GPT-5，直接被用作價值模型時，其擬合誤差甚至遠不如判別式 Critic。原因正在于它對被評估的策略一無所知，無從判斷同一狀態(tài)對當(dāng)前策略意味著什么。

為此，研究者引入了上下文條件注入（In-Context Conditioning）機制：在每次 Critic 推理時，將當(dāng)前策略的模型規(guī)模與實時更新的滑動平均成功率一并注入上下文，使 Critic 能夠感知并基于當(dāng)前策略的能力水平開展分析。消融實驗表明，這一簡單機制能夠有效降低價值估計誤差。

在訓(xùn)練流程上，由于缺乏可供直接蒸餾的高質(zhì)量標注，研究者設(shè)計了包含 SFT 和 RL 的兩階段價值預(yù)訓(xùn)練方案。SFT 階段作為熱身，幫助模型建立以估計價值為目標的基本推理模式；RL 階段則通過真實獎勵信號對初始偏差進行矯正，將推理能力真正落地到準確的價值估計上。經(jīng)過這兩階段預(yù)訓(xùn)練的生成式 Critic，可以作為可靠組件進入與策略的聯(lián)合 RL 訓(xùn)練。

實驗與分析

研究者將使用生成式 critic 的 PPO 命名為 GenAC，在數(shù)學(xué)推理任務(wù)上展開了實驗，并通過 6 個評測標準進行深度評測。為了比較價值函數(shù)的影響，研究者比較了使用判別式 Critic 的 VC-PPO，以及兩種主流的無 Value 方法 GRPO 和 RLOO。

GenAC 以 51.90% 的平均準確率領(lǐng)先所有基準方法。從訓(xùn)練動態(tài)來看，價值建模本身就能帶來顯著優(yōu)勢：VC-PPO 與 GenAC 在訓(xùn)練早期均表現(xiàn)出更高的樣本效率，模型能力迅速提升，而無 Value 方法由于細粒度信用分配的缺失，早期學(xué)習(xí)相對緩慢。然而，VC-PPO 的領(lǐng)先優(yōu)勢隨著訓(xùn)練推進而逐漸收窄，最終收斂表現(xiàn)與無 Value 方法相差無幾；GenAC 則截然不同，不僅始終保持領(lǐng)先，與其他方法的差距還在訓(xùn)練后期持續(xù)擴大。

是否進行價值建模影響的是早期的學(xué)習(xí)速率，而 Critic 的質(zhì)量則決定訓(xùn)練能走多遠。

那么，生成式與判別式 Critic 之間的差異，究竟通過什么機制傳導(dǎo)到最終的 RL 效果上？研究者從擬合誤差之外的角度進一步展開分析。

首先是相對排名實驗：針對相同狀態(tài)的一組候選片段，Critic 需要識別出哪個候選的價值最高。隨著候選數(shù)量增加，生成式 Critic 的排名準確率輕微下降，而判別式 Critic 則明顯退化。這意味著在區(qū)分相近候選的細微優(yōu)劣時，生成式 Critic 能給出更可靠的相判斷，而優(yōu)勢估計的精度正是依賴于此。

其次是分布外泛化實驗：要求 Critic 對分布外數(shù)據(jù)源的價值函數(shù)進行估計。生成式 Critic 的誤差相比判別式基線大幅下降，且分布偏移越大，兩者的差距越懸殊。這說明生成式 Critic 具有更強的泛化能力，當(dāng)策略通過探索進入新狀態(tài)時，它依然能夠給出可靠的信用分配，在關(guān)鍵的探索數(shù)據(jù)上保持有效的學(xué)習(xí)。

最后是定性分析：Critic 需要通過價值估計反映思維鏈中出現(xiàn)的錯誤。在這個例子中，判別式 Critic 在錯誤步驟前后的價值估計沒有明顯區(qū)別，而生成式 Critic 明確指出了錯誤，并基于此給出了更低的價值估計。這種細粒度的錯誤定位能力，正是精準信用分配在單步層面的直接體現(xiàn)。

結(jié)語

價值模型的失敗，從來不是價值建模這一思路本身有問題，而是判別式架構(gòu)的先天局限，使一個具有潛力的想法難以落地。生成式 Critic 通過引入顯式推理、策略感知和穩(wěn)健的兩階段訓(xùn)練，重新展示了細粒度信用分配在 LLM 強化學(xué)習(xí)中的可行性。隨著推理模型與 Agent 任務(wù)的持續(xù)推進，信用分配的質(zhì)量只會變得越來越關(guān)鍵。這件事值得被認真對待，而 GenAC 展示了一條可行的路徑。