大多數(shù)熟悉生成式模型的人都知道，許多大型語言模型（LLM）是在互聯(lián)網(wǎng)全部內(nèi)容上訓(xùn)練的。許多人認(rèn)為，其數(shù)百萬的參數(shù)和超參數(shù)（數(shù)量遠(yuǎn)超上一代神經(jīng)網(wǎng)絡(luò)）是一項(xiàng)重大進(jìn)步。然而，很少有人意識(shí)到，如果沒有強(qiáng)化學(xué)習(xí)，這些語言模型遠(yuǎn)未準(zhǔn)備好投入生產(chǎn)環(huán)境，尤其是對企業(yè)用戶而言。

這種機(jī)器學(xué)習(xí)形式對于完善（或優(yōu)化）LLM以及這些模型的下一階段演進(jìn)，即推理模型，是必不可少的。推理模型是指那些在返回問題答案時(shí)，同時(shí)給出模型生成輸出所采用的步驟或推理過程的模型。相比之下，LLM主要設(shè)計(jì)用于預(yù)測序列中下一個(gè)出現(xiàn)的詞——并不一定理解其含義或與問題的關(guān)系（這也解釋了它們的"幻覺"現(xiàn)象）?？傮w而言，它們?nèi)狈唧w的知識(shí)庫。

據(jù)SAS人工智能與機(jī)器學(xué)習(xí)總監(jiān)Jorge Silva介紹，"強(qiáng)化學(xué)習(xí)在這一切中扮演什么角色？因?yàn)槟阈枰谟?xùn)練的每一步都知道自己做得如何，而訓(xùn)練是迭代的，要反復(fù)多次通過數(shù)據(jù)，所以你要看到自己表現(xiàn)如何。而你最想確保的事情是預(yù)測正確的詞。"

強(qiáng)化學(xué)習(xí)為Jorge Silva提到的訓(xùn)練步驟提供獎(jiǎng)勵(lì)，同時(shí)構(gòu)建有效的策略來優(yōu)化語言模型的預(yù)測。

對于推理模型，強(qiáng)化學(xué)習(xí)超越了僅預(yù)測序列中下一個(gè)詞的范疇。它確保模型為其回答提供具體的理由——賦予它們比LLM更完整的宇宙觀或世界觀。

"訓(xùn)練推理模型時(shí)，你不僅想預(yù)測下一個(gè)詞，"Jorge Silva說，"當(dāng)訓(xùn)練像DeepSeek-R1這樣的模型時(shí)，你還想提供格式良好、有充分依據(jù)的推理部分。"

解構(gòu)強(qiáng)化學(xué)習(xí)

與監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不需要訓(xùn)練數(shù)據(jù)。相反，模型的學(xué)習(xí)源于代理與環(huán)境的動(dòng)態(tài)交互。主要基于自監(jiān)督學(xué)習(xí)訓(xùn)練的推理模型和LLM，正是提供了這樣的環(huán)境。

"因?yàn)閺?qiáng)化學(xué)習(xí)是在不確定性的情況下順序做出決策，所以讓強(qiáng)化學(xué)習(xí)策略作為你的智能體是理想的選擇。"Jorge Silva表示。

強(qiáng)化學(xué)習(xí)策略為智能體提供了邏輯基礎(chǔ)，使其能夠?qū)δＰ驮谟?xùn)練中經(jīng)歷的各個(gè)步驟的輸出進(jìn)行獎(jiǎng)勵(lì)或懲罰。例如，包含推理模型輸出解釋的回答，比沒有解釋的輸出獲得更高的獎(jiǎng)勵(lì)。

群體相對策略優(yōu)化

群體相對策略優(yōu)化是用于DeepSeek-R1等推理模型的具體強(qiáng)化學(xué)習(xí)方法。采用這種技術(shù)，"本質(zhì)上是生成各種候選答案，"Jorge Silva解釋道，"如果你給它同樣的提示詞重復(fù)10次，它會(huì)得到10個(gè)不同的補(bǔ)全。然后，它會(huì)判斷這些補(bǔ)全中哪一個(gè)具有最大優(yōu)勢。"

在更廣泛的機(jī)器學(xué)習(xí)語境中，"補(bǔ)全"（completions）一詞有多種含義。然而，當(dāng)具體應(yīng)用于強(qiáng)化學(xué)習(xí)時(shí)，補(bǔ)全"意味著它生成自己的標(biāo)簽，從而避免依賴監(jiān)督學(xué)習(xí)，"Jorge Silva說。

采用這種方法，對手頭任務(wù)具有最大優(yōu)勢的補(bǔ)全會(huì)被納入獎(jiǎng)勵(lì)計(jì)算——這指導(dǎo)強(qiáng)化學(xué)習(xí)策略的構(gòu)建。

"然后，該補(bǔ)全作為訓(xùn)練整體LLM的標(biāo)簽，"Jorge Silva表示。因此，獎(jiǎng)勵(lì)（基于數(shù)值）指導(dǎo)策略如何發(fā)展，以最好地促進(jìn)模型的整體目標(biāo)。

此外，當(dāng)具體應(yīng)用于推理模型時(shí)，"這是將DeepSeek-V3轉(zhuǎn)化為DeepSeek-R1的優(yōu)化的一部分，讓你從基礎(chǔ)模型轉(zhuǎn)變?yōu)橥评砟Ｐ停?Jorge Silva評論道。

候選補(bǔ)全

補(bǔ)全是群體相對策略優(yōu)化的一個(gè)核心方面，因?yàn)樗鼈兇砹送评砟Ｐ涂赡軋?zhí)行的邏輯步驟的各種潛在回答。雖然強(qiáng)化學(xué)習(xí)不涉及訓(xùn)練數(shù)據(jù)，但用于訓(xùn)練LLM和推理模型的自監(jiān)督學(xué)習(xí)方法確實(shí)涉及訓(xùn)練數(shù)據(jù)。采用這種機(jī)器學(xué)習(xí)形式，"你拿一份文檔，在訓(xùn)練時(shí)只給LLM一部分內(nèi)容，它必須猜測其余部分。"Jorge Silva說。

群體相對策略優(yōu)化中涉及的不同候選補(bǔ)全，部分基于模型已經(jīng)完成的訓(xùn)練。據(jù)Jorge Silva介紹，"每個(gè)補(bǔ)全都會(huì)提供替代的推理解釋，每個(gè)都有不同的獎(jiǎng)勵(lì)值，這在很大程度上取決于匹配正確解釋應(yīng)該是什么，并確保正確答案存在。"

計(jì)算不同補(bǔ)全獎(jiǎng)勵(lì)的方法各不相同。有時(shí)，強(qiáng)化學(xué)習(xí)智能體可以審查伴隨的搜索和響應(yīng)字符串，例如如何求解特定一元二次方程。在這種情況下，它們會(huì)給予涉及特定數(shù)學(xué)運(yùn)算（如正負(fù)一的平方根）的補(bǔ)全更高獎(jiǎng)勵(lì)。

其他時(shí)候，獎(jiǎng)勵(lì)可能基于與思考標(biāo)簽相關(guān)的分隔符中的信息。采用這種方法，補(bǔ)全中有一個(gè)詳盡的推理部分作為獎(jiǎng)勵(lì)的基礎(chǔ)。

一如既往，"你需要知道正確答案，但你需要確保存在推理部分，"Jorge Silva說，"所以我們有一種方法來計(jì)算所有候選補(bǔ)全的獎(jiǎng)勵(lì)。"

推理模型的意義

推理模型的重要性是多方面的。它們編碼了輸出所采用的邏輯和步驟，這些通過群體相對策略優(yōu)化等強(qiáng)化學(xué)習(xí)技術(shù)得到最大化。此外，通過被構(gòu)建為提供解釋，它們在與人的交互中可能更具人性化。