時令 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

AI通過自問自答就能提升推理能力？！

這正是卡內(nèi)基梅隆大學(xué)團隊提出的新框架SQLM——一種無需外部數(shù)據(jù)的自我提問模型。

該框架包含提問者（proposer）和解答者（solver）兩個角色，提問者生成與給定主題相關(guān)的問題，解答者旨在解決問題。

網(wǎng)友們神評，“簡直是帶有RL的GAN”。

值得一提的是，此團隊中又雙叒叕現(xiàn)華人身影～

通過強化學(xué)習(xí)最大化期望獎勵

當(dāng)前大語言模型的訓(xùn)練很大程度上仍依賴人工整理數(shù)據(jù)集，堪稱費時費力。

為了減輕這一負(fù)擔(dān)，研究人員開發(fā)了用于強化學(xué)習(xí)的無監(jiān)督獎勵函數(shù)。然而，這些函數(shù)仍然依賴于預(yù)先提供的高質(zhì)量輸入提示。

因此，問題的難點從“生成答案”轉(zhuǎn)移到了“生成高質(zhì)量問題”。

這凸顯出當(dāng)前方法的一個關(guān)鍵不足：

缺乏一種可擴展且自我維持的流程，能夠在無人干預(yù)的情況下自動生成有意義的問題和答案。

為此，研究者提出了SQLM框架

，一種非對稱的自我博弈框架，其中提問者

，解答者

回答該問題，兩者均通過強化學(xué)習(xí)進行訓(xùn)練，以最大化期望獎勵。

其中，提問者生成問題會對解答者形成條件影響，而解答者的表現(xiàn)又反過來為提問者提供獎勵，從而不斷優(yōu)化提問者。

由于缺乏真實答案，研究者設(shè)計了基于“生成者–驗證者差距”的自監(jiān)督獎勵函數(shù)。

若生成器-驗證器差距小（例如算數(shù)問題），則采用多數(shù)投票作為代理獎勵。

若生成器-驗證器差距大（例如編程問題），先由提問者生成測試用例，獎勵則基于通過測試的比例。

這種極小極大式的訓(xùn)練框架通過自博弈實現(xiàn)了穩(wěn)定訓(xùn)練，并使獎勵機制能夠針對具體問題進行自適應(yīng)調(diào)整。

為了評估模型的不同能力，研究者進行了三部分任務(wù)，并使用Qwen2.5-3B-Instruct運行實驗。

算術(shù)任務(wù)

研究人員讓提問者生成一個三位數(shù)的算數(shù)問題，并將其作為解答器的輸入。他們按照TinyZero的設(shè)置，構(gòu)建了一組包含4096個三位數(shù)乘法問題的測試集。

代數(shù)任務(wù)

研究者讓模型生成最多包含兩個變量的線性方程，并在OMEGA基準(zhǔn)中的100道線性方程測試題上進行評估。

編程問題

他們讓模型生成類似LeetCode中簡單題的問題，輸入為整數(shù)列表，輸出為單個整數(shù)或另一個列表，并在Codeforces測試集的一個子集上進行評估。

實驗結(jié)果顯示，SQLM將Qwen2.5-3B-Instruct在算術(shù)任務(wù)上的準(zhǔn)確率提高了14%，在代數(shù)任務(wù)上提高了16%；在編程任務(wù)上的準(zhǔn)確率提高了7%。

此外，上表還顯示出SQLM顯著優(yōu)于格式獎勵基線（用于穩(wěn)定訓(xùn)練和規(guī)范輸出格式的參考值），表明推理能力的真正提升。

團隊介紹

Lili Chen，本科畢業(yè)于加州大學(xué)伯克利分校，現(xiàn)博士就讀于卡內(nèi)基梅隆大學(xué)。

Katerina Fragkiadaki，卡內(nèi)基梅隆大學(xué)機器學(xué)習(xí)系計算機科學(xué)副教授，博士畢業(yè)于賓夕法尼亞大，曾在加州大學(xué)伯克利分校擔(dān)任博士后研究員，并于谷歌研究院工作。

Hao Liu，博士畢業(yè)于加州大學(xué)伯克利分校，曾任谷歌DeepMind研究員，即將出任卡內(nèi)基梅隆大學(xué)機器學(xué)習(xí)系的助理教授。

Deepak Pathak，Skild AI創(chuàng)始人，本科就讀于印度理工學(xué)院坎普爾分校，博士畢業(yè)于加州大學(xué)伯克利分校，曾在Meta擔(dān)任了一年的研究員，現(xiàn)任卡內(nèi)基梅隆大學(xué)計算機科學(xué)學(xué)院的助理教授。

參考鏈接：
[1]https://x.com/iScienceLuvr/status/1953052817012474353
[2]https://arxiv.org/abs/2508.03682