大數(shù)據(jù)文摘整理

三星SAIL蒙特利爾實(shí)驗(yàn)室的研究人員近日發(fā)布論文《Less is More: Recursive Reasoning with Tiny Networks》，提出一種名為Tiny Recursive Model（TRM）的新型遞歸推理架構(gòu)。

這項(xiàng)研究顯示，在推理任務(wù)上，小網(wǎng)絡(luò)也能戰(zhàn)勝大型語言模型。

TRM僅使用700萬參數(shù)、兩層神經(jīng)網(wǎng)絡(luò)，就在多項(xiàng)高難度任務(wù)中超過了 DeepSeek R1、Gemini 2.5 Pro、O3-mini 等模型。

在架構(gòu)上，TRM也放棄了自注意力層（僅限 TRM-MLP 變體；TRM-Att 仍含自注意力。）。論文表明，對于小規(guī)模固定輸入任務(wù)，MLP反而能減少過擬合。另外，當(dāng)上下文長度較短時(shí)，注意力機(jī)制反而是一種浪費(fèi)。TRM 在某些任務(wù)（例如 Sudoku、Maze-Hard 等）中， 使用純 MLP 結(jié)構(gòu)優(yōu)于 Transformer-based 模型。

圖注： Tiny Recursive Model（TRM）通過不斷在“答案 y和“潛在思考變量 z 之間遞歸更新，實(shí)現(xiàn)小參數(shù)模型的多輪自我修正推理。

傳統(tǒng)大模型依賴鏈?zhǔn)剿季S（Chain-of-Thought）生成推理步驟，但這種方法成本高、容易累積錯(cuò)誤。

TRM 則通過遞歸地更新“答案”和“潛在思考變量”，讓模型在多輪自我修正中逼近正確結(jié)果。

論文總結(jié)：“TRM以極小的規(guī)模實(shí)現(xiàn)了前所未有的泛化能力?！痹贏RC-AGI推理基準(zhǔn)上，TRM獲得45%（ARC-AGI-1）與8%（ARC-AGI-2）的準(zhǔn)確率，高于多數(shù)大型模型。在Sudoku-Extreme任務(wù)上，它的準(zhǔn)確率更是達(dá)到87.4%，刷新紀(jì)錄。

研究團(tuán)隊(duì)稱，這種結(jié)構(gòu)的核心邏輯是“遞歸即深度”：深度遞歸可替代增加層數(shù)，模型不需更多層數(shù)，只需反復(fù)思考。

推理機(jī)制重構(gòu)：少即是多

TRM的設(shè)計(jì)源自對上一代Hierarchical Reasoning Model（HRM）的反思。

HRM模型在兩種不同頻率下遞歸更新潛變量與的過程，通過先無梯度、后帶梯度的雙階段循環(huán)，實(shí)現(xiàn)高低頻遞歸推理的結(jié)合。

HRM 使用兩個(gè)網(wǎng)絡(luò)在不同“頻率層次”上遞歸運(yùn)算，模仿人腦的多層推理結(jié)構(gòu)。
然而，其訓(xùn)練過程復(fù)雜，依賴固定點(diǎn)理論（Fixed-Point Theorem）和生物學(xué)假設(shè)。

TRM徹底放棄這些理論假設(shè)。

研究者發(fā)現(xiàn)，單一網(wǎng)絡(luò)加深度監(jiān)督（Deep Supervision）即可實(shí)現(xiàn)相同甚至更好的推理效果。

模型通過多次前向遞歸更新內(nèi)部潛變量z與當(dāng)前答案y，讓推理鏈條在每一步收斂得更準(zhǔn)。

與HRM相比，TRM的參數(shù)量減少參數(shù)縮減約74%，單步前向次數(shù)減半，同時(shí)提升準(zhǔn)確率。

論文數(shù)據(jù)顯示：在Maze-Hard數(shù)據(jù)集上，TRM測試準(zhǔn)確率為85.3%，高出HRM 10個(gè)百分點(diǎn)。

TRM還取消了傳統(tǒng)的“繼續(xù)計(jì)算”機(jī)制（Adaptive Computational Time, ACT）中第二次前向傳播。

研究者改用一個(gè)簡單的二元判斷來決定是否停止推理。

結(jié)果顯示，模型訓(xùn)練速度顯著提升，準(zhǔn)確率幾乎不變。

在架構(gòu)上，TRM也放棄了自注意力層。對于小規(guī)模固定輸入任務(wù)（如數(shù)獨(dú)），使用多層感知機(jī)（MLP）反而能減少過擬合。

論文指出，“當(dāng)上下文長度較短時(shí)，注意力機(jī)制反而是一種浪費(fèi)。”這一發(fā)現(xiàn)挑戰(zhàn)了AI界“模型越大越強(qiáng)”的經(jīng)驗(yàn)法則。減少層數(shù)、加深遞歸，是讓模型學(xué)會(huì)‘思考’的關(guān)鍵。

結(jié)果與啟示：推理的新尺度

實(shí)驗(yàn)結(jié)果表明，TRM不僅在性能上反超HRM，更在泛化能力與效率比上建立了新標(biāo)準(zhǔn)。

在Sudoku-Extreme上，它以5M參數(shù)實(shí)現(xiàn)87.4%準(zhǔn)確率；

在Maze-Hard任務(wù)上，以7M參數(shù)實(shí)現(xiàn)85.3%；

在ARC-AGI系列測試中，表現(xiàn)超過Gemini 2.5 Pro與DeepSeek R1等大模型。

研究團(tuán)隊(duì)將這一成果概括為：“以遞歸取代規(guī)模，以思考取代堆疊。”

論文分析認(rèn)為，大模型在生成式推理中往往容易被一次性錯(cuò)誤放大，而TRM通過循環(huán)式的自我修正，將推理劃分為多個(gè)小步，顯著降低誤差傳播。

這種結(jié)構(gòu)在小樣本條件下尤為有效。

作者還發(fā)現(xiàn)，兩層網(wǎng)絡(luò)的泛化能力優(yōu)于更深模型。當(dāng)層數(shù)增加到四層或以上時(shí)，性能反而下降，原因在于過擬合。

團(tuán)隊(duì)引入指數(shù)移動(dòng)平均（EMA）以穩(wěn)定訓(xùn)練，使模型在小數(shù)據(jù)集上保持一致收斂。

研究指出，這種方法提供了一條新的“輕量AI推理路線”：當(dāng)算力與數(shù)據(jù)受限時(shí)，小模型通過遞歸學(xué)習(xí)仍可實(shí)現(xiàn)復(fù)雜思維行為。

這為未來的邊緣AI與低資源應(yīng)用提供了方向。智能的深度，不一定來自規(guī)模，而可能來自重復(fù)思考。

注：頭圖AI生成

作者長期關(guān)注 AI 產(chǎn)業(yè)與學(xué)術(shù)，歡迎對這些方向感興趣的朋友添加微信Q1yezi，共同交流行業(yè)動(dòng)態(tài)與技術(shù)趨勢！

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！