拒絕微調(diào)，告別死記硬背：MemRL如何讓大模型擁有“會(huì)思考的長(zhǎng)期記憶”？

01

導(dǎo)語(yǔ)：跨越及格線

“人類最后一場(chǎng)考試”（Humanity's Last Exam, HLE）一直被視為AI推理能力的“終極考驗(yàn)”。面對(duì)這場(chǎng)匯聚了多學(xué)科專家級(jí)難題的極限測(cè)試，此前的大模型往往折戟沉沙。即便是強(qiáng)大的 Gemini-3-Pro，在沒(méi)有任何輔助的情況下，準(zhǔn)確率也僅為35.7%；在允許AI訪問(wèn)google search的情況下，準(zhǔn)確率也僅為45.8% 。

然而，一項(xiàng)最新的研究打破了這一僵局。上海交通大學(xué)、西安電子科技大學(xué)、上海創(chuàng)智學(xué)院與記憶張量（MemTensor）的聯(lián)合團(tuán)隊(duì)提出了一種名為MemRL的新框架，在不微調(diào)模型參數(shù)的前提下，讓 AI 的成績(jī)一舉躍升至61.3%。AI 終于及格了，但它做對(duì)的不僅僅是“刷題”，而是學(xué)會(huì)了像人類一樣從過(guò)往經(jīng)驗(yàn)中“提煉智慧”。

HLE 之所以被稱為“人類最后一場(chǎng)考試”，是因?yàn)樗简?yàn)的不再是單純的知識(shí)儲(chǔ)備，而是對(duì)人類資深專家級(jí)問(wèn)題的深入理解和復(fù)雜推理能力。而這，恰恰擊中了當(dāng)前大模型技術(shù)棧的軟肋。

02
痛點(diǎn)：為什么傳統(tǒng)的“外掛大腦”不管用？

在通往通用人工智能（AGI）的路上，我們一直希望 Agent 能像人類一樣持續(xù)學(xué)習(xí)。作者們嘗試過(guò)兩條路，但都很難走：

1.微調(diào)（Fine-tuning）：就像通過(guò)“做手術(shù)”來(lái)增加腦容量。成本高昂不說(shuō)，還容易引發(fā)“災(zāi)難性遺忘”，學(xué)了新知識(shí)，忘了舊本領(lǐng) 。

2.RAG（檢索增強(qiáng)）：就像給 AI 一本“參考書(shū)”。但傳統(tǒng)的 RAG 是盲目檢索，它只看關(guān)鍵詞匹不匹配（語(yǔ)義相似度），卻不管檢索回來(lái)的內(nèi)容對(duì)解決問(wèn)題有沒(méi)有真正的幫助。

結(jié)果就是，Agent 往往檢索回來(lái)一堆看似相關(guān)實(shí)則無(wú)用的“噪聲”，導(dǎo)致推理失敗。

既然“改造大腦”（微調(diào)）太危險(xiǎn)，“盲目翻書(shū)”（RAG）又不靠譜，有沒(méi)有一種方法，既能保持大腦的穩(wěn)定性，又能像人類一樣靈活地積累經(jīng)驗(yàn)？

03
破局：MemRL 的“認(rèn)知覺(jué)醒”

答案就藏在我們的生物本能中，MemRL的核心理念受到了人類認(rèn)知科學(xué)中構(gòu)建性情景模擬的深刻啟發(fā)：將“穩(wěn)定的推理能力”與“動(dòng)態(tài)的情景記憶”解耦。

這就好比一個(gè)聰明人（凍結(jié)的 LLM），他的智商是固定的，但他可以通過(guò)不斷優(yōu)化自己的“方法筆記”（進(jìn)化的記憶）來(lái)解決新問(wèn)題。MemRL 不再執(zhí)著于“我記得什么”，而是開(kāi)始思考“過(guò)往的經(jīng)歷中哪些經(jīng)驗(yàn)教訓(xùn)是值得借鑒的，如果參考過(guò)往的某種做法接下來(lái)會(huì)發(fā)生什么”，進(jìn)而得到改進(jìn)后的策略，并在新策略付諸實(shí)施后根據(jù)結(jié)果再更新對(duì)過(guò)往經(jīng)驗(yàn)的評(píng)價(jià) 。

1.核心機(jī)制——記憶的三元組

傳統(tǒng)的 RAG（檢索增強(qiáng)生成）只看“長(zhǎng)得像不像”（語(yǔ)義相似度），而 MemRL 引入了一個(gè)更像人類的機(jī)制：“Intent-Experience-Utility”（意圖-經(jīng)驗(yàn)-效用）三元組。

簡(jiǎn)單來(lái)說(shuō)，每一次Memory不僅存儲(chǔ)了“我想做什么”（Intent）和“我做了什么”（Experience），更關(guān)鍵的是貼上了一個(gè)“這一招好不好用”的標(biāo)簽（Utility/Q值）。這就像我們?cè)谀X海里給過(guò)去的經(jīng)驗(yàn)打分，下次遇到類似問(wèn)題，不僅看誰(shuí)相關(guān)，更看誰(shuí)的參考價(jià)值更大。

2.它是如何“思考”的？——引入“價(jià)值評(píng)估”過(guò)程

MemRL 拋棄了傳統(tǒng)的簡(jiǎn)單存儲(chǔ)，它為每一條記憶打上了一個(gè)Q值（效用分?jǐn)?shù)）。

· 在檢索時(shí)，它不僅看“這條經(jīng)驗(yàn)和當(dāng)前問(wèn)題像不像”（階段A：語(yǔ)義召回）；

· 更會(huì)像一個(gè)嚴(yán)厲的批評(píng)家一樣審視：“歷史數(shù)據(jù)告訴我，用這條經(jīng)驗(yàn)解決這類問(wèn)題，預(yù)期的結(jié)果好嗎？”（階段B：價(jià)值感知選擇）。

通過(guò)加權(quán)語(yǔ)義相似度以及效用分?jǐn)?shù)，MemRL 能夠精準(zhǔn)地從海量記憶中撈出那些真正能通向成功的“金鑰匙” 。

3.它是如何“進(jìn)化”的？——無(wú)參數(shù)的自我修正

MemRL 的核心在于讓 Agent 在運(yùn)行時(shí)“記住什么是有效的”。這一過(guò)程完全在記憶空間 (Memory Space) 內(nèi)完成，不需要任何梯度傳播。

具體的進(jìn)化包含兩個(gè)并行過(guò)程：

1.Q 值更新 (Refining Utilities)： 當(dāng) Agent 完成任務(wù)并獲得環(huán)境反饋（Reward, 如成功/失敗或分?jǐn)?shù)）后，我們會(huì)對(duì)剛才使用過(guò)的記憶進(jìn)行“蒙特卡洛式更新”(Monte Carlo style update)。

· 我們使用One-step MDP 形式，將當(dāng)前狀態(tài)視為終局，對(duì)記憶的Q值進(jìn)行更新。

· 通過(guò)這一規(guī)則，記憶的 Q 值會(huì)被推向“經(jīng)驗(yàn)期望回報(bào)” (Empirical Expected Return)。

· 簡(jiǎn)單來(lái)說(shuō)：如果某條記憶剛才幫了大忙，它的 Q 值會(huì)上升，預(yù)示著它在相似的場(chǎng)景下具備更高的“參考價(jià)值”；反之則會(huì)降低。

2.經(jīng)驗(yàn)回寫(xiě) (Experience Expansion)： 除了更新舊記憶，MemRL 還會(huì)將當(dāng)前的完整軌跡（Trajectory）通過(guò) LLM 總結(jié)為新的經(jīng)驗(yàn)，并且結(jié)合意圖（intent）以及初始化的效用（Q-init）成一個(gè)新的三元組 (Intent,Experience,Q-init)，寫(xiě)入記憶庫(kù)。這意味著記憶庫(kù)不僅在“修正”舊知，還在不斷“擴(kuò)充”新知。

04
實(shí)驗(yàn)核心：Runtime 進(jìn)化與記憶的真正價(jià)值

1. Main Results: 驚人的 Runtime Learning 能力

作者們?cè)谒拇?Benchmark 上進(jìn)行了測(cè)試：BigCodeBench(代碼生成)、ALFWorld(具身決策)、Lifelong Agent Bench(操作系統(tǒng)/數(shù)據(jù)庫(kù)交互) 和HLE(復(fù)雜推理)。 對(duì)比基線包括Standard RAG、Self-RAG以及最先進(jìn)的 Agent Memory 方法 (Mem0, MemP)。結(jié)論非常硬核（Table 1）：MemRL 不需要任何參數(shù)更新 (Training-free)，僅靠運(yùn)行時(shí)積累經(jīng)驗(yàn)，就能實(shí)現(xiàn)持續(xù)的性能攀升。

· 在ALFWorld中，MemRL 的最終準(zhǔn)確率達(dá)到69.7%，相比 MemP (45.6%) 提升了53%！

· 在HLE這種高難度基準(zhǔn)上，MemRL 同樣刷新了記錄：首次突破60%。 這證明了“非參數(shù)化強(qiáng)化學(xué)習(xí)”能讓 Agent 像人類一樣，通過(guò) Trial-and-Error（試錯(cuò)）在運(yùn)行時(shí)持續(xù)學(xué)習(xí)，越來(lái)越強(qiáng)。

2. Transfer Learning: 舉一反三的泛化能力

不僅是“熟能生巧”，MemRL 還學(xué)會(huì)了“觸類旁通”。 作者們測(cè)試了遷移學(xué)習(xí)場(chǎng)景 (Table 2)：讓 Agent 先訓(xùn)練，然后凍結(jié)記憶庫(kù)，直接在30% 的未見(jiàn)任務(wù) (Held-out sets)上測(cè)試。 結(jié)果顯示： MemRL 在所有任務(wù)上都超越了 RAG 和 MemP。 這意味著 MemRL 存儲(chǔ)的不僅僅是具體的“答案”，更是抽象的“高價(jià)值策略”。它成功過(guò)濾掉了那些只能解決特定訓(xùn)練題的“過(guò)擬合記憶”，留下了真正能應(yīng)對(duì)未知環(huán)境的通用經(jīng)驗(yàn)。

05
深入分析：不止羅列成果，

文章還提出了非常深入的分析與思考

1. 軌跡驗(yàn)證器：長(zhǎng)程任務(wù)更有提升空間 (Trajectory Verifier)

實(shí)驗(yàn)數(shù)據(jù)（Table 3）揭示了一個(gè)關(guān)鍵現(xiàn)象：任務(wù)鏈路越長(zhǎng)，MemRL 優(yōu)勢(shì)越大。

· 在單步任務(wù) (BigCodeBench) 上提升較小 (+2.5 pp)；

· 但在多步順序任務(wù) (ALFWorld)上，提升高達(dá)+24.1 pp！原因揭秘：傳統(tǒng) RAG 容易檢索到“開(kāi)頭很像但結(jié)局跑偏”的錯(cuò)誤經(jīng)驗(yàn)。而 MemRL 因?yàn)橛涗浟苏麠l軌跡的 Q 值 (Utility)，它實(shí)際上充當(dāng)了一個(gè)“軌跡驗(yàn)證器” (Trajectory Verifier)。它能預(yù)判這條路走下去會(huì)不會(huì)“翻車(chē)”，從而在一開(kāi)始就避開(kāi)那些表面看似相關(guān)、實(shí)則會(huì)導(dǎo)致失敗的路徑。

2. 意外發(fā)現(xiàn)：從“差一點(diǎn)”中學(xué)習(xí) (Near-misses)

這是一個(gè)反直覺(jué)但極具深意的發(fā)現(xiàn) (Figure 8b)。 作者們?cè)诟?Q 值 (High-Utility) 的記憶庫(kù)中，發(fā)現(xiàn)了約12% 的失敗案例。 深入分析發(fā)現(xiàn)，其中存在一些“Near-misses” (差一點(diǎn)就成功)的案例。它們雖然最終報(bào)錯(cuò)（例如輸出格式微小錯(cuò)誤），但整體推理邏輯是正確的。MemRL 敏銳地識(shí)別出了這些案例的“戰(zhàn)略價(jià)值”，將它們作為“糾錯(cuò)指南”保留下來(lái)。這證明系統(tǒng)具備了從部分失敗中提取正確邏輯的高級(jí)能力，也符合人類從失敗中學(xué)習(xí)的認(rèn)知原理。

3. 理論保證的穩(wěn)定性：告別災(zāi)難性遺忘 (Stability Guarantee)

持續(xù)學(xué)習(xí)最怕“撿了芝麻丟西瓜”。 在長(zhǎng)期訓(xùn)練動(dòng)態(tài) (Figure 9) 中，作者們揭示了一個(gè)殘酷的現(xiàn)象：?jiǎn)l(fā)式方法（如 MemP）往往出現(xiàn)CSR（歷史最佳）與當(dāng)前準(zhǔn)確率的脫節(jié)。這意味著新的探索無(wú)意中“覆蓋”了舊的成功策略，導(dǎo)致了災(zāi)難性遺忘。

相比之下，MemRL 展現(xiàn)了更加一致的Synchronized Growth (同步增長(zhǎng))。這源于 MemRL 背后收斂穩(wěn)定性的理論保障，這也是MemRL與大多自進(jìn)化智能體的核心區(qū)別：

· 蒙特卡洛式建模的收斂性 (Monte Carlo Style Modeling)：基于原文 Eq. 8 的建模，作者們?cè)谠?strong>Section 4.5中給出了相應(yīng)的理論分析，確保了算法的收斂穩(wěn)定性。

· 變分下界約束 (Variational Lower Bound)：不同于啟發(fā)式排序可能出現(xiàn)的隨機(jī)漂移，MemRL會(huì)推動(dòng)策略去攀登“期望獎(jiǎng)勵(lì)的變分下界”。

結(jié)論：這從理論層面鎖定了性能的單調(diào)不減 (Non-decreasing)，確保每一次更新都是在夯實(shí)地基，而非拆東墻補(bǔ)西墻。從這個(gè)實(shí)驗(yàn)中我們也能得到一個(gè)有價(jià)值的啟發(fā)：在這個(gè)Agent爆發(fā)的時(shí)代，很多時(shí)候并不需要理論保障，僅通過(guò)直覺(jué)搭個(gè)“Agentic Pipeline”也能觀察到顯著的性能提升（如圖中藍(lán)色線條），那我們?yōu)槭裁匆パ芯坷碚撃?，通過(guò)這張圖，或許能窺見(jiàn)一部份答案。

4. 數(shù)據(jù)洞察：從數(shù)據(jù)集的語(yǔ)義空間到記憶泛化

在實(shí)驗(yàn)的最后，作者們通過(guò)Figure 11探討了一個(gè)根本性問(wèn)題：“長(zhǎng)得像”是否意味著“更有用”？作者們的核心發(fā)現(xiàn)是：數(shù)據(jù)集內(nèi)的相似度（Intra-dataset Similarity）與 Memory Gain（記憶帶來(lái)的性能提升）呈現(xiàn)出顯著的正相關(guān)性。

基于這一發(fā)現(xiàn)，作者們進(jìn)一步解析了 MemRL 的收益來(lái)源，將其歸納為兩種截然不同的模式：

1.Positive Transfer (正向遷移)：在ALFWorld這類具有高相似度的任務(wù)中，MemRL 充分利用相似性快速?gòu)?fù)用歷史上的不同問(wèn)題的最優(yōu)策略，從而獲得了最大的收益。

2.Runtime Memorization (運(yùn)行時(shí)記憶)：在HLE這類低相似度/跨學(xué)科的任務(wù)中，雖然題目之間互不相同，但 MemRL 依然獲得了+21.6%的顯著提升。這得益于其強(qiáng)大的“單題突破”能力——即通過(guò)“記住”特定難題的解法來(lái)應(yīng)對(duì)復(fù)雜場(chǎng)景。

結(jié)論：這解釋了 MemRL 為什么既能做“舉一反三”的通用推手（依靠 Transfer），也能做“博聞強(qiáng)記”的特定領(lǐng)域?qū)＜遥ㄒ揽?Memorization）。

06
結(jié)語(yǔ)：邁向終身學(xué)習(xí)的 Agent

上海交大、西電、上海創(chuàng)智學(xué)院與記憶張量團(tuán)隊(duì)的這項(xiàng)工作，為 AI 社區(qū)提供了一個(gè)優(yōu)雅的范式：我們不需要總是通過(guò)昂貴的訓(xùn)練來(lái)讓模型變強(qiáng)，也不需要針對(duì)問(wèn)題場(chǎng)景去精雕細(xì)琢所謂的“agentic pipeline”。

MemRL 證明了，一個(gè)凍結(jié)的大腦，配合一個(gè)不斷自我進(jìn)化的記憶系統(tǒng)，就能實(shí)現(xiàn)持續(xù)的終身學(xué)習(xí)（Lifelong Learning）。這或許才是通往 AGI 更經(jīng)濟(jì)、更高效的未來(lái)之路。

論文信息

· 論文標(biāo)題：MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory

· 聯(lián)合團(tuán)隊(duì)：上海交通大學(xué)、西安電子科技大學(xué)、上海創(chuàng)智學(xué)院、記憶張量（MemTensor）等

· arXiv 鏈接：https://arxiv.org/abs/2601.03192

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。