南京大學(xué)&上海人工智能實(shí)驗(yàn)室聯(lián)合推出LoCoMo-Refined：嚴(yán)苛的Agent記憶評(píng)測(cè)基準(zhǔn)，主流記憶系統(tǒng)真實(shí)水平大比拼！

01

引言：Agent記憶系統(tǒng)高分背后，

評(píng)測(cè)“標(biāo)尺”仍待校準(zhǔn)

隨著 Agent 應(yīng)用持續(xù)走向復(fù)雜任務(wù)，"記憶能力"正逐漸成為影響系統(tǒng)可用性與用戶體驗(yàn)的關(guān)鍵基礎(chǔ)能力之一。盡管模型的長(zhǎng)上下文窗口不斷擴(kuò)展（從 128K 擴(kuò)展到 1M、2M），但其仍無法有效解決真實(shí)長(zhǎng)周期對(duì)話中頻發(fā)的"失憶"問題。因此，圍繞Agent的記憶框架迅速興起，成為當(dāng)前業(yè)界提升長(zhǎng)期記憶能力的一條重要技術(shù)路徑。

在當(dāng)下各大主流記憶評(píng)測(cè)榜單中（如 Agent Memory 領(lǐng)域的代表性基準(zhǔn) LoCoMo），主流記憶框架動(dòng)輒獲得90%以上的高分。但在接入真實(shí)的業(yè)務(wù)場(chǎng)景時(shí)，卻發(fā)現(xiàn) Agent 依然頻頻失效：昨天說好的日程今天搞錯(cuò)時(shí)間、用戶偏好被張冠李戴、甚至還會(huì)"腦補(bǔ)"出從未發(fā)生過的對(duì)話細(xì)節(jié)。明明在評(píng)測(cè)基準(zhǔn)里拿了高分，為什么一到真實(shí)應(yīng)用就表現(xiàn)不佳？

南京大學(xué)強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)室聯(lián)合上海人工智能實(shí)驗(yàn)室群體智能團(tuán)隊(duì)，在深度剖析了超長(zhǎng)對(duì)話記憶基準(zhǔn) LoCoMo 后，找到了核心原因——現(xiàn)有的評(píng)測(cè)“標(biāo)尺”本身存在偏差，并總結(jié)出當(dāng)前記憶評(píng)測(cè)基準(zhǔn)普遍存在的兩大漏洞：

第一，評(píng)判標(biāo)準(zhǔn)過于寬容:行業(yè)通用的 LLM 裁判（Judger）基本邏輯是"相關(guān)即正確"，這種寬松的判定掩蓋了當(dāng)前記憶外掛的核心缺陷——召回冗余信息與過度生成；

第二，考卷本身也存在錯(cuò)漏:數(shù)據(jù)集中潛藏著部分邏輯顛倒、事實(shí)偏差的"臟數(shù)據(jù)"，干擾了評(píng)測(cè)精度。

如果評(píng)測(cè)“標(biāo)尺”本身不夠準(zhǔn)確，Agent 記憶系統(tǒng)的研究將在高分的假象中迷失方向，導(dǎo)致記憶系統(tǒng)的真實(shí)瓶頸被持續(xù)忽視。為此，在LoCoMo基礎(chǔ)上，聯(lián)合團(tuán)隊(duì)正式推出專為驗(yàn)證真實(shí)記憶架構(gòu)而生的嚴(yán)謹(jǐn)測(cè)試基準(zhǔn) LoCoMo-Refined：

? 新 Judger 的核心原則：包含且不矛盾，完整且不越界——對(duì)冗余生成和未驗(yàn)證細(xì)節(jié)明確扣分。

? 數(shù)據(jù)修正方面，人工逐題核驗(yàn)核心四類題目，修訂了題目模糊、主客體顛倒、時(shí)間不符等問題，最終形成高質(zhì)量新數(shù)據(jù)集。

在 LoCoMo-Refined 的嚴(yán)苛標(biāo)準(zhǔn)下，MemPalace、EverMemOS等主流記憶框架的得分普遍下降15–22個(gè)百分點(diǎn)——它們此前的高分，在很大程度上是評(píng)測(cè)標(biāo)尺本身的寬松所致。

02

揭秘舊基準(zhǔn)得分虛高的兩大原因

那些在真實(shí)場(chǎng)景中表現(xiàn)不佳的記憶系統(tǒng)，究竟是如何斬獲高分的？我們深入分析了現(xiàn)有的LoCoMo評(píng)測(cè)體系，發(fā)現(xiàn)了兩個(gè)關(guān)鍵原因。

原因一：寬松的裁判——“相關(guān)即正確”掩蓋了記憶系統(tǒng)的缺陷

主流記憶框架在實(shí)際使用中容易產(chǎn)生冗余信息——既可能在檢索階段召回?zé)o關(guān)記憶，也可能在生成階段引入未經(jīng)驗(yàn)證的細(xì)節(jié)。然而，現(xiàn)有評(píng)測(cè)體系中，通用 LLM Judger（裁判）的判定門檻較低，其核心邏輯是"相關(guān)即正確"——只要回答在語義上與標(biāo)準(zhǔn)答案相關(guān)，就傾向于判定為正確，極易產(chǎn)生評(píng)判幻覺。具體表現(xiàn)為：

?忽視時(shí)間漂移：比如問題問“Deborah 何時(shí)去巴西”，標(biāo)準(zhǔn)答案是“2020年”。如果記憶系統(tǒng)回答“2020年8月30日”（強(qiáng)加了未經(jīng)驗(yàn)證的具體日期），通用 Judger 依然會(huì)判定為正確。

?縱容過度生成與冗余：比如問題問“他喜歡什么類型的電影”，標(biāo)準(zhǔn)答案是“動(dòng)作片和科幻片”。如果記憶系統(tǒng)召回了多余的信息，回答“動(dòng)作、科幻和奇幻片”，在舊規(guī)則下，這依然是一個(gè)“滿分答案”。

這種寬松的裁判標(biāo)準(zhǔn)，實(shí)際上導(dǎo)致了嚴(yán)重的假陽性。它讓那些記憶混亂、時(shí)間線模糊、生成額外事實(shí)的結(jié)果，獲得了遠(yuǎn)超其真實(shí)能力的高分。當(dāng)評(píng)測(cè)失去了區(qū)分度，得分的參考價(jià)值也就大打折扣。

原因二：帶瑕疵的考卷——考題和標(biāo)準(zhǔn)答案存在誤導(dǎo)

除了評(píng)判標(biāo)準(zhǔn)的過度寬容，測(cè)試數(shù)據(jù)本身的問題同樣會(huì)干擾評(píng)測(cè)的客觀性。通過 AI 初篩結(jié)合人工核驗(yàn)，在原始 LoCoMo 中精確定位了 337 道存在邏輯或事實(shí)偏差的題目。這類錯(cuò)誤一旦作為“金標(biāo)準(zhǔn)”，會(huì)直接干擾對(duì) Agent記憶系統(tǒng)的準(zhǔn)確評(píng)估。

?以"主客體顛倒"為例：例如原數(shù)據(jù)集題目：“Nate 去 Joanna 家玩時(shí)想做什么？”但回溯長(zhǎng)達(dá)數(shù)百輪的原始對(duì)話記錄發(fā)現(xiàn)，Nate 說的實(shí)際上是：“我很高興你能再來我家玩”——訪客與主人的關(guān)系完全相反。如果記憶系統(tǒng)依據(jù)這樣的標(biāo)注進(jìn)行學(xué)習(xí)或評(píng)測(cè)，會(huì)導(dǎo)致錯(cuò)誤的結(jié)果被判定為正確。

03

LoCoMo-Refined 怎么做？

——專為“記憶架構(gòu)”打造的客觀標(biāo)尺

為了精準(zhǔn)評(píng)估 Agent 外掛記憶系統(tǒng)的真實(shí)能力，團(tuán)隊(duì)從評(píng)測(cè)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量?jī)蓚�(gè)維度進(jìn)行了系統(tǒng)性重構(gòu)。

嚴(yán)格標(biāo)尺：精準(zhǔn)識(shí)別“幻覺”與“冗余”的新 Judger

針對(duì)舊裁判過度寬松的問題，圍繞記憶任務(wù)的本質(zhì)要求，首先重新界定“什么才算真正答對(duì)”。與開放式生成任務(wù)不同，記憶評(píng)測(cè)關(guān)注的并不是僅僅是回答是否“看起來合理”或“主題相關(guān)”，而是系統(tǒng)能否在給定問題下準(zhǔn)確、完整、邊界清晰地回憶目標(biāo)信息。基于這一認(rèn)識(shí)，首先給出新Judger的設(shè)計(jì)哲學(xué)——

包含且不矛盾，完整且不越界。

?必要信息完整覆蓋：回答必須覆蓋標(biāo)準(zhǔn)答案的所有關(guān)鍵要素，命中一部分不算答對(duì)——從相關(guān)性匹配升級(jí)為信息完備性檢驗(yàn)。

?冗余生成邊界控制：回答不能超出標(biāo)準(zhǔn)答案的可驗(yàn)證范圍。未經(jīng)證實(shí)的補(bǔ)充細(xì)節(jié)，即便看似合理，也應(yīng)被扣分——評(píng)測(cè)關(guān)注的是"忠實(shí)復(fù)現(xiàn)"，而非"合理擴(kuò)展"。

精修考卷：AI 與人工的協(xié)同校準(zhǔn)

有了精確的標(biāo)尺，考卷本身的質(zhì)量同樣需要保證。團(tuán)隊(duì)引入了前沿 AI 模型作為初篩工具，對(duì)全部數(shù)據(jù)執(zhí)行了基于證據(jù)（Evidence-based）的測(cè)試檢驗(yàn)。隨后，人工對(duì)初篩出的錯(cuò)題及 AI 修復(fù)建議進(jìn)行了逐題復(fù)核。

在剔除無效題型后，在剩余的 1540 道核心考題中，精修了 337 道存在邏輯或事實(shí)瑕疵的題目，數(shù)據(jù)集的純凈度得到了極大提升，最終獲得1382道精修后的題目。

One More Thing：引入“多模態(tài)”記憶標(biāo)記

業(yè)界往往忽略了一個(gè)歸因盲區(qū)：當(dāng) Agent 面對(duì)混合了圖片的長(zhǎng)期對(duì)話答錯(cuò)時(shí)，到底是因?yàn)椤拔谋居洃洓]存好”，還是因?yàn)椤皼]看懂圖片”？

為了剝離這種干擾，在 LoCoMo-Refined 中引入了多模態(tài)標(biāo)記。其中 521 道題目（占比37.70%）被清晰地打上了該標(biāo)簽，這讓開發(fā)者能夠更精細(xì)化地評(píng)估記憶框架在“純文本”與“圖文交織”場(chǎng)景下的能力邊界。

04

評(píng)測(cè)結(jié)果：

嚴(yán)苛標(biāo)尺下的重測(cè)，主流記憶框架真實(shí)水平展現(xiàn)

▎標(biāo)尺校準(zhǔn)：舊版裁判模型為何不再適用？

在測(cè)試真實(shí)記憶系統(tǒng)之前，團(tuán)隊(duì)先用對(duì)比數(shù)據(jù)驗(yàn)證了舊版評(píng)測(cè)結(jié)果為何缺乏區(qū)分度。

通過抽取的 300 條高難度樣本進(jìn)行雙盲測(cè)試。結(jié)果顯示，人類專家標(biāo)注表現(xiàn)出較強(qiáng)的一致性——達(dá)到 0.9373，其中更是有高達(dá) 92.33% 的樣本一致性超過 0.8。這表明“記憶是否準(zhǔn)確”在人類視角下有著清晰的共識(shí)。

LLM Judger裁判評(píng)分的核心包括兩部分：大模型 + 評(píng)判規(guī)則，二者共同影響評(píng)判都準(zhǔn)確率。以人類標(biāo)注的300道題目為基礎(chǔ)，對(duì)這兩個(gè)因素進(jìn)行了測(cè)評(píng)，從而衡量“評(píng)判標(biāo)尺”是否準(zhǔn)確。

?大模型的選擇：業(yè)界通用LoCoMo裁判采用GPT-4o mini作為后端LLM，在人工精標(biāo)測(cè)試集上只有43.67%的準(zhǔn)確率。Qwen3-14B 在相同配置下高出近 15%，因此LoCoMo-Refined 默認(rèn)采用 Qwen3-14B。

?評(píng)判標(biāo)準(zhǔn)的校驗(yàn)：現(xiàn)有LoCoMo裁判的標(biāo)準(zhǔn)（舊評(píng)判標(biāo)準(zhǔn)）較為寬松，這是造成評(píng)測(cè)標(biāo)尺不準(zhǔn)確的核心原因。團(tuán)隊(duì)對(duì)前面所提出的新評(píng)判標(biāo)準(zhǔn)進(jìn)行了測(cè)評(píng)，以 Qwen3-14B 作為后端 LLM 時(shí)，新評(píng)判標(biāo)準(zhǔn)與人類標(biāo)注的一致準(zhǔn)確率達(dá)到 86.33%，顯著優(yōu)于舊評(píng)判標(biāo)準(zhǔn)。

?新裁判在高共識(shí)樣本上更穩(wěn)定：結(jié)合大模型和評(píng)判標(biāo)準(zhǔn)的結(jié)構(gòu)，在LoCoMo-Refined中使用Qwen3-14B + 新評(píng)判標(biāo)準(zhǔn)作為默認(rèn)裁判，即新裁判。當(dāng)人工標(biāo)注者本身更容易達(dá)成一致時(shí)，新裁判的優(yōu)勢(shì)會(huì)變得更明顯。對(duì)于一致性大于0.8 的樣本，新裁判的準(zhǔn)確率達(dá)到 89.5%；而在一致性小于 0.8 的樣本上，則下降到 47.8%。相比之下，舊裁判在這兩類樣本上的準(zhǔn)確率幾乎沒有變化，分別只有 48.4% 和 47.8%。

重測(cè)結(jié)果：主流記憶框架回歸真實(shí)水平

為了驗(yàn)證LoCoMo-Refined基準(zhǔn)以及新裁判的有效性和區(qū)分度，團(tuán)隊(duì)針對(duì)主流記憶系統(tǒng)——如 Mem0、MemOS、EverMemOS和MemPalace進(jìn)行了測(cè)評(píng)。

在舊裁判下，這些框架的表現(xiàn)看起來相當(dāng)不錯(cuò)，但在嚴(yán)懲信息冗余和時(shí)間漂移的新裁判下，它們的得分顯著下降：

這組對(duì)比結(jié)果也揭示了一個(gè)此前被寬松評(píng)判標(biāo)準(zhǔn)所掩蓋的事實(shí)：現(xiàn)有記憶系統(tǒng)在長(zhǎng)對(duì)話場(chǎng)景中的實(shí)際表現(xiàn)，與舊基準(zhǔn)所呈現(xiàn)的高分之間存在較大的差距。許多涉及時(shí)間推理、多事件區(qū)分和精確細(xì)節(jié)回憶的題目，對(duì)當(dāng)前主流框架而言仍是未解決的難題——只是在舊裁判下，這些錯(cuò)誤未被有效識(shí)別。我們希望 LoCoMo-Refined 能讓這些真實(shí)的瓶頸充分暴露出來，為后續(xù)記憶架構(gòu)的改進(jìn)提供更準(zhǔn)確的方向。

05

開源與生態(tài)：

建立更健康的 Agent 記憶測(cè)評(píng)基礎(chǔ)設(shè)施

LoCoMo-Refined 的目標(biāo)不是否定特定框架，而是為社區(qū)提供更客觀的驗(yàn)證工具，幫助識(shí)別真實(shí)瓶頸，推動(dòng)記憶架構(gòu)的針對(duì)性改進(jìn)。

目前，LoCoMo-Refined 的完整修訂版數(shù)據(jù)集以及配套的嚴(yán)格評(píng)測(cè)腳本已經(jīng)全部開源。

GitHub 地址：https://github.com/mem-eval-suite/LoCoMo_refined

期待社區(qū)開發(fā)者們?cè)?LoCoMo-Refined 基礎(chǔ)上構(gòu)建出更強(qiáng)大的 Agent 記憶系統(tǒng)，共同推動(dòng)相關(guān)技術(shù)的發(fā)展！

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。