跨學(xué)科突破：神經(jīng)科學(xué)如何讓 Agent 擁有「人類式」記憶？

你是否想過(guò) Agent 能像人類一樣積累經(jīng)驗(yàn)、不斷成長(zhǎng)？如今，這一愿景正加速走向現(xiàn)實(shí)。但是，現(xiàn)有研究要么只聚焦 AI 技術(shù)本身，要么對(duì)人腦記憶機(jī)制的借鑒浮于表面，兩個(gè)學(xué)科之間始終缺少真正的靈感碰撞。

哈工大、鵬城實(shí)驗(yàn)室、新加坡國(guó)立、復(fù)旦、北大聯(lián)合發(fā)布了一篇重磅綜述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》，首次打破認(rèn)知神經(jīng)科學(xué)與人工智能之間的學(xué)科壁壘，系統(tǒng)性地將人腦記憶機(jī)制與 Agents 記憶統(tǒng)一審視，為設(shè)計(jì)真正「類人」的 Agent 記憶系統(tǒng)奠定理論基石。

全文橫跨認(rèn)知神經(jīng)科學(xué)與人工智能兩大領(lǐng)域，涉獵相關(guān)文獻(xiàn)共 400 篇。

• 論文鏈接：http://arxiv.org/abs/2512.23343
• Github 鏈接：https://github.com/AgentMemory/Huaman-Agent-Memory

什么是記憶？

綜述重新定義了記憶。記憶不僅僅是數(shù)據(jù)的存儲(chǔ)，它也是認(rèn)知的紐帶。綜述從認(rèn)知神經(jīng)科學(xué)到 Agent 對(duì)記憶進(jìn)行了剖析：

1.認(rèn)知神經(jīng)科學(xué)角度：連接過(guò)去與未來(lái)的橋梁

在人腦中，記憶不僅僅是回放信息，其本質(zhì)是大腦存儲(chǔ)和管理信息的過(guò)程。記憶是連接過(guò)去經(jīng)驗(yàn)與未來(lái)決策的認(rèn)知橋梁。它分為兩個(gè)階段：在第一階段，當(dāng)大腦獲得新概念或遇到新事件時(shí)，它會(huì)快速形成特定的神經(jīng)表征，同時(shí)整合和存儲(chǔ)這些信息。在第二階段，大腦對(duì)存儲(chǔ)的表征進(jìn)行操作，要么隨著時(shí)間的推移鞏固它們，要么根據(jù)類似的未來(lái)情況檢索它們。

2.LLM 視角：三種形態(tài)的并存

對(duì)于大語(yǔ)言模型，記憶并非單一的存儲(chǔ)結(jié)構(gòu)，而是表現(xiàn)為三種形式：

• 參數(shù)記憶（Parametric Memory）：內(nèi)化在神經(jīng)網(wǎng)絡(luò)權(quán)重中的知識(shí)，對(duì)應(yīng)人類的抽象長(zhǎng)期記憶。
• 工作記憶（Working Memory）：基于上下文窗口，負(fù)責(zé)實(shí)時(shí)推理。
• 顯式外部記憶（Explicit External Memory）：RAG 是典型代表，通過(guò)解耦計(jì)算與存儲(chǔ)，使 LLM 從「知識(shí)庫(kù)」變?yōu)椤钢R(shí)調(diào)度器」。

3.Agent 視角：從存儲(chǔ)到認(rèn)知的躍遷

Agent 的記憶超越了 LLM 的簡(jiǎn)單存儲(chǔ)，它是一個(gè)動(dòng)態(tài)的認(rèn)知架構(gòu)，該綜述選擇沿著三個(gè)核心維度解構(gòu)記憶：

• 結(jié)構(gòu)化存儲(chǔ)：旨在將非結(jié)構(gòu)化自然語(yǔ)言交互轉(zhuǎn)換為易于機(jī)器索引和理解的有效格式。
• 動(dòng)態(tài)調(diào)度：解決了有限的注意力資源和大量記憶存儲(chǔ)之間的沖突，模擬了人腦的遺忘與喚醒機(jī)制。
• 認(rèn)知進(jìn)化：Agent 必須深入反思、抽象和重組記憶內(nèi)容，從而推動(dòng)其行為策略的持續(xù)更新。

Agent Memory vs RAG：傳統(tǒng)的 RAG 側(cè)重于將 LLM 連接到靜態(tài)的知識(shí)庫(kù)進(jìn)行查詢，而 Agent Memory 是嵌入在 Agent 與其環(huán)境之間的動(dòng)態(tài)交互過(guò)程中，不斷地將 Agent 操作和環(huán)境反饋生成的信息合并到記憶容器中。

記憶有何用？

在認(rèn)知神經(jīng)科學(xué)中，記憶構(gòu)成了大腦編碼、存儲(chǔ)和檢索信息的神經(jīng)過(guò)程，使個(gè)體能夠保留過(guò)去的經(jīng)驗(yàn)并利用它們來(lái)指導(dǎo)正在進(jìn)行的行為并為未來(lái)的決策提供信息。

在 LLM 驅(qū)動(dòng)的 Agent 中，模型原生的無(wú)狀態(tài)性與復(fù)雜、長(zhǎng)期任務(wù)所需的連續(xù)性需求之間存在著天然的鴻溝。因此，記憶超越了其作為橋接歷史交互的被動(dòng)存儲(chǔ)庫(kù)的角色，而是充當(dāng) Agent 認(rèn)知架構(gòu)中的關(guān)鍵主動(dòng)組件。因此，給 Agent 裝上記憶系統(tǒng)，并非只是為了記住，而是為了實(shí)現(xiàn)三大核心作用：

圖 1. 記憶通過(guò)減輕上下文窗口限制、實(shí)現(xiàn)長(zhǎng)期個(gè)性化以及驅(qū)動(dòng)基于經(jīng)驗(yàn)的推理來(lái)擴(kuò)展 Agent 的能力。

1.突破上下文窗口的限制：

• 啟發(fā)式上下文設(shè)計(jì)：通過(guò)設(shè)計(jì)啟發(fā)式規(guī)則來(lái)管理記憶。
• 自主記憶優(yōu)化：讓 Agent 把記憶管理提升為可學(xué)習(xí)的內(nèi)在能力。

2.構(gòu)建長(zhǎng)期個(gè)性化畫(huà)像：

• 畫(huà)像構(gòu)建：Agent 能從碎片化的歷史對(duì)話中，提煉出你的核心特質(zhì)和信息。它不僅會(huì)記錄發(fā)生了什么，還會(huì)定期反思，推測(cè)你話語(yǔ)背后的潛在動(dòng)機(jī)，從而在腦海中建立一個(gè)個(gè)性化檔案。
• 偏好對(duì)齊執(zhí)行：當(dāng) Agent 替你執(zhí)行任務(wù)時(shí)，記憶庫(kù)會(huì)充當(dāng)隱形指揮棒。不需要反復(fù)叮囑，它會(huì)自動(dòng)調(diào)用記憶中的偏好約束決策。

3.驅(qū)動(dòng)基于經(jīng)驗(yàn)的推理：

• 戰(zhàn)略指導(dǎo)：檢索歷史上相似的成功案例或從中提煉的高層經(jīng)驗(yàn)，指導(dǎo)當(dāng)前的決策，避免重蹈覆轍。
• 程序固化：將成功的推理過(guò)程轉(zhuǎn)化為可復(fù)用的技能或可執(zhí)行的結(jié)構(gòu)。

記憶的分類學(xué)

在談?wù)?Agent 記憶的分類之前，綜述首先梳理了認(rèn)知神經(jīng)科學(xué)對(duì)記憶的經(jīng)典定義。人腦的記憶并不是一個(gè)單一的黑盒，而是一個(gè)分工明確的復(fù)雜系統(tǒng)。

1.基于認(rèn)知神經(jīng)科學(xué)的分類：

記憶的概念最初源于認(rèn)知神經(jīng)科學(xué)，它被廣泛地定義為大腦存儲(chǔ)和管理信息的認(rèn)知過(guò)程，允許在原始刺激或事件不再存在后訪問(wèn)和使用這些信息，通常分為短期記憶和長(zhǎng)期記憶。

• 短期記憶（Short-term Memory）：
• 定義：大腦的臨時(shí)工作臺(tái)。它負(fù)責(zé)在極短的時(shí)間窗口（約 15～20 秒）內(nèi)維持和處理信息。
• 特征：容量非常有限（通常只能容納 4～9 個(gè)單位的信息）。

• 長(zhǎng)期記憶（Long-term Memory）：
• 定義：大腦的永久檔案館。它可以存儲(chǔ)從幾分鐘到幾十年的信息。
• 特征：沒(méi)有嚴(yán)格的容量限制，且結(jié)構(gòu)高度組織化。
• 長(zhǎng)期記憶可繼續(xù)分為情景記憶和語(yǔ)義記憶：

1. 情景記憶（Episodic Memory）：指對(duì)個(gè)人親身經(jīng)歷過(guò)的特定事件的記憶。此類記憶通常不僅包括有關(guān)事件本身的詳細(xì)信息，還包括其時(shí)間和空間背景，即事件發(fā)生的時(shí)間和地點(diǎn)。
2. 語(yǔ)義記憶（Semantic Memory）：指對(duì)所學(xué)事實(shí)知識(shí)、概念和規(guī)則的記憶。這些記憶與獲取的特定時(shí)間和地點(diǎn)無(wú)關(guān)，并且它們的檢索并不伴隨著對(duì)過(guò)去特定事件的生動(dòng)重新體驗(yàn)。

2.Agent 的雙維度記憶分類

綜述中指出，連貫的記憶分類對(duì)于系統(tǒng)地理解和設(shè)計(jì) Agent 系統(tǒng)中的記憶機(jī)制至關(guān)重要。為了適應(yīng)復(fù)雜的自主任務(wù)，綜述提出了一套雙維度的分類法。

圖 2. (a) 基于性質(zhì)的分類法，根據(jù)編碼的信息類型對(duì)記憶進(jìn)行分類。 (b) 基于范圍的分類，根據(jù)記憶的應(yīng)用范圍來(lái)區(qū)分。

（1）.基于「性質(zhì)」的分類（Nature-based）

這是直接對(duì)齊人腦「情景和語(yǔ)義」的分類方式，決定了 Agent 在推理時(shí)使用的是「經(jīng)驗(yàn)」還是「知識(shí)」。

• 情景記憶（Episodic Memory）：
• 定義：任務(wù)式數(shù)據(jù)庫(kù)
• 存儲(chǔ)內(nèi)容：完整的交互軌跡（Trajectory）
• 核心作用：提供過(guò)程性知識(shí)，即「How to」

• 語(yǔ)義記憶（Semantic Memory）：
• 定義：存儲(chǔ) Agent 的知識(shí)庫(kù)
• 存儲(chǔ)內(nèi)容：事實(shí)、概念、規(guī)則和常識(shí)
• 核心作用：提供陳述性知識(shí)，即「What-is」

（2）.基于「范圍」的分類 (Scope-based)

這是基于記憶在任務(wù)流中的生命周期和適用范圍進(jìn)行的劃分。

• 軌跡內(nèi)記憶（Inside-trail Memory）：
• 定義：臨時(shí)工作區(qū)
• 存儲(chǔ)內(nèi)容：當(dāng)前任務(wù)的中間步驟、臨時(shí)變量和即時(shí)的觀察結(jié)果
• 作用域：僅在當(dāng)前任務(wù)或會(huì)話中有效
• 特點(diǎn)：用完即走。當(dāng)情景結(jié)束時(shí)，該記憶通常會(huì)被清除或重置

• 跨軌跡記憶（Cross-trail Memory）：
• 定義：永久存儲(chǔ)庫(kù)
• 存儲(chǔ)內(nèi)容：可概括的模式、學(xué)習(xí)的策略、可重用的知識(shí)
• 作用域：跨越多個(gè)任務(wù)、多個(gè)對(duì)話，甚至跨越 Agent 的整個(gè)生命周期
• 核心作用：提供陳述性知識(shí)，即「What-is」

記憶的存儲(chǔ)機(jī)制

記憶存儲(chǔ)的關(guān)鍵在于記憶的存儲(chǔ)位置和記憶的存儲(chǔ)形式。

1.認(rèn)知神經(jīng)科學(xué)中的記憶存儲(chǔ)

在人腦中，記憶存儲(chǔ)是一個(gè)跨腦區(qū)的動(dòng)態(tài)協(xié)作過(guò)程。

• 短期記憶
• 存儲(chǔ)位置：分布在感覺(jué)皮層和額頂網(wǎng)絡(luò)（Sensory-frontoparietal network）。
• 機(jī)制：感覺(jué)皮層保留細(xì)節(jié)，額頂網(wǎng)絡(luò)支持跨模式表示，允許不同通道信息在共享表示空間中鏈接和操作。
• 存儲(chǔ)形式：

1. 持續(xù)活動(dòng)（Persistent activity）：保持高水平的放電活動(dòng)
2. 活動(dòng) - 沉默突觸連接（Synaptic connection weights）：仍可能有用的項(xiàng)目可以默默存儲(chǔ)并在需要時(shí)重新激活

• 長(zhǎng)期記憶
• 存儲(chǔ)位置：海馬體（Hippocampus） + 新皮層（Neocortex）。
• 機(jī)制：海馬體不是倉(cāng)庫(kù)，而是索引。新機(jī)制先在海馬體暫存，通過(guò)系統(tǒng)鞏固，慢慢轉(zhuǎn)移到新皮層這個(gè)永久倉(cāng)庫(kù)中。
• 存儲(chǔ)形式：

1. 事件單元（Event-based unit）：把連續(xù)的生活切片成一個(gè)個(gè)獨(dú)立的事件包。
2. 認(rèn)知地圖（Cognitive map）：人腦把概念和知識(shí)也畫(huà)成了地圖，通過(guò)認(rèn)知距離表示關(guān)系的遠(yuǎn)近。

圖 3. 認(rèn)知神經(jīng)科學(xué)中的記憶存儲(chǔ)機(jī)制概述，包括短期和長(zhǎng)期記憶的存儲(chǔ)位置和存儲(chǔ)格式。

2.Agent 中的記憶存儲(chǔ)

不同于人腦渾然天成的神經(jīng)網(wǎng)絡(luò)，Agent 的記憶系統(tǒng)是顯式的工程構(gòu)建。不僅要解決存在哪的物理限制，還要在怎么存上進(jìn)行復(fù)雜的數(shù)據(jù)結(jié)構(gòu)選型，以在計(jì)算成本和推理能力之間尋找最優(yōu)解。

• 存儲(chǔ)位置
• 上下文窗口（Context Window）：對(duì)應(yīng)軌跡內(nèi)記憶。主要存放當(dāng)前的對(duì)話流。
• 記憶庫(kù)（Memory Bank）：對(duì)應(yīng)跨軌跡記憶。外掛的存儲(chǔ)庫(kù)，容量近似無(wú)限。

• 存儲(chǔ)形式
• 文本（Text）：自然語(yǔ)言形式，比較直觀
• 圖結(jié)構(gòu)（Graph）：實(shí)體和關(guān)系組成的結(jié)構(gòu)化網(wǎng)絡(luò)，支持關(guān)系提取和模式發(fā)現(xiàn)，能夠識(shí)別節(jié)點(diǎn)之間的隱式鏈接，從而輔助復(fù)雜的邏輯信息查詢
• 參數(shù)（Parameters）：模型權(quán)重，通過(guò)訓(xùn)練內(nèi)化記憶
• 隱式表示（Latent Representation）：高維向量，檢索速度快

記憶的管理系統(tǒng)

記憶不是一個(gè)靜態(tài)的倉(cāng)庫(kù)，而是一條奔流不息的河流。在人類大腦中，記憶通過(guò)海馬體的重播和新皮層的鞏固，不斷被重寫(xiě)和重構(gòu)。而在 Agent 中，記憶管理則是提取（Extraction）、更新（Updating）、檢索（Retrieval）、應(yīng)用（Application）的精密閉環(huán)。

1.認(rèn)知神經(jīng)科學(xué)：大腦的動(dòng)態(tài)循環(huán)

人腦的記憶管理不是簡(jiǎn)單的「寫(xiě)入」和「讀取」，而是一個(gè)充滿可塑性的動(dòng)態(tài)過(guò)程。

圖 4. 認(rèn)知神經(jīng)科學(xué)中的記憶管理概述。該框架闡釋了信息處理的動(dòng)態(tài)循環(huán)，包括記憶形成、更新和檢索，通過(guò)這個(gè)循環(huán)，長(zhǎng)期記憶支持對(duì)外部環(huán)境的靈活適應(yīng)。

• 記憶形成（Memory Formation）

記憶并非一蹴而就，它經(jīng)歷了三個(gè)階段：

• 編碼（Encoding）：海馬體將新皮層內(nèi)分布的感覺(jué)特征結(jié)合成統(tǒng)一的表征，并選擇性地調(diào)節(jié)其與感覺(jué)皮層的相互作用，以放大未來(lái)高效用的表征。
• 鞏固（Consolidation）：在清醒休息或睡眠等離線狀態(tài)下，海馬體通過(guò)重播，不斷與新皮層同步活動(dòng)，重新組織和調(diào)整新信息，使其穩(wěn)定下來(lái)。
• 整合（Integration）：通過(guò)海馬體與內(nèi)側(cè)前額葉皮層的協(xié)作，將鞏固的記憶痕跡轉(zhuǎn)化為有組織的關(guān)聯(lián)知識(shí)，并最終將其重新分配至新皮層以實(shí)現(xiàn)持久的抽象存儲(chǔ)。

• 記憶更新（Memory Updating）

大腦如何修正錯(cuò)誤的記憶？

• 機(jī)制：預(yù)測(cè)誤差（Prediction Error）是核心驅(qū)動(dòng)力。當(dāng)發(fā)現(xiàn)現(xiàn)實(shí)與記憶不符，大腦就會(huì)觸發(fā)更新機(jī)制。
• 策略：分化是為相似的新舊事件建立互斥的神經(jīng)表征，防止混淆。整合是將新舊知識(shí)與預(yù)測(cè)誤差整合為一體。

• 記憶檢索（Memory Retrieval）

檢索即重構(gòu)。

• 重構(gòu)性：回憶不是回放錄像，而是根據(jù)線索（Cue）利用海馬體進(jìn)行模式完成（Pattern Completion），重新構(gòu)建當(dāng)時(shí)的場(chǎng)景。
• 再鞏固（Reconsolidation）：每當(dāng)回憶一次，這段記憶就會(huì)變得不穩(wěn)定，容易被修改或增強(qiáng)。這也解釋了為什么 “�；貞洝� 能加深記憶，但也可能會(huì)植入虛假細(xì)節(jié)。

2.Agent 記憶管理：記憶管理的精密閉環(huán)

與在受限窗口內(nèi)執(zhí)行瞬態(tài)處理的標(biāo)準(zhǔn)大語(yǔ)言模型不同，Agent 通過(guò)顯式管理機(jī)制實(shí)現(xiàn)體驗(yàn)的持久調(diào)節(jié)。

圖 5. Agent 中記憶管理的概述。該框架形成了一個(gè)由記憶提取、更新、檢索和利用組成的閉環(huán)管道，從而實(shí)現(xiàn)持久的經(jīng)驗(yàn)調(diào)節(jié)和長(zhǎng)期推理。

• 記憶提�。∕emory Extraction）
• 
  

Agent 不能把所有 Log 都存下來(lái)，它需要提煉：

• 扁平提�。‵lat）：直接將原始信息記錄到存儲(chǔ)中或應(yīng)用摘要和分段等輕量級(jí)預(yù)處理。
• 分層提�。℉ierarchical）：通過(guò)多粒度抽象機(jī)制將碎片化信息組織成層次結(jié)構(gòu)，旨在模擬人類在宏觀背景和微觀細(xì)節(jié)之間靈活切換的認(rèn)知能力。
• 生成式提取（Generative）：旨在在推理過(guò)程中動(dòng)態(tài)重建上下文，從而緩解因過(guò)大上下文長(zhǎng)度帶來(lái)的計(jì)算開(kāi)銷和注意力稀釋問(wèn)題。

• 記憶更新（Memory Updating）
• 
  

遺忘是為了更好地記住，更新機(jī)制分為兩層：

• 軌跡內(nèi)更新（Inside-Trial）：針對(duì)上下文窗口，像人類選擇性注意一樣，實(shí)時(shí)過(guò)濾無(wú)關(guān)噪聲，或在窗口快滿時(shí)觸發(fā)摘要工具，騰出工具。
• 跨軌跡更新（Cross-Trial）：針對(duì)外部記憶庫(kù)，引入遺忘機(jī)制，自動(dòng)剔除低價(jià)值或長(zhǎng)時(shí)間未訪問(wèn)的記憶節(jié)點(diǎn)。

• 記憶檢索（Memory Retrieval）
• 
  

不僅僅是 Embedding 的相似度，主要分為兩種：

• 基于相似度（Similarity-based）：計(jì)算余弦相似度，找 Top-k，但相當(dāng)于只懂字面意思，不懂邏輯結(jié)構(gòu)。
• 多因素檢索（Multi-factor）：根據(jù)時(shí)間、重要性、相關(guān)性，結(jié)構(gòu)效率和預(yù)期獎(jiǎng)勵(lì)等因素確定記憶優(yōu)先級(jí)

• 記憶應(yīng)用（Memory Application）

記憶怎么用，主要有兩種作用：

• 上下文利用（Context Utilization）：將記憶視為被動(dòng)參考的傳統(tǒng)檢索增強(qiáng)生成范式。
• 參數(shù)內(nèi)化（Parameter Internalization）：該范式借鑒終身學(xué)習(xí)將顯性記憶轉(zhuǎn)化為隱性參數(shù)。

Agent 記憶系統(tǒng)評(píng)測(cè)

綜述將現(xiàn)有的 Benchmark 分為了兩類：

• 面向語(yǔ)義（Semantic-oriented）：重點(diǎn)關(guān)注 Agent 如何構(gòu)建、維護(hù)和利用其內(nèi)部記憶中的信息狀態(tài)。
• 面向情景（Episodic-oriented）：旨在評(píng)估復(fù)雜下游應(yīng)用場(chǎng)景（使用外部工具完成任務(wù)）中 Agent 上記憶系統(tǒng)的實(shí)際性能增益。

表 1. 面向語(yǔ)義的基準(zhǔn)

表 2. 面向情景的基準(zhǔn)

Agent 記憶的安全

1. 攻擊

隨著 Agent 被部署在長(zhǎng)期任務(wù)中，記憶成為了攻擊。其主要的攻擊方式分為兩類：

• 竊取攻擊（Extraction-based Attack）：把隱私「套」出來(lái)，攻擊者的目標(biāo)是 “偷數(shù)據(jù)”，其手段是利用精心設(shè)計(jì)的 Prompt 誘導(dǎo) Agent。例如，黑客可能偽裝成系統(tǒng)管理員，套取 Agent 長(zhǎng)期記憶中存儲(chǔ)的用戶敏感信息。
• 投毒攻擊（Poisoning-based Attack）：把思想「改變」，攻擊者的目標(biāo)是「壞腦子」。首先第一種是后門(mén)植入：向記憶庫(kù)中注入帶有「觸發(fā)器」的惡意數(shù)據(jù)，平時(shí) Agent 表現(xiàn)正常，一旦遇到特定的指令，就會(huì)觸發(fā)惡意行為。其次是注入大量噪聲或偏見(jiàn)數(shù)據(jù)的認(rèn)知污染：讓 Agent 的判斷力退化，變得糊涂或產(chǎn)生嚴(yán)重的價(jià)值觀偏差。

2. 防御

面對(duì)這些威脅，綜述提出了有三道防線，構(gòu)筑起從源頭到輸出的閉環(huán)防御體系。

• 檢索防御（Retrieval-based）：在 Agent 讀取記憶之前進(jìn)行清洗。例如，通過(guò)多路檢索驗(yàn)證一致性。
• 響應(yīng)防御（Response-based）：在 Agent 生成回答時(shí)進(jìn)行監(jiān)控。通過(guò)引入審查機(jī)制或利用自我反思機(jī)制，在輸出前預(yù)測(cè)潛在后果，攔截包含惡意意圖的響應(yīng)。
• 隱私防御（Privacy-based）：在底層存儲(chǔ)上做文章。將記憶分為「公有」和「私有」區(qū)域，對(duì)敏感數(shù)據(jù)進(jìn)行匿名化處理，確保了 Agent 在協(xié)作時(shí)只傳遞必要信息，不泄露核心隱私。

未來(lái)展望

1.多模態(tài)記憶

未來(lái)的 Agent Memory 需要打破模態(tài)的界限。目前的 Agent 在面對(duì)視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)時(shí)，往往采用「暴力壓縮」或「轉(zhuǎn)寫(xiě)為文字」的方式，這會(huì)導(dǎo)致大量豐富的視覺(jué)細(xì)節(jié)（如微表情、光影變化）和聽(tīng)覺(jué)情感在轉(zhuǎn)換中丟失。未來(lái)的記憶系統(tǒng)應(yīng)該是全模態(tài) (Omni-modal)的，不僅存文本，還存儲(chǔ)壓縮后的視覺(jué) / 聽(tīng)覺(jué)特征向量，其終極目標(biāo)是使 Agent 不僅能「讀」懂，還能「看」見(jiàn)，真正理解物理世界。

2.Agent Skills

現(xiàn)在的 Agent memory 往往是孤立。訓(xùn)練好一個(gè)專為寫(xiě)代碼的 Agent，它的經(jīng)驗(yàn)（記憶）很難直接傳給另一個(gè)專為數(shù)學(xué)的 Agent，這導(dǎo)致了嚴(yán)重的重復(fù)造輪子。

這是因?yàn)椴煌?Agent 之間的異構(gòu)性，導(dǎo)致記憶接口的不一致，因此記憶很難直接移植重用。論文借用了 Anthropic 提出的「Agent Skills」概念，即 Agent 將指令集、可執(zhí)行腳本和相關(guān)資源封裝到結(jié)構(gòu)化目錄單元中。這就好比游戲里的「裝備」或「技能書(shū)」可以在不同玩家間重復(fù)使用。

綜述提出兩個(gè)可能的未來(lái)研究方向：

• 多模態(tài)信息的統(tǒng)一存儲(chǔ)與表示：當(dāng)前的記憶系統(tǒng)主要是為文本形式設(shè)計(jì)的。如何構(gòu)建支持多模態(tài)信息的統(tǒng)一存儲(chǔ)框架，包括文本、圖像、音頻和視頻，同時(shí)設(shè)計(jì)跨模態(tài)檢索和推理機(jī)制，是支持跨模態(tài) skills 遷移的關(guān)鍵。
• 跨 Agent 的 skills 轉(zhuǎn)移和適應(yīng)機(jī)制：不同的 Agent 結(jié)構(gòu)，例如那些建立在不同基礎(chǔ)模型上的 Agent，表現(xiàn)出差異在能力特征和接口規(guī)范方面。設(shè)計(jì)通用的 skills 描述語(yǔ)言，使 skills 能夠無(wú)縫地轉(zhuǎn)移并且跨異構(gòu)代理的重用構(gòu)成了實(shí)現(xiàn)真實(shí)代理的關(guān)鍵挑戰(zhàn) skill-sharing 生態(tài)系統(tǒng)。