PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點亮星標(biāo) ??

不錯過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Prefrontal cortex temporally multiplexes slow and fast dynamics in value learning and memory

發(fā)表時間：2025.12.11

發(fā)表期刊:Nature Communications

影響因子：15.7

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

在我們的日常生活中，"習(xí)慣難改"是一個普遍存在的現(xiàn)象。無論是戒煙時的復(fù)吸，還是在面對熟悉事物發(fā)生變化時的適應(yīng)困難，都指向了一個核心的認(rèn)知困境：大腦如何在維持長期記憶的穩(wěn)定性（Stability）與適應(yīng)環(huán)境變化的靈活性（Flexibility）之間取得平衡？

一方面，為了生存，我們需要快速學(xué)習(xí)新規(guī)則（例如，原本喜歡的餐廳突然變難吃了，需要立刻停止光顧）；另一方面，有用的價值記憶需要緩慢遺忘，以保留那些長期穩(wěn)定的關(guān)聯(lián)（例如，父母的飯菜總是好吃的）。這種張力被稱為“穩(wěn)定性與靈活性的困境”（stability vs. flexibility dilemma）。

現(xiàn)有的強(qiáng)化學(xué)習(xí)（RL）理論通常假設(shè)一個單一的過程來學(xué)習(xí)和更新價值。然而，這種單速率模型難以解釋為什么我們在經(jīng)歷了一段時間的“反轉(zhuǎn)學(xué)習(xí)”后，往往會自發(fā)地恢復(fù)到最初的偏好，即自發(fā)恢復(fù)（Spontaneous Recovery）現(xiàn)象。此前的研究發(fā)現(xiàn)基底神經(jīng)節(jié)中的不同區(qū)域（尾狀核頭部和尾部）分別負(fù)責(zé)快速和慢速學(xué)習(xí)，但在皮層層面，大腦究竟是如何整合這兩套截然不同的時間尺度，尤其是在同一個腦區(qū)內(nèi)如何處理這種沖突，仍是一個未解之謎。本研究聚焦于腹外側(cè)前額葉皮層（vlPFC），通過一項設(shè)計精巧的獼猴價值反轉(zhuǎn)實驗，試圖揭示大腦解決這一困境的神經(jīng)計算機(jī)制。

研究核心總結(jié)

本研究結(jié)合了計算建模、電生理記錄和行為實驗，揭示了腹外側(cè)前額葉皮層（vlPFC）通過時間多路復(fù)用（Temporal Multiplexing）機(jī)制，在單神經(jīng)元水平上同時編碼了價值學(xué)習(xí)中的慢速（穩(wěn)定）和快速（靈活）動態(tài)。

Fig. 1 | Value reversal paradigm, model predictions, and behavioral results.

1. 行為學(xué)證據(jù)：雙速率模型優(yōu)于單速率模型

研究團(tuán)隊首先通過獼猴的價值反轉(zhuǎn)任務(wù)發(fā)現(xiàn)，動物在經(jīng)歷價值反轉(zhuǎn)（好刺激變壞，壞刺激變好）并經(jīng)過一段無反饋的“遺忘期”后，表現(xiàn)出了顯著的自發(fā)恢復(fù)現(xiàn)象，即重新偏向最初的高價值刺激。

通過對比單速率和雙速率強(qiáng)化學(xué)習(xí)模型，研究表明只有包含“快過程”（高學(xué)習(xí)率、高遺忘率）和“慢過程”（低學(xué)習(xí)率、低遺忘率）的雙速率模型（Two-rate Model）才能準(zhǔn)確預(yù)測這一行為。快過程負(fù)責(zé)快速適應(yīng)環(huán)境突變，而慢過程則維持長期的價值記憶。

Fig. 2 | Example neuron and average population response in value probes.

1. 神經(jīng)機(jī)制：vlPFC的時間多路復(fù)用

通過對vlPFC進(jìn)行單細(xì)胞記錄，研究者發(fā)現(xiàn)這種“快慢雙流”并非由不同的神經(jīng)元群體分別負(fù)責(zé)，而是由同一群神經(jīng)元在不同時間窗口交替編碼實現(xiàn)的，這被稱為時間多路復(fù)用機(jī)制：

• 早期成分（刺激呈現(xiàn)后100-300ms）：編碼慢速過程。即使在價值反轉(zhuǎn)后，這部分神經(jīng)活動仍頑固地保留了對初始價值的偏好（即最初的“好”刺激仍引起更強(qiáng)反應(yīng)），體現(xiàn)了記憶的穩(wěn)定性。

• 晚期成分（刺激呈現(xiàn)后300-600ms）：編碼快速過程。這部分活動能夠迅速跟隨價值反轉(zhuǎn)發(fā)生極性逆轉(zhuǎn)，反映了當(dāng)前的最新價值，體現(xiàn)了學(xué)習(xí)的靈活性。

Fig. 3 | Value responses in individual neurons in early and late epochs across value probes.

隨著時間的推移（如反轉(zhuǎn)20分鐘后），代表快過程的晚期成分迅速衰退，而代表慢過程的早期成分依然保留。這完美地在神經(jīng)層面解釋了為何會出現(xiàn)“自發(fā)恢復(fù)”：當(dāng)快速適應(yīng)的覆蓋層消退后，底層的長期記憶便再次顯現(xiàn)。此外，局部場電位（LFP）的高伽馬波段（High-gamma）功率也顯示出了完全一致的時序動態(tài)。

Fig. 4 | 2D projection of population responses using partial-PCA across value probes.

1. 理論與臨床意義

該研究具有重要的理論貢獻(xiàn)：它證實了大腦通過在同一神經(jīng)基質(zhì)上疊加不同時間尺度的計算過程來解決“穩(wěn)定性-靈活性”難題，而不是單純依賴解剖上的分離。對于理解成癮和復(fù)發(fā)行為，這一發(fā)現(xiàn)具有深刻的啟示：消退訓(xùn)練（Extinction）往往只是通過“快過程”暫時抑制了行為，而并未擦除由“慢過程”編碼的長期價值記憶，這正是習(xí)慣難改和復(fù)吸的神經(jīng)計算根源。vlPFC作為整合這兩類信息的關(guān)鍵樞紐，可能成為干預(yù)適應(yīng)不良行為的重要靶點。

Fig. 5 | LFP response to good and bad objects across value probes and correlations with behavior.

Abstract

Balancing stability and flexibility is a fundamental challenge in value-based learning: how does the brain maintain long-term value memories while adapting to new environmental contingencies? To address this, we propose a reinforcement learning model composed of two distinct processes with fast and slow dynamics for updating and forgetting object values. Using a combined theoretical and experimental approach in male macaque monkeys, we validate a key behavioral prediction of this two-rate system—spontaneous recovery of prior value memories following value reversal. At the neural level, we show that single neurons in the ventrolateral prefrontal cortex (vlPFC) temporally multiplex these dynamics, with distinct firing components reflecting fast and slow learning processes. Together, these findings suggest that reward learning and memory are supported by a two-rate system that enables both flexibility and stability, and identify the vlPFC as a critical neural substrate for this mechanism.

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部