PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息：

Title:Linguistic coupling between neural systems for speech production and comprehension during real-time dyadic conversations

發(fā)表時(shí)間：2025.12.17

Journal:Neuron

影響因子：15.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究動機(jī)與背景

人類語言的核心用途是在大腦間傳遞思想，在日常對話中，理解（聽）與產(chǎn)生（說）是交織在一起的，但以往的研究通常將這兩個(gè)功能隔離開來，使用受控的、非交互的任務(wù)進(jìn)行觀察。雖然已有證據(jù)表明兩者之間存在共享的表征和機(jī)制，但由于缺乏對語言特征的顯式建模以及對實(shí)時(shí)互動對話的研究，科學(xué)界一直無法精確測試這兩個(gè)系統(tǒng)在真實(shí)溝通中的重疊程度。此外，傳統(tǒng)的對比法或內(nèi)容無關(guān)的分析方法（如ISC）無法告知我們大腦間究竟“共享了什么內(nèi)容”。因此，作者試圖通過結(jié)合fMRI超掃描技術(shù)與大語言模型（LLM）的顯式特征建模，解決在自然互動中語言產(chǎn)生與理解系統(tǒng)如何對齊這一關(guān)鍵科學(xué)問題，這對于理解人類溝通的神經(jīng)本質(zhì)具有重要意義。

實(shí)驗(yàn)設(shè)計(jì)與方法邏輯

作者提出了三個(gè)核心假設(shè)：

1. 語言產(chǎn)生和理解過程在語言網(wǎng)絡(luò)的中高層區(qū)域（如STG, IFG）會在功能調(diào)諧上實(shí)質(zhì)性重疊，而在早期的感知和運(yùn)動區(qū)域重疊最少（Figure 1B）；

2. 雖然被動聽故事與對話中的主動聽存在共享的神經(jīng)調(diào)諧，但實(shí)時(shí)對話會依賴于一些聽故事模型無法完全捕捉的獨(dú)特語言特征；

3. 第三，在大腦間的耦合分析中，預(yù)計(jì)語言區(qū)域會出現(xiàn)耦合，但耦合最強(qiáng)的區(qū)域可能是與社會認(rèn)知相關(guān)的區(qū)域。

Figure 1. Data collection and modeling framework

為了解決實(shí)時(shí)互動中的語言對齊問題，作者設(shè)計(jì)了一套基于fMRI超掃描的實(shí)驗(yàn)范式，同時(shí)記錄30對被試（共60人）進(jìn)行自由對話時(shí)的全腦活動。作者引入了GPT-2大語言模型來提取對話文本的上下文詞嵌入（embeddings），將其作為顯式的語言特征空間，通過帶狀嶺回歸（banded ridge regression）建立從模型特征到BOLD信號的線性映射模型（即編碼模型）。這種方法的邏輯在于：通過LLM捕獲的高維語言結(jié)構(gòu)，可以量化語言產(chǎn)生和理解過程中神經(jīng)調(diào)諧（functional tuning）的相似性，從而超越簡單的激活區(qū)對比。此外，作者還引入了被試被動聽故事的任務(wù)作為對照，用以區(qū)分“主動交互”與“被動理解”在神經(jīng)表征上的異同，并利用交叉驗(yàn)證和方差劃分（variance partitioning）等手段，確保LLM特征捕捉的是獨(dú)特的語言學(xué)信息，而非聲學(xué)或運(yùn)動混淆項(xiàng)。

核心發(fā)現(xiàn)

語言產(chǎn)生與理解在全腦范圍內(nèi)高度重疊

Figure 2A可以看出，LLM特征在核心語言網(wǎng)絡(luò)（STG, IFG, MFG）以及高層區(qū)域（TPJ, PMC）均表現(xiàn)出顯著的預(yù)測性能。Figure 2B進(jìn)一步量化發(fā)現(xiàn)，各ROI中約80%的編碼性能可歸因于共享的功能調(diào)諧（Shared weights），證明了兩者共用一套統(tǒng)一的語言處理機(jī)制。

Figure 2. Within-subject speaking and listening encoding performance

對話環(huán)境能顯著提升神經(jīng)表征的預(yù)測力：

對比Figure 3發(fā)現(xiàn)，雖然從被動聽故事訓(xùn)練的模型可以部分推廣到對話任務(wù)中，但訓(xùn)練于對話數(shù)據(jù)的模型表現(xiàn)明顯更優(yōu)（理解提升41%，產(chǎn)生提升49%）。這表明實(shí)時(shí)對話中存在獨(dú)特的語言處理需求，如預(yù)測、響應(yīng)準(zhǔn)備和共同基準(zhǔn)（common ground）的建立。

Figure 3. Encoding models trained on passive listening partially generalize to neural responses during conversations

LLM上下文嵌入優(yōu)于傳統(tǒng)聲學(xué)或語音特征

Figure 4的方差劃分分析顯示，LLM捕獲的“上下文語義”在雙側(cè)大腦區(qū)域提供了超越聲學(xué)（Acoustic）和音位（Phonemic）特征的獨(dú)特解釋力，尤其是在高階腦區(qū)。

Figure 4. Model comparison and variance partitioning

大腦間的耦合主要由社會認(rèn)知腦區(qū)驅(qū)動

Figure 5B展示了模型驅(qū)動的大腦間耦合（Speaker-Listener coupling），發(fā)現(xiàn)最顯著的對齊出現(xiàn)在右側(cè)顳下回（pSTG）、顳頂節(jié)點(diǎn)（TPJ）和雙側(cè)前楔葉（PMC）。這些區(qū)域通常與心理理論和社交認(rèn)知相關(guān)，暗示了成功對話不僅依賴語言對齊，更依賴社交表征的對齊。

Figure 5. Model-based speaker-listener coupling

省流總結(jié)

本文探討了實(shí)時(shí)互動對話中語言產(chǎn)生（說）與理解（聽）在神經(jīng)層面如何共存的問題。作者利用fMRI超掃描技術(shù)實(shí)時(shí)記錄對話雙方的腦活動，并創(chuàng)新性地利用大語言模型（GPT-2）作為語言中介特征空間。研究發(fā)現(xiàn)，說與聽在人類語言網(wǎng)絡(luò)中共享了約80%的神經(jīng)調(diào)諧，證明了兩者共用一套統(tǒng)一的內(nèi)部表征。此外，研究揭示了實(shí)時(shí)對話比被動聽講更能激發(fā)深層的神經(jīng)處理，且對話雙方的大腦耦合主要發(fā)生在負(fù)責(zé)社交認(rèn)知和意圖理解的腦區(qū)。這一成果不僅深化了我們對語言神經(jīng)機(jī)制的理解，也強(qiáng)調(diào)了社交大腦在自然溝通中的核心作用。

AI銳評

該研究的亮點(diǎn)在于其卓越的“生態(tài)效度”，它跳出了實(shí)驗(yàn)室高度受控但死板的任務(wù)范式，直接在自由對話的動態(tài)場景下捕捉大腦信號，并巧妙利用LLM解決了復(fù)雜語境下語言特征難以量化的難題。這種從“單腦受控”到“雙腦互動”的跨越是神經(jīng)科學(xué)的重要趨勢。然而，研究也存在一定局限：fMRI較低的時(shí)間分辨率（1.5s TR）可能掩蓋了對話中快速切換的微觀神經(jīng)動力學(xué)；此外，由于掃描環(huán)境限制，被試無法面對面交流且需按鍵切換麥克風(fēng)，這在一定程度上削弱了對話的自然性。盡管如此，這篇論文依然是計(jì)算神經(jīng)語言學(xué)領(lǐng)域的一項(xiàng)里程碑式工作。

請打分

這篇?jiǎng)倓偟巧?strong>Neuron的研究，是否實(shí)至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計(jì)結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：天天

審核：PsyBrain 腦心前沿編輯部