PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點亮星標(biāo) ??

不錯過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息：

Title:Cross-modal deep generative models reveal the cortical representation of dancing

發(fā)表時間：2025.11.18

Journal:Nature Communications

影響因子：15.7

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究動機(jī)與背景

舞蹈是一種古老且整體的藝術(shù)形式，天然融合了動態(tài)身體運(yùn)動與韻律音樂，為研究跨模態(tài)認(rèn)知和情緒處理提供了極佳的窗口。然而，以往的神經(jīng)科學(xué)研究多依賴單模態(tài)刺激（如無聲視頻或純音頻），或者使用高度控制但缺乏生態(tài)效度的人工刺激（如光點生物運(yùn)動），導(dǎo)致難以量化大腦如何在真實場景下處理復(fù)雜的跨模態(tài)信息。盡管已有一些使用自然舞蹈視頻的研究，但其分析通常局限于粗糙的片段級指標(biāo)，無法捕捉瞬間的運(yùn)動與音樂交互如何共同塑造神經(jīng)活動。此外，關(guān)于專業(yè)舞者與新手在神經(jīng)表征上的差異，以往研究多關(guān)注舞蹈的單一側(cè)面，缺乏在整體觀賞體驗下的系統(tǒng)性比較。因此，作者試圖通過引入先進(jìn)的跨模態(tài)深度生成模型，解決在自然情境下量化舞蹈多模態(tài)特征及其大腦表征這一關(guān)鍵科學(xué)問題。

實驗設(shè)計與方法邏輯

為了解決上述問題，作者采用了一種結(jié)合自然主義神經(jīng)成像與“神經(jīng)AI（NeuroAI）”的策略，利用深度生成模型作為大腦活動的模擬器。研究團(tuán)隊首先選擇了AIST Dance DB數(shù)據(jù)庫中包含豐富標(biāo)注的街舞視頻作為刺激材料，并利用最先進(jìn)的跨模態(tài)深度生成模型EDGE（Editable Dance GEneration）來提取特征。EDGE模型通過Transformer架構(gòu)整合音頻和運(yùn)動輸入來預(yù)測下一個動作，這在計算機(jī)制上被認(rèn)為與人類的預(yù)測性認(rèn)知處理高度契合。作者構(gòu)建了體素級的編碼模型（Voxel-wise encoding models），將從EDGE提取的音頻、運(yùn)動以及跨模態(tài)特征（Cross-modal features）作為預(yù)測變量，利用嶺回歸算法來預(yù)測14名參與者（包含7名專家和7名新手）觀看5小時舞蹈視頻時的fMRI BOLD信號。通過這種方法，作者不僅能夠比較不同類型特征（單模態(tài) vs 跨模態(tài)）對大腦活動的解釋力，還能通過“計算機(jī)模擬（in silico simulation）”技術(shù)，生成人工合成的錯配刺激或分析特定舞蹈概念（如“無聊”、“美感”）與大腦活動的關(guān)聯(lián)，從而定量解構(gòu)復(fù)雜的舞蹈觀賞體驗。

Fig. 1 | Experiment and modeling overview.

核心發(fā)現(xiàn)

發(fā)現(xiàn)1：跨模態(tài)特征對大腦活動的卓越預(yù)測力

相比于傳統(tǒng)的單模態(tài)特征（僅音頻或僅運(yùn)動），從EDGE模型中提取的跨模態(tài)特征能更有效地解釋大腦活動，特別是在高級視覺皮層（如前枕溝）和上顳溝（STS）等聯(lián)合腦區(qū)。Figure 2 展示了編碼模型的預(yù)測性能，顯示跨模態(tài)特征（CM5層）在廣泛的皮層區(qū)域（包括視覺和聽覺區(qū)域）均能顯著預(yù)測大腦反應(yīng)，且在特定感興趣區(qū)（ROI）的表現(xiàn)優(yōu)于單模態(tài)特征。

Fig. 2 | Encoding model prediction performance.

發(fā)現(xiàn)2：不同腦區(qū)對舞蹈特征的獨(dú)特偏好

通過堆疊嶺回歸分析各特征的獨(dú)特貢獻(xiàn)，研究揭示了運(yùn)動特征主要由背側(cè)視覺流處理，音頻特征由聽覺皮層及腹側(cè)視覺流處理，而跨模態(tài)特征則顯著貢獻(xiàn)于頂內(nèi)溝（IPS）、楔前葉和STS等高級聯(lián)合區(qū)域。Figure 3 直觀地展示了不同特征在大腦皮層上的權(quán)重分布，證實了跨模態(tài)整合主要發(fā)生在該類高級腦區(qū) 。

Fig. 3 | Unique contributions of different features to prediction performance

發(fā)現(xiàn)3：舞蹈概念與默認(rèn)模式網(wǎng)絡(luò)（DMN）的關(guān)聯(lián)

通過計算機(jī)模擬分析42種舞蹈相關(guān)概念與大腦活動的關(guān)系，發(fā)現(xiàn)“動態(tài)感（Dynamics）”、“無聊（Boredom）”和“審美欣賞（Aesthetic appreciation）”與大腦活動相關(guān)性最強(qiáng)。Figure 4 顯示，“動態(tài)感”與楔前葉和內(nèi)側(cè)前額葉皮層（mPFC）等默認(rèn)模式網(wǎng)絡(luò)區(qū)域的活動呈正相關(guān)，而“無聊”則呈負(fù)相關(guān)，表明這些高階認(rèn)知區(qū)域參與了對舞蹈的審美和情感評價 。

Fig. 4 | Concepts represented in the brain during dance viewing

此外，作者還發(fā)現(xiàn)專家與新手在面對舞蹈動作的神經(jīng)表征上存在差異，可能是由于各自獨(dú)特的藝術(shù)背景導(dǎo)致的（Fig5）。而利用模擬器生成“人工錯配”視頻（原有動作配隨機(jī)音樂）則會導(dǎo)致額葉的更高的激活（Fig6），詳情可以見原文。

省流總結(jié)

這項發(fā)表于Nature Communications的研究創(chuàng)新性地結(jié)合了跨模態(tài)深度生成AI模型（EDGE）與fMRI技術(shù)，對人類觀看舞蹈時的神經(jīng)機(jī)制進(jìn)行了自然主義條件下的量化研究。核心成果表明，模擬人類預(yù)測機(jī)制的AI跨模態(tài)特征能比簡單特征更精準(zhǔn)地預(yù)測大腦活動，揭示了頂葉和顳葉在視聽整合中的關(guān)鍵作用。此外，研究發(fā)現(xiàn)專家舞者雖然神經(jīng)反應(yīng)更強(qiáng)烈，但個體間差異遠(yuǎn)大于新手，展現(xiàn)了專業(yè)經(jīng)驗帶來的獨(dú)特審美視角。研究還建立了“動態(tài)感”和“審美”體驗與默認(rèn)模式網(wǎng)絡(luò)（DMN）的聯(lián)系，為理解藝術(shù)感知的神經(jīng)基礎(chǔ)提供了新的計算框架。

AI 銳評

這篇文章是“NeuroAI”領(lǐng)域的又一力作，其最大亮點在于巧妙地利用生成式AI作為“代理”，解決了自然主義刺激（如舞蹈）難以量化建模的痛點，尤其是通過“In silico”模擬來生成對照刺激（如錯配音樂）的思路非常精彩，為藝術(shù)與腦科學(xué)的交叉研究提供了極具操作性的范式。然而，研究也存在一定局限：使用的刺激主要局限于強(qiáng)節(jié)奏耦合的街舞，結(jié)論是否能推廣到現(xiàn)代舞或芭蕾等其他舞種尚存疑；雖然發(fā)現(xiàn)了專家個體差異大這一有趣現(xiàn)象，但對于導(dǎo)致這種差異的具體機(jī)制（如不同舞種專長的具體影響）并未能深入解析。此外，樣本量（14人）在fMRI研究中雖屬常規(guī)，但在試圖通過相關(guān)性分析揭示復(fù)雜的群體差異時顯得略顯單薄。

請打分

這篇剛剛登上Nature Communications的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計結(jié)果與討論見原文及其拓展數(shù)據(jù)。

分享人：天天

審核：PsyBrain 腦心前沿編輯部