導(dǎo)語(yǔ)

人工智能在許多科學(xué)和工程應(yīng)用中取得了巨大的進(jìn)展。在這篇綜述中，作者梳理了近年來(lái)大腦-行為聯(lián)合建模，重點(diǎn)在方法的創(chuàng)新、科學(xué)與工程的動(dòng)機(jī)、以及未來(lái)突破的關(guān)鍵領(lǐng)域。作者討論了這些工具如何揭示大腦與行為之間的共享結(jié)構(gòu)，以及它們?nèi)绾斡糜诳茖W(xué)和工程目的。文章強(qiáng)調(diào)了目標(biāo)各異的三大類(lèi)范式——判別式、生成式和對(duì)比式——正在塑造聯(lián)合建模的方法。此外，作者討論了行為學(xué)分析方法的最新進(jìn)展，包括姿勢(shì)估計(jì)、分層行為分析以及多模態(tài)語(yǔ)言模型，這些方法能夠影響下一代聯(lián)合模型。最后，作者提出在推動(dòng)聯(lián)合建模方法發(fā)展的過(guò)程中，不應(yīng)只關(guān)注模型性能，還應(yīng)系統(tǒng)性地考慮模型的可信度與可解釋性指標(biāo)。

關(guān)鍵詞：聯(lián)合建模（Joint model）、神經(jīng)-行為動(dòng)力學(xué)（Neural-behavioral dynamics）、人工智能（Artificial intelligence）、生成模型（Generative model）、行為分析（Behavioral analysis）、可解釋性（interpretabality）

周驍俊丨作者

趙思怡丨審校

論文題目：Joint modelling of brain and behaviour dynamics with artificial intelligence 論文鏈接：https://www.nature.com/articles/s41583-025-00996-1 發(fā)表時(shí)間：2025年12月3日 論文來(lái)源：Nature review Neuroscience

神經(jīng)科學(xué)為什么需要聯(lián)合建模

過(guò)去十多年，神經(jīng)科學(xué)經(jīng)歷了一場(chǎng)前所未有的數(shù)據(jù)革命。一方面，大規(guī)模電生理、鈣成像等技術(shù)，使研究者可以同時(shí)記錄成百上千甚至上百萬(wàn)個(gè)神經(jīng)元的活動(dòng)；另一方面，高分辨率視頻、姿態(tài)估計(jì)和自動(dòng)化行為分析方法，也讓行為不再只是幾個(gè)粗略標(biāo)簽，而成為可以被連續(xù)測(cè)量、精細(xì)刻畫(huà)的動(dòng)態(tài)過(guò)程。

然而，數(shù)據(jù)的豐富并沒(méi)有自動(dòng)帶來(lái)理解的飛躍。神經(jīng)活動(dòng)本身高度高維、時(shí)變且噪聲復(fù)雜，而自然行為則連續(xù)、多尺度、層級(jí)化，很難用少數(shù)變量加以概括。長(zhǎng)期以來(lái)，這兩類(lèi)數(shù)據(jù)往往被分開(kāi)分析：要么研究神經(jīng)群體活動(dòng)的統(tǒng)計(jì)結(jié)構(gòu)，要么在預(yù)先定義好的行為標(biāo)簽上進(jìn)行解碼。這種割裂式研究，越來(lái)越難以回答一個(gè)核心問(wèn)題——大腦究竟是如何在時(shí)間上組織神經(jīng)活動(dòng)，從而生成連貫、復(fù)雜的行為？

正是在這一背景下，大腦—行為聯(lián)合建模（joint brain–behaviour modelling）逐漸成為神經(jīng)科學(xué)中的一個(gè)關(guān)鍵方向。它試圖在同一統(tǒng)計(jì)與計(jì)算框架中，同時(shí)刻畫(huà)神經(jīng)活動(dòng)與行為動(dòng)態(tài)，從而揭示二者背后的共享結(jié)構(gòu)。

從“解碼行為”到“理解共享結(jié)構(gòu)”：聯(lián)合建模的思想轉(zhuǎn)變

在聯(lián)合建模的早期階段，研究目標(biāo)往往相當(dāng)直接：從神經(jīng)活動(dòng)中預(yù)測(cè)行為。這一思路在腦機(jī)接口（Brain-machine interfaces, BMIs）等工程應(yīng)用中極為成功，也直觀地證明了神經(jīng)群體活動(dòng)中確實(shí)包含豐富的行為相關(guān)信息。

但隨著模型能力不斷增強(qiáng)，一個(gè)問(wèn)題逐漸顯現(xiàn)：預(yù)測(cè)得準(zhǔn)，并不等于理解得深。某些模型可以通過(guò)高度復(fù)雜、甚至生物學(xué)上并不合理的變換實(shí)現(xiàn)極高的解碼精度，卻很難告訴我們神經(jīng)系統(tǒng)內(nèi)部真正發(fā)生了什么計(jì)算。這也促使研究者開(kāi)始重新思考聯(lián)合建模的目標(biāo)——與其只問(wèn)“能不能預(yù)測(cè)行為”，不如進(jìn)一步追問(wèn)：神經(jīng)活動(dòng)和行為是否共享某種可解釋的潛在結(jié)構(gòu)？

注意，作者在此之前特意澄清了一個(gè)前提：在聯(lián)合建模語(yǔ)境下，多層感知機(jī)、卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、Transformer，乃至傳統(tǒng)的狀態(tài)空間模型，本質(zhì)上都只是實(shí)現(xiàn)建模目標(biāo)的工具，它們本身并不預(yù)設(shè)科學(xué)立場(chǎng)。真正決定模型科學(xué)含義的，并不是網(wǎng)絡(luò)結(jié)構(gòu)的外形，而是模型被要求學(xué)習(xí)什么樣的關(guān)系。

圖 1. 通常的神經(jīng)網(wǎng)絡(luò)架構(gòu)。a. 多層感知機(jī)（MLP），全連接層構(gòu)成的神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)輸入與輸出之間的復(fù)雜非線性映射關(guān)系，但代價(jià)需要大量參數(shù)。b. 卷積神經(jīng)網(wǎng)絡(luò)（CNN），通過(guò)在空間維度上應(yīng)用可學(xué)習(xí)的濾波器來(lái)處理網(wǎng)格結(jié)構(gòu)數(shù)據(jù)。c. 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），循環(huán)連接充當(dāng)網(wǎng)絡(luò)的記憶，使 RNN 能夠捕獲序列輸入數(shù)據(jù) x(t) 中的時(shí)間依賴(lài)性和模式，從而生成輸出 y(t)。d. Transformer 通過(guò)用自注意力機(jī)制取代循環(huán)連接，徹底改變了序列建模。這些機(jī)制同時(shí)計(jì)算序列中所有位置之間的關(guān)系，從而能夠在保持計(jì)算并行性的同時(shí)捕獲長(zhǎng)程時(shí)間依賴(lài)性。e. 狀態(tài)空間模型通過(guò)將數(shù)據(jù)建模為具有隱藏狀態(tài)的連續(xù)時(shí)間動(dòng)態(tài)系統(tǒng)，為序列處理提供了一種替代方法h(t)

人工智能方法如何重塑腦—行為建?？蚣?/strong>

在上述基礎(chǔ)下，作者并沒(méi)有按照模型架構(gòu)對(duì)現(xiàn)有方法進(jìn)行分類(lèi)，而是根據(jù)模型在訓(xùn)練過(guò)程中被優(yōu)化的目標(biāo)，將當(dāng)前腦—行為聯(lián)合建模方法概括為三種基本路徑。

1. 判別模型：核心目標(biāo)是直接從神經(jīng)活動(dòng)中解碼行為變量。模型將神經(jīng)放電模式映射到行為輸出，并通過(guò)均方誤差或交叉熵等損失函數(shù)進(jìn)行訓(xùn)練。隨著 Transformer 等模型被引入神經(jīng)數(shù)據(jù)分析，這類(lèi)方法在建模長(zhǎng)時(shí)間依賴(lài)和復(fù)雜時(shí)序結(jié)構(gòu)方面取得了顯著進(jìn)展，在腦機(jī)接口等工程應(yīng)用中表現(xiàn)尤為突出。但作者同時(shí)指出，這類(lèi)模型的內(nèi)部表示高度依賴(lài)具體任務(wù)目標(biāo)，盡管預(yù)測(cè)性能很高，卻難以被解釋為神經(jīng)系統(tǒng)的內(nèi)在計(jì)算狀態(tài)。

1. 生成模型：試圖從另一個(gè)方向刻畫(huà)神經(jīng)—行為關(guān)系。通過(guò)引入潛在變量，并要求模型能夠從這些潛在表示中重建神經(jīng)活動(dòng)，生成式模型將神經(jīng)群體活動(dòng)理解為由某種低維動(dòng)力系統(tǒng)生成的結(jié)果。LFADS 是這一方向的代表性工作，它能夠從單次試驗(yàn)中推斷潛在神經(jīng)軌跡，并將其與行為或?qū)嶒?yàn)條件聯(lián)系起來(lái)。然而，作者強(qiáng)調(diào)，生成式方法的核心張力在于其訓(xùn)練目標(biāo)：重建誤差所度量的相似性，并不一定對(duì)應(yīng)科學(xué)上真正關(guān)心的結(jié)構(gòu)。

1. 對(duì)比模型：對(duì)比學(xué)習(xí)為聯(lián)合建模提供了一條新路徑，它不再要求模型預(yù)測(cè)行為或重建神經(jīng)活動(dòng)，而是通過(guò)構(gòu)造“相似”和“不相似”的樣本對(duì)，讓模型在潛在空間中自動(dòng)組織數(shù)據(jù)結(jié)構(gòu)。在神經(jīng)數(shù)據(jù)中，時(shí)間鄰近性本身就為這種對(duì)比提供了天然信號(hào)。當(dāng)行為變量或其他模態(tài)被引入作為輔助約束時(shí)，模型可以直接學(xué)習(xí)與行為相關(guān)、且在數(shù)學(xué)上具有一致性的潛在表示。作者以 CEBRA 為例，指出這類(lèi)方法在跨實(shí)驗(yàn)、跨個(gè)體對(duì)齊神經(jīng)表示時(shí)具有獨(dú)特優(yōu)勢(shì)，并推動(dòng)“可識(shí)別性”成為聯(lián)合建模中的核心概念。

圖 2. 三大類(lèi)神經(jīng)行為動(dòng)力學(xué)模型的架構(gòu)及原理。a. 判別類(lèi)方法。b. 生成類(lèi)方法。c. 對(duì)比類(lèi)方法。

行為不再是標(biāo)簽：精細(xì)行為建模帶來(lái)的結(jié)構(gòu)性變化

聯(lián)合建模的另一半，是行為本身的表示方式。作者明確指出，如果行為變量仍然停留在少數(shù)離散標(biāo)簽層面，再?gòu)?fù)雜的神經(jīng)模型也難以揭示真正的腦—行為關(guān)系。

圖 3. 層級(jí)行為分析。a. 問(wèn)題設(shè)定和解決方案：定位、姿態(tài)、動(dòng)作理解、重新識(shí)別(和)場(chǎng)景級(jí)標(biāo)注。b. 小鼠行為的層級(jí)分解，涵蓋三個(gè)層次：活動(dòng)、動(dòng)作和運(yùn)動(dòng)基元。

在自然環(huán)境中，行為并不是孤立事件，而是呈現(xiàn)出清晰的層級(jí)結(jié)構(gòu)：從較長(zhǎng)時(shí)間尺度的活動(dòng)（activity），到中間層級(jí)的動(dòng)作（action），再到最基本的運(yùn)動(dòng)基元（motion primitive）。目前的分析系統(tǒng)在將動(dòng)物行為轉(zhuǎn)化為豐富、結(jié)構(gòu)化的數(shù)據(jù)流方面存在相對(duì)局限性，難以通過(guò)簡(jiǎn)單的、人類(lèi)可理解的查詢(xún)進(jìn)行直接探究。近年來(lái)，基于深度學(xué)習(xí)的姿態(tài)估計(jì)和無(wú)監(jiān)督行為分析方法，使研究者能夠從視頻中提取連續(xù)、精細(xì)的運(yùn)動(dòng)軌跡，并在此基礎(chǔ)上自動(dòng)發(fā)現(xiàn)行為結(jié)構(gòu)。這種從“標(biāo)簽行為”向“結(jié)構(gòu)化行為”的轉(zhuǎn)變，為腦—行為聯(lián)合建模提供了更高分辨率的參照系。

超越性能指標(biāo)：聯(lián)合模型真正的科學(xué)價(jià)值在哪里？

最后，作者討論從“如何建模”推進(jìn)到“如何評(píng)估”。他們強(qiáng)調(diào)，在聯(lián)合建模中，僅僅比較解碼精度或重建誤差，已經(jīng)不足以衡量模型的科學(xué)價(jià)值。

表 1. 聯(lián)合腦-行為模型的評(píng)分卡

為此，作者提出了一套更全面的評(píng)估框架。除了性能指標(biāo)之外，模型在不同訓(xùn)練條件下是否保持一致，其潛在表示是否具有可識(shí)別性，對(duì)噪聲和數(shù)據(jù)缺失是否魯棒，以及模型內(nèi)部表示是否具有可解釋性，都應(yīng)成為評(píng)價(jià)的重要維度。這一“評(píng)分卡”不僅是技術(shù)層面的建議，也體現(xiàn)了一種研究立場(chǎng)：聯(lián)合建模的目標(biāo)，不應(yīng)只是預(yù)測(cè)正確，而應(yīng)是結(jié)構(gòu)可信。

當(dāng)模型開(kāi)始對(duì)齊結(jié)構(gòu)，而不只是追求預(yù)測(cè)

聯(lián)合建模的價(jià)值，并不在于引入更復(fù)雜的模型，而在于重新校準(zhǔn)研究目標(biāo)：從追求預(yù)測(cè)精度，轉(zhuǎn)向理解結(jié)構(gòu)。當(dāng)模型學(xué)到的表示能夠在不同實(shí)驗(yàn)與個(gè)體間保持一致，我們才有理由將其視為神經(jīng)系統(tǒng)的內(nèi)在狀態(tài)。理解大腦，最終取決于我們是否問(wèn)對(duì)了問(wèn)題。

神經(jīng)動(dòng)力學(xué)模型讀書(shū)會(huì)

為了促進(jìn)神經(jīng)科學(xué)、系統(tǒng)科學(xué)以及計(jì)算機(jī)科學(xué)等多領(lǐng)域?qū)W術(shù)工作者的交流合作，吸引更多朋友共同探索腦科學(xué)與類(lèi)腦研究，周昌松、臧蘊(yùn)亮、楊冬平、郭大慶、陳育涵、曹淼、劉泉影、王大輝、劉健、王鑫迪等來(lái)自國(guó)內(nèi)外多所知名高校的專(zhuān)家學(xué)者在集智俱樂(lè)部共同發(fā)起「 」讀書(shū)會(huì)，歷時(shí)四個(gè)月研討，近日?qǐng)A滿(mǎn)結(jié)束。

本季讀書(shū)會(huì)形成了聚集500+成員的神經(jīng)動(dòng)力學(xué)社區(qū)，積累了40+小時(shí)綜述、解讀、研討的視頻記錄，以及多篇社區(qū)成員總結(jié)的詞條、筆記、翻譯、科普資料等?，F(xiàn)在報(bào)名加入讀書(shū)會(huì)，即可加入社區(qū)交流討論（微信），并解鎖相關(guān)視頻、文本資料。我們對(duì)腦的探索才剛剛起航，歡迎你一道參與，共同點(diǎn)亮更多腦科學(xué)研究的島嶼！

詳情請(qǐng)見(jiàn)：

1.

2.

3.

4.

5.

6.

7.