作者丨論文團(tuán)隊(duì)

編輯丨ScienceAI

上海人工智能實(shí)驗(yàn)室（上海 AI 實(shí)驗(yàn)室）聯(lián)合清華大學(xué)、劍橋大學(xué)等合作單位，正式發(fā)布 BrainOmni—— 全球首個(gè)統(tǒng)一 腦電（EEG）與腦磁（MEG）的大腦基礎(chǔ)模型。BrainOmni 通過(guò)一種新注意力機(jī)制，模擬了腦科學(xué)中源重構(gòu)算法的前向過(guò)程，并且首次利用傳感器的真實(shí)物理屬性（坐標(biāo)、方向、類(lèi)型）替代通道命名，從而實(shí)現(xiàn)跨設(shè)備、跨模態(tài)兼容。通過(guò) 1997 小時(shí) EEG 和 656 小時(shí) MEG 的大規(guī)模自監(jiān)督預(yù)訓(xùn)練，BrainOmni 在 9 項(xiàng)下游任務(wù)上超越現(xiàn)有基礎(chǔ)模型與專用模型，并在未見(jiàn)過(guò)的設(shè)備上展現(xiàn)強(qiáng)零樣本泛化能力。工作自發(fā)布以來(lái)，收到了來(lái)自牛津大學(xué)、劍橋大學(xué)、法國(guó)國(guó)家科學(xué)研究中心、荷蘭 Radboud 大學(xué)、美國(guó)著名可穿戴腦磁圖企業(yè)等的關(guān)注與合作邀請(qǐng)。

論文鏈接：https://arxiv.org/abs/2505.18185

開(kāi)源鏈接：https://github.com/OpenTSLab/BrainOmni

BrainOmni: 統(tǒng)一 EEG-MEG 的腦基礎(chǔ)模型

神經(jīng)元活動(dòng)是大腦功能的主要載體，對(duì)其精確的測(cè)量與理解對(duì)探究大腦思考過(guò)程、多模態(tài)刺激下的信息解碼、神經(jīng)疾病診斷等任務(wù)至關(guān)重要。腦電圖（EEG）和腦磁圖（MEG）通過(guò)記錄神經(jīng)電流引發(fā)的二次電流及磁場(chǎng)，間接測(cè)量大腦內(nèi)部的活動(dòng)，是兩種相對(duì)安全便利的非侵入式測(cè)量手段，具有廣闊的拓展與應(yīng)用前景。

盡管 EEG 與 MEG 同源于神經(jīng)電流激發(fā)的電磁場(chǎng)，二者長(zhǎng)期以來(lái)多被分開(kāi)建模。且由于腦電磁設(shè)備的異構(gòu)特性（通道數(shù)、布局、朝向、傳感器類(lèi)型），過(guò)往的模型往往只能應(yīng)用于特定的數(shù)據(jù)集 / 設(shè)備 / 任務(wù)，難以學(xué)習(xí)跨設(shè)備跨數(shù)據(jù)集的泛化知識(shí)。近來(lái)，一些 EEG 基礎(chǔ)模型對(duì)腦電信號(hào)的大規(guī)模預(yù)訓(xùn)練進(jìn)行了探索，然而這些模型大多仍依賴特定的通道命名系統(tǒng)，無(wú)法真正兼容全部的腦電數(shù)據(jù)。同時(shí)盡管 MEG 有比 EEG 更高的時(shí)空精度，因復(fù)雜性高且公開(kāi)數(shù)據(jù)稀缺，還缺少基礎(chǔ)模型的探索。

BrainOmni 首次在統(tǒng)一特征空間內(nèi)對(duì) EEG 與 MEG 進(jìn)行聯(lián)合預(yù)訓(xùn)練，兼容不同腦電磁設(shè)備，實(shí)現(xiàn)跨模態(tài)、跨設(shè)備、跨任務(wù)、跨被試的通用表征學(xué)習(xí)，在多種下游任務(wù)上表現(xiàn)優(yōu)越。該工作配套提出 BrainTokenizer，把連續(xù)的腦活動(dòng)壓縮并量化為離散神經(jīng)詞元，為大規(guī)模 “腦信號(hào)語(yǔ)言建?！?奠定基礎(chǔ)。

更強(qiáng)跨被試下游性能與零樣本跨設(shè)備泛化

• 下游性能領(lǐng)先：跨被試實(shí)驗(yàn)設(shè)置下，BrainOmni 在運(yùn)動(dòng)想象、情緒識(shí)別、異常檢測(cè)、抑郁檢測(cè)、阿爾茨海默癥檢測(cè)、帕金森檢測(cè)、 自閉癥檢測(cè)等 9 個(gè)下游任務(wù)上，取得了優(yōu)于領(lǐng)域?qū)＜夷Ｐ鸵约爸暗?EEG 基礎(chǔ)模型的性能。

表：八個(gè) EEG 數(shù)據(jù)集上 BrainOmni 與 baseline 的比較。

表：MEG 和 EMEG 數(shù)據(jù)集上 BrainOmni 與 Baseline 的比較。

• 零樣本跨設(shè)備泛化能力：在訓(xùn)練期間未接觸的 EEG/MEG 設(shè)備上，BrainTokenizer 保持穩(wěn)定的信號(hào)重建效果，體現(xiàn)了模型跨設(shè)備的強(qiáng)大泛化能力。

表：BrainTokenizer在零樣本設(shè)備數(shù)據(jù)的重建結(jié)果。

• 腦電磁模態(tài)互增益：相比于單模態(tài)預(yù)訓(xùn)練，EEG/MEG 的聯(lián)合預(yù)訓(xùn)練帶來(lái)了穩(wěn)定的性能提升，體現(xiàn)了將同源的腦電磁信號(hào)聯(lián)合建模的優(yōu)勢(shì)。

表：聯(lián)合EEG/MEG預(yù)訓(xùn)練與單獨(dú)進(jìn)行EEG或MEG訓(xùn)練的比較。

“潛在源變量” 建模與神經(jīng)詞元離散，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)統(tǒng)一與上下文建模

BrainTokenizer：研究團(tuán)隊(duì)創(chuàng)新性提出了 Sensor Encoder 模塊對(duì)腦電磁傳感器的物理特性進(jìn)行可學(xué)習(xí)建模，通過(guò)設(shè)備信息的顯式注入使得模型實(shí)現(xiàn)對(duì)多樣化設(shè)備的兼容。同時(shí)團(tuán)隊(duì)受腦科學(xué)領(lǐng)域源活動(dòng)估計(jì)方法的啟發(fā)，假定異構(gòu)的電磁信號(hào)由同構(gòu)的一組神經(jīng)活動(dòng)源變量激發(fā)，將腦外電磁信號(hào)映射到統(tǒng)一特征空間，并將連續(xù)的源變量特征離散化，將腦信號(hào)轉(zhuǎn)化為神經(jīng)詞元序列。

圖：BrainTokenizer架構(gòu)

BrainOmni：基于 BrainTokenizer 的得到的神經(jīng)詞元，使用掩碼語(yǔ)言建模的無(wú)監(jiān)督范式進(jìn)行自監(jiān)督學(xué)習(xí)，使模型學(xué)習(xí)高層次語(yǔ)義特征，顯著提升對(duì)神經(jīng)活動(dòng)的理解能力。

圖：BrainOmni架構(gòu)

國(guó)家 “十五五” 規(guī)劃已將腦機(jī)接口列為未來(lái)新經(jīng)濟(jì)增長(zhǎng)點(diǎn)之一，其戰(zhàn)略價(jià)值正日益凸顯。要實(shí)現(xiàn)這一目標(biāo)，算法、硬件與臨床的深度融合至關(guān)重要。腦電磁信號(hào)因具備無(wú)侵入、可穿戴、高時(shí)空精度、低延遲等優(yōu)勢(shì)，具備廣泛的普適性和應(yīng)用潛力，是拓展腦機(jī)接口人群與場(chǎng)景、提升產(chǎn)業(yè)價(jià)值的關(guān)鍵方向。

BrainOmni 系列基礎(chǔ)模型從 AI 角度破解了電磁信號(hào)融合、跨設(shè)備通用等長(zhǎng)期技術(shù)瓶頸，并為高價(jià)值 MEG 數(shù)據(jù)稀缺這一行業(yè)痛點(diǎn)提供了新的解決途徑。上海 AI 實(shí)驗(yàn)室正與國(guó)內(nèi)外機(jī)構(gòu)緊密合作，從 “通專融合” 的技術(shù)路線持續(xù)演進(jìn) BrainOmni 系列，在提升性能的同時(shí)拓展更多應(yīng)用領(lǐng)域，進(jìn)一步融入侵入式腦電、神經(jīng)影像等更多模態(tài)信息。

未來(lái)，該系列模型將與上海人工智能實(shí)驗(yàn)室的『書(shū)生』通專融合基礎(chǔ)大模型 Intern-S1與 科學(xué)發(fā)現(xiàn)平臺(tái) Intern Discovery 深度融合，發(fā)展為面向腦機(jī)接口研究與臨床應(yīng)用、覆蓋全模態(tài)的 AGI4Science 關(guān)鍵組件之一。