新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】十億參數(shù)單細(xì)胞基礎(chǔ)模型scLong不再只看少數(shù)高表達(dá)基因，而是把一個(gè)細(xì)胞里接近 2.8 萬(wàn)個(gè)基因 都納入建模，并結(jié)合 Gene Ontology（GO） 的生物學(xué)知識(shí)，去理解更完整的基因上下文。

在單細(xì)胞轉(zhuǎn)錄組學(xué)領(lǐng)域，研究者希望從每個(gè)細(xì)胞的基因表達(dá)中讀出細(xì)胞狀態(tài)、調(diào)控關(guān)系，甚至預(yù)測(cè)當(dāng)某個(gè)基因被敲除、某種藥物被加入后，細(xì)胞會(huì)發(fā)生什么變化。

過(guò)去幾年，foundation model（基礎(chǔ)模型）開(kāi)始進(jìn)入這一領(lǐng)域，顯示出強(qiáng)大的遷移能力；但長(zhǎng)期以來(lái)，現(xiàn)有方法往往為了節(jié)省計(jì)算，只關(guān)注少量高表達(dá)基因，忽略了大量低表達(dá)甚至零表達(dá)基因，同時(shí)也缺少對(duì)外部基因功能知識(shí)的系統(tǒng)整合。這不僅會(huì)丟失重要調(diào)控信號(hào)，也容易讓模型對(duì)復(fù)雜生物過(guò)程「只見(jiàn)樹(shù)木，不見(jiàn)森林」。

近日，MBZUAI、加州大學(xué)圣地亞哥分校（UC San Diego）等機(jī)構(gòu)聯(lián)合團(tuán)隊(duì)在 Nature Communications 發(fā)表研究成果scLong。

論文鏈接：https://www.nature.com/articles/s41467-026-69102-y

這是一種擁有10億參數(shù)的單細(xì)胞基礎(chǔ)模型，基于約4800萬(wàn)個(gè)細(xì)胞進(jìn)行預(yù)訓(xùn)練，能夠在整個(gè)人類(lèi)轉(zhuǎn)錄組范圍內(nèi)對(duì)約27874個(gè)基因建模，并將GO（Gene Ontology） 提供的結(jié)構(gòu)化生物學(xué)知識(shí)融入模型中。

論文報(bào)告顯示，scLong在遺傳擾動(dòng)預(yù)測(cè)、化學(xué)擾動(dòng)預(yù)測(cè)、癌癥藥物反應(yīng)預(yù)測(cè)、基因調(diào)控網(wǎng)絡(luò)推斷等多項(xiàng)任務(wù)上，均優(yōu)于現(xiàn)有單細(xì)胞基礎(chǔ)模型和多種任務(wù)專(zhuān)用模型。

研究背景

為什么單細(xì)胞領(lǐng)域需要一個(gè)「更長(zhǎng)」的模型？

因?yàn)橐粋€(gè)細(xì)胞并不是只由少數(shù)幾個(gè)「明星基因」決定的。很多現(xiàn)有模型只在約 1500 到 2000 個(gè)高表達(dá)基因上做 self-attention，這樣確實(shí)更省算力，但代價(jià)是：大量低表達(dá)基因被排除在外。

而這些低表達(dá)基因雖然「聲音不大」，卻常常扮演調(diào)控開(kāi)關(guān)、信號(hào)微調(diào)器，甚至在稀有細(xì)胞類(lèi)型、應(yīng)激反應(yīng)、疾病進(jìn)展中發(fā)揮關(guān)鍵作用。

換句話說(shuō)，過(guò)去很多模型更像是在讀「摘要」，而不是在讀「全文」。

另一個(gè)問(wèn)題是，單靠表達(dá)矩陣本身，模型未必能真正理解「這個(gè)基因是干什么的」。

而Gene Ontology恰恰提供了基因在生物過(guò)程（Biological Process）、分子功能（Molecular Function）、細(xì)胞組分（Cellular Component）上的結(jié)構(gòu)化知識(shí)。過(guò)去很多模型主要從數(shù)據(jù)里「自己悟」，但沒(méi)有顯式利用這些成熟的生物學(xué)先驗(yàn)，因此在理解功能關(guān)聯(lián)、調(diào)控關(guān)系和跨條件泛化時(shí)仍然受限。

于是，scLong想做的事情很直接：不僅把基因看全，還要把基因「看懂」。

把一個(gè)細(xì)胞，讀成一整句話

如果用自然語(yǔ)言來(lái)打比方，scLong的核心思想很有畫(huà)面感：把一個(gè)細(xì)胞的整條基因表達(dá)譜，當(dāng)成一句非常長(zhǎng)、非常復(fù)雜的話來(lái)讀。

在這個(gè)「句子」里，每個(gè)「詞」不是普通單詞，而是一個(gè) 「基因 ID + 表達(dá)值」 的組合。模型先用一個(gè)表達(dá)編碼器，把數(shù)值型表達(dá)量映射成向量；再用一個(gè)基因編碼器，為每個(gè)基因生成帶有生物學(xué)含義的表示；兩者相加后，就得到這個(gè)「詞」的初始表示。

隨后，模型通過(guò)上下文編碼器，讓這些基因彼此「看見(jiàn)對(duì)方」，從而學(xué)習(xí)基因之間在當(dāng)前細(xì)胞中的上下文關(guān)系。

這里最有意思的一點(diǎn)是：scLong并沒(méi)有粗暴地把低表達(dá)基因扔掉。 它采用了一個(gè)雙編碼器設(shè)計(jì)：對(duì)高表達(dá)基因使用更大的Performer編碼器，對(duì)低表達(dá)基因使用更小的Performer編碼器，最后再通過(guò)一個(gè)full-length Performer把全體基因整合起來(lái)。這樣既盡量保住了全基因組范圍的上下文信息，又在計(jì)算量和建模能力之間做了平衡。

更進(jìn)一步，scLong還把GO知識(shí)圖譜 接進(jìn)來(lái)了。研究團(tuán)隊(duì)先根據(jù)基因共享的GO注釋來(lái)構(gòu)建基因圖：

如果兩個(gè)基因在生物過(guò)程、分子功能或細(xì)胞定位上足夠相似，它們就會(huì)被連接起來(lái)；

然后再用圖卷積網(wǎng)絡(luò)（GCN）來(lái)學(xué)習(xí)基因表示。

這樣一來(lái)，模型不僅知道「這個(gè)基因在這個(gè)細(xì)胞里表達(dá)了多少」，還知道「這個(gè)基因通常和哪些功能、哪些基因有關(guān)系」。這相當(dāng)于給每個(gè)「詞」都加了一層背景知識(shí)。

預(yù)訓(xùn)練方面，scLong使用的是一種類(lèi)似BERT的思路：隨機(jī)遮掉一部分表達(dá)值，讓模型去重建它們。

研究團(tuán)隊(duì)用來(lái)自1618個(gè)單細(xì)胞數(shù)據(jù)集、覆蓋50多種組織 的約4800萬(wàn)個(gè)人類(lèi)細(xì)胞 進(jìn)行預(yù)訓(xùn)練，覆蓋27874個(gè)基因，其中既包括蛋白編碼基因，也包括非編碼基因。對(duì)單細(xì)胞領(lǐng)域來(lái)說(shuō)，這相當(dāng)于讓模型先在海量真實(shí)細(xì)胞中「通讀語(yǔ)料」，再去做各種下游任務(wù)。

還有一個(gè)非常值得注意的設(shè)計(jì)：scLong甚至把零表達(dá)也當(dāng)作信息來(lái)建模。 因?yàn)榱悴灰欢ㄒ馕吨笡](méi)意義」，它可能代表「表達(dá)太低沒(méi)測(cè)到」，也可能代表「這個(gè)基因在該細(xì)胞里確實(shí)被關(guān)閉了」。

前者可能對(duì)應(yīng)弱但真實(shí)的生物信號(hào)，后者則可能恰恰揭示了某種細(xì)胞身份或調(diào)控狀態(tài)。對(duì)于單細(xì)胞數(shù)據(jù)來(lái)說(shuō)，這種「把缺席也當(dāng)作信息」的思路非常重要。

從基因擾動(dòng)到藥物反應(yīng)

遺傳擾動(dòng)預(yù)測(cè)：沒(méi)見(jiàn)過(guò)的擾動(dòng)，也更會(huì)猜

在遺傳擾動(dòng)任務(wù)中，模型需要根據(jù)細(xì)胞擾動(dòng)前的表達(dá)和擾動(dòng)條件，預(yù)測(cè)擾動(dòng)后的表達(dá)變化。

論文使用Norman數(shù)據(jù)集進(jìn)行評(píng)測(cè)，并特別關(guān)注模型對(duì)未見(jiàn)過(guò)擾動(dòng)組合的泛化能力。結(jié)果顯示，scLong在大多數(shù)場(chǎng)景下都優(yōu)于 Geneformer、scGPT、scFoundation、UCE，以及任務(wù)專(zhuān)用模型GEARS、ALM和簡(jiǎn)單基線No-Change。尤其是在更困難的Seen 0/1和Seen 0/2場(chǎng)景中，scLong的優(yōu)勢(shì)更明顯：例如在Seen 0/1 場(chǎng)景下，scLong的Pearson相關(guān)系數(shù)達(dá)到0.625，高于GEARS的0.561；在Seen 0/2場(chǎng)景下，scLong的MSE為0.170，也優(yōu)于多數(shù)基線。

不僅如此，scLong對(duì)雙基因擾動(dòng)中的協(xié)同（synergy）和抑制（suppressor）兩類(lèi)遺傳互作的識(shí)別也優(yōu)于GEARS。

這意味著它不僅能預(yù)測(cè)「會(huì)變多少」，還更接近理解「這些基因之間是怎樣一起起作用的」。

化學(xué)擾動(dòng)預(yù)測(cè)：新藥上來(lái)，先讓模型「測(cè)一測(cè)」

在化學(xué)擾動(dòng)任務(wù)中，模型輸入藥物分子圖、劑量和細(xì)胞系信息，輸出擾動(dòng)后的基因表達(dá)。論文在L1000子集上評(píng)估了scLong，結(jié)果顯示：無(wú)論是RMSE、Spearman/Pearson 相關(guān)，還是Top-100精度指標(biāo)，scLong都顯著優(yōu)于Geneformer、scGPT、scFoundation、UCE和任務(wù)專(zhuān)用模型DeepCE。

換句話說(shuō)，面對(duì)一個(gè)新化合物，scLong更擅長(zhǎng)預(yù)判它會(huì)把細(xì)胞「推向什么狀態(tài)」。

癌癥藥物反應(yīng)預(yù)測(cè)：更懂癌細(xì)胞，也更懂聯(lián)合用藥

在癌癥藥物反應(yīng)預(yù)測(cè)任務(wù)中，模型需要根據(jù)藥物結(jié)構(gòu)和癌細(xì)胞表達(dá)譜，預(yù)測(cè)藥物療效。論文在DeepCDR數(shù)據(jù)集上報(bào)告，scLong的Pearson相關(guān)系數(shù)達(dá)到0.878，高于Geneformer 的0.852、scFoundation的0.867、DeepCDR的0.837以及線性模型的0.746

更有意思的是，研究團(tuán)隊(duì)還把問(wèn)題升級(jí)到藥物組合預(yù)測(cè)：同一個(gè)癌細(xì)胞系面對(duì)兩種藥物聯(lián)用，會(huì)不會(huì)有更好的反應(yīng)？

在分布外測(cè)試集上，scLong的AUROC達(dá)到0.652，同樣超過(guò)了多種基礎(chǔ)模型和任務(wù)模型。這說(shuō)明它不僅能看單藥，還能在更復(fù)雜的聯(lián)合治療場(chǎng)景中提供線索。

基因調(diào)控網(wǎng)絡(luò)與批次整合：不僅會(huì)預(yù)測(cè)，還會(huì)「組織知識(shí)」

在基因調(diào)控網(wǎng)絡(luò)（GRN）推斷任務(wù)中，scLong從基因表示之間的相似性出發(fā)，去重建誰(shuí)調(diào)控誰(shuí)。

結(jié)果顯示，其AUPR達(dá)到1.35，顯著優(yōu)于Geneformer、scGPT、scFoundation、UCE、DeepSEM、GENIE3以及直接使用GO圖的基線。

也就是說(shuō)，scLong學(xué)到的并不是「死記硬背」的GO網(wǎng)絡(luò)，而是結(jié)合具體細(xì)胞數(shù)據(jù)后更貼近真實(shí)生物系統(tǒng)的關(guān)系圖。

在零樣本批次整合任務(wù)中，scLong在pancreas數(shù)據(jù)集上取得0.96的batch ASW，超過(guò)Raw、HVG、scVI以及其他foundation model

值得注意的是，scLong既沒(méi)有在這個(gè)數(shù)據(jù)集上預(yù)訓(xùn)練，也沒(méi)有微調(diào)，卻仍然超過(guò)了專(zhuān)門(mén)在該數(shù)據(jù)集上訓(xùn)練的scVI，顯示出很強(qiáng)的遷移性。

最后，消融實(shí)驗(yàn)也給出了很強(qiáng)的支撐：去掉低表達(dá)基因建模、或者去掉 GO 圖后，性能都會(huì)下降。這說(shuō)明scLong的提升不是偶然，而正是來(lái)自「看全基因」和「引入生物知識(shí)」這兩件事本身。

核心亮點(diǎn)總結(jié)

從「看少數(shù)基因」走向「看全基因組」：它把約 2.8 萬(wàn)個(gè)基因都納入上下文建模，而不是只盯著高表達(dá)基因。

把生物知識(shí)真正嵌進(jìn)模型：GO 不再只是注釋表，而是參與到基因表示學(xué)習(xí)的核心結(jié)構(gòu)中。

大規(guī)模預(yù)訓(xùn)練帶來(lái)強(qiáng)遷移能力：基于 4800 萬(wàn)細(xì)胞的預(yù)訓(xùn)練，讓模型在多個(gè)下游任務(wù)上都能穩(wěn)健發(fā)揮。

不只是「更大」，而是「更懂生物」：論文最重要的啟發(fā)不是參數(shù)量本身，而是證明了低表達(dá)/零表達(dá)基因和結(jié)構(gòu)化先驗(yàn)知識(shí)，對(duì)單細(xì)胞 foundation model 來(lái)說(shuō)都非常關(guān)鍵。

實(shí)際應(yīng)用前景

從應(yīng)用角度看，scLong 展示出的潛力相當(dāng)清晰。

首先，在基因擾動(dòng)與功能研究中，它可以幫助研究者更快預(yù)測(cè)敲除、過(guò)表達(dá)、組合擾動(dòng)可能帶來(lái)的轉(zhuǎn)錄組變化，從而減少大量濕實(shí)驗(yàn)試錯(cuò)成本。

其次，在藥物發(fā)現(xiàn)和精準(zhǔn)醫(yī)學(xué)中，它能夠預(yù)測(cè)化學(xué)擾動(dòng)和癌癥藥物反應(yīng)，為候選藥物篩選、聯(lián)合用藥設(shè)計(jì)和個(gè)體化治療提供計(jì)算支持。

再次，在系統(tǒng)生物學(xué)層面，它還能輔助重建基因調(diào)控網(wǎng)絡(luò)、理解細(xì)胞狀態(tài)轉(zhuǎn)換，并在多批次數(shù)據(jù)整合中提供更穩(wěn)定的細(xì)胞表示。論文作者也指出，這樣的模型有望進(jìn)一步推動(dòng)精準(zhǔn)醫(yī)療、藥物研發(fā)和細(xì)胞生物學(xué)研究。

更長(zhǎng)遠(yuǎn)地看，scLong代表了一種很值得關(guān)注的方向：?jiǎn)渭?xì)胞基礎(chǔ)模型不應(yīng)只是把Transformer搬到生物數(shù)據(jù)上，而應(yīng)該同時(shí)擁抱「全局上下文」和「領(lǐng)域知識(shí)」。

當(dāng)模型既能「讀完整本基因之書(shū)」，又能理解每個(gè)基因在生物學(xué)中的位置，它才更有可能真正成為生命科學(xué)里的通用智能工具。

參考資料：

https://www.nature.com/articles/s41467-026-69102-y