AI 在醫(yī)學(xué)領(lǐng)域終于能做生成式任務(wù)了，而且并不是簡(jiǎn)單的分類(lèi)任務(wù)。這次，它成功將最常規(guī)的病理切片，“翻譯”成原本昂貴而稀缺的免疫檢測(cè)圖像。

“我們用更便宜易得的病理圖片，通過(guò) AI 生成了更昂貴耗時(shí)的免疫組化圖片，這是癌癥免疫療法領(lǐng)域的里程碑工作之一，可能會(huì)極大加速癌癥的臨床檢測(cè)流程?！闭劶斑@項(xiàng)發(fā)表在 Cell 的論文，美國(guó)華盛頓大學(xué)王晟教授對(duì) DeepTech 如是說(shuō)。

圖丨王晟（來(lái)源：受訪者）

近期，微軟研究院潘海峰博士、華盛頓大學(xué)王晟教授團(tuán)隊(duì)合作，開(kāi)發(fā)了一種 AI 框架 GigaTIME，基于多模態(tài) AI 技術(shù)，實(shí)現(xiàn)了將醫(yī)院中常規(guī)的癌癥病理切片（H&E 染色）轉(zhuǎn)化為多通道免疫熒光（mIF，multiplex immunofluorescence）。

該研究不僅展示了從 H&E 生成 mIF 圖片的可能性，更重要的是，基于虛擬圖片實(shí)現(xiàn)了下游的臨床發(fā)現(xiàn)：研究人員將 GigaTIME 應(yīng)用于 1.4 萬(wàn)余名病人的 H&E 圖像中，這些數(shù)據(jù)來(lái)自美國(guó)最大的醫(yī)療機(jī)構(gòu) Providence Health，共包括美國(guó) 7 個(gè)州、51 家醫(yī)院和 1,000 多家診所。

研究人員一次性生成了近 30 萬(wàn)張?zhí)摂M mIF 全切片圖像，涵蓋 24 種癌癥類(lèi)型和 306 種亞型。憑借這些空前規(guī)模的數(shù)據(jù)，研究人員系統(tǒng)地揭示了 1,200 多個(gè)蛋白質(zhì)和生物標(biāo)志物（如 TP53、KRAS 突變、TMB、MSI 等）、病理分期（TNM 分期）與具體癌癥及亞型的關(guān)鍵聯(lián)系。

這些數(shù)據(jù)有助于理解腫瘤免疫逃逸的機(jī)制，并首次基于此預(yù)測(cè)病人生存時(shí)間和初步評(píng)估免疫療法的藥效。目前，研究團(tuán)隊(duì)已公開(kāi)預(yù)訓(xùn)練的 GigaTIME 模型代碼，為腫瘤微環(huán)境大規(guī)模建模、臨床生物標(biāo)志物發(fā)現(xiàn)及精準(zhǔn)免疫治療方面提供了新的思路。

相關(guān)論文以《多模態(tài)人工智能生成腫瘤微環(huán)境建模的虛擬人群》（Multimodal AI generates virtual population for tumor microenvironment modeling）為題發(fā)表在 Cell[1]。

圖丨相關(guān)論文（來(lái)源：Cell）

當(dāng)病理圖像學(xué)會(huì)“翻譯”另一種檢測(cè)

H&E 染色作為臨床常規(guī)病理檢查的基礎(chǔ)技術(shù)之一，其優(yōu)勢(shì)是成本低且應(yīng)用范圍廣泛，即便欠發(fā)達(dá)地區(qū)也能實(shí)現(xiàn)，但它的局限性在于細(xì)胞形態(tài)和組織結(jié)構(gòu)。

相對(duì)而言，mIF 是一種多重蛋白質(zhì)空間表達(dá)信息的金標(biāo)準(zhǔn)技術(shù)，盡管其能夠準(zhǔn)確反映癌癥病人狀態(tài)，但因成本高和通量低難以大規(guī)模應(yīng)用。目前，只有極少數(shù)發(fā)達(dá)國(guó)家、頂尖醫(yī)院才配備 mIF。

從檢測(cè)技術(shù)價(jià)格來(lái)看，一個(gè)顯著對(duì)比是：病理圖片僅需要 20-50 美元，從切片、染色、封固全流程最快半天完成；由于人力與試劑成本高，免疫熒光/免疫組化相關(guān)檢測(cè)通常需要 1,500 美元，用時(shí)至少 5 天。

臨床中的一個(gè)長(zhǎng)期的“惡性循環(huán)”是：因?yàn)椴涣私?mIF 圖像到底在哪類(lèi)病人、哪種蛋白質(zhì)、哪種癌癥上有用，所以臨床上不會(huì)花幾千美金做 mIF 檢測(cè)；因而做 mIF 檢測(cè)的病人數(shù)量很少，更難收集大規(guī)模數(shù)據(jù)；沒(méi)有數(shù)據(jù)，又反過(guò)來(lái)不知道哪里有用。

這項(xiàng)研究始于 Providence Health 提出的實(shí)際臨床需求：是否有可能將低成本的 H&E 圖像生成更高價(jià)值的 mIF 圖像？

此前，病理專(zhuān)家基于醫(yī)學(xué)圖像推斷病人腫瘤狀態(tài)：如果只有便宜的醫(yī)學(xué)圖像，需要資深專(zhuān)家才能基于此進(jìn)行推斷；而一旦有了高價(jià)值、更清晰的醫(yī)學(xué)圖像，普通專(zhuān)家甚至剛?cè)腴T(mén)的病理醫(yī)生也能做出準(zhǔn)確判斷。

（來(lái)源：Cell）

跨模態(tài)翻譯模型是 GigaTIME 的核心所在?；谏疃葘W(xué)習(xí)算法在不依賴昂貴試劑和復(fù)雜設(shè)備的條件下，將 H&E 染色切片轉(zhuǎn)化為高分辨率的虛擬的 mIF 圖像。研究人員對(duì) 4,000 萬(wàn)細(xì)胞的配對(duì) H&E 和 mIF 數(shù)據(jù)進(jìn)行訓(xùn)練，涵蓋了 21 種蛋白質(zhì)通道。

多模態(tài) AI 技術(shù)的最大優(yōu)勢(shì)，是讓模型同時(shí)“吃透”不同模態(tài)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)利用效率最大化，而不是給每種模態(tài)單獨(dú)訓(xùn)一個(gè)模型。也就是說(shuō)，各模態(tài)間共享的特征信息能同時(shí)被遷移。

（來(lái)源：Cell）

此外，GigaTIME 的虛擬人群可根據(jù)虛擬蛋白質(zhì)的激活狀態(tài)，支持對(duì)病理階段和病人分層的系統(tǒng)性研究，并預(yù)測(cè)病理分析與生存期。

通過(guò)整合所有 21 個(gè)虛擬蛋白質(zhì)通道，GigaTIME 能夠更有效地對(duì)病人進(jìn)行分層，預(yù)測(cè)癌癥分期和生存結(jié)果。傳統(tǒng)病理指標(biāo)只能靠 H&E 圖像分層，而這項(xiàng)研究使用的虛擬 mIF 圖像分層是傳統(tǒng)手段無(wú)法實(shí)現(xiàn)的。

從泛癌水平角度，GigaTIME 發(fā)現(xiàn)腫瘤大?。═ 階段）與免疫檢查點(diǎn)標(biāo)記物（如 PD-L1 和 PD-1）以及免疫浸潤(rùn)標(biāo)記物（如 CD68 和 CD138）呈正相關(guān)。

研究人員進(jìn)一步在特定癌種和亞型水平進(jìn)行了深入研究。即便虛擬 mIF 是從 H&E 生成，其分層效果仍優(yōu)于真實(shí)的 H&E 圖像。未來(lái)某些癌癥亞型可能繼續(xù)用便宜的真實(shí) H&E 分層更好，但在另一些亞型上，用虛擬的 mIF 圖像分層效果更佳。

（來(lái)源：Cell）

“我們并非要全盤(pán)取代傳統(tǒng)指標(biāo)，而是為不同亞型、不同人種、不同病人提供另一種分層工具，以補(bǔ)充現(xiàn)有臨床分層的不足。”王晟表示。

此外，GigaTIME 還揭示了蛋白質(zhì)激活之間的協(xié)同作用。通過(guò)結(jié)合漿細(xì)胞標(biāo)記物 CD138 和巨噬細(xì)胞標(biāo)記物 CD68 的虛擬激活，研究人員發(fā)現(xiàn)，該組合與多個(gè)生物標(biāo)志物的關(guān)聯(lián)強(qiáng)于單獨(dú)的蛋白質(zhì)。這種協(xié)同作用有可能反映了抗體介導(dǎo)的免疫反應(yīng)，其中漿細(xì)胞產(chǎn)生的抗體可激活巨噬細(xì)胞攻擊腫瘤細(xì)胞。

30 萬(wàn)張?zhí)摂M mIF 圖像，是如何被“算”出來(lái)的？

研究團(tuán)隊(duì)在數(shù)據(jù)預(yù)處理方面投入了大量精力。由于使用的是臨床真實(shí)病人數(shù)據(jù)，而不是為研究特意新建的數(shù)據(jù)集，因此必須從醫(yī)院現(xiàn)有病歷里篩出“高質(zhì)量、多樣化、又不過(guò)于罕見(jiàn)”的病例。同時(shí)，圖像本身還要統(tǒng)一染色、去噪、對(duì)齊等。

研究人員發(fā)現(xiàn)，此前領(lǐng)域內(nèi)只有簡(jiǎn)單數(shù)細(xì)胞，但這些遠(yuǎn)遠(yuǎn)不夠，更關(guān)鍵的圖像層面空間特征仍然空白。

為此，他們搭建了一整套科研流程，并加上了數(shù)據(jù)、模型、驗(yàn)證的相關(guān)指標(biāo)?！拔覀冎苯咏栌昧藗鹘y(tǒng)圖像領(lǐng)域已被反復(fù)驗(yàn)證、久經(jīng)考驗(yàn)的空間指標(biāo)，首次把它們搬到免疫圖像分析里。通過(guò)大量實(shí)驗(yàn)和摸索捋順了這套預(yù)處理流程，未來(lái)從事該方向的研究人員可以直接沿用?！蓖蹶杀硎?。

（來(lái)源：Cell）

另一方面，將訓(xùn)練好的 AI 模型應(yīng)用到 1.4 萬(wàn)余名病人，并一次性生成 30 萬(wàn)張?zhí)摂M mIF 圖像也帶來(lái)了不小的挑戰(zhàn)。為解決 GPU/CPU 資源大量消耗的問(wèn)題，研究人員進(jìn)行了大量純工程層面的并行優(yōu)化，將生成周期壓到 1-2 個(gè)月，并使用了微軟研究院提供的海量計(jì)算集群。

GigaTIME 相當(dāng)于用簡(jiǎn)單圖像學(xué)習(xí)出復(fù)雜圖像，就像搭起了一座橋梁，通過(guò)為初級(jí)病理醫(yī)生提供高價(jià)值圖像參考，縮短其從初級(jí)到專(zhuān)家的學(xué)習(xí)和經(jīng)驗(yàn)累積周期。

“得益于生成式 AI 近年來(lái)的發(fā)展和進(jìn)步，我們把海量真實(shí)的成對(duì)數(shù)據(jù)喂給 AI 模型，再用生成式 AI 技術(shù)把模型建起來(lái)，這個(gè)全新的醫(yī)學(xué)問(wèn)題才有了這種新的方案?！蓖蹶杀硎尽?/p>

數(shù)據(jù)規(guī)模帶來(lái)的直接影響是，臨床流程因此顯著降低了成本。研究團(tuán)隊(duì)用 AI 虛擬手段打破了傳統(tǒng)的“惡性循環(huán)”：生物學(xué)家和醫(yī)生在得到這些關(guān)鍵信息后，相當(dāng)于可“按圖索驥”大致判斷哪些蛋白質(zhì)可能關(guān)鍵，有了突破后再針對(duì)特定的蛋白，用較低的成本補(bǔ)做真實(shí)的 mIF 檢測(cè)以及深入挖掘。

比如，當(dāng)醫(yī)生發(fā)現(xiàn)某些蛋白質(zhì)在肝癌中具有關(guān)鍵作用，就大規(guī)模給肝癌病人上真實(shí) mIF，同時(shí)配合虛擬圖像，真實(shí)數(shù)據(jù)量隨之暴漲，最終讓 mIF 變成臨床常規(guī)技術(shù)。

用虛擬圖像開(kāi)啟“數(shù)字試驗(yàn)”新范式

王晟指出，虛擬細(xì)胞、虛擬圖片方向的 AI 技術(shù)，并不會(huì)取代醫(yī)生或取代生物學(xué)家。AI 承載的使命并不是從頭到尾地“包辦”新藥開(kāi)發(fā)和科學(xué)發(fā)現(xiàn)，而是通過(guò)生成虛擬病人、虛擬樣本來(lái)驗(yàn)證醫(yī)生或生物學(xué)家所開(kāi)發(fā)藥物的效果。

用 AI 生成虛擬病人做療效和毒性的驗(yàn)證，相當(dāng)于 AI 生成的“數(shù)字小白鼠”來(lái)做實(shí)驗(yàn)，不僅可以大幅度提高開(kāi)發(fā)效率，也能降低試藥對(duì)受試者帶來(lái)的損傷?！吧墒?AI 更像是一個(gè)用于驗(yàn)證的高通量數(shù)字試驗(yàn)平臺(tái)，這也是團(tuán)隊(duì)后續(xù)持續(xù)推廣的方向?！彼f(shuō)。

此前，領(lǐng)域內(nèi)只能基于真實(shí)的 mIF 數(shù)據(jù)推斷哪些蛋白質(zhì)對(duì)癌癥重要。王晟指出，盡管近 30 萬(wàn)張?zhí)摂M的 mIF 圖像未必像真實(shí)圖像那樣完美，但它能清晰地看到蛋白質(zhì)和癌癥之間的顯著關(guān)系，這也是這項(xiàng)工作中最大的貢獻(xiàn)之一。

未來(lái)，研究團(tuán)隊(duì)希望通過(guò)引入更多前沿 AI 技術(shù)來(lái)生成醫(yī)學(xué)圖像和病人特征，來(lái)解決更多以往難以解決的問(wèn)題。

此前，研究團(tuán)隊(duì)在 Nature 報(bào)道了數(shù)字病理學(xué)全切片基礎(chǔ)模型 GigaPath[2]，其中針對(duì)肺癌的一項(xiàng)指標(biāo)已在美國(guó)紀(jì)念斯隆凱特琳癌癥中心完成臨床驗(yàn)證。本次研究是上以工作的延續(xù)，需要了解的是其并非覆蓋所有癌種，從癌癥種類(lèi)來(lái)看，這項(xiàng)研究中核心驗(yàn)證的是肺癌，其次是腦癌和胃癌。

目前，研究團(tuán)隊(duì)正在開(kāi)展更大規(guī)模的跨人種、跨國(guó)家的數(shù)據(jù)驗(yàn)證，預(yù)計(jì)數(shù)月后會(huì)呈現(xiàn)初步結(jié)果。后續(xù)驗(yàn)證若持續(xù)成功，將繼續(xù)擴(kuò)展到更多國(guó)家驗(yàn)證，并進(jìn)入臨床審批等環(huán)節(jié)。

基于本次 H&E 到 mIF 的跨模態(tài)生成技術(shù)基礎(chǔ)，他們計(jì)劃在接下來(lái)的研究中進(jìn)一步突破模態(tài)邊界，打通病理圖片與影像科圖片之間的關(guān)聯(lián)。其希望未來(lái)不僅用 H&E 圖像生成病人的 mIF，還能進(jìn)一步用 CT、X 光、核磁共振成像這類(lèi)影像科圖像，配合少量病理圖來(lái)更好地生成 mIF。

“即便 H&E 圖像病人也需半天時(shí)間，還要打麻藥、取切片。如果能用更簡(jiǎn)單的 CT 或核磁圖像，能減少對(duì)病人帶來(lái)的創(chuàng)傷?！蓖蹶烧f(shuō)。

現(xiàn)在，該團(tuán)隊(duì)正致力于構(gòu)建一個(gè)更大的多模態(tài)模型，不僅將影像科圖像納入其中，未來(lái)還將加入 DNA、基因等更多種類(lèi)數(shù)據(jù)，其終極目標(biāo)是形成能統(tǒng)一理解各種模態(tài)生物醫(yī)學(xué)臨床數(shù)據(jù)的超大模型。

這或許預(yù)示著，醫(yī)學(xué)正在從“一次檢測(cè)得到一個(gè)結(jié)果”，走向“一個(gè)模型理解整個(gè)病人”。

參考資料：

1.https://doi.org/10.1016/j.cell.2025.11.016

2.https://doi.org/10.1038/s41586-024-07441-w

排版：劉雅坤