在醫(yī)學(xué)圖像分析領(lǐng)域中, 分割是一個(gè)重要的任務(wù), 它涉及從醫(yī)學(xué)圖像中識(shí)別和勾勒出不同的結(jié)構(gòu)或病變區(qū)域, 分割結(jié)果不僅有助于醫(yī)生進(jìn)行精準(zhǔn)診斷, 也將為后續(xù)的臨床決策和治療方案制定提供重要參考. 為了提高分割金標(biāo)準(zhǔn)的可靠性, 通常會(huì)收集多位專家的標(biāo)注意見(圖1[1]). 由于不同專家的標(biāo)注可能存在差異, 帶來了所謂的“多標(biāo)注者問題”[2,3]. 就像幾個(gè)人看同一幅畫, 對同一物體的邊界描繪出不同的輪廓. 尤其是在邊界模糊或病變復(fù)雜的區(qū)域, 這個(gè)問題尤其嚴(yán)重. 如何在“眾說紛紜”的標(biāo)注中, 有效整合多個(gè)標(biāo)注者的意見, 提煉出最可靠的結(jié)果? 這是傳統(tǒng)深度學(xué)習(xí)模型難以解決的難題.

圖1 多標(biāo)注者問題[1]. 眼底彩照中視杯的多標(biāo)注者注釋示例, 可以觀察到注釋之間的內(nèi)部偏差較大

之前的研究者主要從兩個(gè)方面來解決“多標(biāo)注者問題”. 第一種方法是學(xué)習(xí)校準(zhǔn)分割結(jié)果以反映不同觀察者之間的標(biāo)注差異, 使模型能夠?qū)W習(xí)多個(gè)專家標(biāo)注之間的潛在一致性或分歧[4~6]. 但這個(gè)方法需要正確的不同觀察者的標(biāo)注可信度信息. 第二種方法是從多標(biāo)注者標(biāo)簽中識(shí)別潛在的正確真實(shí)標(biāo)注, 評估每個(gè)標(biāo)注者的置信度并通過加權(quán)平均來融合標(biāo)簽[7,8]. 這個(gè)方法的局限在于學(xué)習(xí)融合標(biāo)簽時(shí)沒有進(jìn)行校準(zhǔn), 可能會(huì)產(chǎn)生過度自信[8,9]或模糊的結(jié)果[10,11].

本研究團(tuán)隊(duì)提出了一種新的multi-rater prism框架[1](下文簡稱“MrPrism”)來解決“多標(biāo)注者問題”. 它將“校準(zhǔn)分割”和“評估專家可信度”這兩個(gè)任務(wù)結(jié)合起來, 通過反復(fù)迭代, 讓兩者相互促進(jìn), 最終找到一個(gè)既精確又反映專家共識(shí)的結(jié)果. 這個(gè)框架通過迭代優(yōu)化的方式, 結(jié)合了多標(biāo)注者置信度的分配和校準(zhǔn)分割任務(wù), 最終生成一個(gè)反映觀察者間一致性的自我校準(zhǔn)分割結(jié)果.

在整體流程上, MrPrism首先通過卷積神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)圖像的深層特征表示, 并構(gòu)建統(tǒng)一的特征嵌入空間. 在此基礎(chǔ)上, 引入多標(biāo)注者的標(biāo)簽信息作為動(dòng)態(tài)變量, 通過一個(gè)雙棱鏡結(jié)構(gòu)實(shí)現(xiàn)分割校準(zhǔn)與專家可信度建模的協(xié)同優(yōu)化. 該過程以預(yù)測的分割掩膜為中介變量, 逐步逼近同時(shí)滿足圖像語義一致性與多標(biāo)注者共識(shí)的最優(yōu)解. 框架借助遞推機(jī)制不斷循環(huán)更新, 最終實(shí)現(xiàn)分割結(jié)果與置信度分布的聯(lián)合收斂.

如圖2所示, MrPrism的核心在于兩個(gè)相互配合的模塊: 聚合棱鏡(converging prism, ConP)和發(fā)散棱鏡(diverging prism, 簡稱DivP). 這兩個(gè)模塊相互配合、相互作用優(yōu)化分割結(jié)果.

圖2 Multi-rater Prism框架[1]

首先, DivP模塊分析ConP提供的初步分割結(jié)果, 運(yùn)用先進(jìn)的多頭注意力機(jī)制評估每位專家標(biāo)注的可信度, 并動(dòng)態(tài)生成權(quán)重; 然后, ConP模塊將基于這些權(quán)重, 通過注意力機(jī)制對醫(yī)學(xué)圖像特征進(jìn)行選擇性整合, 輸出更準(zhǔn)確的分割結(jié)果. 這種循環(huán)優(yōu)化過程類似于專家會(huì)診中的反復(fù)討論, 經(jīng)過幾輪迭代后, 系統(tǒng)能夠自動(dòng)平衡不同專家的意見, 最終生成既符合圖像解剖結(jié)構(gòu)特征, 又能反映專家共識(shí)的精準(zhǔn)分割.

這種反復(fù)迭代的設(shè)計(jì)靈感來源于數(shù)學(xué)中的“半二次優(yōu)化”理論[12]. 研究團(tuán)隊(duì)通過視覺變換器(vision transformer)技術(shù)[13]實(shí)現(xiàn)了這兩個(gè)模塊. ConP用注意力機(jī)制整合圖像特征和可信度信息, DivP則通過多頭注意力機(jī)制分別評估每位專家的標(biāo)注. 實(shí)驗(yàn)證明, 這種“雙棱鏡”策略能在多次迭代中逐步提高精度, 尤其是在專家意見分歧較大的任務(wù)中表現(xiàn)尤為出色.

為了驗(yàn)證MrPrism的效果, 團(tuán)隊(duì)在多種醫(yī)學(xué)影像分割任務(wù)上進(jìn)行了測試, 包括眼底圖像的視盤/視杯分割(REFUGE[14]和RIGA[15]數(shù)據(jù)集)、腦腫瘤分割(QU-BraTS 2020[16]和QUBIQ-BrainTumor[17]數(shù)據(jù)集)、前列腺分割(QUBIQ-prostate[17]數(shù)據(jù)集)、腦發(fā)育分割(QUBIQ-BrainGrowth[17]數(shù)據(jù)集)和腎臟分割(QUBIQ-kidney[17]數(shù)據(jù)集). 這些數(shù)據(jù)集涵蓋不同器官和疾病, 涉及標(biāo)注者間差異程度不同的多種場景, 為評估MrPrism在復(fù)雜標(biāo)注環(huán)境下的適應(yīng)性和穩(wěn)定性提供了充分依據(jù).

實(shí)驗(yàn)中各個(gè)方法在上述任務(wù)的分割結(jié)果如圖3所示, 圖中對比方法包括AggNet[10]、CL[8]、CM[9]、MaxMig[11]、MRNet[3]、WDNet[5]. 從圖中可以看出, MrPrism的表現(xiàn)出色, 即MrPrism在所有任務(wù)中都超過了當(dāng)前最先進(jìn)的方法. 以視杯分割為例, 當(dāng)專家意見分歧較大時(shí), 傳統(tǒng)方法可能只能達(dá)到85%左右的準(zhǔn)確率(以Dice系數(shù)衡量), 而MrPrism通過三次迭代后, 能將準(zhǔn)確率提升到88%以上. 類似地, 在腦腫瘤分割中, 它也顯著優(yōu)于其他策略, 尤其是在邊界模糊的區(qū)域, 能更準(zhǔn)確地勾勒出腫瘤輪廓. 更重要的是, MrPrism展現(xiàn)了“自我校準(zhǔn)”的能力. 實(shí)驗(yàn)顯示, 隨著迭代次數(shù)增加, 分割結(jié)果逐漸穩(wěn)定, 反映出它能動(dòng)態(tài)適應(yīng)不同任務(wù)的特點(diǎn). 當(dāng)專家意見分歧較小時(shí), 它能平衡各方意見; 當(dāng)少數(shù)專家明顯更準(zhǔn)確時(shí), 它能識(shí)別并優(yōu)先采納這些意見. 這種靈活性讓它在實(shí)際應(yīng)用中更具潛力.

圖3 MrPrism及AggNet[10]、CL[8]、CM[9]、MaxMig[11]、MRNet[3]、WDNet[5]各對比方法的分割效果對比示意圖. GT為分割金標(biāo)準(zhǔn). (a) 眼底彩照分割視杯視盤任務(wù); (b) 腦發(fā)育數(shù)據(jù)集MRI分割腦實(shí)質(zhì)任務(wù); (c) 腦MRI數(shù)據(jù)集中腦腫瘤分割任務(wù); (d) CT圖像中左側(cè)腎臟分割任務(wù); (e) 前列腺M(fèi)RI數(shù)據(jù)中前列腺腺體分割任務(wù)

MrPrism框架的提出為醫(yī)學(xué)影像分割提供了一種新思路. 它摒棄了傳統(tǒng)方法對單一“標(biāo)準(zhǔn)答案”的追求, 轉(zhuǎn)而通過建模專家間的分歧來獲得更可靠的共識(shí); 另外, 在此框架中, 系統(tǒng)能自動(dòng)評估各專家標(biāo)注的可信度, 避免了人工指定權(quán)重的繁瑣; 最重要的是, MrPrism將圖像結(jié)構(gòu)信息融入學(xué)習(xí)過程(通過注意力機(jī)制), 使分割結(jié)果更符合解剖學(xué)特征. 無論是篩查青光眼, 還是分割腦腫瘤, MrPrism框架都能幫助計(jì)算機(jī)更聰明地“讀懂”醫(yī)學(xué)影像. 對于患者和醫(yī)生來說, 這意味著更可靠的輔助診斷工具. 相關(guān)研究成果發(fā)表在Science Bulletin[1], 本工作代碼已在https://github.com/WuJunde/MrPrism開源, 歡迎相關(guān)從業(yè)人員關(guān)注與使用.

本團(tuán)隊(duì)未來將進(jìn)一步拓展該框架的應(yīng)用范圍, 探索其在更多醫(yī)學(xué)圖像模態(tài)(如舌象圖片、病理切片和動(dòng)態(tài)超聲序列)中的適應(yīng)性, 并推動(dòng)與臨床決策系統(tǒng)的深度整合, 以支持端到端的診療流程優(yōu)化. 同時(shí), 團(tuán)隊(duì)也計(jì)劃針對醫(yī)療資源不足的場景進(jìn)行模型輕量化設(shè)計(jì), 讓這項(xiàng)技術(shù)能夠惠及更廣泛的醫(yī)療機(jī)構(gòu). 從“眾說紛紜”到“精確標(biāo)注”, MrPrism用AI的“雙棱鏡”照亮了醫(yī)學(xué)圖像臨床價(jià)值的新方向.

參考文獻(xiàn)

[1] Wu J, Fang H, Zhu J, et al. Multi-rater Prism: learning self-calibrated medical image segmentation from multiple raters. Chin Sci Bull , 2025 , 69: 2906 -2919

[2] Warrens M J. Inequalities between multi-rater kappas. Adv Data Anal Classif , 2010 , 4: 271 -286

[3] Ji W, Yu S, Wu J, et al. Learning calibrated medical image segmentation via multi-rater agreement modeling. In: Proceedings of the 34th IEEE Conference on Computer Vision and Pattern Recognition, 2021. Vancouver, 2021. 12341–12351.

[4] Wu J, Fang H, Yang D. et al. Opinions vary? Diagnosis first! In: Proceedings of the 25th International Conference on Medical Image Computing and Computer-Assisted Intervention, 2022. Singapore, 2022. 604–613.

[5] Guan M Y, Gulshan V, Dai A M, et al. Who said what: modeling individual labelers improves classification. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence, 2018. New Orleans, 2018. 2668–3603.

[6] Chou H C, Lee C C. Every rating matters: joint learning of subjective labels and individual annotators for speech emotion classification. In: Proceedings of the 44th IEEE International Conference on Acoustics, Speech and Signal Processing, 2019. Brighton, 2019. 5886–5890.

[7] Warfield S K, Zou K H, Wells W M. Simultaneous truth and performance level estimation (STAPLE): an algorithm for the validation of image segmentation. IEEE Trans Med Imag , 2004 , 23: 903 -921

[8] Rodrigues F, Pereira F. Deep learning from crowds. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence, 2018. New Orleans, 2018. 1611–1618.

[9] Tanno R, Saeedi A, Sankaranarayanan S, et al. Learning from noisy labels by regularized estimation of annotator confusion. In: Proceedings of the 32nd IEEE conference on Computer Vision and Pattern Recognition, 2019. Long Beach, 2019. 11244–11253.

[10] Albarqouni S, Baur C, Achilles F, et al. AggNet: deep learning from crowds for mitosis detection in breast cancer histology images. IEEE Trans Med Imag , 2016 , 35: 1313 -1321

[11] Cao P, Xu Y, Kong Y, et al. MaxMig: an information theoretic approach for joint learning from crowds. In: Proceedings of the 7th International Conference on Learning Representations, 2019. New Orleans, 2019.

[12] Geman D, Reynolds G. Constrained restoration and the recovery of discontinuities. IEEE Trans Pattern Anal Machine Intell , 1992 , 14: 367 -383

[13] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale. In: Proceedings of the 9th International Conference on Learning Representations, 2021. Vienna, 2021.

[14] Orlando J I, Fu H, Barbosa Breda J, et al. REFUGE Challenge: a unified framework for evaluating automated methods for glaucoma assessment from fundus photographs. Med Image Anal , 2020 , 59: 101570

[15] Almazroa A, Alodhayb S, Osman E, et al. Agreement among ophthalmologists in marking the optic disc and optic cup in fundus images. Int Ophthalmol , 2017 , 37: 701 -717

[16] Mehta R, Filos A, Baid U, et al. QU-BraTS: MICCAI BraTS 2020 challenge on quantifying uncertainty in brain tumor segmentation – analysis of ranking scores and benchmarking results. Melba , 2022 , 1: 1 -54

[17] Li H B, Navarro F, Ezhov I, et al. QUBIQ: uncertainty quantification for biomedical image segmentation challenge. 2024, arXiv: 2405.18435.

轉(zhuǎn)載、投稿請留言

| 關(guān)注科學(xué)通報(bào) | 了解科學(xué)前沿