文章來源：我愛計(jì)算機(jī)視覺（ID：aicvml）

最近，多模態(tài)大模型在圖像編輯領(lǐng)域的能力真是讓人眼前一亮，但在嚴(yán)肅的醫(yī)療領(lǐng)域，這陣風(fēng)卻刮得有些小心翼翼。原因無他，主要是因?yàn)槿鄙僖粋€(gè)大規(guī)模、高質(zhì)量、而且專門為醫(yī)學(xué)圖像編輯量身打造的公開數(shù)據(jù)集。今天，就和大家聊一篇來自新加坡國立大學(xué)的新工作，他們推出了一個(gè)名為Med-Banana-50K的數(shù)據(jù)集，希望能為這個(gè)領(lǐng)域添一把火。

• 
  

  論文標(biāo)題 : Med-Banana-50K: A Cross-modality Large-Scale Dataset for Text-guided Medical Image Editing

• 作者 : Zhihui Chen, Mengling Feng

• 機(jī)構(gòu) : 新加坡國立大學(xué)

• 論文地址 : https://arxiv.org/abs/2511.00801

• 項(xiàng)目主頁 : https://github.com/richardChenzhihui/med-banana-50k

簡(jiǎn)單來說，Med-Banana-50K 是一個(gè)專門用于指導(dǎo)模型進(jìn)行醫(yī)學(xué)圖像編輯的大型數(shù)據(jù)集。它的名字聽起來可能有點(diǎn)可愛，但內(nèi)容卻非常硬核。

數(shù)據(jù)集構(gòu)成

這個(gè)數(shù)據(jù)集的規(guī)模和多樣性都相當(dāng)可觀：

• 規(guī)模 : 包含約 5萬張 圖像。

• 多樣性 : 覆蓋了 3種關(guān)鍵的醫(yī)學(xué)影像模態(tài) （胸部X光、腦部MRI、眼底攝影）和 23種不同的疾病類型 。

• 任務(wù) : 編輯任務(wù)是雙向的，包括“添加病變”和“移除病變”。

上表清晰地展示了數(shù)據(jù)集在不同模態(tài)和任務(wù)上的分布情況，以及生成這些數(shù)據(jù)時(shí)的成功率?？梢钥吹?，研究者們?yōu)榱藰?gòu)建這個(gè)數(shù)據(jù)集付出了巨大的努力。

創(chuàng)新的數(shù)據(jù)構(gòu)建流程

那么，如此高質(zhì)量的數(shù)據(jù)集是如何誕生的呢？研究者設(shè)計(jì)了一套相當(dāng)精巧的流程。

整個(gè)流程可以分為四步：

1. 指令生成 : 首先，為真實(shí)的醫(yī)學(xué)圖像生成編輯指令，比如“在左肺上葉區(qū)域添加一個(gè)結(jié)節(jié)”。

2. 單步編輯 : 利用強(qiáng)大的 Gemini-2.5-Flash-Image 模型，根據(jù)指令對(duì)圖像進(jìn)行初步編輯。

3. LLM-as-Judge評(píng)估 : 這是最關(guān)鍵的一步。研究者讓另一個(gè)大語言模型扮演“法官”的角色，從多個(gè)維度對(duì)編輯結(jié)果進(jìn)行嚴(yán)格評(píng)估。

4. 歷史感知迭代精煉 : 如果“法官”認(rèn)為編輯結(jié)果不合格，系統(tǒng)會(huì)記錄下失敗的原因，并在下一輪編輯中進(jìn)行修正。這個(gè)過程最多可以迭代五輪，直到生成滿意的結(jié)果。

在醫(yī)學(xué)領(lǐng)域，圖像的準(zhǔn)確性至關(guān)重要。CV君認(rèn)為，這項(xiàng)工作最值得稱道的地方，就是其系統(tǒng)性的醫(yī)學(xué)質(zhì)量控制方法。

LLM-as-Judge：AI醫(yī)生來把關(guān)

“法官”模型會(huì)根據(jù)一個(gè)專門設(shè)計(jì)的、具有醫(yī)學(xué)背景的評(píng)分標(biāo)準(zhǔn)來打分，主要包括四個(gè)維度：

• 指令符合性 (Instruction Compliance) : 編輯是否嚴(yán)格遵循了文本指令？

• 結(jié)構(gòu)合理性 (Structural Plausibility) : 編輯后的解剖結(jié)構(gòu)是否還合理？有沒有出現(xiàn)反常識(shí)的錯(cuò)誤？

• 真實(shí)感 (Realism) : 編輯出的病變或修復(fù)后的區(qū)域看起來真實(shí)嗎？

• 保真性 (Fidelity Preservation) : 除了編輯區(qū)域，圖像的其他部分是否保持了原樣？

從上表的評(píng)估通過率可以看出，這個(gè)標(biāo)準(zhǔn)相當(dāng)嚴(yán)苛。例如，在“結(jié)構(gòu)合理性”上，有接近10%的編輯嘗試會(huì)失敗，常見的失敗原因包括病變位置錯(cuò)誤、形狀不規(guī)則等。正是這種嚴(yán)苛的篩選，保證了最終數(shù)據(jù)集的高質(zhì)量。

數(shù)據(jù)集亮點(diǎn)與價(jià)值 不僅僅是成功案例

除了成功的編輯案例，該數(shù)據(jù)集還有一個(gè)非常獨(dú)特的亮點(diǎn)：它包含了多達(dá) 3.7萬次失敗的嘗試 以及完整的對(duì)話日志。這些“反面教材”對(duì)于研究模型的偏好學(xué)習(xí)（Preference Learning）和對(duì)齊（Alignment）至關(guān)重要，能幫助我們更好地理解和控制模型的行為，避免它們?cè)陉P(guān)鍵的醫(yī)療任務(wù)上“自由發(fā)揮”。

豐富的編輯實(shí)例

下面是一些數(shù)據(jù)集中跨模態(tài)和任務(wù)的代表性編輯結(jié)果，可以直觀地感受到這個(gè)數(shù)據(jù)集的質(zhì)量和多樣性。

總的來說，Med-Banana-50K不僅僅是一個(gè)數(shù)據(jù)集，它更為下一代醫(yī)學(xué)圖像編輯模型的訓(xùn)練和評(píng)估建立了一個(gè)堅(jiān)實(shí)的基礎(chǔ)。作者已經(jīng)將數(shù)據(jù)集和代碼完全公開，鼓勵(lì)大家去探索和使用。

• 數(shù)據(jù)鏈接：https://github.com/richardChenzhihui/med-banana-50k