在微創(chuàng)手術(shù)室里，醫(yī)生們穿著沉重的鉛衣，在充滿輻射的 X 光下，靠肉眼試圖在模糊、噪聲巨大的屏幕上捕捉手術(shù)器械的蹤跡。這種如同在暴雨濃霧中駕駛的“盲操”，不僅費(fèi)時(shí)費(fèi)力，更讓醫(yī)患雙方承擔(dān)著巨大的風(fēng)險(xiǎn)。長(zhǎng)期以來(lái)，醫(yī)療影像數(shù)據(jù)的極端稀缺和標(biāo)注難題，讓手術(shù)器械的操作“自動(dòng)化”看起來(lái)遙不可及。

2026年2月23日，香港城市大學(xué)康文斌教授、美國(guó)夏威夷大學(xué)王添路教授，土耳其Koc大學(xué)Metin Sitti校長(zhǎng)合作（第一作者為德國(guó)馬普智能系統(tǒng)所王春翔博士）在Nature Machine Intelligence期刊上發(fā)表了文章Synthetic X?ray?driven tracking and control of miniature medical devices。研究團(tuán)隊(duì)提出了 MicroSyn-X 框架，證明了不需要真實(shí)的臨床標(biāo)注數(shù)據(jù)，僅靠生成式 AI 創(chuàng)造的“偽數(shù)據(jù)”，就能訓(xùn)練出在真實(shí)活體動(dòng)物中擁有“超人視覺”的視覺大腦。

一、研究背景

在眾多手術(shù)器械中，毫米級(jí)微型醫(yī)療器械（MMDs）以其在狹窄解剖空間內(nèi)的精準(zhǔn)導(dǎo)航與操作的優(yōu)勢(shì)受到了關(guān)注，是實(shí)現(xiàn)靶向治療和精細(xì)介入的一條高潛力的技術(shù)路徑。然而，在臨床常用的 X 射線透視成像（Fluoroscopy）環(huán)境下，由于成像對(duì)比度低、背景噪聲強(qiáng)以及骨骼遮擋等因素，該類器械的實(shí)時(shí)精準(zhǔn)定位始終面臨挑戰(zhàn)。

目前，這類器械的識(shí)別與操控高度依賴醫(yī)生的手工操作和經(jīng)驗(yàn)判斷。盡管深度學(xué)習(xí)在醫(yī)學(xué)影像識(shí)別領(lǐng)域表現(xiàn)出潛力，但針對(duì)特定微型醫(yī)療器械的高質(zhì)量標(biāo)注 X 射線數(shù)據(jù)極度匱乏。由于醫(yī)療場(chǎng)景的多樣性以及新器械的不斷涌現(xiàn)，傳統(tǒng)的“數(shù)據(jù)采集-人工標(biāo)注-模型訓(xùn)練”范式在時(shí)間和人力成本上難以維系?？煽偨Y(jié)為：

• 數(shù)據(jù)成本極高： 每一張 X 光片的采集都意味著輻射暴露，倫理審批周期漫長(zhǎng)。

• 標(biāo)注是場(chǎng)噩夢(mèng)： 醫(yī)生需要手工標(biāo)注數(shù)萬(wàn)張低對(duì)比度影像，極其耗時(shí)且易出錯(cuò)。

• 迭代速度太快： 醫(yī)療器械每年都在推陳出新。如果每出一個(gè)新產(chǎn)品都要重新采集、標(biāo)注一遍數(shù)據(jù)，這在邏輯上就是不可持續(xù)的。

二、 換個(gè)思路：如果數(shù)據(jù)能“憑空生成”？

基于此，這項(xiàng)發(fā)表于

Nature Machine Intelligence

基于合成X光的微型器械追蹤與部署

在此前的研究中，視覺模型的訓(xùn)練往往受限于真實(shí)影像的獲取難度。而本次工作結(jié)合了生成式 AI（擴(kuò)散模型）與強(qiáng)域隨機(jī)化（Domain Randomization）策略，建立了一個(gè)高保真合成影像生成管線。

該框架能夠自動(dòng)生成包含復(fù)雜組織背景、骨骼結(jié)構(gòu)及金屬器械干預(yù)的 X 射線場(chǎng)景，并模擬真實(shí)的物理衰減、噪聲分布與運(yùn)動(dòng)偽影（很多場(chǎng)景是真實(shí)世界中難以采集的）。由于合成過程完全可控，系統(tǒng)能夠自動(dòng)生成像素級(jí)的精確標(biāo)注，擺脫了對(duì)人工標(biāo)注數(shù)據(jù)的依賴。

數(shù)據(jù)生成流程

三、 真實(shí)手術(shù)場(chǎng)景下的驗(yàn)證

研究團(tuán)隊(duì)發(fā)現(xiàn)，通過這種“合成數(shù)據(jù)驅(qū)動(dòng)”訓(xùn)練出的視覺模型，表現(xiàn)出極強(qiáng)的泛化能力。實(shí)驗(yàn)結(jié)果顯示，該模型不僅在離體（Ex vivo）組織中運(yùn)行穩(wěn)定，在活體小鼠（In vivo）實(shí)驗(yàn)中也展現(xiàn)了出色的穩(wěn)健性。

在活體場(chǎng)景下，微型機(jī)器人常被脊柱嚴(yán)重遮擋，且受到呼吸、心跳帶來(lái)的劇烈動(dòng)態(tài)干擾。在這種極低對(duì)比度的環(huán)境下，MicroSyn-X 訓(xùn)練出的模型依然能夠?qū)崿F(xiàn)實(shí)時(shí)的魯棒追蹤。測(cè)試數(shù)據(jù)表明，模型的識(shí)別結(jié)果與臨床專家的共識(shí)高度一致，在某些極端條件下，模型甚至能捕捉到人眼難以可靠判別的微弱信號(hào)。

四、核心亮點(diǎn)總結(jié)

與以往依賴海量臨床影像或特定硬件改進(jìn)的方法相比，MicroSyn-X 的核心優(yōu)勢(shì)在于其通用性與可擴(kuò)展性。當(dāng)面對(duì)一種形狀、材質(zhì)完全不同的新型醫(yī)療器械時(shí)，研究人員無(wú)需重新進(jìn)入手術(shù)室采集影像，僅需通過合成管線進(jìn)行數(shù)小時(shí)的自動(dòng)化訓(xùn)練，即可實(shí)現(xiàn)對(duì)新器械的部署與控制。

• 打破數(shù)據(jù)壁壘： 首次證明僅通過高保真合成數(shù)據(jù)，即可訓(xùn)練出能夠勝任真實(shí)臨床環(huán)境（Ex vivo & In vivo）的醫(yī)療視覺模型，徹底擺脫對(duì)人工標(biāo)注和海量真實(shí)影像的依賴。

• 真實(shí)手術(shù)場(chǎng)景下的高精度魯棒檢測(cè)： 在毫米級(jí)器械被脊柱嚴(yán)重遮擋、且伴隨強(qiáng)烈心跳干擾的極端噪聲環(huán)境下，系統(tǒng)實(shí)現(xiàn)了比經(jīng)驗(yàn)醫(yī)生更穩(wěn)定、更敏銳的實(shí)時(shí)追蹤，魯棒性大幅提升。

• 即插即用范式：面對(duì)未來(lái)層出不窮的新型手術(shù)器械，無(wú)需重新采集臨床數(shù)據(jù)，數(shù)小時(shí)合成訓(xùn)練即可實(shí)現(xiàn)快速部署。極大降低了新型微創(chuàng)器械的應(yīng)用門檻，大幅縮短從實(shí)驗(yàn)室到手術(shù)室的距離。

• 工程與臨床的閉環(huán)： 該工作不僅是算法的突破，更在真實(shí)機(jī)器人系統(tǒng)和活體動(dòng)物實(shí)驗(yàn)中完成了閉環(huán)驗(yàn)證，獲得了《Nature Machine Intelligence》審稿人“為微型醫(yī)療器械的未來(lái)醫(yī)療應(yīng)用奠定重要技術(shù)基礎(chǔ)”的高度評(píng)價(jià)。

• 開源賦能： 代碼和數(shù)據(jù)已開源（Hugging Face），有很強(qiáng)的社區(qū)影響力。

五、應(yīng)用前景：

在應(yīng)用前景上，這項(xiàng)工作為微創(chuàng)介入手術(shù)的自動(dòng)化奠定了基礎(chǔ)。通過將該視覺方案集成至機(jī)器人閉環(huán)控制系統(tǒng)中，可以實(shí)現(xiàn)微型器械在血管分叉或復(fù)雜管腔內(nèi)的自動(dòng)導(dǎo)航。

這不僅有望顯著降低手術(shù)中醫(yī)生的操作負(fù)擔(dān)與輻射暴露時(shí)間，還能提升手術(shù)的精準(zhǔn)度與可重復(fù)性。目前，該研究團(tuán)隊(duì)已將相關(guān)的代碼與數(shù)據(jù)集開源，旨在降低領(lǐng)域門檻，推動(dòng)新型微創(chuàng)醫(yī)療器械從實(shí)驗(yàn)室向臨床應(yīng)用的轉(zhuǎn)化。

https://www.nature.com/articles/s42256-026-01190-3

制版人： 十一

學(xué)術(shù)合作組織

（*排名不分先后）

戰(zhàn)略合作伙伴

（*排名不分先后）

轉(zhuǎn)載須知

【非原創(chuàng)文章】本文著作權(quán)歸文章作者所有，歡迎個(gè)人轉(zhuǎn)發(fā)分享，未經(jīng)作者的允許禁止轉(zhuǎn)載，作者擁有所有法定權(quán)利，違者必究。

BioArt

Med

Plants

人才招聘

近期直播推薦

點(diǎn)擊主頁(yè)推薦活動(dòng)

關(guān)注更多最新活動(dòng)！