編輯｜冷貓

讓 AI 進入醫(yī)療領(lǐng)域，是一件需要慎之又慎的事情。

在這種事情上，總有人走得特別激進。今年 2 月，路透社發(fā)布了一篇調(diào)查報道，標題觸目驚心 ——《As AI enters the operating room, reports arise of botched surgeries and misidentified body parts》。

翻譯一下，該報道題為《當 AI 進入手術(shù)室：手術(shù)失誤及人體部位識別錯誤的報告頻發(fā)》。在美國，醫(yī)療設(shè)備廠商將不甚成熟的 AI 引入手術(shù)場景，但隨之而來的誤判案例也在不斷增加 —— 系統(tǒng)錯誤識別了人體部位，有機器人輔助手術(shù)中出現(xiàn)了本可避免的操作失誤。

醫(yī)療器械廠商正爭相將 AI 整合進其產(chǎn)品之中。盡管支持者堅信這項新技術(shù)將顛覆醫(yī)療領(lǐng)域，但監(jiān)管機構(gòu)收到的關(guān)于患者受傷的指控卻在持續(xù)攀升。

在這些直接應(yīng)用到臨床實踐的醫(yī)學(xué) AI 中，大部分都是以視覺和圖像（視頻）識別技術(shù)作為核心。

在學(xué)術(shù)界我們很熟悉，視頻大模型已經(jīng)成為了計算機視覺領(lǐng)域最擁擠的賽道之一。雖說有非常大量成熟的視覺識別大模型，但幾乎都集中在通用視頻領(lǐng)域。當鏡頭轉(zhuǎn)向手術(shù)室，局面陡然變難。我們?nèi)匀幻媾R幾個巨大的問題：

通用模型無法專精于醫(yī)療領(lǐng)域的任務(wù)，并且醫(yī)療領(lǐng)域并非單一任務(wù)種類；醫(yī)療領(lǐng)域的相關(guān)數(shù)據(jù)缺失；大模型在醫(yī)療實際任務(wù)中的表現(xiàn)幾乎無法進行統(tǒng)一評估。

不過，讓 AI 參與到醫(yī)療領(lǐng)域，提高效率，減輕醫(yī)院和醫(yī)務(wù)人員的負擔，是非常有意義的。

我們看到，來自 Global Information 的《2026 年人工智慧（AI）增強型手術(shù)影像分析全球市場報告》，也預(yù)測了 AI 在醫(yī)療領(lǐng)域手術(shù)視頻分析的增長潛力。

基于人工智能（AI）的手術(shù)視頻分析市場發(fā)展迅速，預(yù)計將從 2025 年的 7.3 億美元增長到 2026 年的 9.1 億美元，年復(fù)合增長率（CAGR）為 24.1%。預(yù)計未來幾年，人工智能（AI）增強型手術(shù)視頻分析市場將呈指數(shù)級增長，到 2030 年市場規(guī)模將達到 21.4 億美元，年復(fù)合增長率（CAGR）為 23.8%。

令人驚喜的是，全球首個，規(guī)模最大、性能最強的醫(yī)療視頻理解領(lǐng)域大模型 —— 元智醫(yī)療視頻理解大模型 (uAI-NEXUS-MedVLM) 已經(jīng)正式發(fā)布并開源！

這一模型直接解決了在醫(yī)療視頻領(lǐng)域的任務(wù)優(yōu)化，數(shù)據(jù)缺失，以及無法評測的三大痛點，敲開了大模型在醫(yī)療領(lǐng)域大規(guī)模應(yīng)用的大門。

相關(guān)研究成果已獲 IEEE 國際計算機視覺與模式識別會議（CVPR 2026）收錄。

• 論文標題：MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
• 論文鏈接：https://arxiv.org/pdf/2512.06581
• 項目主頁：https://uii-ai.github.io/MedGRPO/
• 開源鏈接：https://github.com/UII-AI/MedGRPO-Code

把「不可解」變成「可解」

在過去，讓大模型理解真正的臨床醫(yī)療視頻，幾乎是一個「不可解」的問題。

醫(yī)療視頻不僅涉及圖像識別，還需要解決空間、時間和語義的復(fù)雜性，手術(shù)過程中的每個細節(jié)都至關(guān)重要，任何疏忽都可能帶來嚴重后果。

• 空間維度要求模型精確識別手術(shù)視頻中各個工具、器官和組織的空間位置以及它們之間的關(guān)系。
• 時間維度帶來了動態(tài)性，手術(shù)視頻不僅是靜態(tài)的圖像集合，還涉及到不同動作和步驟的時序變化。
• 語義維度則要求模型具備深厚的醫(yī)學(xué)背景知識，能夠理解手術(shù)中每個設(shè)備和動作的醫(yī)學(xué)意義。

視覺理解的無人區(qū)

「空間 — 時間 — 語義」的三重復(fù)雜性疊加，即使是 GPT-5.4 和 Gemini-3.1 這樣的通用巨頭，在面對真實手術(shù)視頻時幾乎全面潰敗。

圖 1：在 MedVidBench 8 項任務(wù)上的主要結(jié)果。

在實驗中，研究團隊比較了 2025 年和 2026 年的開箱即用基線模型（采用 one-shot 提示進行評估）、 SFT 基線，以及在 Qwen2.5VL-7B、Qwen3-VL-4B 和 Qwen3.5-4B 上的完整 MedGRPO 方法。

具體數(shù)據(jù)很能說明問題。在關(guān)鍵安全視野評估（CVS）任務(wù)上，GPT-5.4 的準確率只有 16.4%，Gemini-3.1 為 24.2%，基本上是在瞎猜。在時空動作定位（STG）任務(wù)中，預(yù)測區(qū)域與真實區(qū)域的交并比（mIoU）低到可以忽略不計。即便是看起來最「容易」的視頻摘要生成任務(wù)中，滿分 5 分的情況下，GPT-5.4 只拿到 3.976 分，Gemini-3.1 拿到 3.737 分。

聯(lián)影智能的研究團隊選擇了一條突破無人區(qū)的全新道路。方案可以概括為三件事：造一把標尺、建一套數(shù)據(jù)、發(fā)明一種訓(xùn)練方法

MedVidBench：全球公共標尺

要走進廣闊的無人區(qū)，必須有勇于探索的先行者，建立起最初的標尺。

換言之，任何領(lǐng)域的進步都離不開統(tǒng)一的評測基準。在其他研究領(lǐng)域里，ImageNet 定義了圖像分類的標準，GLUE 奠定了自然語言理解的基礎(chǔ)，但在醫(yī)療視頻理解領(lǐng)域，長期以來連一把「標尺」都沒有。

為了探索，并能夠便于后來者的研究，研究團隊構(gòu)建了MedVidBench，一個包含53 萬余條視頻 - 指令對的大規(guī)?；鶞蕯?shù)據(jù)集。它覆蓋了8 個專業(yè)醫(yī)學(xué)數(shù)據(jù)源（CholecT50、CholecTrack20、Cholec80-CVS、CoPESD、AVOS、EgoSurgery、JIGSAWS、NurViD），橫跨腹腔鏡、開放手術(shù)、機器人手術(shù)及護理操作等核心臨床場景。

圖 2：MedVidBench 概述。(a) MedVidBench 的高質(zhì)量數(shù)據(jù)管理流程。研究團隊將專家知識應(yīng)用于提示構(gòu)建，并使用 2 個 VLM（Gemini-2.5-Flash 和 GPT-4.1）生成高質(zhì)量文本。(b) MedVidBench 包含 8 個不同的數(shù)據(jù)集，總樣本量為 532k，涵蓋 4 個不同的領(lǐng)域。(c) 不同領(lǐng)域中多樣化任務(wù)示例。

更關(guān)鍵的是，MedVidBench 不只是「量大」。它包含了了8 大個不同的數(shù)據(jù)集，涵蓋三個粒度層級：

• 視頻級：理解整段視頻的全局信息，包含 VS（視頻摘要）、NAP（下一步操作預(yù)測）的任務(wù)；
• 片段級：定位和理解特定時間段的內(nèi)容，包含 TAG（時間動作定位）、STG（時空定位）、DVC（密集視頻描述）的任務(wù)；
• 幀級：對單幀畫面進行精細分析，包含 RC（區(qū)域描述）、CVS（關(guān)鍵安全視野評估）、SA（技能評估）的任務(wù)

這種「視頻 — 片段 — 幀」的三層架構(gòu)，完整還原了人類醫(yī)生觀看手術(shù)視頻時，由粗到細的認知過程：從整體流程出發(fā)，再聚焦關(guān)鍵步驟，最后審視細節(jié)。

數(shù)據(jù)質(zhì)量方面，團隊設(shè)計了一套嚴格的質(zhì)量保障流水線：專家引導(dǎo)式提示詞工程 + 雙模型交叉驗證（GPT + Gemini），確保每一條指令 - 響應(yīng)對都經(jīng)過雙重把關(guān)。數(shù)據(jù)集分為兩個版本 —— 大規(guī)模版（53 萬樣本，用于擴展實驗）和標準版（5.15 萬樣本，任務(wù)均衡，用于高效多任務(wù)學(xué)習(xí)）。

GRPO：好上加好

有了數(shù)據(jù)，下一個問題是：用什么訓(xùn)練方法最好？

我們知道，在特定任務(wù)和數(shù)據(jù)集上訓(xùn)練大模型，直觀的方法是通過監(jiān)督微調(diào)（SFT）。

基于 Qwen2.5-VL-7B，團隊在 MedVidBench 上進行了 SFT ，結(jié)果相當驚艷。在全部 8 項任務(wù)中，模型的表現(xiàn)全面超越了 GPT-4.1、Gemini-2.5-Flash、GPT-5.4 和 Gemini-3.1-flash-lite。在僅 7B 參數(shù)規(guī)模下，CVS 準確率高達 89.4%，是 GPT-5.4 的近 50 倍；而在 TAG@0.3 的 mIoU 上，更是達到了 Gemini-3.1 的 3 倍之多。

但 SFT 的方法是有上限的。為了能夠更進一步，團隊希望通過引入強化學(xué)習(xí)（RL），進一步提升模型輸出的質(zhì)量。

然而，標準的 RL 方法在這里遇到了一個致命問題：跨數(shù)據(jù)集獎勵尺度失衡

不同醫(yī)療視頻任務(wù)的難度差異極大。CoPESD 數(shù)據(jù)集上的 STG 任務(wù)中位 mIoU 約 0.5，而 EgoSurgery 上同樣的任務(wù)中位 mIoU 只有約 0.12。如果直接用原始獎勵信號做 RL 訓(xùn)練，簡單任務(wù)的梯度會淹沒困難任務(wù)的信號，導(dǎo)致優(yōu)化失衡甚至訓(xùn)練崩潰

實驗證實了這一點：不做歸一化時，CVS 準確率從 0.894 崩塌到 0.020，STG 的 mIoU 從 0.177 掉到 0.010。

團隊的解決方案是MedGRPO，核心是兩項算法創(chuàng)新：

圖 3：MedGRPO 概述。（a）包含跨數(shù)據(jù)集獎勵歸一化和醫(yī)療 LLM 裁判評估的 MedGRPO 框架。（b）使用和未使用獎勵歸一化訓(xùn)練的模型之間的訓(xùn)練熵比較。

第一項：跨數(shù)據(jù)集獎勵歸一化（Cross-Dataset Reward Normalization）。

關(guān)鍵洞察是中位數(shù)公平性：所有數(shù)據(jù)集 - 任務(wù)對的中位性能獲得相等的歸一化獎勵，消除了梯度更新中的偏差。團隊引入 Logistic 歸一化函數(shù)，將每個數(shù)據(jù)集的中位性能統(tǒng)一映射到相同的獎勵值 0.5：

其中 p_50是該數(shù)據(jù)集的中位性能，IQR 是四分位距。這個設(shè)計的精妙之處在于四重保證：

• 中位公平性：所有數(shù)據(jù)集在中位性能處獲得相同獎勵，無論絕對難度如何
• 平滑梯度：Logistic 函數(shù)處處可導(dǎo)，不會出現(xiàn)梯度消失或爆炸
• 離群值魯棒性：基于 IQR 縮放，極端異常值不會扭曲整體分布
• 有界輸出：獎勵值被限制在 (0,1) 區(qū)間內(nèi)，天然兼容 GRPO 的組歸一化機制

第二項：醫(yī)學(xué) LLM 評審（Medical LLM Judge）。

這是整個工作中最具洞察力的部分。團隊發(fā)現(xiàn)，傳統(tǒng)的語義相似度指標根本無法衡量醫(yī)學(xué)描述的臨床正確性 —— 前面提到的例子就是最好的佐證：「工具在上方區(qū)域抓取組織」與「抓鉗在右上象限分離膽囊管」，語義相似度高達 0.82，但醫(yī)學(xué)準確性天壤之別。

為此，團隊設(shè)計了基于 GPT-4.1 的比較評分系統(tǒng)，從五個臨床維度進行評判：

• 醫(yī)學(xué)術(shù)語精確性：使用的是臨床術(shù)語還是外行語言？
• 器械與解剖結(jié)構(gòu)識別：能否準確命名具體工具和人體結(jié)構(gòu)？
• 描述具體性：給出的是精確細節(jié)還是籠統(tǒng)概括？
• 臨床上下文感知：是否理解手術(shù)流程和安全規(guī)范？
• 動作與狀態(tài)準確性：對手術(shù)動作和組織狀態(tài)的判斷是否正確？

最終評分采用混合策略：LLM 評審得分占 50%，傳統(tǒng)語義相似度占 50%—— 既捕捉臨床正確性，又保留整體連貫性。

實際效果

說了這么多，采用了如此完善的數(shù)據(jù)集，以及團隊創(chuàng)新的 SFT + RL 方法，能否徹底改變大模型在醫(yī)療視頻理解領(lǐng)域只會「瞎猜」的現(xiàn)狀呢？

答案自然是肯定的，我們在前文的圖 1 中已經(jīng)能夠發(fā)現(xiàn)，采用完整訓(xùn)練的元智醫(yī)療視頻理解大模型在各項任務(wù)中成績遠遠領(lǐng)先于通用大模型。

圖 4：四個模型在 MedVidBench 上 8 個任務(wù)的主要結(jié)果。

這張多維圖像把元智醫(yī)療視頻理解大模型在 8 個主要任務(wù)上的優(yōu)勢表現(xiàn)的非常清晰，非常接近「八邊形戰(zhàn)士」。

以 GPT-5.4，Gemini-3.1 和 Qwen3.5-4B 為代表的前沿通用大模型表現(xiàn)出非常一致的「偏科」問題，但哪怕在其最擅長的視頻摘要任務(wù)中，仍然不敵元智醫(yī)療視頻理解大模型。

圖 5：uAI-NEXUS-MedVLM-1.0a-7B-RL在獎勵歸一化和 LLM 判斷上的消融研究。

比數(shù)據(jù)更能讓人直觀感受到大模型強大能力的自然是定性對比。在這里，我們選擇了畫面相對溫和的臨床護理中「青霉素皮試」操作的示例：

圖 6：臨床護理區(qū)域描述任務(wù)實驗結(jié)果

仔細看，對于大模型而言，對一個高于一分鐘時長的視頻進行內(nèi)容識別和理解，尤其是涉及醫(yī)學(xué)專用術(shù)語和精準定位的任務(wù)，即使對一個未經(jīng)醫(yī)學(xué)培訓(xùn)的人類而言都是極具挑戰(zhàn)性的。

• GPT-5.4 描述的內(nèi)容詳細，但出現(xiàn)了「排除殘留空氣」等幻覺現(xiàn)象。
• Gemini-3.1-Flash-lite 結(jié)果與 GPT-5.4 有些類似，但其出現(xiàn)了更明顯的時間標記錯誤。
• Qwen3.5-4B 則出現(xiàn)了典型的時間定位偏移，并出現(xiàn)描述兩次「進行皮內(nèi)注射」的顯著錯誤。

uAI-NEXUS-MedVLM-1.0b-4B-RL 的表現(xiàn)產(chǎn)生了顯著的進化。它不僅準確識別「皮膚消毒」和「皮內(nèi)注射」的時間位置，并準確描述人體前臂部位，準確表達醫(yī)療專業(yè)術(shù)語，并成功描述出細粒度操作過程。

模型輸出已經(jīng)從表層動作識別，走向?qū)ψo理操作邏輯的流程化的深度理解。這種提升說明，模型開始逐步建立起更接近臨床視角的視頻理解能力。

而且 MedGRPO 具備良好的泛化性，甚至在 4B 小模型 + RL 的配置下，多數(shù)任務(wù)的表現(xiàn)已經(jīng)超過 7B 的 SFT 基線。這意味著高效的醫(yī)療視頻理解不一定需要堆參數(shù)，正確的訓(xùn)練方法論同樣關(guān)鍵。

廣發(fā)「英雄帖」，共建基礎(chǔ)設(shè)施

通往醫(yī)療視頻理解領(lǐng)域的標尺已經(jīng)確立，向這一領(lǐng)域探索有了評估基準，一切都變得有跡可循。

要想真正讓醫(yī)療領(lǐng)域的人工智能走向?qū)嵱?，就需要讓全行業(yè)都來用這把標尺，共同推進醫(yī)療領(lǐng)域 AI 的模型進步和基礎(chǔ)設(shè)施建設(shè)。

團隊上線了MedVidBench 公開排行榜（Leaderboard），面向全球開發(fā)者發(fā)出正式邀請：任何團隊都可以提交自有模型的測試結(jié)果，由系統(tǒng)基于這一標準自動評分，動態(tài)更新統(tǒng)一榜單。

這是一張「英雄帖」，是一個持續(xù)運轉(zhuǎn)的全球競技平臺，開發(fā)者提交、系統(tǒng)評分、榜單刷新、排名迭代，形成完整的閉環(huán)。

• 排行榜鏈接：https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

作為領(lǐng)域內(nèi)首個完善的評測體系，具有深遠的意義：

構(gòu)建可信的統(tǒng)一評測框架。在醫(yī)療這樣一個極度依賴信任的行業(yè)，「自說自話」的 benchmark 沒有說服力。只有當全球不同機構(gòu)、不同技術(shù)路線的模型在同一套標準下接受檢驗時，評測框架本身才能獲得公信力。MedVidBench 的公開排行榜正是為此而生，打造一個共同認可的「行業(yè)標準」，讓所有參與者站在同一條起跑線上。

吸引全球開發(fā)者參與挑戰(zhàn)。排行榜天然具有競技屬性，競爭是推動領(lǐng)域進步的最有效引擎之一。當一家醫(yī)院的研究組、一所大學(xué)的實驗室、一家創(chuàng)業(yè)公司的工程師都能在同一個榜單上看到自己的排名，這種開放競技模式在大模型的經(jīng)典 benchmark 和 Arena 上已被反復(fù)驗證。

提升國際影響力與信任度。從更宏觀的視角看，一個被全球開發(fā)者廣泛使用的評測基準和排行榜，意味著打造這一大模型和評測標準的聯(lián)影智能正在從「中國的一家醫(yī)療 AI 公司」轉(zhuǎn)變?yōu)椤溉蜥t(yī)療視頻理解領(lǐng)域的基礎(chǔ)設(shè)施提供者」。

醫(yī)療 AI 走到今天，競爭焦點已經(jīng)不再局限于單個模型、單項指標或某一次榜單成績，而是技術(shù)突破的背后是否具備持續(xù)連接真實臨床場景、醫(yī)學(xué)數(shù)據(jù)體系、算法研究和工程落地的綜合能力。

在醫(yī)療視頻理解大模型的領(lǐng)域，元智醫(yī)療視頻理解大模型首次實現(xiàn)里程碑式的技術(shù)突破、其背后的研發(fā)團隊，正是長期深耕 AI 領(lǐng)域的創(chuàng)新企業(yè)：聯(lián)影智能

作為聯(lián)影集團旗下獨立運營的子公司，聯(lián)影智能專注于醫(yī)療數(shù)字化和智能化方向上的技術(shù)創(chuàng)新與商業(yè)落地布局，致力于成為全球數(shù)智醫(yī)療創(chuàng)新引領(lǐng)者。

去年聯(lián)影智能正式發(fā)布了面向醫(yī)療垂域、多模態(tài)協(xié)同的「元智」醫(yī)療大模型（簡稱：uAI NEXUS）。該大模型由文本、影像、視覺、語音、混合五個大模型組成，作為醫(yī)療數(shù)智化體系的堅實基座，可面向不同醫(yī)療場景輸出底層智能。本次開源的視頻理解大模型正是「元智」視覺大模型的重要能力延展與關(guān)鍵組成部分，進一步拓展了其在動態(tài)醫(yī)療場景中的理解、推理與決策能力。

為什么聯(lián)影智能攻克視覺理解這一公認的技術(shù)難題？我們認為，這是一個長期的、系統(tǒng)性的投入，常年的技術(shù)積累與業(yè)內(nèi)的綜合實力的厚積薄發(fā)，水到渠成。

第一層：真實臨床場景的長期浸潤。

聯(lián)影智能深耕醫(yī)療影像與人工智能融合領(lǐng)域多年，在真實臨床環(huán)境中積累了海量的多模態(tài)數(shù)據(jù)與應(yīng)用經(jīng)驗，并對醫(yī)院臨床需求有深刻洞察力。這種基于真實醫(yī)療體系長期沉淀的積累，讓模型從一開始就具備「臨床可用性」的基因。

第二層：頂會級算法研究的持續(xù)輸出。

聯(lián)影智能的研究團隊長期深耕計算機視覺與醫(yī)學(xué)影像分析方向，在手術(shù)視頻理解和多模態(tài)大模型等領(lǐng)域有深厚的技術(shù)儲備。相關(guān)成果已發(fā)表于 CVPR、NeurIPS、ICLR、ICCV、ECCV、AAAI 等國際頂級 AI 會議 —— 這意味著團隊在方法論層面始終站在領(lǐng)域最前沿。

第三層：從數(shù)據(jù)源頭到模型落地的完整閉環(huán)。

這是最關(guān)鍵、也最難復(fù)制的一環(huán)。團隊直接從數(shù)據(jù)源頭入手：對海量公共醫(yī)療視頻數(shù)據(jù)進行逐幀級精細標注，精確到每一幀畫面中的器械類型、空間位置、手術(shù)操作步驟、風(fēng)險評估等級等核心要素。這種近乎嚴苛的高顆粒度、多維度標注模式，使模型從訓(xùn)練的第一天起就建立起強大的視覺理解基礎(chǔ)，并逐步構(gòu)建出一套覆蓋多場景的 「感知 — 推理 — 決策」 完整能力體系。

通用大模型在互聯(lián)網(wǎng)文本和圖像上攻城略地的同時，手術(shù)室里的那臺攝像機仍在靜靜地記錄著一切。在這里，語言的華麗毫無意義，唯有毫米級的精度和對生命的絕對嚴肅才是金標準。

未來，元智醫(yī)療視頻理解大模型也有潛力深入融合具身智能，成為打通醫(yī)療影像、臨床決策與物理執(zhí)行的智能樞紐。形成「視覺感知 - 邏輯推理 - 物理執(zhí)行」的完整能力閉環(huán)，推動復(fù)雜醫(yī)療操作邁向全面數(shù)字化、結(jié)構(gòu)化與智能化。

醫(yī)療 AI 的落地是一場接力賽。聯(lián)影智能把模型和數(shù)據(jù)開源，把「接力棒」遞到了全行業(yè)手里。畢竟，手術(shù)刀尖上的事，只有全行業(yè)一起努力，才能讓 AI 真正從冷冰冰的論文數(shù)據(jù)，變成手術(shù)室里那盞照亮生命的「無影燈」。

https://www.reuters.com/investigations/ai-enters-operating-room-reports-arise-botched-surgeries-misidentified-body-2026-02-09/

https://www.gii.tw/report/tbrc1939265-artificial-intelligence-ai-enhanced-surgical-video.html