剛剛，AI醫(yī)療新突破，來(lái)自谷歌！

這一次，他們直接瞄準(zhǔn)了真實(shí)臨床環(huán)境的痛點(diǎn)。

長(zhǎng)期以來(lái)，醫(yī)療模型就像是一個(gè)“偏科生”，它擅長(zhǎng)“讀病歷”，卻對(duì)CT、MRI、病理切片這些醫(yī)學(xué)影像“力不從心”。

這是因?yàn)?，它們被迫用文本邏輯去理解圖像，導(dǎo)致效率低、錯(cuò)誤多、成本高。

為此，谷歌祭出了最新模型MedGemma 1.5，找到了破局答案。

相較于此前的MedGemma 1.5，MedGemma 1.5在多模態(tài)應(yīng)用上實(shí)現(xiàn)重大突破，融合了：

• 高維醫(yī)學(xué)影像：計(jì)算機(jī)斷層掃描（CT）、磁共振成像（MRI）和組織病理學(xué)

• 縱向醫(yī)學(xué)影像：胸部X光時(shí)間序列回顧

• 解剖定位：胸部X光片中解剖特征的定位

• 醫(yī)學(xué)文檔理解：從醫(yī)學(xué)實(shí)驗(yàn)室報(bào)告中提取結(jié)構(gòu)化數(shù)據(jù)

谷歌表示，MedGemma 1.5是首個(gè)公開(kāi)發(fā)布的開(kāi)源多模態(tài)大語(yǔ)言模型，既能夠解讀高維醫(yī)學(xué)數(shù)據(jù)，同時(shí)還擁有解讀通用二維圖像和文本的能力。

更關(guān)鍵的是，MedGemma 1.5只有40億參數(shù)量，這意味著，普通的消費(fèi)級(jí)顯卡甚至高性能工作站，就能流暢運(yùn)行。

MedGemma 1.5開(kāi)源地址：https://huggingface.co/google/medgemma-1.5-4b-it

不僅如此，谷歌還發(fā)布了MedASR，一個(gè)專門為醫(yī)療語(yǔ)音微調(diào)的語(yǔ)音識(shí)別模型，可以將醫(yī)生與患者的對(duì)話轉(zhuǎn)化為文本，并無(wú)縫接入到MedGemma。

MedASR開(kāi)源地址：https://huggingface.co/google/medasr

直白講，MedGemma 1.5解決「怎么看圖」，MedASR解決「怎么聽(tīng)音」。

這并不是簡(jiǎn)單的模型迭代，而是谷歌對(duì)“如何讓AI真正走進(jìn)診室”給出的一套體系化答案。

一個(gè)讀得透病歷、看得懂影像、聽(tīng)得清語(yǔ)音的AI醫(yī)生，即將走進(jìn)每一家醫(yī)院。

AI醫(yī)療，進(jìn)入多模態(tài)時(shí)代

在過(guò)去的一年里，我們見(jiàn)證了GPT-5等模型在醫(yī)學(xué)考試中的驚艷表現(xiàn)，

但在真實(shí)的臨床場(chǎng)景中，它們的表現(xiàn)往往不盡如人意。

一個(gè)重要的原因在于信息維度的斷層。

包括初代MedGemma在內(nèi)的很多醫(yī)療模型本質(zhì)是“文字專家”，對(duì)于圖像的理解能力不強(qiáng)，帶來(lái)了診斷信息的丟失。

MedGemma 1.5則在醫(yī)學(xué)影像應(yīng)用場(chǎng)景中實(shí)現(xiàn)了全方位、多維度的性能躍升，顯著超越其前代模型。

針對(duì)高維醫(yī)學(xué)影像，MedGemma 1.5做到了：

• CT

  疾病分類準(zhǔn)確率從

  58%

  提升至

  61%。

• MRI

  疾病分類準(zhǔn)確率從

  51%

  提升

  65%

  ，尤其在腦部、關(guān)節(jié)等復(fù)雜解剖結(jié)構(gòu)識(shí)別上進(jìn)步顯著。

• 全切片病理描述質(zhì)量

  ROUGE-L

  分?jǐn)?shù)從近乎無(wú)效的

  0.02

  提高到

  0.49

  ，達(dá)到專用模型

  PolyPath

  的水平（

  ），可生成臨床可用的組織學(xué)描述。

圖：MedGemma 1.5在醫(yī)療影像上的性能提升

針對(duì)縱向時(shí)序影像分析，MedGemma 1.5做到了：

• MS-CXR-T

  時(shí)序評(píng)估基準(zhǔn)上，宏觀準(zhǔn)確率從

  61%

  提升至

  66%

• 有效捕捉病灶動(dòng)態(tài)變化，例如判斷肺炎浸潤(rùn)是否吸收，支持隨訪決策

針對(duì)通用2D醫(yī)學(xué)圖像解讀，MedGemma 1.5做到了：

• 在內(nèi)部綜合單圖基準(zhǔn)（涵蓋

  X

  光、皮膚、眼底、病理切片）上，整體分類準(zhǔn)確率從

  59%

  提升至

  62%。

• 表明模型在保持廣泛

  2D

  能力的同時(shí)，未因新增高維任務(wù)而犧牲基礎(chǔ)性能。

針對(duì)結(jié)構(gòu)化醫(yī)學(xué)文檔，MedGemma 1.5做到了：

• 從非結(jié)構(gòu)化

  PDF

  或文本中提取檢驗(yàn)項(xiàng)目、數(shù)值、單位的宏平均

  F1

  分?jǐn)?shù)從

  60%

  提升至

  78%

  ）。

• 自動(dòng)構(gòu)建結(jié)構(gòu)化數(shù)據(jù)庫(kù)，打通影像

  文本

  檢驗(yàn)多源信息融合分析的最后一環(huán)。

圖：MedGemma 1.5在文本任務(wù)上的性能提升

與此同時(shí)，傳統(tǒng)的語(yǔ)音識(shí)別（ASR）模型在面對(duì)生僻醫(yī)療術(shù)語(yǔ)時(shí)，也表現(xiàn)得像一個(gè)完全沒(méi)受過(guò)醫(yī)學(xué)教育的外行，極高的詞錯(cuò)率讓AI錄入變成了醫(yī)生的負(fù)擔(dān)。

而新發(fā)布的自動(dòng)語(yǔ)音識(shí)別模型MedASR針對(duì)醫(yī)療進(jìn)行了微調(diào)，錯(cuò)誤率大大減少

研究人員將MedASR的性能與通用ASR模型Whisper large-v3進(jìn)行了對(duì)比。

發(fā)現(xiàn)MedASR在胸部X光口述錯(cuò)誤率上降低了58%，在不同?？浦g的口述中錯(cuò)誤減少82%。

萬(wàn)億谷歌，押注AI醫(yī)療

谷歌在醫(yī)療健康領(lǐng)域的布局十分深入，其技術(shù)觸角已延伸至行業(yè)各個(gè)角落。

投資上，谷歌通過(guò)旗下風(fēng)險(xiǎn)投資及其私募股權(quán)部門投資了許多生命科學(xué)公司。

其中，AI制藥成為谷歌偏愛(ài)的重點(diǎn)領(lǐng)域，在Google Ventures在2021年51筆醫(yī)療健康領(lǐng)域投資中，對(duì)于藥物研發(fā)的投資就達(dá)到28筆，超過(guò)半數(shù)。

合作層面，憑借業(yè)內(nèi)領(lǐng)先的人工智能、云計(jì)算等服務(wù)，谷歌近年來(lái)與拜耳、輝瑞、施維雅、梅奧診所等藥企和醫(yī)院達(dá)成協(xié)議，探索從藥物研發(fā)到臨床診療的智能解決方案。

在內(nèi)部，谷歌除了Google Health外，還有包括Verily、Calico在內(nèi)專注于不同領(lǐng)域的業(yè)務(wù)單元，形成多元化的強(qiáng)大矩陣。

尤其是，作為全球頂尖的人工智能研究機(jī)構(gòu)，GoogleDeepMind推出多個(gè)具有重要意義的科學(xué)模型，包括AlphaFold（蛋白質(zhì)結(jié)構(gòu)）、AlphaGenome（DNA調(diào)控）、C2S-Scale（單細(xì)胞）等。

DeepMind的CEO，Demis Hassabis，就因?yàn)樵贏I蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)上的貢獻(xiàn)獲得了2024年諾貝爾化學(xué)獎(jiǎng)。

近年來(lái)，在大語(yǔ)言模型的潮流下，谷歌也開(kāi)發(fā)了多款用于醫(yī)療保健的垂類大模型。

這些模型不僅能夠幫助醫(yī)生更精準(zhǔn)地診斷疾病，還能為患者提供個(gè)性化的健康建議。

谷歌團(tuán)隊(duì)首先研發(fā)了Flan-PaLM，這一模型挑戰(zhàn)了美國(guó)醫(yī)學(xué)執(zhí)照考試（USMLE），取得了67.6%的成績(jī)，比此前最好的模型提高了17%。

之后，谷歌發(fā)布了Med-PaLM，該成果登上了Nature，經(jīng)過(guò)專業(yè)臨床醫(yī)生評(píng)判，Med-PaLM對(duì)實(shí)際問(wèn)題的回答準(zhǔn)確率與真人相差無(wú)幾。

2023年，全球首個(gè)全科醫(yī)療大模型Med-PaLM M發(fā)布，其在14項(xiàng)測(cè)試任務(wù)（問(wèn)題回答、報(bào)告生成和摘要、視覺(jué)問(wèn)題回答、醫(yī)學(xué)圖像分類和基因組變體調(diào)用）中均接近或超過(guò)現(xiàn)有SOTA。

去年，谷歌首席健康官Karen DeSalvo博士宣布了六項(xiàng)進(jìn)展，包括AI制藥模型TxGemma、獲得FDA批準(zhǔn)的手表脈搏停止檢測(cè)功能、多智能體系統(tǒng)“AI聯(lián)合科學(xué)家”、兒科個(gè)性化癌癥治療模型等。

從醫(yī)學(xué)影像到藥物研發(fā)，從健康助手到可穿戴設(shè)備，谷歌正在重新定義未來(lái)醫(yī)療，

—The End—