這項由哈佛醫(yī)學院、哈佛大學肯普納自然與人工智能研究所、南加州大學、卡內(nèi)基梅隆大學以及斯坦福大學聯(lián)合開展的研究，以預(yù)印本形式于2026年4月發(fā)布，論文編號為arXiv:2604.06505。感興趣的讀者可通過該編號查閱完整原文。

醫(yī)生在寫病歷報告時有一個固定的習慣：先描述病人的情況，再說明用了什么檢查或治療，然后匯報結(jié)果，最后寫一段結(jié)論——"綜合以上，患者的病因最可能是……"。這個"最后一步"看似簡單，實則需要大量的臨床經(jīng)驗和專業(yè)判斷?，F(xiàn)在，研究團隊想知道的是：人工智能能不能學會做這個"最后一步"？

這個問題并不像表面那么簡單。醫(yī)學論文的摘要結(jié)構(gòu)與病歷報告非常相似，通常包含背景、方法、結(jié)果，最后是結(jié)論。如果把前三部分喂給一個AI，讓它寫出最后的結(jié)論，它能寫出接近人類科學家水平的內(nèi)容嗎？為了回答這個問題，研究團隊做了一件規(guī)模驚人的事情：他們從PubMed（全球最大的醫(yī)學文獻數(shù)據(jù)庫）中收集了整整570萬篇帶有結(jié)構(gòu)化摘要的醫(yī)學論文，構(gòu)建了一個叫做MedConclusion的超大規(guī)模數(shù)據(jù)集，并用它來系統(tǒng)性地測試各類大語言模型的推理能力。

一、為什么需要570萬篇論文？醫(yī)學AI推理的困境

考慮這樣一個場景：你是一位醫(yī)學研究生，導(dǎo)師給你一堆實驗數(shù)據(jù)，然后問你："根據(jù)這些結(jié)果，你的結(jié)論是什么？"這個問題要求你不能瞎猜，不能引入數(shù)據(jù)里沒有的信息，必須基于已知證據(jù)做出合理的推斷。這正是醫(yī)學科研中最核心的能力之一，也是MedConclusion這個數(shù)據(jù)集想要測試的能力。

在這項工作誕生之前，研究界并非沒有人嘗試過類似的方向。然而，此前的數(shù)據(jù)集普遍存在兩個明顯的短板。一方面，它們的規(guī)模太小、范圍太窄——有的只收集了隨機對照試驗的摘要，有的專注于心臟超聲報告這類特定格式的文本，覆蓋面相當有限；另一方面，這些數(shù)據(jù)集通常缺少期刊層面的元數(shù)據(jù)，也就是說，它們不告訴你這篇論文發(fā)表在什么檔次的期刊上、屬于哪個醫(yī)學子領(lǐng)域。沒有這些信息，就很難分析AI在不同專業(yè)領(lǐng)域、不同難度級別的論文上表現(xiàn)有何差異。

正是為了填補這個空白，研究團隊花費大量工程工作，構(gòu)建了MedConclusion。這個數(shù)據(jù)集涵蓋2000年至2025年間發(fā)表的5,692,839篇結(jié)構(gòu)化摘要，來自3,772種不同的期刊，橫跨141個醫(yī)學子領(lǐng)域。每一條數(shù)據(jù)的結(jié)構(gòu)很簡單：輸入是摘要中除結(jié)論以外的所有部分（背景、方法、結(jié)果等），輸出目標是原文作者親筆撰寫的結(jié)論。此外，每篇論文還附帶了期刊的學科分類標簽，以及該期刊的SJR分數(shù)——SJR是一種衡量期刊學術(shù)影響力的評分體系，類似于學術(shù)界的"信譽評級"，分數(shù)越高代表期刊在同行中越受認可和引用。

二、570萬篇論文是怎么收集和整理的？

數(shù)據(jù)收集的過程本身就是一項浩大的工程。研究團隊使用PubMed官方提供的命令行工具EDirect，向數(shù)據(jù)庫發(fā)送查詢指令，專門篩選那些帶有"結(jié)構(gòu)化摘要"標記的文章，然后批量下載對應(yīng)的XML格式原始記錄。

拿到原始數(shù)據(jù)之后，團隊還需要做大量的清洗工作。他們首先對記錄進行去重處理，通過文章的唯一編號（PMID）、數(shù)字對象標識符（DOI）以及經(jīng)過標準化處理的標題，剔除重復(fù)收錄的文章。接著，程序會過濾掉那些不是英文、缺少核心書目信息、或者摘要段落數(shù)少于三個的記錄。最關(guān)鍵的一步是識別結(jié)論段落：團隊整理了一份詳盡的"結(jié)論標簽變體清單"，包含了"CONCLUSION"、"CONCLUSIONS"、"AUTHORS' CONCLUSIONS"、"CONCLUSIONS AND RELEVANCE"等二十余種在實際論文中出現(xiàn)過的結(jié)論標簽寫法，只要摘要中包含這些標簽之一，才會被納入數(shù)據(jù)集。

與此同時，每篇論文所在期刊的學科分類信息和歷年SJR評分，則從SCImago Journal & Country Rank數(shù)據(jù)庫中單獨檢索和對齊。這個數(shù)據(jù)庫是一個公開的文獻計量資源，基于Scopus的引用數(shù)據(jù)計算期刊影響力，每年更新一次。通過這一系列操作，研究團隊最終獲得了一個干凈、結(jié)構(gòu)一致、信息豐富的570萬條記錄的數(shù)據(jù)集。

三、測試AI的四種"答題方式"

有了數(shù)據(jù)集，下一步就是實驗設(shè)計。研究團隊設(shè)計了四種不同的提示方式，用來測試AI在不同指令下的表現(xiàn)，這四種方式就像是給考生出了四種不同形式的同一道題。

第一種方式（稱為A模式）是最基礎(chǔ)的結(jié)論寫作指令：給AI看摘要的非結(jié)論部分，要求它以正式學術(shù)風格寫出結(jié)論，不限制字數(shù)和句數(shù)。第二種方式（B模式）則把任務(wù)換成寫摘要：同樣的輸入，但要求AI寫的是對全文的概括性總結(jié)，而非結(jié)論。第三種方式（C模式）在A模式的基礎(chǔ)上加入了格式約束：不僅要寫結(jié)論，還必須匹配原文的寫作風格，并且控制句子數(shù)量和字數(shù)，以盡量接近原始結(jié)論的篇幅。第四種方式（D模式）則是在B模式基礎(chǔ)上加入同樣的格式約束。

這四種方式形成了兩個對比維度：結(jié)論寫作與摘要寫作的對比，以及加格式約束與不加格式約束的對比。這樣的設(shè)計讓研究者能夠回答兩個關(guān)鍵問題：AI在寫"結(jié)論"和寫"摘要"時，行為上有沒有本質(zhì)區(qū)別？給AI加上長度和風格的約束，會讓它更接近人類作者的寫法嗎？

四、評分標準：AI寫出來的結(jié)論怎么打分？

判斷AI寫出的結(jié)論好不好，其實比想象中復(fù)雜得多。一篇醫(yī)學結(jié)論不只是文字上流暢就夠了——它必須在意思上貼近原文、不與原文矛盾、數(shù)字信息準確、寫作風格接近原作者，而且整體要足夠正式。

研究團隊采用了兩套評分體系，形成互補。第一套是基于規(guī)則的參考指標，包括幾個經(jīng)典的文本評估工具：ROUGE分數(shù)（衡量AI寫的內(nèi)容與原文有多少詞語重疊，分為ROUGE-1、ROUGE-2和ROUGE-L三種粒度）、BLEU分數(shù)（同樣衡量詞語級別的重合度，但計算方式略有不同）、句子嵌入余弦相似度（把兩段文字轉(zhuǎn)換成向量，看兩個向量指向有多接近，代表語義層面的相似性）、以及困惑度（用GPT-2這個語言模型來判斷文本是否流暢自然，分數(shù)越低代表越通順）。此外還有字數(shù)比和句數(shù)比兩個輔助指標，用來衡量AI生成的文本在長度上是否與原文接近。

第二套是"AI當裁判"（LLM-as-a-judge）的評分方式，研究團隊用另一個大語言模型來充當打分官，對AI生成的結(jié)論和原始人類結(jié)論進行對比，從五個維度分別打0到100分。這五個維度分別是：語義相似度（意思有多接近）、寫作風格相似度（措辭、句式、修辭風格有多接近）、非矛盾率（生成的結(jié)論有沒有和原文產(chǎn)生邏輯沖突）、數(shù)字一致性（涉及的數(shù)據(jù)、比例、方向是否與原文吻合）、以及正式程度相似度（兩者的學術(shù)正式程度是否匹配）。

五、哪些AI模型表現(xiàn)最好？

研究團隊一共測試了15個不同的大語言模型，涵蓋商業(yè)閉源模型、開源指令模型、多模態(tài)模型（能處理圖片和文字）以及專門為推理任務(wù)優(yōu)化的模型。由于評估成本的限制，實驗在從數(shù)據(jù)集中隨機抽取的3萬條樣本上進行。

按照主裁判（GPT-5.4-mini）的評分結(jié)果，GPT-5.4在所有五個維度上均排名第一：語義相似度73.22分，寫作風格相似度71.21分，非矛盾率84.61分，數(shù)字一致性88.24分，正式程度相似度89.80分。Gemini 3.1 Pro和Gemini 3 Flash緊隨其后，各維度得分與GPT-5.4相差不超過兩三分。Gemma-3-27B和GLM-4.6V也表現(xiàn)相當穩(wěn)健，處于第一梯隊的邊緣位置。

然而，基于詞語重疊度的傳統(tǒng)指標卻講述了一個不同的故事。在ROUGE和BLEU這類指標上，DeepSeek-V3.2反而拔得頭籌，ROUGE-1得分0.35、ROUGE-2得分0.11，均高于GPT-5.4的0.34和0.10。與此同時，Gemma-2-9B在句子嵌入相似度上得分最高（0.78），但它在AI裁判的語義相似度維度上卻落后于GPT-5.4。這種矛盾現(xiàn)象揭示了一個重要事實：不同的評估工具在衡量的并不是同一件事，詞語重疊、語義接近、邏輯一致性是各自獨立的維度，某個模型在一個維度上表現(xiàn)出色，并不意味著它在其他維度上同樣優(yōu)秀。這也正是研究團隊堅持采用混合評估方案的原因。

規(guī)模較小的模型，如Llama-3.2-1B，在各項指標上均明顯落后于其他模型，語義相似度只有54.17分，這與其他大模型有相當大的差距，體現(xiàn)出模型規(guī)模對于復(fù)雜推理任務(wù)的重要性。

至于專為推理任務(wù)優(yōu)化的DeepSeek-R1，則出現(xiàn)了一個有趣的現(xiàn)象：它的字數(shù)比高達9.45，句數(shù)比高達11.17，意味著它生成的文本比原始結(jié)論長了將近10倍。這是因為推理模型傾向于把思考過程也寫出來，而不是像人類醫(yī)學作者那樣直接給出簡潔的結(jié)論。這種冗長直接導(dǎo)致其ROUGE和BLEU分數(shù)大幅下滑（ROUGE-1僅0.15），但在數(shù)字一致性方面（75.58分）并不算差，說明內(nèi)容本身并非錯誤，只是格式與預(yù)期大相徑庭。

六、寫"結(jié)論"和寫"摘要"，AI的表現(xiàn)差別很大

當研究團隊把任務(wù)從"寫結(jié)論"切換為"寫摘要"時，發(fā)現(xiàn)了一個非常清晰的行為差異，這也是整個研究中最有趣的發(fā)現(xiàn)之一。

在無格式約束的情況下，GPT-5.4從A模式（寫結(jié)論）切換到B模式（寫摘要）之后，語義相似度從73.22分微降至72.11分，降幅很小，說明摘要在語義上確實抓住了原文的大意。但寫作風格相似度卻從71.20急跌至62.60，足足下降了8.6分。更戲劇性的變化發(fā)生在數(shù)字一致性上：從88.24分暴跌至66.24分，下降了整整22分。

這個結(jié)果意味著什么？當AI被要求寫摘要而非結(jié)論時，它傾向于保留論文的核心含義，但會換一種不同的敘述方式，選擇不同的細節(jié)，特別是對于數(shù)字數(shù)據(jù)的取舍和呈現(xiàn)方式，與原始結(jié)論差異顯著。人類作者在寫結(jié)論時，會非常精挑細選地引用關(guān)鍵數(shù)字；而AI在寫摘要時，可能會引用不同的數(shù)字，或者忽略某些數(shù)據(jù)，或者以不同的比例形式呈現(xiàn)。

加入格式約束（長度和風格匹配要求）之后，情況更加有趣。C模式（有約束的結(jié)論寫作）與A模式相比，語義相似度略微下降（從73.22到70.90），但數(shù)字一致性卻顯著提升，從88.24飆升至91.36。這說明當AI被明確要求模仿原文的寫作風格并控制篇幅時，它對數(shù)字的選擇和處理變得更加精準。D模式（有約束的摘要寫作）則是四種模式中表現(xiàn)最差的：語義相似度降至64.99，數(shù)字一致性僅74.06。

研究團隊進一步驗證了這一結(jié)論在所有112個醫(yī)學子領(lǐng)域中的普遍性。他們發(fā)現(xiàn)，在全部112個類別中，從結(jié)論模式切換到摘要模式之后，寫作風格相似度的降幅始終為正（最小降幅3.8分，平均降幅8.3分，最大降幅13.7分），數(shù)字一致性的降幅同樣始終為正（最小降幅11.3分，平均降幅21.6分，最大降幅41.3分）。唯一的異常是生物技術(shù)領(lǐng)域，在這個類別中，摘要模式的語義相似度反而略微高于結(jié)論模式（差值-4.0），但即便如此，數(shù)字一致性的降幅依然高達27.2分。

七、裁判不同，分數(shù)差多少？

研究團隊還做了一個關(guān)于評估可靠性的重要實驗：如果換一個AI來當裁判，分數(shù)會變嗎？

實驗結(jié)果相當令人警覺。當裁判從GPT-5.4-mini換成Gemini 3 Flash時，同一批AI生成的結(jié)論，語義相似度從約73分直接跳到約84分，非矛盾率從約82分跳到約97分，數(shù)字一致性從約87分跳到約98分——幾乎所有維度都有10到15分的大幅提升。唯一變動相對較小的是寫作風格相似度，兩個裁判給出的分數(shù)差異不超過兩分。

這個現(xiàn)象說明，AI裁判本身就存在一種"打分風格"的差異：不同的AI模型對同一份答案的打分傾向并不一致，有的裁判整體偏寬松，有的偏嚴苛。這就像同一篇作文，遇到不同的語文老師可能得到很不一樣的分數(shù)。好消息是，模型之間的相對排名保持了一定的穩(wěn)定性——無論哪個裁判來評分，GPT-5.4都排在第一位，說明相對優(yōu)劣的判斷比絕對分數(shù)更可靠。但絕對分數(shù)本身不能輕信，必須注明是哪個裁判給出的評分才有意義。

八、不同醫(yī)學領(lǐng)域，AI的發(fā)揮差距有多大？

期刊的SJR評分與AI表現(xiàn)之間的關(guān)系，比研究團隊預(yù)期的要微妙得多。從統(tǒng)計上看，SJR評分較高的期刊，其結(jié)論的ROUGE分數(shù)和寫作風格相似度略高，且這些正相關(guān)在統(tǒng)計上顯著（p值小于0.001）。然而，這些相關(guān)系數(shù)的數(shù)值都非常?。≧OUGE-1的Pearson相關(guān)系數(shù)約為0.067），說明期刊聲望只是影響AI表現(xiàn)的一個非常弱的因素，絕對不是決定性因素。更有趣的是，數(shù)字一致性和期刊SJR之間呈現(xiàn)出微弱的負相關(guān)，也就是說，越是高影響力期刊的論文，AI在數(shù)字細節(jié)上的一致性反而略低——這可能是因為頂級期刊的論文通常包含更多、更復(fù)雜的統(tǒng)計數(shù)據(jù)，AI在處理這些細節(jié)時更容易出現(xiàn)偏差。

在醫(yī)學子領(lǐng)域?qū)用?，研究團隊比較了表現(xiàn)最好和最差的五個類別。當按語義相似度排名時，表現(xiàn)最好的五個類別（實驗與認知心理學、內(nèi)分泌與自主神經(jīng)系統(tǒng)、高級?？谱o理、環(huán)境科學、急救護理）呈現(xiàn)出一個美麗的雷達圖：不僅語義相似度高，寫作風格、數(shù)字一致性、非矛盾率和詞語重疊度也同步較高，各個維度均衡發(fā)展。而表現(xiàn)最差的五個類別（污染研究、健康毒理學與致突變性、計算機科學應(yīng)用、應(yīng)用微生物學與生物技術(shù)、軟件）的雷達圖則雜亂不均。

當按ROUGE-L排名時，視角發(fā)生了一個意味深長的轉(zhuǎn)變。Gerontology（老年醫(yī)學）按ROUGE-L排名躋身前五，但在語義相似度和數(shù)字一致性上卻遠落后于按語義相似度排名的前五——這暗示著AI寫的結(jié)論與原文共享了大量相同的詞語，但背后的意思和具體數(shù)字細節(jié)并不那么吻合。這種現(xiàn)象如同兩個人復(fù)述同一個故事，一個人用了很多和原故事相同的詞，但理解卻有偏差；另一個人換了一套說法，但意思抓得很準。

最值得關(guān)注的極端案例是軟件類別：它的語義相似度在全部112個類別中最低（僅61.0分），但數(shù)字一致性卻高達96.4分——這說明AI在軟件領(lǐng)域相關(guān)的論文上，雖然整體意思沒太對上，但對數(shù)字的復(fù)述反而很準確。這種內(nèi)部不一致性再次印證了單一評估指標的局限性。

由此可見，歸根結(jié)底這項研究想告訴我們的是：教會AI做科學推理，比我們想象的要復(fù)雜得多，也有趣得多。

MedConclusion數(shù)據(jù)集的意義在于，它提供了一個真正大規(guī)模、跨領(lǐng)域、有元數(shù)據(jù)支撐的測試場地，讓研究者可以系統(tǒng)性地研究AI在科學推理上的能力邊界。從實驗結(jié)果來看，目前最強的商業(yè)AI模型（如GPT-5.4）確實能夠?qū)懗鲈谡Z義和邏輯上基本靠譜的醫(yī)學結(jié)論，但距離完全達到人類專家水平仍有差距，尤其是在精確復(fù)現(xiàn)特定數(shù)字細節(jié)和匹配寫作風格方面。更重要的是，不同的評估工具會給出相互矛盾的排名結(jié)論，這提醒我們在評價AI能力時，不應(yīng)依賴單一指標，而需要像這個研究一樣，采用多維度的混合評估體系。

對于普通人來說，這項研究的意義是雙重的。一方面，它讓我們對AI輔助科研工具有了更清醒的認識：AI確實能幫助科學家起草結(jié)論，但在精確的數(shù)字一致性和特定的寫作風格方面，仍需要人類專家的審核和把關(guān)。另一方面，它也提醒了研究界：評估工具本身就值得被評估，當你用AI來打分時，換一個AI可能會得到截然不同的分數(shù)，這種"裁判效應(yīng)"需要被更嚴肅地對待。MedConclusion數(shù)據(jù)集本身也將作為一個公開的研究資源，供未來的科學家繼續(xù)探索AI的科學推理邊界——570萬篇論文，夠研究者們忙上相當長的時間了。

Q&A

Q1：MedConclusion數(shù)據(jù)集和之前的醫(yī)學NLP數(shù)據(jù)集有什么區(qū)別？

A：MedConclusion最主要的優(yōu)勢在于規(guī)模和覆蓋面。之前的類似數(shù)據(jù)集要么規(guī)模很?。◣兹f條記錄），要么只專注于某一類特定論文（比如隨機對照試驗或心臟超聲報告）。MedConclusion包含570萬條記錄，來自3772種期刊和141個醫(yī)學子領(lǐng)域，還附帶了每個期刊的學術(shù)影響力評分（SJR），可以用來研究AI在不同專業(yè)難度水平下的表現(xiàn)差異，是目前同類任務(wù)中規(guī)模最大、信息最完整的數(shù)據(jù)集。

Q2：AI寫結(jié)論和寫摘要有什么本質(zhì)區(qū)別？

A：從MedConclusion的實驗結(jié)果來看，當AI被要求寫摘要而非結(jié)論時，整體意思通常相差不大，但寫作風格和數(shù)字細節(jié)的處理方式會明顯不同。摘要模式下，AI傾向于以更概括的方式重述內(nèi)容，對特定數(shù)字的引用和呈現(xiàn)方式與人類作者寫結(jié)論時差異較大。數(shù)字一致性指標在摘要模式下平均下降了20分以上，說明結(jié)論寫作和摘要寫作在AI看來確實是兩種不同的任務(wù)。

Q3：用不同AI模型來評分，結(jié)果會差很多嗎？

A：差異相當顯著。研究團隊同時使用GPT-5.4-mini和Gemini 3 Flash作為裁判評分同一批結(jié)果，發(fā)現(xiàn)語義相似度的絕對分數(shù)相差約11分，非矛盾率相差約15分，數(shù)字一致性相差約10分。不過，兩個裁判給出的模型相對排名基本一致，GPT-5.4在兩個裁判下都排名第一。這說明絕對分數(shù)受裁判本身影響很大，但相對優(yōu)劣的判斷更為穩(wěn)健。