這項(xiàng)由上海交通大學(xué)人工智能學(xué)院、物理與天文學(xué)院、李政道研究所、中國科學(xué)院理論物理研究所、浙江實(shí)驗(yàn)室及DP Technology等多家機(jī)構(gòu)聯(lián)合開展的研究，以預(yù)印本形式發(fā)布于2026年4月，編號(hào)為arXiv:2604.15411，感興趣的讀者可通過該編號(hào)檢索完整論文。

**當(dāng)AI遇上諾貝爾獎(jiǎng)級(jí)別的物理難題**

物理學(xué)家的日常工作是什么樣的？不是坐在黑板前抄公式，也不是把書上的題目做一遍。真正的物理研究更像是在一片陌生的森林里探險(xiǎn)——沒有地圖，沒有現(xiàn)成的路，只有一個(gè)模糊的目的地。研究者需要自己判斷從哪里出發(fā)，選什么工具，走哪條路，還要隨時(shí)準(zhǔn)備推翻自己剛走出來的一段路，重新規(guī)劃方向。

現(xiàn)在的人工智能，尤其是那些能寫文章、解數(shù)學(xué)題、回答各種問題的大型語言模型，已經(jīng)在很多任務(wù)上表現(xiàn)出驚人的能力。但這些AI真的能勝任物理學(xué)家的工作嗎？不是做做填空題那種，而是真正意義上的科學(xué)探索？

為了回答這個(gè)問題，來自上交大及多家合作機(jī)構(gòu)的研究團(tuán)隊(duì)設(shè)計(jì)了一套考題，題目直接來源于物理學(xué)領(lǐng)域頂尖期刊《物理評(píng)論快報(bào)》（Physical Review Letters，簡稱PRL）上剛剛發(fā)表的真實(shí)論文。這套考題被命名為PRL-BENCH，專門用來測(cè)試AI在真實(shí)物理研究場景中的能力邊界。

**一、為什么現(xiàn)有的AI考題已經(jīng)不夠用了**

在說PRL-BENCH之前，先要理解一個(gè)問題：現(xiàn)在已經(jīng)有很多測(cè)試AI能力的考題集，為什么還需要一套新的？

現(xiàn)有的那些頂級(jí)AI測(cè)試題，大多數(shù)走的是"奧林匹克競賽"路線，比如各種數(shù)學(xué)和理科競賽題，甚至還有一套被稱為"人類最后考試"（Humanity's Last Exam）的超難題集，把全球各大學(xué)科里最難的題目匯集在一起。這些題目確實(shí)越來越難，但它們本質(zhì)上都有一個(gè)共同特點(diǎn)：題目有明確的出發(fā)點(diǎn)，解題路徑基本上是固定的，答案是唯一的，對(duì)不對(duì)一目了然。

可以用烹飪來類比：競賽題就像是給你一份食譜，告訴你用什么食材、什么步驟、煮多少分鐘，你的任務(wù)是嚴(yán)格按照食譜做出菜來，做得越精準(zhǔn)越好。而真正的物理研究更像是讓你進(jìn)入一個(gè)廚房，告訴你"做一道能讓人吃了精神振奮的菜"，至于用什么食材、什么方法、什么火候，全靠你自己判斷。

這個(gè)區(qū)別至關(guān)重要。真實(shí)的科研需要研究者在沒有明確指引的情況下，自主選擇理論框架，自己規(guī)劃研究路徑，在探索過程中不斷調(diào)整方向，最終得出可以被驗(yàn)證的結(jié)論?，F(xiàn)有的AI測(cè)試題，即便再難，也只是在考察"按圖索驥"的能力，而不是"自主探索"的能力。

物理領(lǐng)域已有的一些專項(xiàng)測(cè)試，比如TPBench和PHYBench，雖然專門針對(duì)物理學(xué)，但同樣依賴短小精悍、路徑清晰的問題，沒有觸及真實(shí)研究的長鏈條、多步驟、開放性探索這些核心特征。還有一套叫FrontierScience的測(cè)試嘗試向真實(shí)研究靠攏，但其中涉及物理的題目只有20道，覆蓋面太窄，尤其缺少凝聚態(tài)物理和高能物理這兩個(gè)現(xiàn)代物理的核心領(lǐng)域。

PRL-BENCH正是為了填補(bǔ)這個(gè)空白而誕生的。

**二、出題來源：直接從頂刊最新論文里取材**

PRL-BENCH的題目來源非常直接：研究團(tuán)隊(duì)從《物理評(píng)論快報(bào)》2025年8月至2026年3月間發(fā)表的最新論文中，精心挑選了100篇，作為題目的素材庫。

《物理評(píng)論快報(bào)》在物理學(xué)界的地位相當(dāng)于武俠小說里的"武林盟主"——能在上面發(fā)表論文，意味著研究質(zhì)量經(jīng)過了頂尖同行的嚴(yán)格評(píng)審，代表著當(dāng)前物理研究的最前沿水平。選擇最新期次的論文，還有一個(gè)額外的好處：這些內(nèi)容很可能沒有被用來訓(xùn)練現(xiàn)有的AI模型，可以最大程度避免AI"背答案"的情況。

在篩選論文時(shí)，研究團(tuán)隊(duì)有一條明確的原則：只選理論推導(dǎo)和數(shù)值計(jì)算為主的工作，排除以實(shí)驗(yàn)為主的研究，也排除那些需要海量數(shù)據(jù)集、大規(guī)模計(jì)算資源或?qū)ｉT仿真軟件才能完成的工作。這樣做的原因是，測(cè)試AI解決理論和計(jì)算問題的能力，需要有一個(gè)客觀、可驗(yàn)證的標(biāo)準(zhǔn)，而實(shí)驗(yàn)性工作的結(jié)果往往受到太多外部條件影響，難以公平評(píng)判。

100篇論文覆蓋了現(xiàn)代物理的五個(gè)主要方向：天體物理學(xué)、凝聚態(tài)物理學(xué)、高能物理學(xué)、量子信息與基礎(chǔ)物理，以及統(tǒng)計(jì)物理與復(fù)雜系統(tǒng)。這五個(gè)方向各有特色，既有依賴嚴(yán)格數(shù)學(xué)結(jié)構(gòu)的理論框架，也有需要構(gòu)建物理模型進(jìn)行近似估算的方法，還有以數(shù)值計(jì)算和現(xiàn)象描述為主的研究，可以全面檢驗(yàn)AI在不同物理思維模式下的表現(xiàn)。

從題目分布來看，量子信息方向占比最大，達(dá)到36%，凝聚態(tài)物理以31%居次，天體物理占16%，高能物理占10%，統(tǒng)計(jì)物理占8%。這個(gè)分布大致反映了當(dāng)前物理前沿研究的熱點(diǎn)分布。

**三、題目長什么樣：像真實(shí)科研任務(wù)的極簡版**

PRL-BENCH的每道題都有四個(gè)組成部分，就像一個(gè)精心設(shè)計(jì)的探險(xiǎn)任務(wù)說明書。

第一部分是"研究動(dòng)機(jī)"，用幾句話交代這道題的科學(xué)背景和研究目標(biāo)，讓解題者明白為什么要研究這個(gè)問題，但不會(huì)告訴你應(yīng)該怎么做。第二部分是"核心任務(wù)"，給出一個(gè)具體的研究目標(biāo)，但解題路徑完全開放，需要自己規(guī)劃。第三部分是"答案與評(píng)分標(biāo)準(zhǔn)"，包含可以客觀驗(yàn)證的最終答案，比如具體的數(shù)值、解析公式或判斷結(jié)論，以及一套結(jié)構(gòu)化的中間評(píng)分標(biāo)準(zhǔn)，用來檢查解題過程中的關(guān)鍵推理步驟是否正確。第四部分是"詳細(xì)解答"，提供專家給出的完整解題過程，作為評(píng)判的參考基準(zhǔn)。

更重要的是，每道大題通常包含若干個(gè)相對(duì)獨(dú)立的小問題，這些小問題雖然共享同一個(gè)科學(xué)背景，但并不形成嚴(yán)格的線性依賴鏈——也就是說，前一個(gè)小問題答錯(cuò)了，不會(huì)導(dǎo)致后面所有問題都無法完成。這個(gè)設(shè)計(jì)非常聰明：在真實(shí)科研中，一個(gè)推導(dǎo)步驟出錯(cuò)不代表整個(gè)研究全盤皆輸，研究者可以從不同角度切入同一個(gè)問題。將這種結(jié)構(gòu)引入測(cè)試，既能減少誤差傳播對(duì)評(píng)分的影響，也能更準(zhǔn)確地反映AI在不同類型子任務(wù)上的真實(shí)能力。

以題目集中展示的一個(gè)典型例子來說明。這道題關(guān)于格規(guī)范理論的張量網(wǎng)絡(luò)模擬，背景是一種用來研究格點(diǎn)規(guī)范場的計(jì)算方法。題目給出了物理系統(tǒng)的基本哈密頓量形式，以及采用了"規(guī)范不變的PEPS擬設(shè)"這一特定方法框架，然后讓解題者完成四個(gè)小任務(wù)：計(jì)算特定參數(shù)下基態(tài)能量對(duì)耦合常數(shù)的一階和二階導(dǎo)數(shù)；在有靜態(tài)電荷的情況下計(jì)算某些可觀測(cè)量的平方期望值，并判斷它們的對(duì)稱性關(guān)系；計(jì)算混合系統(tǒng)中哈密頓量在中心格點(diǎn)區(qū)域的期望值；以及模擬實(shí)時(shí)動(dòng)力學(xué)演化，追蹤特定激發(fā)態(tài)在不同時(shí)刻的傳播。

每個(gè)小任務(wù)都有精確到小數(shù)點(diǎn)后幾位的數(shù)值答案，比如能量對(duì)耦合常數(shù)的一階導(dǎo)數(shù)等于29.2609913710，二階導(dǎo)數(shù)等于-179.0345184105。這種精度要求讓評(píng)判結(jié)果具有高度客觀性，不存在模糊的"部分正確"灰色地帶。

**四、參加考試的選手：六支頂尖AI隊(duì)伍**

研究團(tuán)隊(duì)選擇了六個(gè)當(dāng)前最強(qiáng)大的大型語言模型來參加這場測(cè)試，分別是GPT-5.4、Gemini-3.1-Pro、Claude-Opus-4.6、豆包Seed-2.0-Pro、Qwen-3.5-Plus和Kimi-K2.5。這些模型代表了目前AI技術(shù)的最高水平，來自不同的研究機(jī)構(gòu)，覆蓋了全球主要的AI研究團(tuán)隊(duì)。

考試規(guī)則經(jīng)過精心設(shè)計(jì)。每道題，每個(gè)模型獨(dú)立作答五次，取平均分，這樣可以減少AI輸出隨機(jī)性帶來的干擾。所有模型都可以使用代碼解釋器這個(gè)工具，也就是說AI可以編寫代碼來完成數(shù)值計(jì)算任務(wù)。但為了防止作弊——確切地說是防止AI直接搜索到原論文的答案——所有與網(wǎng)絡(luò)檢索相關(guān)的工具全部被禁用。

評(píng)分采用"AI當(dāng)裁判"的方式，用GPT-5作為評(píng)判模型，嚴(yán)格對(duì)照標(biāo)準(zhǔn)答案和評(píng)分標(biāo)準(zhǔn)，給出每道題的得分。最終分?jǐn)?shù)被標(biāo)準(zhǔn)化到0到100分的范圍內(nèi)進(jìn)行報(bào)告。

**五、成績單揭曉：最強(qiáng)選手也沒能過半**

考試結(jié)果可以用一個(gè)詞來概括：全線告急。

六個(gè)模型中表現(xiàn)最好的是Gemini-3.1-Pro，總分44.27分。排在第二的是Qwen-3.5-Plus，得了40.05分。GPT-5.4得了37.38分，Claude-Opus-4.6得了37.40分，豆包Seed-2.0-Pro得了37.83分，這三個(gè)模型形成了成績接近的中間梯隊(duì)。Kimi-K2.5以33.89分墊底。

換句話說，在這套滿分100分的題目面前，最強(qiáng)的AI只拿到了44分出頭，連及格線都沒過。更值得注意的是，六個(gè)模型之間的差距并不大，大約在10分的范圍內(nèi)，這說明它們?cè)诿鎸?duì)真實(shí)科研任務(wù)時(shí)遇到的困難具有相當(dāng)?shù)墓残?，不是某一個(gè)模型的特殊問題，而是當(dāng)前AI技術(shù)普遍面臨的瓶頸。

從各物理子領(lǐng)域來看，Gemini-3.1-Pro和GPT-5.4在不同方向的表現(xiàn)相對(duì)均衡，而其他模型在不同子領(lǐng)域之間的成績波動(dòng)更大。一個(gè)規(guī)律性的現(xiàn)象是：大多數(shù)模型在天體物理和統(tǒng)計(jì)物理方向的得分低于凝聚態(tài)物理、高能物理和量子信息方向。研究團(tuán)隊(duì)推測(cè)，天體物理和統(tǒng)計(jì)物理的問題往往更加異質(zhì)化，缺乏標(biāo)準(zhǔn)化的套路，在AI的訓(xùn)練數(shù)據(jù)中覆蓋相對(duì)較少，可供直接復(fù)用的推理模板也更少。

**六、錯(cuò)誤解剖：AI到底在哪里摔跤**

光知道成績不夠，更重要的是搞清楚AI為什么答錯(cuò)。研究團(tuán)隊(duì)對(duì)所有模型的完整作答過程進(jìn)行了細(xì)致分析，把錯(cuò)誤歸納為四種類型。

第一種是"公式或概念錯(cuò)誤"，指AI選錯(cuò)了理論模型或者用了不適用的公式，本質(zhì)上反映的是對(duì)物理領(lǐng)域知識(shí)的掌握不足。第二種是"推導(dǎo)錯(cuò)誤"，指在推理鏈條的某個(gè)環(huán)節(jié)出現(xiàn)了問題，比如引入了不真實(shí)存在的公式，或者做出了沒有依據(jù)的假設(shè)，這主要反映推理能力的缺陷以及AI的"幻覺"問題。第三種是"計(jì)算錯(cuò)誤"，包括代數(shù)運(yùn)算失誤和數(shù)值計(jì)算錯(cuò)誤，反映的是數(shù)學(xué)運(yùn)算層面的不可靠性。第四種是"不完整"，指AI的回答遺漏了問題、只回答了一部分，或者沒能滿足題目的完整要求，主要反映AI在處理長時(shí)程任務(wù)時(shí)的上下文管理能力不足。

統(tǒng)計(jì)結(jié)果顯示，"公式或概念錯(cuò)誤"是所有模型最主要的失敗原因，在大多數(shù)模型的錯(cuò)誤中占比大約在45%到55%之間。GPT-5.4的這一比例是46.97%，Gemini-3.1-Pro是50.79%，豆包Seed-2.0-Pro更高達(dá)55.62%。這意味著，即便是當(dāng)前最強(qiáng)大的AI，對(duì)高級(jí)理論物理知識(shí)的掌握仍然存在明顯的欠缺，經(jīng)常在選擇理論框架的第一步就走錯(cuò)了方向。凝聚態(tài)物理領(lǐng)域這個(gè)問題尤為突出，AI往往會(huì)拿出一個(gè)看起來相關(guān)但實(shí)際上并不適用的理論框架來套用。

"推導(dǎo)錯(cuò)誤"和"計(jì)算錯(cuò)誤"在總體錯(cuò)誤中扮演次要但不可忽視的角色。推導(dǎo)錯(cuò)誤通常保持在一個(gè)中等水平，大約占所有錯(cuò)誤的8%到13%，但在理論密集的高能物理方向會(huì)明顯升高，GPT-5.4在高能物理方向的推導(dǎo)錯(cuò)誤率達(dá)到17.24%，豆包Seed-2.0-Pro更高達(dá)23.33%，反映出AI在進(jìn)行多步符號(hào)推導(dǎo)時(shí)容易引入無效的中間步驟。計(jì)算錯(cuò)誤則相對(duì)穩(wěn)定，大約占20%到30%，說明代數(shù)運(yùn)算和數(shù)值計(jì)算是有難度的，但不是最根本的瓶頸。

Claude-Opus-4.6的失敗模式與其他模型截然不同，格外引人注目。這個(gè)模型的"不完整"類錯(cuò)誤在全部子領(lǐng)域中都占據(jù)主導(dǎo)地位，全局比例高達(dá)63.93%。但研究團(tuán)隊(duì)特別指出，這并不是Claude-Opus-4.6謹(jǐn)慎保守、不敢作答，而是另一種更深層的問題：這個(gè)模型在作答過程中會(huì)反復(fù)嘗試推導(dǎo)，不斷自我糾正，在這個(gè)過程中引入越來越多沒有依據(jù)的假設(shè)，試圖維持表面上的邏輯一致性，最終導(dǎo)致整個(gè)推理鏈條崩潰，給出不完整或無法支撐的答案。這個(gè)現(xiàn)象揭示了一種"越掙扎越陷越深"的困境，根本原因在于缺乏對(duì)長時(shí)程任務(wù)的全局規(guī)劃能力——模型沒有能力在解題一開始就制定清晰的總體策略，而是陷入局部的反復(fù)修正之中。

**七、這些發(fā)現(xiàn)告訴我們什么**

PRL-BENCH揭示的問題可以用一句話概括：當(dāng)前的AI在應(yīng)對(duì)真實(shí)物理研究時(shí)，面臨的不是單一瓶頸，而是多重能力缺口同時(shí)存在的復(fù)合性困難。

具體來說，這些能力缺口體現(xiàn)在四個(gè)方面。其一是領(lǐng)域知識(shí)的深度不足，AI對(duì)高級(jí)理論物理的掌握尚未達(dá)到能夠可靠選擇正確理論框架的程度。其二是推導(dǎo)的穩(wěn)定性不夠，在進(jìn)行多步驟的符號(hào)推理時(shí)，AI容易在中間步驟引入錯(cuò)誤，而且往往意識(shí)不到自己已經(jīng)出錯(cuò)。其三是數(shù)值計(jì)算的可靠性有待提升，雖然可以使用代碼工具，但數(shù)學(xué)運(yùn)算層面仍然存在明顯的錯(cuò)誤率。其四是長時(shí)程任務(wù)的適應(yīng)能力欠缺，這或許是最核心的問題：AI目前缺乏在面對(duì)一個(gè)復(fù)雜、開放性研究任務(wù)時(shí)進(jìn)行全局戰(zhàn)略規(guī)劃的能力，無法像真正的研究者那樣，在探索過程中始終保持對(duì)整體目標(biāo)的清醒把握，并根據(jù)中間結(jié)果動(dòng)態(tài)調(diào)整策略。

歸根結(jié)底，現(xiàn)在的AI更像是一個(gè)擁有大量知識(shí)儲(chǔ)備、能夠快速檢索和運(yùn)用已有公式的"超級(jí)百科全書"，但還不是一個(gè)能夠在陌生領(lǐng)域自主規(guī)劃、持續(xù)探索、靈活應(yīng)對(duì)未知挑戰(zhàn)的"科學(xué)家"。這兩者之間的差距，不僅僅是知識(shí)量的差距，更是思維方式的本質(zhì)差異。

這并不意味著AI走進(jìn)死胡同了。PRL-BENCH的價(jià)值恰恰在于，它精確地標(biāo)定了這個(gè)差距在哪里、有多大，從而為AI研究者指明了努力的方向。當(dāng)我們知道AI在"選對(duì)理論框架"這個(gè)環(huán)節(jié)上失敗率超過一半，就知道下一步需要專門強(qiáng)化這方面的訓(xùn)練和能力；當(dāng)我們看到長時(shí)程任務(wù)的全局規(guī)劃能力是最薄弱的環(huán)節(jié)，就知道這是未來突破的關(guān)鍵著力點(diǎn)。

說到底，這場測(cè)試的意義不在于讓AI難堪，而在于誠實(shí)地回答"AI現(xiàn)在能做什么、還不能做什么"這個(gè)對(duì)整個(gè)科學(xué)界都至關(guān)重要的問題。畢竟，如果我們對(duì)AI的能力有過高的期待，就可能在錯(cuò)誤的時(shí)機(jī)把關(guān)鍵的科研任務(wù)交給它；而如果我們低估了AI，又可能錯(cuò)過真正有價(jià)值的應(yīng)用場景。

PRL-BENCH提供的這份成績單，是目前為止最接近真實(shí)答案的一份。感興趣深入研究這一課題的讀者，可以通過arXiv編號(hào)2604.15411查閱完整論文，數(shù)據(jù)集也已在Hugging Face平臺(tái)上公開發(fā)布。

Q&A

Q1：PRL-BENCH和其他物理AI測(cè)試有什么本質(zhì)區(qū)別？

A：PRL-BENCH的題目直接來源于頂級(jí)期刊《物理評(píng)論快報(bào)》的最新論文，要求AI自主規(guī)劃解題路徑，沒有現(xiàn)成的解題套路可以套用，并且需要完成多步驟的長鏈條研究任務(wù)。而TPBench、PHYBench等現(xiàn)有測(cè)試依賴短小精悍、路徑明確的問題，本質(zhì)上考的是"按圖索驥"，不涉及真實(shí)科研中的自主探索能力，兩者的難度和測(cè)試目標(biāo)都有本質(zhì)區(qū)別。

Q2：Gemini-3.1-Pro得了44分算高還是低？

A：在PRL-BENCH的評(píng)分體系里，44分是六個(gè)參賽模型中的最高分，但這個(gè)分?jǐn)?shù)連及格線都沒達(dá)到。這意味著即便是當(dāng)前全球最強(qiáng)大的AI模型，在面對(duì)真實(shí)物理研究任務(wù)時(shí)，仍有超過一半以上的內(nèi)容無法正確完成。這個(gè)結(jié)果明確說明，現(xiàn)有AI距離能夠獨(dú)立開展前沿物理研究還有相當(dāng)大的差距。

Q3：AI在物理研究里最常犯什么錯(cuò)誤？

A：根據(jù)PRL-BENCH的錯(cuò)誤分析，最主要的失敗原因是選錯(cuò)了理論模型或公式，占所有錯(cuò)誤的45%到55%。簡單來說，AI經(jīng)常在解題的第一步就走錯(cuò)了方向，用了一個(gè)看起來相關(guān)但實(shí)際上并不適用的物理框架。其次是推導(dǎo)過程中出現(xiàn)失誤，在高能物理等理論密集領(lǐng)域尤為明顯。此外，部分模型還表現(xiàn)出長時(shí)程任務(wù)管理能力的不足，在反復(fù)自我糾正中越陷越深，最終給出不完整的答案。