近日，由全球近 1,000 名頂尖學(xué)者打造的 AI 新基準(zhǔn)“人類最后一次考試”（HLE，Humanity's Last Exam）的相關(guān)論文發(fā)在Nature。這套新試卷覆蓋數(shù)學(xué)、物理、化學(xué)、歷史、語言、醫(yī)學(xué)，每一道題都來自專家自己的研究領(lǐng)域，每一道題都有唯一正確的答案，每一道題也都經(jīng)過 AI 的經(jīng)驗(yàn)，如果哪個(gè) AI 能夠答對，這道題就會(huì)作廢。

圖 | 相關(guān)論文（來源：Nature）

結(jié)果呢？GPT-4o 只拿了 2.7%，Claude 3.5 Sonnet 4.1%，OpenAI 最先進(jìn)的 o1 模型，8%。發(fā)布之后，更強(qiáng)的 Gemini 2.5 Pro 和 GPT-5 也來挑戰(zhàn)，一個(gè) 21.6%，一個(gè) 25.3%�？芍^是全軍覆沒，沒有一個(gè)能及格。

圖 | 各個(gè)模型的得分（來源：Nature）

之所以出這套新卷子，是因?yàn)楫?dāng)前最聰明的大模型在那些曾難倒無數(shù)學(xué)生的考試?yán)�，已�?jīng)能夠考到 90 分以上。MMLU這樣一個(gè)包含 57 個(gè)學(xué)科、14,000 道題目的超難測試，AI 早就拿到了接近滿分的成績。

圖 | “人類最后一次考試”的數(shù)據(jù)集創(chuàng)建流程（來源：Nature）

因此，“人類最后一次考試”的推出正是為了跟上和適應(yīng) AI 的發(fā)展。那么，這套題到底有多難？

有一道題是一張古羅馬墓碑的照片，上面刻著帕爾米拉文字，要求 AI把它翻譯出來。帕爾米拉是古代敘利亞的一個(gè)城市，有自己的語言和文字，但是現(xiàn)在已經(jīng)沒人說了。翻譯這種文字，需要懂古閃米特語、懂考古學(xué)、懂歷史學(xué)。

另一道題問：蜂鳥身上有一塊特殊的籽骨，位于某塊肌肉的腱膜里，這塊骨頭支撐著幾根肌腱？答案是數(shù)字。這就需要 AI 知道蜂鳥的解剖結(jié)構(gòu)，知道那塊骨頭長在哪兒，知道它連著幾根肌腱，差一點(diǎn)都不行。

還有一道題是數(shù)學(xué)，關(guān)于自然變換和余端，里面充滿了Σ、∞、Hom 這些符號。題目本身已經(jīng)復(fù)雜到讓大多數(shù)數(shù)學(xué)系學(xué)生直接跳過，但答案要求卻是精確數(shù)字。

這套題的設(shè)計(jì)邏輯很殘酷。每一道題提交之前，都要讓 AI 先做一遍。如果 AI 做對了，這道題就不要。如果 AI 做錯(cuò)了，才會(huì)進(jìn)入人工審核環(huán)節(jié)。審核要過兩關(guān)，第一關(guān)是幾個(gè)研究生水平的審稿人提意見，第二關(guān)是專家拍板。整個(gè)過程下來，1,000 個(gè)專家花費(fèi)幾個(gè)月，從幾萬道題里篩選出了這 2,500 道題。

如前所述，MMLU 已經(jīng)無法滿足當(dāng)前 AI 的發(fā)展。2020 年，MMLU 剛出來的時(shí)候，AI 只能考三四十分。到了 2023 年，GPT-4 直接飆到 86 分�，F(xiàn)在，隨便一個(gè)開源模型都能考到 90 分以上。當(dāng)考試分?jǐn)?shù)都溢出來了，如何測量 AI 的聰明程度呢？因此，得換一套更難的新卷子。

“人類最后一次考試”這套基準(zhǔn)測試名字聽著嚇人，但并不是字面意思，而是說這是 AI 最后一次可能考過的考試。等到 AI 哪天也在這套題上拿到 90% 的成績，說明它已經(jīng)具備了專家級的學(xué)術(shù)能力。

那么，AI 現(xiàn)在可以考多少分？前面提到，最厲害的 AI 也就考試 25% 左右，距離 90% 還有很大的差距。而且更有意思的是，AI 不知道自己不會(huì)。研究團(tuán)隊(duì)在讓 AI 回答的同時(shí)給出信心分?jǐn)?shù)，結(jié)果大多數(shù) AI 明明答錯(cuò)了，卻給出 80%、90% 的信心。這種過度自信非常危險(xiǎn)，如果 AI 用在醫(yī)療和法律這些領(lǐng)域，而它不知道自己不知道，就會(huì)出現(xiàn)大問題。

還有一點(diǎn)值得注意。研究團(tuán)隊(duì)發(fā)現(xiàn)，推理模型在回答這套題的時(shí)候，思考時(shí)間越長，正確率越高。但當(dāng)思考時(shí)間超過一定長度，正確率反而下降了。這說明不是想得越久就越好，當(dāng)思考時(shí)間超過某個(gè)臨界點(diǎn)，可能就是 AI 在瞎繞。這也給 AI 開發(fā)提了個(gè)醒，以后不能光拼推理時(shí)間，還得拼推理效率。

這套題現(xiàn)在已經(jīng)在網(wǎng)上公開了一部分，網(wǎng)址是 lastexam.ai。任何人都可以去看看這些題目長什么樣，也可以看看自己能不能答對幾道。當(dāng)然，大部分人可能不太能答對，因?yàn)轭}目本來就是給專家出的。

圖 | 長長的論文作者名字，截圖僅為部分論文作者（來源：Nature）

那么，這道題對于 AI 開發(fā)有什么用？

它就好比一面鏡子，可以照出來 AI 到底有幾斤幾兩。以后誰再宣稱自己的 AI 多厲害，先拿這套題目考一下�？疾贿^ 25%，就談不上超越人類。透過這套題也可以看清楚 AI 擅長什么和不擅長什么。比如，從目前的得分來看，AI 在數(shù)學(xué)和計(jì)算機(jī)上的表現(xiàn)稍好，但是在歷史和語言上表現(xiàn)得慘不忍睹。

這說明 AI 的智能和我們想象得還不一樣。論文里有一句話寫得很克制，AI 在這些專家級問題上表現(xiàn)很差，說明真正的智能還需要深度、需要上下文、需要專業(yè)知識。那些覺得 AI 馬上就要統(tǒng)治世界的人，通過嘗試一下這套題目，可能就不再會(huì)那么悲觀。

（來源：Nature）

美國德克薩斯 A&M 大學(xué)的助理教授阮東（Tung Nguyen，音譯）參與了出題，他寫了 73 道，是貢獻(xiàn)第二多的作者。他告訴媒體，這套題是一種理解 AI 的方法。它就好比是 AI 的入學(xué)考試，通過設(shè)置這套門檻，我們可以知道 AI 強(qiáng)在哪里、弱在哪里，才能造出更安全、更可靠的技術(shù)。同時(shí)，也說明了人類的專業(yè)知識依然重要。

參考資料：

相關(guān)論文https://www.nature.com/articles/s41586-025-09962-4

https://techxplore.com/news/2026-02-dont-panic-humanity-exam-begun.html#google_vignette

排版：胡巍巍