作者 ｜ 周一笑
郵箱 ｜ zhouyixiao@pingwest.com

2025年4月，還在OpenAI的姚順雨發(fā)了一篇博文《The Second Half》，提出一個(gè)判斷：AI進(jìn)入下半場(chǎng)了，接下來(lái)比的不是誰(shuí)模型更大，而是誰(shuí)能更好地定義問(wèn)題。

半年后他加入騰訊。又過(guò)了兩個(gè)月，他主導(dǎo)的第一個(gè)研究成果發(fā)布了。這個(gè)成果并未推出新模型，它直接拋出了一個(gè)數(shù)據(jù)，GPT-5.1在一項(xiàng)新測(cè)試中只拿到了23.7%。

測(cè)試的設(shè)定很簡(jiǎn)單，把所有需要的信息都放在上下文里，讓模型去完成任務(wù)?？嫉氖悄Ｐ湍芊駨难矍暗牟牧侠飳W(xué)會(huì)新東西。

結(jié)果是模型看了，但沒(méi)學(xué)會(huì)。

1

沒(méi)法作弊的考試

這篇論文叫CL-bench，全稱(chēng)Context Learning Benchmark，2026年2月3日由騰訊混元團(tuán)隊(duì)和復(fù)旦大學(xué)聯(lián)合發(fā)布。作為項(xiàng)目負(fù)責(zé)人，姚順雨排在作者列表的最后一位。

Context Learning不是新概念，但這篇論文對(duì)它的定義極為苛刻，模型必須從上下文中學(xué)習(xí)到預(yù)訓(xùn)練階段不存在的新知識(shí)，并正確應(yīng)用。簡(jiǎn)單說(shuō)，要讓模型現(xiàn)場(chǎng)學(xué)會(huì)它沒(méi)見(jiàn)過(guò)的東西，不只是“回憶”它以前見(jiàn)過(guò)的內(nèi)容。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，研究團(tuán)隊(duì)在數(shù)據(jù)構(gòu)建上下了狠功夫。

目前業(yè)界防止數(shù)據(jù)污染最常見(jiàn)的做法比較簡(jiǎn)單粗暴，設(shè)定時(shí)間切割點(diǎn)（比如只考2024年以后的新聞）、把題庫(kù)藏起來(lái)不公開(kāi)、或者用算法去重。CL-bench做的完全是另一回事，它在“造物”。

研究團(tuán)隊(duì)組織了一批領(lǐng)域?qū)＜?，憑空虛構(gòu)了多個(gè)平行宇宙和假知識(shí)。比如，他們編造了一部叫《Sol Accord》（索爾協(xié)定）的星際法律，在現(xiàn)實(shí)中根本不存在，模型不可能在預(yù)訓(xùn)練數(shù)據(jù)里背過(guò)相關(guān)法條；他們還編造了一個(gè)SkyNet無(wú)人機(jī)SDK，里面的函數(shù)名、調(diào)用規(guī)則全是假的，模型如果用它記憶里的Python知識(shí)去寫(xiě)代碼，必錯(cuò)無(wú)疑。此外，他們還修改了現(xiàn)實(shí)世界的內(nèi)容來(lái)創(chuàng)建變體，比如改變歷史事件的走向、調(diào)整科學(xué)定義，并納入一些極其小眾、幾乎不可能出現(xiàn)在預(yù)訓(xùn)練數(shù)據(jù)中的長(zhǎng)尾內(nèi)容。

即便是表現(xiàn)最好的 GPT-5.1平均得分也僅為23.7分。

這種通過(guò)“反事實(shí)”和“全虛構(gòu)”來(lái)構(gòu)建benchmark的方法，是對(duì)抗刷榜最徹底、也是最難的手段。驗(yàn)證效果很直接，在不給任何上下文的情況下，讓GPT-5.1直接做這些任務(wù)，結(jié)果只能做對(duì)不到1%。這說(shuō)明模型確實(shí)沒(méi)見(jiàn)過(guò)這些知識(shí)，必須從給定的上下文里學(xué)。沒(méi)法作弊，也是通過(guò)率只有17.2%的核心原因。

最終，CL-bench包含了500個(gè)復(fù)雜上下文、1899個(gè)任務(wù)、31607個(gè)驗(yàn)證標(biāo)準(zhǔn)。平均每個(gè)上下文的標(biāo)注耗時(shí)約20小時(shí)，全部由資深領(lǐng)域?qū)＜抑谱?。這個(gè)工作量本身就說(shuō)明了研究團(tuán)隊(duì)的野心，他們想造的不是一個(gè)刷分榜單，而是一把真正能測(cè)出模型“學(xué)習(xí)能力”的尺子。

1

四種角色，四場(chǎng)考試

在這場(chǎng)測(cè)試中，AI需要扮演四種角色。

有時(shí)它是法官，需要依據(jù)一部從未見(jiàn)過(guò)的虛構(gòu)法律斷案。給它一部長(zhǎng)達(dá)2.3萬(wàn)字、剛剛生效的新法律，讓它判一起真實(shí)糾紛。法條全是新的，判例全是新的，模型必須現(xiàn)場(chǎng)閱讀、理解、應(yīng)用。

有時(shí)它是程序員，必須用一種全新的語(yǔ)法寫(xiě)代碼。比如基于一門(mén)新設(shè)計(jì)的編程語(yǔ)言規(guī)范，實(shí)現(xiàn)一個(gè)帶有時(shí)間條件終止的周期性程序。模型如果用它記憶里的語(yǔ)法，必錯(cuò)無(wú)疑。它必須嚴(yán)格遵守這個(gè)"假文檔"的規(guī)則。

有時(shí)它是操作員，需要在一套從未見(jiàn)過(guò)的工作流系統(tǒng)里完成任務(wù)。按照一份全新的產(chǎn)品手冊(cè)，一步步執(zhí)行操作。流程圖是新的，術(shù)語(yǔ)是新的，約束條件是新的。

最難的時(shí)候，它要像科學(xué)家一樣，面對(duì)一堆雜亂的實(shí)驗(yàn)數(shù)據(jù)，自己從頭推導(dǎo)規(guī)律。比如分析300份原始實(shí)驗(yàn)日志，推導(dǎo)關(guān)系式并估計(jì)共振常數(shù)。前三種角色本質(zhì)上是演繹推理，給你規(guī)則讓你應(yīng)用。這一種是歸納推理，讓你從數(shù)據(jù)中自己發(fā)現(xiàn)規(guī)則。

這四類(lèi)場(chǎng)景覆蓋了大部分真實(shí)工作中需要的學(xué)習(xí)能力：讀文檔、學(xué)規(guī)則、照流程、找規(guī)律。這也是為什么CL-bench的結(jié)果如此令人擔(dān)憂(yōu)，如果模型連這些基本的學(xué)習(xí)任務(wù)都做不好，它在真實(shí)工作場(chǎng)景中的表現(xiàn)可想而知。

CL-bench的任務(wù)類(lèi)別分布

1

前沿模型集體翻車(chē)

研究團(tuán)隊(duì)在CL-bench上測(cè)試了十個(gè)最先進(jìn)的語(yǔ)言模型，結(jié)果相當(dāng)慘淡。

平均任務(wù)解決率只有17.2%。表現(xiàn)最好的GPT-5.1 (High)也只有23.7%。要知道，所有完成任務(wù)需要的信息都已經(jīng)明確給出了，就在上下文里，模型卻在絕大多數(shù)任務(wù)上失敗了。

論文詳細(xì)分析了失敗原因，幾個(gè)發(fā)現(xiàn)值得注意。

忽略或誤用上下文是導(dǎo)致失敗的主要原因。導(dǎo)致錯(cuò)誤的主因往往并非信息缺失，模型對(duì)上下文關(guān)鍵細(xì)節(jié)的忽視才是癥結(jié)所在。更有意思的是，在許多情況下，模型會(huì)傾向于使用它在預(yù)訓(xùn)練階段學(xué)到的"老經(jīng)驗(yàn)"來(lái)解決任務(wù)，即使上下文明確定義了新的規(guī)則、概念或程序，它也不去學(xué)習(xí)和使用。這就像一個(gè)固執(zhí)的老員工，寧可用自己的老辦法，也不愿意看新文檔。

長(zhǎng)上下文處理和指令遵循是必要但不充分條件。那些難以跨上下文追蹤依賴(lài)關(guān)系或難以精確遵循約束的模型，表現(xiàn)確實(shí)更差。但即使是能夠處理長(zhǎng)輸入、可靠遵循指令的模型，仍然在許多任務(wù)上失敗。這說(shuō)明上下文學(xué)習(xí)需要的能力，遠(yuǎn)不止能處理長(zhǎng)文本和能“聽(tīng)話(huà)”。

歸納推理遠(yuǎn)比演繹推理難。在科學(xué)家類(lèi)任務(wù)上，模型的表現(xiàn)明顯更差，任務(wù)解決率通常低于10%，而且結(jié)果波動(dòng)很大。從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，比應(yīng)用給定的規(guī)則要難得多。這或許指向了當(dāng)前大模型架構(gòu)的一個(gè)根本性局限。

此外，論文還發(fā)現(xiàn)，更高的推理強(qiáng)度通常能提升上下文學(xué)習(xí)效果。比如GPT-5.1在高推理強(qiáng)度設(shè)置下，在某些任務(wù)上的表現(xiàn)提升了約6%。但其他模型提升有限甚至下降，說(shuō)明單靠多想一會(huì)兒并不夠，模型還必須能正確吸收和組織上下文信息。

1

姚順雨的預(yù)判

2025年4月，姚順雨在博文《The Second Half》中提出了一個(gè)核心觀點(diǎn)，AI發(fā)展正在從“上半場(chǎng)”進(jìn)入“下半場(chǎng)”。上半場(chǎng)的主題是如何訓(xùn)練出更強(qiáng)的模型，更大的參數(shù)、更多的數(shù)據(jù)、更強(qiáng)的算力。下半場(chǎng)的主題則變了，如何定義正確的問(wèn)題，如何評(píng)估真正的進(jìn)步。

他寫(xiě)道，評(píng)估將比訓(xùn)練更重要。我們不再只是問(wèn)“我們能訓(xùn)練出一個(gè)能解決X的模型嗎”，而是在問(wèn)“我們應(yīng)該訓(xùn)練AI去做什么，以及如何衡量真正的進(jìn)步”。

在一次訪(fǎng)談中，他進(jìn)一步解釋?zhuān)F(xiàn)在方法的問(wèn)題已基本解決，真正重要的是，我們要用這個(gè)通用方法，解決什么問(wèn)題？

CL-bench定義了什么問(wèn)題？它定義的問(wèn)題是，模型能否從當(dāng)前上下文中學(xué)習(xí)？

這個(gè)問(wèn)題之前被忽視了。行業(yè)的隱含假設(shè)是，只要上下文給到位（context engineering做得好），模型就能完成任務(wù)。CL-bench的數(shù)據(jù)打破了這個(gè)假設(shè)，給到位，不等于做得對(duì)。上下文學(xué)習(xí)，作為一項(xiàng)基礎(chǔ)的模型能力，被嚴(yán)重低估了。

姚順雨在2024年主導(dǎo)過(guò)另一個(gè)benchmark，τ-bench（ICLR 2025）。那個(gè)測(cè)試關(guān)注的是Agent能否遵循領(lǐng)域規(guī)則、與用戶(hù)進(jìn)行多輪交互。CL-bench則更進(jìn)一步，測(cè)的是模型能否從上下文學(xué)習(xí)新知識(shí)。兩者共同指向一個(gè)判斷，真實(shí)世界需要的是學(xué)習(xí)能力，而非做題能力。

CL-bench論文原文有一段話(huà)很精準(zhǔn)：大語(yǔ)言模型主要依賴(lài)“參數(shù)化知識(shí)”，這是預(yù)訓(xùn)練階段壓縮進(jìn)模型權(quán)重的靜態(tài)記憶。推理時(shí)，模型大多調(diào)用這些存儲(chǔ)的內(nèi)部知識(shí)，而非主動(dòng)從新輸入信息中吸收養(yǎng)分。因此，當(dāng)前優(yōu)化的模型擅長(zhǎng)推理它們“知道”的事情，但用戶(hù)需要的是讓模型解決依賴(lài)于混亂且動(dòng)態(tài)變化的上下文的任務(wù)。

1

行業(yè)正在發(fā)生什么變化

如果把近幾年AI發(fā)展的主旋律做個(gè)簡(jiǎn)單梳理，大致是這樣的：2024年的主旋律是Scaling，更大的模型、更多的數(shù)據(jù)、更強(qiáng)的算力；2025年的主旋律是Reasoning，以o1、R1、Deep Research為代表的推理能力提升。

那么2026年呢？CL-bench指向了一個(gè)可能的新方向，Context Learning。

從Prompt Engineering到Context Learning的演進(jìn)路徑

有意思的是，西方大廠目前主要在解決另一個(gè)問(wèn)題。Anthropic在2024年底發(fā)布了MCP（Model Context Protocol），OpenAI和Google隨后跟進(jìn)，這個(gè)協(xié)議被稱(chēng)為AI界的USB-C"，目的是讓模型更容易接入外部工具和數(shù)據(jù)源。2025年12月，Anthropic、OpenAI和Block聯(lián)合成立了Agentic AI Foundation，將MCP捐贈(zèng)給Linux基金會(huì)，推動(dòng)開(kāi)源標(biāo)準(zhǔn)化。同月，Anthropic又發(fā)布了Agent Skills開(kāi)放標(biāo)準(zhǔn)，讓AI能執(zhí)行更具體的任務(wù)。

這些努力解決的都是如何把context送進(jìn)模型的問(wèn)題，如何讓模型接入更多數(shù)據(jù)源，如何讓模型調(diào)用更多工具，如何讓模型執(zhí)行更復(fù)雜的工作流。

CL-bench問(wèn)的是，送進(jìn)去之后，模型能學(xué)會(huì)嗎？

Anthropic自己的研究也觸及了類(lèi)似問(wèn)題。他們?cè)陉P(guān)于context engineering的博文中提到了context rot現(xiàn)象，隨著上下文長(zhǎng)度增加，模型召回信息的能力會(huì)下降。但CL-bench揭示的問(wèn)題是。即使上下文不長(zhǎng)，模型也不一定能“學(xué)會(huì)”里面的新知識(shí)。這是學(xué)習(xí)能力，與檢索無(wú)關(guān)。

論文在展望部分提到了一個(gè)更遠(yuǎn)的挑戰(zhàn)，即使上下文學(xué)習(xí)能力提升了，它仍然是“會(huì)消失的”（ephemeral），上下文窗口清空，學(xué)到的東西就沒(méi)了。下一步的挑戰(zhàn)是Memory Consolidation（記憶鞏固），如何讓從上下文中學(xué)到的知識(shí)持久化？這可能是2026年之后的新戰(zhàn)場(chǎng)。

1

這對(duì)騰訊意味著什么

姚順雨入職騰訊后主導(dǎo)的第一個(gè)研究輸出，他選擇用一個(gè)benchmark重新定義問(wèn)題。

目前騰訊混元在國(guó)內(nèi)大模型市場(chǎng)的份額并不領(lǐng)先，字節(jié)豆包、阿里通義排在前面。在這個(gè)局面下，騰訊選擇關(guān)注一個(gè)更基礎(chǔ)的問(wèn)題：模型的學(xué)習(xí)能力。

這個(gè)選擇可能和騰訊的業(yè)務(wù)基因有關(guān)。騰訊是社交和游戲巨頭，其核心業(yè)務(wù)本質(zhì)就是海量的“動(dòng)態(tài)上下文”，聊天記錄、游戲狀態(tài)、用戶(hù)行為。姚順雨強(qiáng)調(diào)Context Learning，可能是在為騰訊最核心的業(yè)務(wù)場(chǎng)景打地基，讓AI讀懂此時(shí)此刻的用戶(hù)，而不是通過(guò)預(yù)訓(xùn)練讀懂過(guò)去的用戶(hù)。

他入職后說(shuō)過(guò)：騰訊To C基因更強(qiáng)，要思考如何讓大模型給用戶(hù)提供更多價(jià)值。很多時(shí)候需要的不是更大模型、更強(qiáng)的強(qiáng)化學(xué)習(xí)，而是額外的Context。

這或許才是AI真正進(jìn)入人類(lèi)社會(huì)的門(mén)票，不再做一個(gè)博學(xué)的旁觀者。

點(diǎn)個(gè)“愛(ài)心”，再走 吧