模型涌現(xiàn)現(xiàn)象遠(yuǎn)非表面那么簡單，背后暗藏五層遞進(jìn)邏輯。從臨界點亮的突變效應(yīng)到組合能力的自發(fā)串聯(lián)，從差異化策略的自我進(jìn)化到意圖識別的精準(zhǔn)判斷，直至反思能力的若隱若現(xiàn)——每個層級的涌現(xiàn)都對應(yīng)著不同的訓(xùn)練策略與評測方法。本文將深入拆解這五個關(guān)鍵層級，為模型訓(xùn)練者提供可落地的評測框架與標(biāo)注優(yōu)化方案。

———— / BEGIN / ————

“涌現(xiàn)”這個詞被用得太泛了。模型多做對了一道數(shù)學(xué)題叫涌現(xiàn)，突然能寫詩了也叫涌現(xiàn)，好像只要出現(xiàn)一個訓(xùn)練目標(biāo)里沒顯式定義的能力，就統(tǒng)統(tǒng)往這個筐里扔。

站在訓(xùn)練者的角度，這些現(xiàn)象之間的差異是巨大的。有些涌現(xiàn)你提前能感知到——數(shù)據(jù)到位了，信號夠了，能力遲早會出來，它只是在等一個臨界點。有些涌現(xiàn)是真的意外——你翻遍訓(xùn)練數(shù)據(jù)也找不到它學(xué)這個的來源。

但我在模型訓(xùn)練中觀察到的涌現(xiàn)現(xiàn)象，大致可以歸為五個層級。

第一層：臨界點亮

這是最基礎(chǔ)的涌現(xiàn)形式，也是最容易被低估的。

說它基礎(chǔ)，是因為它本質(zhì)上就是”從不會到會”的閾值突破。說它容易被低估，是因為大家習(xí)慣把它當(dāng)成理所當(dāng)然——數(shù)據(jù)夠了自然就會嘛。

但在實際評測中，這個過程遠(yuǎn)沒有那么平滑。

模型在早期對長網(wǎng)頁的摘要能力一直很弱。評測集里有一類case是超過三千字的長文，模型的摘要要么漏掉核心論點，要么把次要信息當(dāng)主要內(nèi)容寫進(jìn)去。連續(xù)幾輪評測，長文摘要的評分都卡在差不多的位置，上不去。

我每次評測完都會整理badcase，發(fā)現(xiàn)一個有意思的現(xiàn)象：每次錯的具體case不太一樣，但整體評分幾乎沒變。這意味著模型不是在反復(fù)犯同一個錯誤，而是整體能力就差那么一口氣。

然后某一輪評測，突然就好了。長文摘要的評分跳了一大截。

我去問算法那邊改了什么，得到的回復(fù)是”這批加了一批經(jīng)過嚴(yán)格質(zhì)檢的長文摘要數(shù)據(jù)”。這批數(shù)據(jù)有什么特別的？標(biāo)注員在標(biāo)注時不只是寫摘要，還額外標(biāo)注了文章的結(jié)構(gòu)骨架——哪些是核心論點、哪些是支撐論據(jù)、哪些是背景信息。

這就是臨界點亮的核心特征：不是漸進(jìn)改善，是階躍函數(shù)。 在臨界點的這一側(cè)，什么都沒有；跨過去之后，能力幾乎是瞬間出現(xiàn)的。

這個現(xiàn)象對做標(biāo)注質(zhì)檢工作的啟示很直接：你不知道你質(zhì)檢的這批數(shù)據(jù)會不會就是壓死駱駝的最后一根稻草，所以每一批數(shù)據(jù)的質(zhì)量都不能糊弄。

我見過太多這種情況——標(biāo)注團(tuán)隊為了趕進(jìn)度，對標(biāo)注質(zhì)量放松了標(biāo)準(zhǔn)，覺得”差不多就行”，摘要寫得粗糙一點、結(jié)構(gòu)標(biāo)注漏掉一些，影響不大吧？但如果你理解臨界點亮的機(jī)制，你就知道：差的那一點數(shù)據(jù)，可能恰恰是模型跨過臨界點需要的那一腳。你省下的那點質(zhì)檢時間，可能讓整個團(tuán)隊多等兩周。

第二層：組合涌現(xiàn)

模型分別學(xué)會了幾個基礎(chǔ)能力，然后在某個時刻，它開始把這些能力組合起來使用，產(chǎn)生了一個訓(xùn)練目標(biāo)里沒有顯式定義的新行為。

網(wǎng)頁摘要Agent的基礎(chǔ)能力包括：理解網(wǎng)頁結(jié)構(gòu)、提取關(guān)鍵信息、壓縮文本、組織語言。這些能力在評測中是分開考核的——信息提取準(zhǔn)不準(zhǔn)、壓縮比合不合理、語言通不通順，各有各的評測維度。

但在某次評測中，我開始看到模型把這些能力串聯(lián)起來完成更復(fù)雜的任務(wù)了。

有一類case是讓用戶對比兩篇同類文章——比如兩篇手機(jī)評測，用戶想知道它們的結(jié)論有什么不同。模型的處理方式是：分別閱讀兩篇文章→各自提取核心觀點→把兩篇文章的結(jié)論放在一起做對比分析→生成對比摘要。

這條鏈路上的每一步，模型的單項能力都達(dá)標(biāo)了。但把它們串成一個完整的對比分析流程，是評測集里沒有顯式覆蓋的。它自己”拼”出來了。

我在做badcase分析時注意到，組合涌現(xiàn)的出現(xiàn)有一個很明顯的前提條件：單項能力的錯誤率必須低到一定程度。

這個道理說起來像廢話，但實際影響很大。我在評測中見過很多次，模型在對比兩篇文章時，第一篇的信息提取做對了，第二篇漏掉了關(guān)鍵論點，整個對比分析就廢了。兩篇文章的摘要任務(wù)，每篇信息提取90%準(zhǔn)確率，整體對比分析的有效性可能只有80%。串聯(lián)的環(huán)節(jié)越多，對單步準(zhǔn)確率的要求越高。

所以一個很現(xiàn)實的問題是：什么時候該去考核組合能力？ 太早了，單項能力不夠，組合評測只會產(chǎn)出一堆毫無分析價值的失敗case，浪費評測資源。太晚了，你可能錯過了發(fā)現(xiàn)組合涌現(xiàn)的最佳窗口期。

我的經(jīng)驗是，當(dāng)單項能力在評測集上的評分穩(wěn)定在良好以上，就可以開始設(shè)計組合任務(wù)的評測了。不是等到滿分——事實上永遠(yuǎn)不會有滿分——而是等到單項錯誤變得足夠稀疏，讓你在組合評測中能把注意力放在”能力銜接”上，而不是”單步出錯”上。

第三層：策略涌現(xiàn)

這是我覺得最有意思的一層，也是最容易讓人產(chǎn)生”這東西是不是有智能了”這種錯覺的一層。

策略涌現(xiàn)指的是：模型發(fā)展出了某種應(yīng)對特定情況的系統(tǒng)性行為模式，而這種模式在訓(xùn)練數(shù)據(jù)中并沒有明確對應(yīng)的范例。

在摘要Agent的評測中，這個現(xiàn)象特別容易觀察到。

模型在早期對所有類型的網(wǎng)頁都用差不多的方式處理——不管是一篇新聞報道還是一篇學(xué)術(shù)論文，摘要的風(fēng)格和結(jié)構(gòu)都差不多。這導(dǎo)致學(xué)術(shù)論文的摘要缺少方法論信息，新聞報道的摘要又太啰嗦。

但在某次評測中，我發(fā)現(xiàn)模型開始”看人下菜碟”了。

面對新聞類網(wǎng)頁，摘要會優(yōu)先抓時間、地點、事件、結(jié)果，結(jié)構(gòu)很緊湊。面對產(chǎn)品評測類網(wǎng)頁，摘要會突出優(yōu)缺點對比和最終推薦意見。面對學(xué)術(shù)論文，摘要會包含研究方法和核心結(jié)論，甚至?xí)岬綌?shù)據(jù)來源。

這種差異化策略不是評測集里定義的”標(biāo)準(zhǔn)答案”。我們的標(biāo)注指南里也沒有”新聞用這種格式、論文用那種格式”的要求。它就是自己發(fā)展出了這種策略。

另一個讓我印象深刻的例子：模型在處理特別短的網(wǎng)頁時——比如一個產(chǎn)品頁面只有一段簡介和幾個參數(shù)——早期會硬湊出一段冗長的摘要。后來它發(fā)展出了一個策略：對于信息密度本身就不高的短網(wǎng)頁，直接用一句話概括，不硬撐篇幅。

我第一次在評測記錄里看到這個行為的時候，翻了好幾條確認(rèn)不是偶然。后來統(tǒng)計了一下，在短網(wǎng)頁的case中，模型生成合理長度摘要的比例，從之前的六成漲到了將近九成。

策略涌現(xiàn)最容易被誤讀的地方在于：你很容易把”有效的行為模式”等同于”模型理解了自己在做什么”。

看到模型對新聞和論文用不同的摘要策略，就覺得它”理解”了兩種內(nèi)容的差異。但更可能的解釋是：在訓(xùn)練過程中，差異化策略恰好獲得了更高的評測分?jǐn)?shù)，所以被強(qiáng)化了。模型可能并不”理解”新聞和論文有什么本質(zhì)區(qū)別，但它確實發(fā)展出了對不同類型網(wǎng)頁的有效處理策略。

這兩者的區(qū)別在學(xué)術(shù)上爭論很大。但在做評測的日常工作中，我的判斷標(biāo)準(zhǔn)很簡單：策略是否穩(wěn)定？是否可復(fù)現(xiàn)？有沒有副作用？ 只要這三個條件都滿足，我就把它標(biāo)記為”有效策略”，不糾結(jié)它背后是不是”真的理解”。評測師的工作是準(zhǔn)確描述模型的行為，不是替哲學(xué)家回答”什么是理解”。

第四層：意圖涌現(xiàn)

前三層的能力，說到底都還在”工具”的范疇內(nèi)。模型在執(zhí)行明確的任務(wù)——給你一篇文章，輸出一段摘要，只是輸出的方式越來越聰明。

但意圖涌現(xiàn)不一樣。它指的是模型開始能夠推斷出用戶沒有明確說出來的摘要需求——讀懂言外之意。

這個現(xiàn)象在評測中特別有意思。

有一次做評測，用戶輸入是”幫我看看這篇論文講了什么”。模型的摘要不只是把論文內(nèi)容壓縮了一遍，而是重點突出了論文的核心結(jié)論和創(chuàng)新點，對研究背景和相關(guān)工作部分做了大幅簡化。

這條case的標(biāo)注答案是一篇中規(guī)中矩的論文摘要，信息覆蓋全面，各部分比例均衡。如果按照標(biāo)注答案來評分，模型的輸出其實”漏掉”了不少信息。但如果你站在用戶的角度想——一個人說”幫我看看這篇論文講了什么”，他大概率是想知道這篇論文值不值得細(xì)讀，而不是要一份完整的文獻(xiàn)綜述。

模型推斷出了用戶的真實意圖，并據(jù)此調(diào)整了摘要的側(cè)重點。

這種能力對評測標(biāo)準(zhǔn)提出了很大的挑戰(zhàn)。

傳統(tǒng)的評測框架是”摘要是否準(zhǔn)確、完整、簡潔”。但當(dāng)模型開始推斷用戶意圖的時候，”完整”這個標(biāo)準(zhǔn)就變得模糊了。用戶說”幫我看看這篇論文”，模型只寫了核心結(jié)論——這算”不完整”還是”精準(zhǔn)”？

問題是：不完整，在這里是錯還是對？

我的做法是在評測維度里加了一條”意圖匹配度”——不只看摘要是否覆蓋了文章的主要內(nèi)容，還要看它是否回應(yīng)了用戶可能的真實需求。這條維度很難標(biāo)，標(biāo)注員之間的標(biāo)注一致性也不高，但它確實能捕捉到一些傳統(tǒng)評測框架遺漏的東西。

另外有一個觀察：意圖涌現(xiàn)跟網(wǎng)頁類型和用戶query的組合關(guān)系很大。 同一篇論文，如果用戶說的是”幫我看看這篇論文講了什么”和”幫我總結(jié)一下這篇論文的方法論”，模型應(yīng)該給出完全不同的摘要。模型能不能根據(jù)query的細(xì)微差異調(diào)整摘要策略，是意圖涌現(xiàn)的一個重要表現(xiàn)。

這也是為什么我在設(shè)計評測集時，會刻意把同一篇網(wǎng)頁配上不同的用戶query，看模型能不能做出差異化響應(yīng)。這個維度的區(qū)分度，往往比”摘要準(zhǔn)不準(zhǔn)”更能反映模型的真實能力水平。

第五層：反思涌現(xiàn)

這是最讓我糾結(jié)的一層。

所謂反思涌現(xiàn)，是指模型展現(xiàn)出某種”自我監(jiān)控”和”自我修正”的行為——它似乎能夠評估自己的摘要質(zhì)量，并在發(fā)現(xiàn)問題時主動調(diào)整。

在摘要Agent的評測中，我觀察到一個非常有意思的模式。

模型在處理某些復(fù)雜網(wǎng)頁時，會在生成摘要的過程中輸出一段類似”自我檢查”的內(nèi)容（Agent有chain-of-thought的機(jī)制），大意是：”這篇網(wǎng)頁的核心信息在第三段，但我剛才的摘要沒有充分體現(xiàn)這一點，我需要調(diào)整�！�

然后它真的調(diào)整了。最終輸出的摘要確實把第三段的核心信息放在了更突出的位置。

第一次在評測記錄里看到這個行為的時候，我的第一反應(yīng)不是興奮，而是懷疑。這是模型在”反思”嗎？還是它只是在復(fù)現(xiàn)訓(xùn)練數(shù)據(jù)中某個類似的模式，恰好看起來像反思？

老實說，我到現(xiàn)在也不能百分百確定。

但有一些證據(jù)讓我傾向于認(rèn)為，這至少是一種”功能性反思”——模型確實發(fā)展出了一種內(nèi)部評估機(jī)制，能夠檢測到”當(dāng)前摘要和網(wǎng)頁內(nèi)容的匹配度不夠”并觸發(fā)修正行為。這種能力不是我能在訓(xùn)練數(shù)據(jù)中找到明確來源的。它是模型在大量網(wǎng)頁摘要任務(wù)的訓(xùn)練中，通過試錯和評測反饋，自發(fā)發(fā)展出來的。

反思涌現(xiàn)的實踐價值很大——它直接決定了摘要的可靠性。 在評測中，能自我修正的Agent和不能自我修正的Agent，摘要質(zhì)量的差距是肉眼可見的。前者偶爾抓錯重點但能自己調(diào)回來，后者抓錯了就一路錯到底，把錯誤信息堂而皇之地放在摘要里。

但我要誠實地說：反思涌現(xiàn)也是五層中最不穩(wěn)定的。它時有時無，受網(wǎng)頁長度、內(nèi)容復(fù)雜度、甚至模型版本的影響都很大。同一個case，這次評測能看到反思行為，下次評測就看不到了。你不能指望它每次都出現(xiàn)，也不能把它當(dāng)成一個可靠的”能力”寫進(jìn)評測報告里。

這恰恰是涌現(xiàn)的本質(zhì)特征——它不是功能，它是傾向。 你不能像調(diào)API一樣調(diào)用它，你只能創(chuàng)造條件讓它更可能出現(xiàn)。

把涌現(xiàn)分成五個層級，不是為了搞一個漂亮的分類學(xué)。它對日常的評測和標(biāo)注工作有實際的指導(dǎo)意義。

不同層級需要不同的評測設(shè)計。 臨界點亮靠對比評測——看同一個評測集在不同版本之間的表現(xiàn)差異。組合涌現(xiàn)靠組合任務(wù)評測——設(shè)計需要多步驟串聯(lián)的對比分析case。策略涌現(xiàn)靠人工審查——模型的摘要質(zhì)量不錯，但它是怎么做到的？這個”怎么”需要人去看。意圖涌現(xiàn)靠同文不同query的評測——同一篇網(wǎng)頁配上不同的用戶需求，看模型能不能差異化響應(yīng)。反思涌現(xiàn)目前還沒有靠譜的評測方法，這也是為什么它最不穩(wěn)定。

不同層級對標(biāo)注質(zhì)量的要求不同。 臨界點亮靠標(biāo)注數(shù)量和質(zhì)量的雙重突破；組合涌現(xiàn)靠任務(wù)級標(biāo)注數(shù)據(jù)的建設(shè)；策略涌現(xiàn)靠多樣化的邊界case標(biāo)注；意圖涌現(xiàn)靠高質(zhì)量的query-摘要配對樣本。如果你在做標(biāo)注質(zhì)檢工作，理解這些差異能幫你把有限的精力花在刀刃上——不是所有標(biāo)注都值得花同樣的時間去質(zhì)檢。

最后說一句可能不太受歡迎的話：我們對涌現(xiàn)的理解，還遠(yuǎn)遠(yuǎn)不夠。

我上面寫的這些觀察，很多都是基于日常工作中的經(jīng)驗和推測，不是嚴(yán)格的因果分析。模型內(nèi)部到底發(fā)生了什么，為什么會出現(xiàn)這些行為，這些問題在學(xué)術(shù)界都還沒有定論。我一個做了兩年網(wǎng)頁摘要Agent評測和標(biāo)注工作的訓(xùn)練師，能看到的只是現(xiàn)象，看不到機(jī)制。

但我覺得這恰恰是寫這篇文章的意義——不是給出權(quán)威答案，而是提供一個一線視角的觀察框架。如果你也在做模型評測或者標(biāo)注相關(guān)的工作，你大概率見過類似的現(xiàn)象。你可以對照這五個層級，看看你的觀察和我的是否一致，哪些地方你有不同的判斷。

涌現(xiàn)不是魔法，但它也還沒被完全理解。這兩件事可以同時為真。

而我們能做的，就是把每一次評測中看到的異常行為記下來，把每一條需要質(zhì)檢的標(biāo)注數(shù)據(jù)標(biāo)到位。理解涌現(xiàn)不是一天的事，但積累觀察是每一天的事。

本文來自作者：周周粥粥