之前寫DeepSeek R1論文解讀的時(shí)候，有個(gè)細(xì)節(jié)我一直沒想通。

他們的Cold Start流程是用R1-Zero生成推理軌跡，過濾后當(dāng)訓(xùn)練數(shù)據(jù)。這就是合成數(shù)據(jù)。但按信息論的說法，這不應(yīng)該有用。數(shù)據(jù)處理不等式說得很清楚：對數(shù)據(jù)做確定性變換，信息只會(huì)減少不會(huì)增加。你沒引入新數(shù)據(jù)，信息從哪來？

但它就是有用。效果比純?nèi)祟悩?biāo)注數(shù)據(jù)還好。

不止DeepSeek。AlphaZero從幾KB的圍棋規(guī)則自我對弈，生成了百萬字節(jié)的戰(zhàn)略知識。整個(gè)AI行業(yè)都在大規(guī)模使用合成數(shù)據(jù)，而且越用越多。理論說不行，實(shí)踐說行。

這個(gè)矛盾困擾我挺久的。直到最近讀到CMU和NYU的一篇論文，叫《From Entropy to Epiplexity》。它提出了一個(gè)新概念，核心觀點(diǎn)就一句話：信息不是數(shù)據(jù)的固有屬性，而是取決于誰在看、用多少算力去看。

這不只解釋了合成數(shù)據(jù)的問題。它還回答了幾個(gè)做AI的人一直憑直覺知道但說不清楚的事：為什么數(shù)據(jù)質(zhì)量比數(shù)據(jù)量重要？為什么LLM的泛化能力遠(yuǎn)強(qiáng)于視覺模型？為什么訓(xùn)練數(shù)據(jù)的順序會(huì)影響效果？

香農(nóng)忽略了什么

要理解這些，得先看看經(jīng)典信息論到底假設(shè)了什么。

1948年，克勞德·香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》。他用熵這個(gè)概念，第一次精確定義了信息的度量方式。從電報(bào)到WiFi到5G，整個(gè)現(xiàn)代通信的理論基礎(chǔ)都是這篇論文。

但香農(nóng)的框架有一個(gè)隱含假設(shè)，很少有人注意到：

它假設(shè)觀察者的計(jì)算能力是無限的。

在通信領(lǐng)域，這沒問題。發(fā)送端編碼、接收端解碼，編解碼器的算力不是瓶頸。但如果觀察者是一個(gè)正在學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)呢？它的參數(shù)量有限，訓(xùn)練時(shí)間有限，算力有限。這時(shí)候，香農(nóng)的框架就出現(xiàn)了裂縫。

具體來說，經(jīng)典信息論有三條推論。乍一聽都很合理，但做AI的人會(huì)覺得哪里不對：

一、確定性變換不能創(chuàng)造信息（數(shù)據(jù)處理不等式）。

二、信息和數(shù)據(jù)的排列順序無關(guān)。

三、如果模型完美匹配了數(shù)據(jù)分布，它就學(xué)會(huì)了數(shù)據(jù)中的一切。

每一條，在AI實(shí)踐中都被證明是錯(cuò)的。第一條的反例開頭已經(jīng)說了——合成數(shù)據(jù)不應(yīng)該有用，但它就是有用。后面兩條也一樣站不住腳。

倒著讀一本書，信息一樣多？

香農(nóng)信息論和柯爾莫哥洛夫復(fù)雜度都認(rèn)為，信息的度量與數(shù)據(jù)排列順序無關(guān)。一篇從前往后寫的英文文章和同一篇字母倒過來排列的文章，「信息量」應(yīng)該完全相同。

但做過大模型訓(xùn)練的人知道，從左到右讀英文的訓(xùn)練效果，明顯好于倒著讀。

密碼學(xué)給了一個(gè)更極端的例子。RSA加密的核心是：兩個(gè)大素?cái)?shù)相乘很容易，一步就算完。但從乘積反推回兩個(gè)素?cái)?shù)？目前沒有已知的高效算法。

同樣的信息，一個(gè)方向輕松提取，另一個(gè)方向幾乎不可能。

如果信息真的和順序無關(guān)，這種不對稱性不應(yīng)該存在。

4條規(guī)則能涌現(xiàn)出多少知識

第三個(gè)悖論可能是最有意思的。

經(jīng)典觀點(diǎn)說，如果一個(gè)模型完美匹配了訓(xùn)練數(shù)據(jù)的概率分布（困惑度最低），它就「學(xué)會(huì)了」數(shù)據(jù)中的所有信息。

但Conway的生命游戲只有4條簡單規(guī)則：細(xì)胞根據(jù)鄰居數(shù)量存活或死亡。就這4條。從這4條規(guī)則出發(fā)，會(huì)涌現(xiàn)出滑翔機(jī)（glider）、振蕩器（oscillator）等各種復(fù)雜的動(dòng)態(tài)結(jié)構(gòu)。

這些結(jié)構(gòu)不在規(guī)則里。你盯著規(guī)則看，怎么看都看不出來會(huì)有「滑翔機(jī)」這種東西。但它們確實(shí)存在，而且是可學(xué)習(xí)的模式。一個(gè)足夠強(qiáng)的模型，能從這4條規(guī)則中學(xué)到遠(yuǎn)比規(guī)則本身豐富得多的知識。

三個(gè)悖論指向同一個(gè)漏洞：經(jīng)典信息論沒有考慮觀察者的計(jì)算能力。

信息取決于誰在看

今年1月，CMU和NYU的六位研究者發(fā)了一篇論文，叫《From Entropy to Epiplexity》。作者之一Andrew Gordon Wilson說他們研究了近兩年，「抑制不住地興奮」。

說實(shí)話，「信息取決于觀察者算力」這個(gè)直覺不算全新。2020年的V-information論文就證明了計(jì)算約束下信息可以被「創(chuàng)造」，直接違反了DPI。更早的1988年，Bennett提出過邏輯深度（logical depth），1996年物理學(xué)家Gell-Mann提出過有效復(fù)雜度（effective complexity），都從不同角度摸到了類似的東西。ML社區(qū)在實(shí)踐中也早就知道特征工程和數(shù)據(jù)增強(qiáng)能提升性能，跟DPI矛盾，只是沒人太在意理論解釋。

但之前的工作更像是散落的碎片，各自解釋一個(gè)側(cè)面。這篇論文的價(jià)值在于把這些直覺整合成了一套完整框架，同時(shí)覆蓋合成數(shù)據(jù)、數(shù)據(jù)排序、涌現(xiàn)等多個(gè)現(xiàn)象，而且給出了可操作的測量方法。不只是說「有這么回事」，而是說「怎么量、怎么用」。

他們的核心思路很優(yōu)雅：把數(shù)據(jù)中的信息拆成兩部分。

第一部分叫 Epiplexity（認(rèn)知復(fù)雜度）。在給定算力范圍內(nèi)，觀察者能從數(shù)據(jù)中提取的可學(xué)習(xí)結(jié)構(gòu)。

第二部分叫 Time-bounded Entropy（時(shí)間有界熵）。在給定算力范圍內(nèi)，看起來像隨機(jī)噪聲的那部分。

關(guān)鍵來了：同一份數(shù)據(jù)，對不同算力的觀察者，這兩個(gè)量是不同的。

算力越強(qiáng)，能看到的結(jié)構(gòu)越多（epiplexity升高），噪聲變少（entropy降低）。算力越弱，結(jié)構(gòu)藏在「看不見」的地方，整個(gè)數(shù)據(jù)更像噪聲。

打個(gè)比方。同一本醫(yī)學(xué)教材，對醫(yī)學(xué)生來說，里面滿是可學(xué)習(xí)的結(jié)構(gòu)（高epiplexity）——癥狀和疾病之間的關(guān)聯(lián)、用藥邏輯、鑒別診斷的決策樹。對小學(xué)生來說，同樣的內(nèi)容大部分看起來像噪聲（高entropy，低epiplexity）。數(shù)據(jù)沒變。變的是觀察者的「算力」。

對AI模型也一樣。同一份訓(xùn)練數(shù)據(jù)，GPT-2和GPT-4能從中提取的結(jié)構(gòu)量完全不同。不是數(shù)據(jù)變了，是模型的算力變了。

密碼學(xué)給了一個(gè)特別漂亮的驗(yàn)證。偽隨機(jī)數(shù)生成器產(chǎn)生的序列，多項(xiàng)式時(shí)間的觀察者幾乎不可能與真隨機(jī)數(shù)區(qū)分。所以它的time-bounded entropy接近最大值（看起來全是噪聲），但epiplexity幾乎為零（沒有可學(xué)習(xí)的結(jié)構(gòu)）。

翻譯成人話：你的算力不夠，你就發(fā)現(xiàn)不了數(shù)據(jù)里的規(guī)律。對你來說，它就是噪聲。

這不是一個(gè)哲學(xué)觀點(diǎn)。論文給出了嚴(yán)格的數(shù)學(xué)定義和證明。

這把尺子量出了什么

理論漂亮是一回事，能不能用是另一回事。研究者拿這個(gè)框架實(shí)際測量了，結(jié)果挺值得說。

文本數(shù)據(jù)的epiplexity遠(yuǎn)高于圖像數(shù)據(jù)。

這可能是第一次從信息論角度解釋「為什么語言模型比視覺模型泛化更強(qiáng)」。文本里藏著更密集的可學(xué)習(xí)結(jié)構(gòu)，所以LLM學(xué)到的東西能遷移到更多下游任務(wù)。我們直覺上一直知道，但缺少理論解釋。

他們還用國際象棋做了實(shí)驗(yàn)。用不同數(shù)據(jù)集預(yù)訓(xùn)練模型，測試在從未見過的棋局上的表現(xiàn)。結(jié)果很清楚：高epiplexity數(shù)據(jù)集訓(xùn)練出的模型，在新棋局上明顯更強(qiáng)。

更實(shí)用的是，測量方法出奇簡單。

他們提出了一種叫 prequential coding 的估計(jì)方法，核心思想是看訓(xùn)練損失曲線。損失從高到低下降的「面積」越大，說明模型從數(shù)據(jù)中學(xué)到了越多結(jié)構(gòu)，epiplexity越高。

你不需要復(fù)雜的數(shù)學(xué)推導(dǎo)?？从?xùn)練曲線，就能大致判斷數(shù)據(jù)質(zhì)量。

回到那個(gè)問題

前面三個(gè)悖論現(xiàn)在都能解釋了。

合成數(shù)據(jù)為什么有用？因?yàn)閿?shù)據(jù)處理不等式假設(shè)了無限算力的觀察者。對無限算力來說，確定性變換確實(shí)不增加信息。但對有限算力的模型來說，一個(gè)好的合成過程可以把隱藏的結(jié)構(gòu)變成可學(xué)習(xí)的結(jié)構(gòu)，提高epiplexity。

數(shù)據(jù)順序?yàn)槭裁粗匾恳驗(yàn)橛邢匏懔Φ挠^察者從不同方向提取信息的難度是不對稱的。從左到右和從右到左，對無限算力沒區(qū)別，但對有限算力有巨大差異。

涌現(xiàn)為什么發(fā)生？因?yàn)橛邢匏懔Φ挠^察者能發(fā)現(xiàn)生成規(guī)則本身沒有明確包含的模式。規(guī)則簡單，但規(guī)則運(yùn)行的結(jié)果中蘊(yùn)含的可學(xué)習(xí)結(jié)構(gòu)遠(yuǎn)超規(guī)則本身。

飛輪還在轉(zhuǎn)嗎

之前寫Ilya Sutskever那篇文章時(shí)，他說：「2020到2025是規(guī)模時(shí)代，但現(xiàn)在規(guī)模已經(jīng)夠大了。」很多人覺得scaling law快到頭了，原因很簡單：世界上的高質(zhì)量文本數(shù)據(jù)快用完了。

但這引出了一個(gè)更大膽的問題：如果更好的模型能生成更好的合成數(shù)據(jù)，更好的合成數(shù)據(jù)又能訓(xùn)練出更好的模型，這個(gè)飛輪能一直轉(zhuǎn)下去嗎？

直覺上覺得不行。合成數(shù)據(jù)不能憑空創(chuàng)造關(guān)于真實(shí)世界的新知識。AlphaZero學(xué)到的所有戰(zhàn)略，本質(zhì)上都是圍棋規(guī)則的推論，不是新的物理定律。你不可能靠AI生成數(shù)據(jù)來教AI它不知道的事實(shí)。這像是踩著自己的腳想把自己舉起來。

但epiplexity給了一個(gè)不同的視角。

合成數(shù)據(jù)做的事情不是「增加知識」，而是「提高結(jié)構(gòu)密度」。你有一本沒目錄、沒索引的百科全書。一個(gè)好的合成過程相當(dāng)于給它重新排版、標(biāo)注重點(diǎn)、加上交叉引用。信息沒變，但對有限算力的讀者來說，可學(xué)習(xí)的結(jié)構(gòu)變多了。epiplexity提高了。

所以飛輪可能還在。只是驅(qū)動(dòng)它的東西變了：從「更多的數(shù)據(jù)」變成「更高密度的結(jié)構(gòu)」。不是加油，是換擋。

不過有一個(gè)關(guān)鍵前提：你需要一種方法來驗(yàn)證合成數(shù)據(jù)的質(zhì)量。代碼可以編譯運(yùn)行，數(shù)學(xué)可以形式化證明，所以這兩個(gè)領(lǐng)域的合成飛輪最先跑通了。Demis Hassabis也說過，代碼和數(shù)學(xué)可以靠合成數(shù)據(jù)無限生成訓(xùn)練素材，正是因?yàn)橛凶詣?dòng)驗(yàn)證。

沒有驗(yàn)證機(jī)制的領(lǐng)域呢？模型生成的「知識」可能只是幻覺。這時(shí)候合成數(shù)據(jù)不但不增加epiplexity，反而引入noise。Nature上那篇model collapse論文就是這個(gè)警告：純合成數(shù)據(jù)訓(xùn)練，模型會(huì)不可避免地退化。

所以更準(zhǔn)確地說：飛輪能不能轉(zhuǎn)，取決于你有沒有驗(yàn)證器。有驗(yàn)證器的領(lǐng)域（代碼、數(shù)學(xué)、游戲），踩自己的腳上天是可能的。沒有驗(yàn)證器的領(lǐng)域，自舉大概率坍縮。

所有人都在說data quality matters，但一直沒人能精確定義什么是quality。Epiplexity給了一個(gè)候選答案：高epiplexity的數(shù)據(jù)就是高質(zhì)量的數(shù)據(jù)。而驗(yàn)證器，是確保合成數(shù)據(jù)確實(shí)有高epiplexity的守門員。

Karpathy之前在訪談里說過一個(gè)觀點(diǎn)，我印象很深：人類記憶差，反而是優(yōu)勢。因?yàn)橛洃浟Σ缓茫仁谷祟惾ふ夷Ｊ?，而不是死記硬背。LLM的問題恰恰相反，過度記憶，反而忽略了可以泛化的規(guī)律。

用epiplexity的語言重新說這句話：人類的有限算力反而迫使我們只提取高epiplexity的結(jié)構(gòu)，忽略noise。而LLM的巨大參數(shù)量讓它可以把noise也記住，結(jié)果反而泛化變差。

費(fèi)曼說過：「如果你不能簡單地解釋它，說明你還不理解它?！?/p>

我做了兩年多內(nèi)容，最大的體會(huì)是邊學(xué)、邊做、邊分享形成的飛輪。當(dāng)你試圖教別人一個(gè)概念，費(fèi)曼學(xué)習(xí)法會(huì)逼你把東西梳理得更清楚?，F(xiàn)在我覺得這個(gè)過程可以用一個(gè)更精確的詞來描述：你在用有限的算力（時(shí)間、注意力、已有知識），從數(shù)據(jù)中提取結(jié)構(gòu)。提取得越多，你就越「理解」了這個(gè)東西。

同一份數(shù)據(jù)，不同的人看到不同的信息。這不是雞湯。這是一個(gè)數(shù)學(xué)事實(shí)。

只是信息論花了70年才真正意識到它。

論文地址：https://arxiv.org/abs/2601.03220