Hongyuan Adam Lu，F(xiàn)aceMind CEO，CUHK AI PhD 研究課題：LLM 預(yù)訓(xùn)練、世界模型、端側(cè)模型訓(xùn)練；帝國理工 CS 本碩；愛丁堡大學(xué) AI 碩士；ACL 系頂會(huì) Outstanding Paper Award 一作；曾于 MSRA（北京）任預(yù)訓(xùn)練一職，研發(fā)了世界上第一個(gè)支持 200 種語言的 LLM；旗艦會(huì)議 ACL 2025、NAACL 2025 Area Chair，創(chuàng)辦了 AI 軟件：疊疊社，深受二次元喜愛，是一款被投資人稱之為 “米哈游的蔡浩宇都要學(xué)習(xí)的 AI 產(chǎn)品”。

有這樣一種 “模型玄學(xué)”：明明是同一個(gè) Prompt，僅僅換一種說法，模型的回答可能就天差地別。

深挖這個(gè)現(xiàn)象，是一個(gè)有趣、有用、但 “反直覺” 的問題：如果語義不變，只是把一句話改寫成更常見、更高頻的 “大白話”，模型的推理以及訓(xùn)練表現(xiàn)會(huì)不會(huì)更好？

最近，來自臉譜心智與香港中文大學(xué)的科研人員圍繞這個(gè)問題展開了系統(tǒng)研究，并提出了一項(xiàng)中稿 ACL 2026 Main 的新工作。他們提出了一個(gè)極具記憶點(diǎn)的新概念：Adam’s Law，akaTextual Frequency Law（文本頻率定律）。

• 論文標(biāo)題：Adam’s Law: Textual Frequency Law on Large Language Models
• 作者：Hongyuan Adam Lu, Z.L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
• 機(jī)構(gòu)：FaceMind Corporation、The Chinese University of Hong Kong
• arXiv 鏈接：https://arxiv.org/abs/2604.02176
• huggingface 鏈接：https://huggingface.co/papers/2604.02176
• github 鏈接：https://github.com/HongyuanLuke/frequencylaw

論文用理論推導(dǎo)以及模型實(shí)驗(yàn)向我們展示了：當(dāng)不同表述表達(dá)同一個(gè)意思時(shí)，語言模型往往更偏好 “高頻文本”。而這種偏好不僅出現(xiàn)在你敲下 Prompt 的那一刻，甚至在模型訓(xùn)練階段也同樣適用。

用大白話說，很多時(shí)候決定模型是否聰明的，不只是 “你問了啥”，還包括 “你是怎么說的”。

這啟發(fā)了什么？今天我們業(yè)內(nèi)談起模型優(yōu)化，關(guān)鍵詞永遠(yuǎn)是：更強(qiáng)更大的基座、更長的推理思維鏈、以及昂貴的高質(zhì)量訓(xùn)練數(shù)據(jù)，或者是極其復(fù)雜的 alignment 算法。但 Adam's Law 揭示了文本頻率對于模型訓(xùn)練以及推理的重要性。

研究表明，高頻表達(dá)因?yàn)樵谟?xùn)練語料中出現(xiàn)的次數(shù)足夠多，大模型對它們有著天然的 “肌肉記憶”。因此，在面對這些模型自身熟悉的詞句時(shí)，模型在理解、推理和生成時(shí)更容易零百 “進(jìn)入狀態(tài)”。

Who is Adam？

Adam’s Law 主張的鐵律是：我們應(yīng)該優(yōu)先使用句子級頻率更高的 expression，無論是做 inference 還是 training。

研究團(tuán)隊(duì)不甘讓結(jié)論停留在 “哎喲，好像確實(shí)是這樣” 的 empirical observation。

他們先是提供了縝密的 theoratical proof，也為其搭建了一個(gè)完整的 framework，由三板斧組成：

• 第一把斧 TFL（Adam’s Law）： 提出 Textual Frequency Law：“高頻文本應(yīng)被優(yōu)先選擇”；

極其硬核的部分推導(dǎo)數(shù)學(xué)輔佐

• 第二把斧 TFD（Textual Frequency Distillation）： 既然算不準(zhǔn)，那就讓模型自己開口。用目標(biāo)模型生成的文本，去反向修正 frequency estimation；
• 第三把斧 CTFT（Curriculum Textual Frequency Training）： 把文本頻率引入課程學(xué)習(xí)，給模型發(fā)一本循序漸進(jìn)的教材。

用大白話來說，他們的操作流程是這樣的： 先給一句話算算 “八字”（估算常見度），把同義句里最接地氣、最 frequent 的那句挑出來喂給模型；如果怕算得不準(zhǔn)，就讓模型自己做幾道 “故事續(xù)寫” 題，看看它平時(shí)潛意識(shí)里愛用什么詞，借此來修正頻率估算；最后，在訓(xùn)練時(shí)，不光是要挑數(shù)據(jù)頻率，而且訓(xùn)練順序都給你安排得明明白白。

怎樣才算 “常見”？巧妙的工程解法

這里有一個(gè)大坑：像是 GLM 這種主流大模型，預(yù)訓(xùn)練數(shù)據(jù)全是個(gè)黑箱，連它吃過幾碗干飯都不知道，你怎么算它對哪句話更眼熟？不用擔(dān)心沒關(guān)系。

作者給了個(gè)極其巧妙且工程化的解：咱不糾結(jié)模型見過啥，直接借助公開的龐大 corpora 和詞頻資源去估算就行。 在 Adam’s Law 中，句子的頻率被近似為詞頻的組合，直接攢出一個(gè) “句子級頻率指標(biāo)”。

這意味著，開發(fā)人員完全不需要破解閉源模型的訓(xùn)練集，就能直接用這套頻率估算大法。極其接地氣，繞開了黑箱限制，把玄學(xué)推進(jìn)到了可驗(yàn)證、可復(fù)現(xiàn)的工程層面。

當(dāng)然，僅靠公開詞頻估計(jì)大概率是有誤差的。Adam 打出了第二把斧TFD：讓目標(biāo)模型對給定文本做 “story completion 續(xù)寫補(bǔ)全”。這相當(dāng)于在審問模型：“別裝了，暴露你的真實(shí)用語習(xí)慣吧！” 用模型自己吐出來的語料蒸餾，再去輔助修正原始頻率，這樣就無限逼近了模型內(nèi)部真正熟悉的白話表達(dá)分布。

別光顧著改 Prompt 推理，訓(xùn)練的規(guī)矩也變了

Adam's Law 最絕的一點(diǎn)，是沒有把 “文本頻率” 局限在一個(gè)討巧的 Prompt 推理技巧上，而是直接殺到了更硬核的模型訓(xùn)練范式里。

在提示（Inference）階段，邏輯非常順滑：同一道數(shù)學(xué)題，如果把題目里的生僻詞換成大白話的高頻表達(dá)，模型馬上就算得更準(zhǔn)。

但在訓(xùn)練（Training）階段，Adam 拋出了一個(gè)靈魂拷問：如果老板給的算力預(yù)算有限，訓(xùn)練數(shù)據(jù)該怎么挑怎么用？Adam 說：高頻文本可能比低頻文本更值得優(yōu)先保留！

而且CTFT甚至改變了喂數(shù)據(jù)的姿勢。作者發(fā)現(xiàn)，低頻表達(dá)往往語境更稀疏、結(jié)構(gòu)更復(fù)雜。就像我們上語文課一樣，先讓他死磕難懂的古文（更低頻），再讓他看通俗的白話文（更高頻），最終的收斂效果，居然比隨機(jī)亂喂數(shù)據(jù)還要好。

實(shí)驗(yàn)結(jié)果：白嫖的性能提升

為了拿數(shù)據(jù)說話，作者死磕出了一個(gè)專門的數(shù)據(jù)集 TFPD（Textual Frequency Paired Dataset），涵蓋了數(shù)學(xué)推理、機(jī)器翻譯、常識(shí)推理和智能體工具調(diào)用等多個(gè)場景。

為了保證嚴(yán)謹(jǐn)，他們先用模型生成一批 “文縐縐、極其少見” 的改寫，和一批 “大白話、極其常見” 的改寫，再花錢請人工標(biāo)注員挨個(gè)檢查，確保改寫后意思沒變，最后湊成了 “高頻 vs 低頻” 的成對樣本。

結(jié)果極其直觀。

在數(shù)學(xué)推理、Agent 任務(wù)、以及常識(shí)解析上，僅僅只是把 Prompt 換成更高頻的表達(dá)，不換模型、不加訓(xùn)練數(shù)據(jù)、不增加 inference 時(shí)長，inference 效果顯著增加；在機(jī)器翻譯上，Adam's Law 同樣穩(wěn)如泰山：研究人員一口氣測了 100 個(gè)語言翻譯方向：在訓(xùn)練實(shí)驗(yàn)里，三板斧 CTFT 的威力同樣顯現(xiàn)。在 Pangasinan（一種菲律賓語支）的機(jī)器翻譯任務(wù)中，使用了 CTFT 后， BLEU 分?jǐn)?shù)狂漲29.96%。

Adam's Law 在上百種語言上的結(jié)果可視化，最外圈為 Adam's Law 的結(jié)果。

更顛覆認(rèn)知的是：有時(shí)候用高頻改寫數(shù)據(jù)去訓(xùn)練，效果甚至比直接用原汁原味的基準(zhǔn) training set 還要好！這直接挑戰(zhàn)了業(yè)內(nèi) “原始數(shù)據(jù)天然最優(yōu)” 的傳統(tǒng)偏見。

Adam's Law，給行業(yè)帶來了什么？

Adam’s Law把一種飄渺的 “直覺”，打造成了一套可定義、可估算、可驗(yàn)證、可部署、繞過黑盒的方法學(xué)定律，通過數(shù)學(xué)推導(dǎo)以及實(shí)驗(yàn)的方法證明了其可靠性。

對搞應(yīng)用（做 Agent、寫 Prompt）的打工人： 別再給 Prompt 瘋狂加毫無必要的定語、約束和高端詞匯了。先把 Prompt 理順，改得更自然、更高頻，這可能是一種幾乎沒有成本、見效極快的 “魔法”。

對搞訓(xùn)練（Pre-training、SFT、蒸餾、做數(shù)據(jù)清洗）的煉丹師： 這是全新的 Data Engineering 治理思路。以后洗數(shù)據(jù)做數(shù)據(jù)，除了看數(shù)據(jù)的質(zhì)量、長度、難度，咱還得給文本頻率拉個(gè)畫像。GPUTPU 吃緊時(shí)，“留什么數(shù)據(jù)” 不只看標(biāo)注對不對，咱還得看看這句話是不是足夠 “大白話”。

對評測（Benchmark）的研究者：如果一道題，換個(gè)冷門說法模型就不行，那它是真的有了 “推理能力”，還是僅僅靠著 “刷題”，記住了特定表述的熟悉度？這給未來構(gòu)建更抗造的評測榜單提了個(gè)醒。

Conclusions

Adam’s Law 像一面鏡子，照出了 LLM 的本質(zhì)：模型不僅在 “理解世界”，它更是在 “記住人類語言世界里，什么東西最常出現(xiàn)”，然而這是雙向的，LLM 在看世界的時(shí)候，世界也在看 LLM。

當(dāng)整個(gè) AI 圈都在為了更長的 RL 推理、更龐大的參數(shù)量、更玄乎的對齊算法無腦卷生卷死時(shí)，這篇工作輕巧地給出了一條無比樸素的線索：

讓模型變聰明的捷徑，不是把話說得更高深，而是把話說得更大白話一點(diǎn)。這在推理時(shí)有用，也在訓(xùn)練時(shí)有用。