• ? 海外的模型廠商有足夠多的頂級 GPU，可以靠堆算力的方式來直接處理信息。國內(nèi)算力受限，必須在模型的底層設(shè)計上想辦法，以彌補(bǔ)硬件差距。 「中國的廠商，在資源有限的情況下，不得不去做這些架構(gòu)優(yōu)化」

• ? Transformer 模型在處理長文本時，有一個叫 Attention（注意力機(jī)制）的核心模塊。它的作用是讓模型在生成每一個字的時候「回頭看」前面所有內(nèi)容。文本越長，回頭看的計算量越大，增長速度是平方級的。百靈把大部分 Attention 層替換成了計算量更低的線性版本，但剩下沒替換的那一小部分，仍然在超長上下文處理時吃掉了總算力的六成以上。 「成本，60% 都花在這了」

• ? 很多的模型評測都是單項(xiàng)考試，并不能很好的指導(dǎo)模型發(fā)展，比如：搜索能力單獨(dú)考，寫代碼能力單獨(dú)考。但真實(shí)工作從來都是混著來的。程序員寫代碼寫到一半卡住了，去搜一下，找到思路回來接著寫，但很可惜，對于這種情況， 「目前沒有任何一個 benchmark，能同時測好兩件事」

• ? 模型在變小，能力在變強(qiáng)。目前實(shí)際的預(yù)訓(xùn)練實(shí)驗(yàn)觀察就是，不到一年時間，一個不到200B總參數(shù)的模型，效果就可以超過萬億參數(shù)的模型。但對于正在做 Agent、做應(yīng)用的團(tuán)隊(duì)來說，等不了這一年。 「一年之后 200B 模型，能打贏今天的 1T。但一年時間，很多公司已經(jīng)活不了了」

以上內(nèi)容，來自我和零幺的對話，他在螞蟻負(fù)責(zé)語言基座模型的訓(xùn)練

本篇?dú)w屬「賽博史記 · 煉丹者列傳」，以對話來記錄每個知名大模型背后的人，以及他們每天需要面對的問題： 中國模型，算力有限的情況下，要如何開展工作、產(chǎn)品和模型之間的能力應(yīng)該怎么對齊，哪些技術(shù)賭注現(xiàn)在就要下

在這個混亂的時代里，讓我們看看，這些人的有著怎樣的洞察，以及正在作出怎樣的判斷

零幺，螞蟻的語言基座模型的負(fù)責(zé)人

他是螞蟻集團(tuán)基礎(chǔ)智能部技術(shù)總監(jiān)，負(fù)責(zé)百靈的基座訓(xùn)練。但他以前從來沒做過 NLP，讀書到工作都在做圖機(jī)器學(xué)習(xí)，2024 年初才轉(zhuǎn)行，開始搞語言模型

一個從沒碰過 NLP 的人，兩年不到做到了國內(nèi)頭部模型的負(fù)責(zé)人

我以為他會說些什么關(guān)于天賦或者機(jī)緣的話，結(jié)果他說：
大家想干都可以轉(zhuǎn)，這個行業(yè)，是向所有人開放的

2026 年 2 月，百靈發(fā)布了 2.5 系列，包括一個萬億參數(shù)的即時模型 Ling-2.5-1T 和一個萬億參數(shù)的思考模型 Ring-2.5-1T。全部開源，1T 總參 63B 激活，原生 256K 上下文窗口，外推支持 1M

在國內(nèi)開源界，近兩年中，百靈也是除 Kimi 以外唯一發(fā)布過萬億參數(shù)規(guī)模模型的廠商

我們聊了將近兩小時，然后我發(fā)現(xiàn)：零幺說話的方式不太一樣，他很少講愿景，幾乎不用形容詞，大部分時間在報數(shù)字和做判斷。聊到架構(gòu)選擇、評測盲區(qū)、產(chǎn)品協(xié)作這些話題時，他給出的都是具體方案

以下內(nèi)容，基于我們的對談

兩條路線

國內(nèi)和海外的模型廠商，在處理 Attention（注意力機(jī)制）這件事上，走了兩條完全不同的路。海外靠算力硬撐，用標(biāo)準(zhǔn)的 Full Attention 讓模型每次完整看一遍所有內(nèi)容；國內(nèi)算力受限，必須在架構(gòu)創(chuàng)新，要用線性化、稀疏化等方式降低 Attention 的計算量

先解釋一下 Attention 在做什么。大語言模型在生成每一個字的時候，需要「回頭看」前面所有已經(jīng)輸入和生成的內(nèi)容，決定哪些跟當(dāng)前要生成的字最相關(guān)。這個過程就是 Attention 在做的事。文章越長，回頭看的范圍越大，計算量增長是平方級的：長度翻倍，計算量大約翻四倍

海外廠商用的 Full Attention 效果好，穩(wěn)定，就是費(fèi)算力。但 Google、OpenAI、Anthropic 有足夠的頂級 GPU，撐得住

國內(nèi)的情況不一樣。2022 年美國芯片出口管制升級后，國內(nèi)能拿到的最好 GPU 是 H800，計算能力跟英偉達(dá)旗艦 H100 一樣，但芯片之間的通信帶寬從 900GB/s 砍到了 400GB/s，多張 GPU 協(xié)同工作時效率直接打了折。同樣的訓(xùn)練任務(wù)，必須用更聰明的方式完成

在這個約束下，國內(nèi)廠商做了兩件海外幾乎不做的事

第一件：MoE 的極致稀疏化。 MoE（混合專家模型）的原理是：模型雖然有一萬億個參數(shù)，但每次只讓其中一小部分參數(shù)「上場」干活�？倕�(shù)大，知識儲備多，但實(shí)際消耗的算力很小

國內(nèi)把這個思路推到了極致。DeepSeek 和百靈做到 256 個專家激活 8 個，Kimi K2 做到 384 個專家激活 8 個，千問 3.5 最激進(jìn)，512 個專家激活 10 個。但是海外的話，大多不會采用極度稀疏和細(xì)粒度的混合專家方案，稀疏度差了一個數(shù)量級

第二件：給 Attention 動手術(shù)。 Full Attention 在長文本下成本太高，國內(nèi)廠商想辦法降低這個成本，目前形成了三條路線：

線性化。 把 Attention 的計算量從平方級降到線性級。MiniMax 走得最早也最激進(jìn)，MiniMax-Text-01 每 8 層中 7 層用 Lightning Attention（線性注意力），只留 1 層標(biāo)準(zhǔn) Attention，訓(xùn)練窗口 100 萬 token，推理外推到 400 萬。百靈 2.5 也是 1:7 的混合比例。千問同樣在 Linear Attention 方向持續(xù)投入

稀疏化。 保留標(biāo)準(zhǔn) Attention，但讓模型學(xué)會「跳著看」，只關(guān)注最重要的內(nèi)容。DeepSeek V3.2 和 GLM-5 走的是這條路，兩者都采用了 DSA 架構(gòu)

做減法。 Kimi K2 旗艦?zāi)Ｐ蜎]有換 Attention 機(jī)制，而是把注意力頭從 128 個砍到 64 個。團(tuán)隊(duì)發(fā)現(xiàn)翻倍的注意力頭在 128K 上下文時多消耗 83% 算力，性價比太低，直接砍半

不過 Kimi 后來也單獨(dú)出了一個探索性質(zhì)的 Kimi Linear 小模型（48B），用 3:1 混合注意力，說明線性化方向他們也在看

總結(jié)下，大概是這樣 - MiniMax、百靈、千問 all-in 線性化； - DeepSeek、GLM 走稀疏化； - Kimi 靠 MoE 高稀疏加 MLA 壓縮來省算力，Attention 機(jī)制本身暫時不大改 MoE 方面基本是共識，大家都在往極致稀疏推

這些路線看起來各有各的選擇，但零幺認(rèn)為背后只有一個驅(qū)動力：
「如果你給我 100 萬張 H100，我也會做海外那個選擇」

Full Attention 效果穩(wěn)定，架構(gòu)非常成熟，就是費(fèi)算力，算力夠用的話沒人愿意折騰架構(gòu)。線性化、稀疏化、砍注意力頭，本質(zhì)是同一個約束條件逼出來的

DeepSeek 訓(xùn) V3 用了 2048 張 H800，278 萬 GPU 小時。Meta 訓(xùn) Llama 3 405B 花了 3080 萬 GPU 小時，11 倍于 DeepSeek

「中國的廠商，在資源有限的情況下，你不得不去做這件事情」

而這些為了省算力做的架構(gòu)改造，恰好撞上了 Agent 時代最核心的需求

60% 的計算成本

百靈 2.5 的 80 層網(wǎng)絡(luò)里，已經(jīng)把 72 層換成了線性注意力，只留了 8 層標(biāo)準(zhǔn)注意力（MLA）。對此，零幺補(bǔ)充到：上下文到 256K 以上時，那僅有的 8 層 MLA，占了總計算成本的 60% 以上

為什么 8 層就能吃掉 60%？因?yàn)?Agent 場景下上下文會變得非常長。人問一句、模型回一段，上下文可能就幾千字。但 Agent 執(zhí)行任務(wù)的時候，中間不斷地搜索、讀文檔、寫代碼、看結(jié)果、再搜索，每一輪的輸入輸出都在堆積。一個 coding agent 連續(xù)工作幾個小時，上下文輕松突破 32K，到 128K、256K

上下文越長，標(biāo)準(zhǔn) Attention 的計算量膨脹越快（平方級增長），而線性注意力只是線性增長。所以到了長上下文場景，那 8 層標(biāo)準(zhǔn)注意力雖然數(shù)量少，成本卻遠(yuǎn)遠(yuǎn)超過了 72 層線性注意力

在這一方面，百靈 2.5 用的是 1:7 混合比例（每 8 層里 1 層 MLA + 7 層 Lightning Linear Attention）。零幺說他們專門跑了一輪 Scaling Law 實(shí)驗(yàn)，在不同混合比例下對比效果和效率的曲線，最后收斂到 1:7。百靈下一輪架構(gòu)升級要解決的，還是這 60%

「國內(nèi)大部分模型，要么在稀疏化上走得遠(yuǎn)，要么在線性化上走得遠(yuǎn)。否則會被效率打掉」

在效率和效果的優(yōu)先級上，零幺給了一個跟行業(yè)主流不同的判斷：「大家更直觀的感受上，最大的挑戰(zhàn)在效果側(cè)。但在我的認(rèn)知里面，效果和效率是同等重要的」

行業(yè)里大部分聲音，會說模型能力還不夠強(qiáng)，要繼續(xù)提升效果，但可能也需要算一筆賬：當(dāng)資源有限、但 Agent 需求過剩的時候，效率就會變成生死問題

效果不夠強(qiáng)，還能用；但總是響應(yīng)超時，那就沒有后續(xù)了

在這里，零幺有個核心判斷：架構(gòu)本身不決定效果，但架構(gòu)決定效率，而迭代效率最終決定模型效果。用更老的架構(gòu)，你有足夠算力同樣能做出好模型——問題是國內(nèi)沒有那個算力

Benchmark 高分，手感差

模型評測分?jǐn)?shù)很高，真上手用卻覺得哪里不對勁

我把這個問題丟給了零幺，他則給了我一個很具體的原因：現(xiàn)在所有 benchmark 都是單項(xiàng)考試，搜索能力單獨(dú)考，寫代碼能力單獨(dú)考。但真實(shí)工作從來并非如此，幾個工具要同時用、來回切換，而目前沒有任何評測在測這個

大多數(shù)程序員日常工作時同時在用好幾個工具，寫代碼卡住了去搜一下，找到思路回來接著寫，寫完跑測試，報錯了再查文檔。幾個工具來回切換。但 Terminal Bench 測命令行操作，里面沒有搜索；Agent Search benchmark 測搜索能力，里面沒有 coding 環(huán)境。每個維度單獨(dú)測分都不低

「你讓模型單獨(dú)搜索它會，單獨(dú)寫代碼它也會。但你讓它邊搜邊寫，就崩了」

我自己評估模型的時候，也會看 coding 分?jǐn)?shù)、math 分?jǐn)?shù)、instruction following 分?jǐn)?shù)。但如果一個模型搜索強(qiáng)、編碼也強(qiáng)，就是沒法同時調(diào)兩個工具配合干活，那這些單項(xiàng)分?jǐn)?shù)就要打折

零幺給這個方向起了個名字，叫 production research：去觀察真正在生產(chǎn)環(huán)境里工作的人是怎么干活的，基于這些真實(shí)模式去設(shè)計評測和訓(xùn)練數(shù)據(jù)

我問：你覺得有哪些 Benchmark 是被低估了嗎？
回答：GAIA2，相比一些其他榜單，GAIA2 可能更接近真實(shí) Agent 場景，允許 Agent 異步執(zhí)行多個有依賴關(guān)系的任務(wù)。做這個 benchmark 的團(tuán)隊(duì)據(jù)說已經(jīng)解散了，代碼有 bug 沒人維護(hù)。覺得這個方向?qū)Γ妥尠凫`團(tuán)隊(duì)自己把 bug 修了，拿來做內(nèi)部評估

我當(dāng)時嘆了聲牛逼...判斷方向是對的，就動手補(bǔ)上缺的東西

聊到 Claude Code 為什么在多工具協(xié)同上表現(xiàn)好，零幺幫我分析了 Anthropic 的做法，認(rèn)為一個重要原因是他們確實(shí)在做 production research，收集了大量真實(shí)工程師的工作模式來指導(dǎo)訓(xùn)練

「這個事，靠的說投入和耐心，不單單是聰明」，以及...被嚴(yán)重低估的，是「多工具協(xié)同」這整個能力維度

松耦合

螞蟻內(nèi)部，產(chǎn)品團(tuán)隊(duì)和基模團(tuán)隊(duì)的關(guān)系是：松耦合

產(chǎn)品團(tuán)隊(duì)提前半年給出未來想要什么能力，基模團(tuán)隊(duì)從中選擇能做且應(yīng)該做的，兩邊在一個「池子」里找交集，各自保留各自的判斷

我問：如果兩年后螞蟻的模型大獲成功，它能占據(jù)的心智可能是什么？
回答到：專業(yè)服務(wù)業(yè)

這也是螞蟻的固有心智：從支付延伸到金融、醫(yī)療、生活服務(wù)，都是專業(yè)服務(wù)業(yè)，行業(yè)門檻高，專業(yè)從業(yè)者稀缺

普通人享受不到好的金融服務(wù)，社區(qū)醫(yī)生水平有限所以大家都去三甲，搜索引擎查個癥狀小毛病看著像絕癥。AI 如果能降低這些服務(wù)的門檻，就是螞蟻?zhàn)龌５闹c(diǎn)

具體是這樣運(yùn)作的：靈光（螞蟻的 C 端 AI 產(chǎn)品）團(tuán)隊(duì)提前半年做一個 demo 視頻，里面可能有十幾個設(shè)想中的功能。百靈團(tuán)隊(duì)看完之后，判斷哪些能做、哪些三個月能出、哪些一年后還做不出來，從中 pick 一些去推進(jìn)

一個例子：2025 年 2～3 月時，國內(nèi)所有模型都生成不了好看的 HTML 頁面，只有 Claude 能做到。靈光團(tuán)隊(duì)則評估這個很重要，就放進(jìn)需求池。百靈在 2.0 版本訓(xùn)練中就開始強(qiáng)化 HTML 生成。等靈光產(chǎn)品上線時，能力已經(jīng)準(zhǔn)備好了

零幺說：Google 內(nèi)部也是類似模式，3～6 個月為周期收集產(chǎn)品需求

一年和一年

模型在變小，能力在變強(qiáng)，一年后，一個 200B 的模型，就能打贏今天的 1T

這里可能不是判斷了，我們實(shí)際在訓(xùn)練中的模型就能看到這個趨勢了。類似摩爾定律，對基模目前可能是不到一年，同等能力對應(yīng)的規(guī)模就可能可以壓縮一個數(shù)量級

但做 Agent、做應(yīng)用的團(tuán)隊(duì)等不了這一年

同一個「一年」，對模型廠商是技術(shù)迭代的周期，對應(yīng)用公司是生死存亡的倒計時

千問 3.5 已經(jīng)在驗(yàn)證這個趨勢，397B 總參 17B 激活，在不少維度上打贏了上一代萬億參數(shù)模型。GLM-5 用 744B 總參 40B 激活拿到了 a16z 所說的「最好的開源模型」

在模型訓(xùn)練中，零幺跟我講了一個他認(rèn)為被嚴(yán)重低估的問題：過程獎勵

現(xiàn)在主流做法是 Agent 跑完整個任務(wù)后，看最終結(jié)果給一個獎勵信號。但如果 Agent 連續(xù)跑幾個小時，中間幾十上百步操作，最后才給一個「對」或「錯」，信號太稀疏，模型很難從中學(xué)到東西

百靈 2.5 在數(shù)學(xué)證明題上的進(jìn)步，零幺認(rèn)為很大程度來自逐步驗(yàn)證：每一步推導(dǎo)都檢查對錯，整個過程就是結(jié)果。這跟 Agent 場景的需求結(jié)構(gòu)一樣：長程執(zhí)行，中間每一步都需要反饋

同時，他也很坦率地告訴我說，Agent 的過程獎勵怎么做，目前沒有成熟方案�！溉绻茉谶@個位置找到更好的想法，整個 Agent 訓(xùn)練的效率會提一截」。

我發(fā)現(xiàn)，在聊到?jīng)]解決的問題時，零幺反而說得更細(xì)

關(guān)于思考模型和即時模型，零幺表示：各家現(xiàn)在優(yōu)先卷思考模型，因?yàn)楦荏w現(xiàn) AGI 上限，benchmark 卷得更猛。代價是即時模型被普遍忽視

「你會發(fā)現(xiàn)各家現(xiàn)在對應(yīng)的非思考模型，能力就偏弱了」

長遠(yuǎn)看一定會合到一起。但現(xiàn)階段分開做是也是合理的：兩種模型的上限還沒探清楚，合在一起反而會互相拖累

聊到最后，我們還說了件小事：這次百靈 2.5 的官方發(fā)布稿，是零幺用百靈 1T 模型寫的

「以前用 xxx 模型寫文檔，會蹦出來一堆很科幻的詞語，每次都要大改。這次用百靈寫，很多直接就可以用了」

我問：覺得百靈 2.5 寫出來的東西，具體好在哪
他想了想說：像一篇正常的文章，而不像一篇玄幻小說了