作者：王兆洋 + DeepSeek V4 專家模式

V4 終于終于終于終于是來了。

而且它不在假期，不在深夜，而是突然就發(fā)了。模型，開源權(quán)重，技術(shù)報(bào)告和官方的文章同時(shí)發(fā)給所有人。

官方給出的亮點(diǎn)是“百萬上下文的普惠”。但顯然，這個(gè)模型里DeepSeek做的創(chuàng)新工作還是非常的多。

一如既往的，它的技術(shù)報(bào)告是今天比讀任何新聞都過癮的存在。

這一次V4最讓人欣喜的是，它的架構(gòu)依然在進(jìn)化，且依然極度聰明。它告訴整個(gè) AI 圈一件事：不用堆參數(shù)，不用買更多卡，僅靠對(duì)注意力機(jī)制和訓(xùn)練方式的重新發(fā)明，就能把百萬 token 長文本的門檻踩到地板上。

而且，外界一直在關(guān)注的用“華為芯片”訓(xùn)練的問題，也終于有所揭曉：這次華為昇騰的名字，是和 NVIDIA 并列寫在驗(yàn)證平臺(tái)里的。雖然從技術(shù)報(bào)告來看，訓(xùn)練部分依然大概率用的英偉達(dá)芯片，但在與昇騰的適配上，它顯然達(dá)到了前所未有的“原生”水平。這后面的意味，比跑分更有意思。

而在官方文檔里，API價(jià)格的地方有一行小字：

受限于高端算力，目前Pro的服務(wù)吞吐十分有限，預(yù)計(jì)下半年昇騰950超節(jié)點(diǎn)批量上市后，Pro的價(jià)格會(huì)大幅下調(diào)。

這同樣讓人浮想聯(lián)翩，且讓人對(duì)未來更加期待。

1

27% 和 10%，這兩個(gè)數(shù)字定義了什么叫“效率革命”

看看技術(shù)報(bào)告里的硬數(shù)據(jù)?；鶞?zhǔn)是 DeepSeek-V3.2——本身已經(jīng)是一個(gè)效率很高的模型。

在 100 萬 token 上下文下（大約能裝三部《三體》），DeepSeek-V4-Pro——1.6 萬億參數(shù)，激活 49B——處理一個(gè)新 token 需要的算力只有 V3.2 的 27%，KV 緩存只占 10%。

而小杯 DeepSeek-V4-Flash：284B 參數(shù)，激活僅 13B，算力只要 10%，緩存只要 7%。

一個(gè)容易被忽略的細(xì)節(jié)：報(bào)告明確標(biāo)注，單 token 推理算力的單位是等效 FP8 FLOPs。這不是拿低精度取巧，而是已經(jīng)換算到和 V3.2 相同的精度標(biāo)準(zhǔn)去比。而且，V4 系列的路由專家權(quán)重還用了 FP4 精度，報(bào)告特別指出，現(xiàn)有硬件上 FP4 和 FP8 的峰值算力相同，但未來硬件上 FP4 可以再高出三分之一的效率。換句話說，現(xiàn)在的數(shù)字還不是天花板，等昇騰 950 這類新硬件到位，還有一波可挖的潛力。

長上下文，正在從奢侈品變成日用品。

1

憑什么能做到？?jī)纱髩嚎s注意力，從根源上做手術(shù)

傳統(tǒng) Transformer 處理長文本的死穴：序列長度加 N 倍，注意力計(jì)算量平方級(jí)爆炸，KV 緩存線性膨脹。這個(gè)瓶頸不破，百萬 token 就只是論文里的數(shù)字。

DeepSeek V4 的辦法不是湊合，而是直接改造注意力機(jī)制本身?？傮w架構(gòu)上，注意力層采用 CSA 和 HCA 交錯(cuò)配置，前饋層沿用 DeepSeekMoE，殘差連接用 mHC 加強(qiáng)。核心是兩種新注意力。

CSA——壓縮稀疏注意力

CSA 的數(shù)據(jù)流分三路并行。KV token 的隱藏狀態(tài)同時(shí)進(jìn)入三個(gè)模塊：一個(gè) Token-Level Compressor 負(fù)責(zé)把每 4 個(gè) token 的 KV 緩存壓縮成一個(gè)條目；一個(gè) Lightning Indexer 生成“索引鍵”，用于后續(xù)的匹配打分；同一個(gè)索引器還生成“索引分?jǐn)?shù)”。查詢 token 的隱藏狀態(tài)則單獨(dú)進(jìn)入 Lightning Indexer，生成查詢側(cè)的索引分?jǐn)?shù)。兩邊一合，送入 Top-k 選擇器，從所有壓縮塊中只挑出最相關(guān)的 512 個(gè)（Pro 版是 1024 個(gè)）。最后，這些選中的壓縮塊和滑動(dòng)窗口里保留的 128 個(gè)原始 token 拼在一起，送進(jìn)核心的多查詢注意力計(jì)算。

索引器的實(shí)現(xiàn)細(xì)節(jié)：查詢端先降維到 dc=1024，減少參數(shù)量，再升維到多頭索引查詢，配合 ReLU 激活后與壓縮索引鍵計(jì)算分?jǐn)?shù)。這一整套不是簡(jiǎn)單的“截?cái)唷保?b>學(xué)出來的動(dòng)態(tài)篩選——哪些信息重要、哪些可以忽略，由模型自己在訓(xùn)練中決定。

HCA——重度壓縮注意力

和 CSA 不同，HCA 去掉了整個(gè)稀疏選擇鏈路——沒有 Lightning Indexer，沒有 Top-k Selector。數(shù)據(jù)流非常直接：KV token 隱藏狀態(tài)經(jīng)過 Token-Level Compressor 壓縮（壓縮比 m'=128，遠(yuǎn)大于 CSA 的 4），得到的壓縮條目直接與滑動(dòng)窗口 KV 拼在一起，送進(jìn) MQA。因?yàn)槊織l目覆蓋 128 個(gè) token，條目總量已經(jīng)很少，全量算也不貴，省掉了篩選環(huán)節(jié)。這是為了抓全局結(jié)構(gòu)，避免模型“只見樹木不見森林”。

兩種注意力都額外配了一個(gè)滑動(dòng)窗口，保留最近 128 個(gè) token 的原始 KV 不壓縮，確保局部依賴沒有精度損失。同時(shí)還用了注意力沉降技術(shù)——給每個(gè)頭一個(gè)可學(xué)習(xí)的 sink logit，加到注意力的分母里，讓每個(gè)頭可以選擇“什么都不關(guān)注”。

另外，報(bào)告透露了一個(gè)重要的工程決定：CSA 和 HCA 在 Query 和 KV 上只對(duì)最后 64 個(gè)維度施加 RoPE 位置編碼，其他維度不編碼。同時(shí) KV 緩存采用混合精度存儲(chǔ)——RoPE 維度用 BF16，其余維度用 FP8——又把緩存砍掉近一半。

而這套注意力架構(gòu)要真正落地，緩存管理也必須重新設(shè)計(jì)。V4 的 KV 緩存被拆成兩大塊：一塊是“狀態(tài)緩存”，每個(gè)請(qǐng)求分一個(gè)固定大小的區(qū)域，存滑動(dòng)窗口最近 128 個(gè) token 的 KV，以及 CSA/HCA 中還沒攢夠 4 個(gè)或 128 個(gè) token、暫時(shí)無法壓縮的“尾料”。

另一塊是“經(jīng)典緩存”，存已經(jīng)壓縮好的條目。經(jīng)典緩存里，每個(gè)塊覆蓋的原始 token 數(shù)是兩種壓縮比（4 和 128）的最小公倍數(shù)，這樣同一塊里 CSA 和 HCA 的壓縮結(jié)果都能對(duì)齊——CSA 產(chǎn) 32 個(gè)壓縮條目，HCA 產(chǎn) 1 個(gè)——不會(huì)因?yàn)閮煞N壓縮率不一致導(dǎo)致碎片化管理。這套緩存布局，是百萬上下文能從實(shí)驗(yàn)室走進(jìn)生產(chǎn)環(huán)境的關(guān)鍵工程基礎(chǔ)設(shè)施。

所以這套方案是壓縮、稀疏化、混合精度、滑動(dòng)窗口、注意力沉降、精細(xì)緩存管理多管齊下。局部細(xì)節(jié)、中段關(guān)聯(lián)、全局脈絡(luò)，全抓住了，算力開銷斷崖式下降。

也就是說， 傳統(tǒng)注意力機(jī)制要求每個(gè) token 和歷史上所有 token 都做一次交互，歷史多長，活兒就多沉。DeepSeek V4 做的，是把“記憶”本身先整理成層次化的摘要——有些是每一小段的凝練，有些是每一章的概括，再加上眼前幾句話的原文。需要調(diào)用哪一層、哪一段，由模型自己根據(jù)當(dāng)前要解決的問題即場(chǎng)判斷。內(nèi)存里不再存一座山，算力不用翻整座山，百萬上下文的成本自然下來了。

1

Muon 和 mHC：訓(xùn)練上的降本增效

架構(gòu)的聰明不止在推理側(cè)。報(bào)告用專門章節(jié)講了兩項(xiàng)訓(xùn)練優(yōu)化。

一個(gè)是此前已經(jīng)被放出來過的 Muon 優(yōu)化器。

大多數(shù)優(yōu)化器拿到梯度，一個(gè)參數(shù)一個(gè)參數(shù)地調(diào)。Muon 不這么干。它把整個(gè)梯度矩陣做一步“捋正”運(yùn)算，讓各行更新方向相互獨(dú)立、不打架。效果就是每次更新都踩在最干凈的方向上，同樣步數(shù)學(xué)到更多，變相省算力。為了配合 Muon，分布式策略也改了：稠密參數(shù)限制切分，每個(gè) GPU 最多管五個(gè)完整矩陣；MoE 參數(shù)直接拼成大向量等分，不切單個(gè)矩陣。梯度通信還做了 BF16 量化，砍掉一半通信量。

另一個(gè)是 mHC——流形約束超連接。

深層網(wǎng)絡(luò)的老大難是信號(hào)穿幾十層，要么逐層放大到溢出，要么衰減到消失。mHC 的解法是給殘差連接加個(gè)數(shù)學(xué)籠子——強(qiáng)制每層的混合矩陣滿足“每行每列和為 1，元素非負(fù)”。這保證了無論怎么傳，幅度不發(fā)散。

實(shí)現(xiàn)上，DeepSeek V4 拿到參數(shù)后，做 20 次交替的行歸一化和列歸一化，硬把矩陣?yán)丶s束集合。報(bào)告承認(rèn)萬億參數(shù)訓(xùn)練遇到了損失尖峰，但用兩招解決了：“預(yù)判路由”打破路由和主網(wǎng)絡(luò)的同步更新循環(huán)，“SwiGLU 截?cái)唷卑鸭せ钪点Q在 [-10,10]。

一如既往的，數(shù)學(xué)上很干凈，工程上訓(xùn)練不崩。

1

后訓(xùn)練更絕：分頭訓(xùn)專才，再無損蒸餾

DeepSeek V4 的后訓(xùn)練流程也很有想法，報(bào)告用第五章詳述了這套“先分后合”的工藝。

第一步，分別對(duì)代碼、數(shù)學(xué)、智能體、指令遵循等方向獨(dú)立訓(xùn)練專家模型。每個(gè)專家都先做 SFT 打底，再用 GRPO 強(qiáng)化學(xué)習(xí)，配合領(lǐng)域?qū)俚莫?jiǎng)勵(lì)模型。連獎(jiǎng)勵(lì)模型本身也是生成式的——讓模型同時(shí)學(xué)會(huì)“判卷”和“答卷”，減少對(duì)人類標(biāo)注的依賴。

報(bào)告中很有意思的一點(diǎn)是為不同推理模式設(shè)了三種檔位：Non-think（無思考標(biāo)簽，快速回答）、Think High（顯式思維鏈但受控長度）、Think Max（極限思維模式，給特殊系統(tǒng)提示同時(shí)放寬長度懲罰）。三種模式在 RL 訓(xùn)練時(shí)分別用不同的上下文窗口和懲罰系數(shù)，讓同一套權(quán)重能根據(jù)場(chǎng)景切推理深度。

第二步，用在策略蒸餾把所有專才的知識(shí)融合到一個(gè)統(tǒng)一模型里。關(guān)鍵是，他們做的不是 token 級(jí)近似，而是全詞表級(jí)別的反向 KL 散度——保持教師完整的 logit 分布。這帶來了巨大的計(jì)算壓力：詞表 128K，十多個(gè)老師，每個(gè)都是萬億參數(shù)級(jí)別。報(bào)告給出的解決路徑是：教師權(quán)重從中心化存儲(chǔ)按需加載；不存完整 logits，只緩最后一層隱藏狀態(tài)，訓(xùn)練時(shí)即時(shí)重算；按教師索引排序樣本，保證同一時(shí)刻 GPU 上只有一個(gè)教師頭。這些都是生產(chǎn)環(huán)境才會(huì)碰到的硬問題。

效果直接反映在基準(zhǔn)上。Pro Max 在知識(shí)基準(zhǔn) SimpleQA 拿下 57.9，比開源最佳高出 20 個(gè)點(diǎn)；數(shù)學(xué) Putnam 2025 做到 120/120 滿分；Codeforces 評(píng)分在人類選手中排第 23。這三個(gè)分屬不同類型的任務(wù)同時(shí)沖頂，背后的路線選擇是被驗(yàn)證了的。

1

“細(xì)粒度通信-計(jì)算重疊”和昇騰“原生”

報(bào)告里另一個(gè)讓所有人都非常關(guān)注的事情，就是：它和華為昇騰到底是什么關(guān)系。

報(bào)告 3.1 節(jié)原文是：“我們?cè)?NVIDIA GPU 和華為昇騰 NPU 兩個(gè)平臺(tái)上驗(yàn)證了這個(gè)細(xì)粒度的專家并行方案。”兩個(gè)平臺(tái)并列，寫在驗(yàn)證結(jié)論里。

這套方案的核心是把 MoE 的通信和計(jì)算切成更細(xì)的顆粒，按“波”調(diào)度。每個(gè)波只含一小部分專家，這個(gè)波的通信一完成立刻開始計(jì)算，同一時(shí)刻，下一個(gè)波的通信和上一個(gè)波的結(jié)果回傳同步進(jìn)行。報(bào)告里的加速比數(shù)據(jù)是：通用推理 1.50–1.73 倍，RL 長尾小批次最高 1.96 倍。

報(bào)告還給了硬件設(shè)計(jì)公式：每 GBps 通信帶寬對(duì)應(yīng) 6.1 TFLOP/s 算力，通信就能被完全隱藏。這意味著 DeepSeek 在用架構(gòu)告訴硬件廠商：不用卷帶寬，按這個(gè)比例配算力就行。這比適配某個(gè)具體型號(hào)高一個(gè)維度——是定義需求。昇騰 950 如果按這個(gè)配比來設(shè)計(jì)，跑 V4 就能把利用率拉到滿。

你可以這樣理解，MoE 每次計(jì)算都要在不同 GPU 之間搬運(yùn)中間結(jié)果，以前是搬完才算，搬運(yùn)時(shí)長全在等?，F(xiàn)在是把搬運(yùn)拆碎，搬一小批就算一小批，算的同時(shí)繼續(xù)搬下一批。結(jié)果就是搬運(yùn)時(shí)間被計(jì)算時(shí)間吃掉了，用戶感覺不到等。這套機(jī)制不挑硬件，只要算力和帶寬的比例到位，NVIDIA 還是昇騰都能跑出高利用率。

報(bào)告也提到了用 TileLang 做算子開發(fā)，配合 Z3 SMT 求解器自動(dòng)驗(yàn)證和優(yōu)化；同時(shí)要求訓(xùn)練推理“批次不變”和“確定性”——同一個(gè) token 無論和誰一批、在什么硬件上，輸出比特級(jí)一致。這對(duì)昇騰這種新硬件的調(diào)試和部署是基礎(chǔ)設(shè)施級(jí)的支持。

雖然開源 MegaMoE 內(nèi)核還是 CUDA 版，主力訓(xùn)練集群大概率仍是 NVIDIA，但架構(gòu)上已經(jīng)把適配昇騰的土壤翻松了、路鋪平了。

加上報(bào)告公開說 FP4 在未來硬件上還能再提效三分之一，以及官方文檔里那句“預(yù)計(jì)下半年昇騰 950 超節(jié)點(diǎn)批量上市后 Pro 價(jià)格大幅下調(diào)”，信號(hào)已經(jīng)不能更明確了。

看完V4的報(bào)告，感觸它想得夠清楚。

過去兩年，行業(yè)解決長文本問題的主流思路本質(zhì)上是在堆資源。要么堆顯存，把KV緩存硬塞進(jìn)去；要么堆算力，讓芯片更快一點(diǎn)。這條路走到現(xiàn)在，邊際效益已經(jīng)很明顯了。

DeepSeek V4換了一個(gè)完全不同的方向——不再追著“怎么能扛住”不放，而是問“這東西真的需要全記住嗎”。CSA和HCA本質(zhì)上是讓模型在記憶的時(shí)候就有了層次感，細(xì)顆粒的、粗顆粒的、最近的原文，各存各的。這不再是工程上的妥協(xié)，而是架構(gòu)層面對(duì)“什么值得記住”這個(gè)問題的重新回答。思路一旦轉(zhuǎn)過來了，效率的提升就是數(shù)量級(jí)的。

而這套東西還有一個(gè)容易被低估的價(jià)值，就是它讓硬件的選擇權(quán)回到了算法這邊。

過去芯片決定模型能跑多長的上下文，帶寬不夠就不行。V4這套壓縮加波浪調(diào)度的方案出來后，算和搬的比例被一個(gè)公式定義清楚了。這意味著不是算法去適配硬件，而是算法在告訴硬件應(yīng)該怎么設(shè)計(jì)。昇騰被寫進(jìn)驗(yàn)證平臺(tái)、FP4留出三分之一效率冗余，這些細(xì)節(jié)放在一起看，就知道它從一開始就沒打算綁定某一家。這種獨(dú)立性，在現(xiàn)在這個(gè)時(shí)間點(diǎn)，比性能本身更有分量。

V4的神就在這里。

它再次給大家提供了一個(gè)更聰明的選擇。

而這正是前不久黃仁勛在播客里有些失去耐心時(shí)表達(dá)的擔(dān)心：當(dāng)所有人都在去CUDA，都在擺脫硬件主導(dǎo)的限制，當(dāng)DeepSeek這類開源模型有一天可以原生長在華為等其他芯片生態(tài)里。今天AI格局的根基會(huì)迅速動(dòng)搖。

現(xiàn)在看，他的擔(dān)心不無道理。

「不誘于譽(yù)，不恐于誹，率道而行，端然正己?！惯@是DeepSeek官方公告里的一句與其他內(nèi)容都不同的話，這句話也幾乎是V4的特質(zhì)，它讓人繼續(xù)對(duì)DeepSeek接下來的目標(biāo)充滿期待。

點(diǎn)個(gè)“愛心”，再走 吧