新智元報道

編輯：Aeneas 好困

【新智元導(dǎo)讀】讓全球從春節(jié)苦等到四月的DeepSeek V4，終于來了！

就在剛剛，DeepSeek V4真的來了！

今天，那個曾經(jīng)以一己之力打破閉源模型霸權(quán)的DeepSeek，帶著DeepSeek-V4系列預(yù)覽版，向全球開發(fā)者正式宣告——

百萬級上下文（1M Context）的平民化時代，以及開源Agent能力、世界知識和推理性能上的新巔峰，已經(jīng)到來。

DeepSeek V4，再度實(shí)現(xiàn)國內(nèi)與開源領(lǐng)域的領(lǐng)先。

V4的技術(shù)報告，已經(jīng)同步發(fā)布。

論文地址：https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

DeepSeek-V4-Pro

性能比肩頂級閉源模型

DeepSeek-V4 系列包含兩個版本：擁有1.6T總參數(shù)、49B激活參數(shù)的性能怪獸DeepSeek-V4-Pro，以及專為高效率、經(jīng)濟(jì)性設(shè)計(jì)的284B總參數(shù)、13B激活參數(shù)的DeepSeek-V4-Flash。

可以說，DeepSeek-V4-Pro已經(jīng)達(dá)到了開源模型的新巔峰，對標(biāo)全球頂尖閉源水準(zhǔn)。

首先，V4-Pro在Agent能力上實(shí)現(xiàn)了跨越式突破，其Agentic Coding水平穩(wěn)居開源界首位。

實(shí)測反饋顯示，其編碼體驗(yàn)已超越Sonnet 4.5，交付質(zhì)量直追Opus 4.6（非思考模式），目前已成為公司內(nèi)部Agent編程的首選模型。

其次，它具備深厚的世界知識儲備。

在知識測評維度，V4-Pro顯著領(lǐng)先同類開源產(chǎn)品，與閉源標(biāo)桿Gemini-Pro-3.1的差距已縮減至極小范圍。

另外，它還有頂尖的邏輯推理表現(xiàn)。

在數(shù)學(xué)、STEM及高難度競賽代碼等硬核領(lǐng)域，V4-Pro的表現(xiàn)不僅冠絕開源社區(qū)，更具備了挑戰(zhàn)世界最強(qiáng)閉源模型的實(shí)戰(zhàn)競爭力。

支撐這兩個模型傲視群雄的，是其底層技術(shù)的「三大神技」：

• 混合注意力機(jī)制（CSA + HCA）

DeepSeek-V4 并沒有盲目增加硬件投入，而是開創(chuàng)性地設(shè)計(jì)了混合注意力架構(gòu)。

壓縮稀疏注意力（CSA）對KV緩存進(jìn)行token維度的壓縮并結(jié)合DSA稀疏注意力；重壓縮注意力（HCA）則進(jìn)行更極致的壓縮以維持稠密計(jì)算。

這種「長短結(jié)合」的策略，讓模型在處理百萬字上下文時，計(jì)算量和顯存需求大幅降低。

• 流形約束超連接（mHC）

為了提升信號傳播的穩(wěn)定性并增強(qiáng)模型表達(dá)力，V4引入了mHC結(jié)構(gòu)，升級了傳統(tǒng)的殘差連接。這讓模型在深層網(wǎng)絡(luò)中依然能保持卓越的建模能力。

• Muon 優(yōu)化器

引入全新的Muon優(yōu)化器，讓訓(xùn)練過程不僅收斂更快，且更加穩(wěn)定。

正是這些結(jié)構(gòu)創(chuàng)新，讓DeepSeek-V4在推理效率上實(shí)現(xiàn)了質(zhì)的飛躍。

在100萬token上下文的極端場景下，DeepSeek-V4-Pro的單token推理計(jì)算量僅為前代的 27%，KV緩存占用更是縮減到了驚人的10%。

DeepSeek-V4-Flash

極致效能與性價比的完美平衡

相比于Pro版本，F(xiàn)lash版則是更快捷高效的經(jīng)濟(jì)之選。

盡管在世界知識的深度上略遜于Pro版本，但DeepSeek-V4-Flash保留了與之接近的邏輯推理水平。

受益于更精簡的參數(shù)規(guī)模與激活機(jī)制，它能為用戶提供響應(yīng)更快、成本更低的API接入方案。

在處理基礎(chǔ) Agent 任務(wù)時，V4-Flash的表現(xiàn)與Pro版不相上下，但在應(yīng)對極端復(fù)雜任務(wù)時仍存在進(jìn)階空間。

架構(gòu)革新

重塑長上下文效率

DeepSeek-V4引入了革命性的注意力機(jī)制，通過在Token維度進(jìn)行高效壓縮，并結(jié)合 DSA稀疏注意力（DeepSeek Sparse Attention） 技術(shù)，實(shí)現(xiàn)了全球頂尖的長文本處理能力。

這種創(chuàng)新大幅削減了對計(jì)算資源與顯存的依賴。

即日起，1M（100萬 tokens）超長上下文將成為DeepSeek官方服務(wù)的標(biāo)準(zhǔn)配置。

DeepSeek-V4和DeepSeek-V3.2的計(jì)算量和顯存容量隨上下文長度的變化

Agent能力深度優(yōu)化

DeepSeek-V4 針對Claude Code、OpenClaw、OpenCode、CodeBuddy等主流 Agent生態(tài)進(jìn)行了深度適配。

在代碼編寫與自動化文檔生成等場景下，其產(chǎn)出效率顯著提升。

V4-Pro在特定Agent框架下自動生成的PPT頁面實(shí)例

API全面升級，舊版模型倒計(jì)時

對于開發(fā)者而言，好消息是：API已經(jīng)同步上線！

只需簡單修改 model_name 即可接入這兩款新旗艦：

• 追求性能：deepseek-v4-pro

• 追求效率：deepseek-v4-flash

特別提醒：原有的 deepseek-chat 和 deepseek-reasoner 模型名將作為V4的過渡別名（分別指向 V4-Flash 的非思考與思考模式），但這兩個舊名稱將于2026年7月24日正式停用。

論文解讀

兩種壓縮，一套組合拳

V4-Pro中，CSA的壓縮率為4，每4個token的KV緩存合并成一個條目。

壓縮之后再通過Lightning Indexer對壓縮后的KV條目打分，每個query token只選top-1024個條目做注意力計(jì)算。索引計(jì)算用FP4精度，超長上下文下開銷極低。

HCA走另一條路。壓縮率拉到128，比CSA激進(jìn)得多，但不做稀疏選擇，所有壓縮后的KV條目都參與計(jì)算。極致壓縮換全局視野。

兩種機(jī)制交替堆疊，CSA精細(xì)檢索，HCA全局感知，再加上每層128 token的滑動窗口捕捉局部依賴，三條路徑協(xié)同。

算一筆賬。

以常規(guī)BF16 GQA8（頭維度128）作為基線，V4在100萬token下的KV緩存只有基線的約2%。KV條目還采用混合精度存儲，RoPE維度BF16，其余FP8，體積比純BF16再砍一半。

推理端則把壓縮KV和滑動窗口KV分開管理，支持磁盤級緩存存儲，避免共享前綴的重復(fù)prefill。

mHC，6.7%的代價換來的穩(wěn)定性

標(biāo)準(zhǔn)HC擴(kuò)展殘差流寬度來增強(qiáng)信息傳遞，但多層堆疊時數(shù)值會炸。

mHC的做法是把殘差映射矩陣約束在雙隨機(jī)矩陣流形（Birkhoff多面體）上，確保譜范數(shù)不超過1，信號深層傳播不發(fā)散。投影通過Sinkhorn-Knopp算法迭代20次實(shí)現(xiàn)。

工程代價可控，擴(kuò)展因子只有4，經(jīng)過融合kernel和選擇性重計(jì)算優(yōu)化后，額外墻鐘時間僅6.7%。

訓(xùn)練萬億參數(shù)的「土辦法」

Muon的核心是對梯度動量做Newton-Schulz正交化，V4用10次混合迭代，前8次快速收斂，后2次精確穩(wěn)定。

但優(yōu)化器只是一半的故事。V4報告披露了兩個訓(xùn)練穩(wěn)定性技巧。

Anticipatory Routing，把路由索引的計(jì)算和主干網(wǎng)絡(luò)的更新解耦，用歷史參數(shù)提前算好路由并緩存。系統(tǒng)在檢測到loss spike時自動觸發(fā)，日常開銷可忽略。

SwiGLU Clamping，把SwiGLU線性分量鉗制在[-10, 10]，門控上界鉗制在10。簡單粗暴但有效。

MoE工程上，V4開源了MegaMoE，把通信和計(jì)算融合進(jìn)單個pipeline kernel，通用場景加速1.5到1.73倍，延遲敏感場景最高1.96倍。

專家分訓(xùn)，蒸餾合一

V4用On-Policy Distillation（OPD）替代了V3.2的混合RL。先獨(dú)立訓(xùn)練數(shù)學(xué)、代碼、Agent等領(lǐng)域?qū)＜�，再用一個學(xué)生模型對十幾個專家做全詞表logit蒸餾。

工程上的關(guān)鍵突破是，不緩存教師logits（顯存放不下），只緩存最后一層隱藏狀態(tài)，訓(xùn)練時按需重建logits，用TileLang專用kernel加速KL散度計(jì)算。

V4還引入了Generative Reward Model（GRM），讓actor網(wǎng)絡(luò)同時充當(dāng)獎勵模型，評判和生成能力聯(lián)合優(yōu)化，不再依賴傳統(tǒng)標(biāo)量獎勵模型。

后訓(xùn)練階段同步做了FP4量化感知訓(xùn)練，對MoE專家權(quán)重和CSA索引器做FP4量化，且FP4到FP8反量化無損，整個流程復(fù)用現(xiàn)有FP8框架。

DeepSeek

再度證實(shí)開源的力量

從V3的橫空出世到V4的效率革命，DeepSeek始終堅(jiān)持將最頂級的技術(shù)通過開源分享給社區(qū)。

DeepSeek-V4的上線，不僅是技術(shù)參數(shù)的跳躍，更是對「百萬長上下文」和「高性能 Agent」這兩大未來趨勢的有力回應(yīng)。

它證明了通過架構(gòu)創(chuàng)新，我們可以在不犧牲性能的前提下，極大降低大模型的門檻。

現(xiàn)在，你可以在官方App或chat.deepseek.com立即開啟1M上下文的全新體驗(yàn)。

這不僅僅是一個對話框，這是一個能裝下整部百科全書、能理解萬行代碼邏輯的「第二大腦」。

參考資料：

https://huggingface.co/collections/deepseek-ai/deepseek-v4

https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4

https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

https://api-docs.deepseek.com/zh-cn/guides/thinking_mode