英偉達(dá)的 Nemotron 3 Super 旗艦大模型，我之前詳細(xì)介紹過：

最近英偉達(dá)放出了技術(shù)報告（arxiv.org/abs/2604.12374），披露了很多細(xì)節(jié)

本文一起拆解之

簡介

Nemotron 3 Super 是英偉達(dá) Nemotron 3 家族的旗艦?zāi)Ｐ?，總參?shù) 1206 億，每次前向傳播只激活 127 億參數(shù)（不含 embedding 是 121 億）

它融合了三種前沿技術(shù)：

• Hybrid Mamba-Attention：用 Mamba-2 塊替代大部分注意力層，推理速度起飛

• LatentMoE：全新的混合專家架構(gòu)，精度和效率雙提升

• MTP（Multi-Token Prediction）：原生推測解碼，不需要外掛 draft model

用 25 萬億 token 預(yù)訓(xùn)練，支持最長100 萬 token上下文，在常見 benchmark 上和 GPT-OSS-120B、Qwen3.5-122B 打得有來有回，但推理吞吐量分別是它們的2.2 倍和 7.5 倍。

下圖是論文給的精度 - 吞吐量對比，一目了然：

Nemotron 3 Super 精度與吞吐量對比：和 GPT-OSS-120B、Qwen3.5-122B 精度持平，但吞吐量遙遙領(lǐng)先 LatentMoE：重新設(shè)計 MoE 的底層邏輯

我覺得這篇論文最有意思的創(chuàng)新是LatentMoE

傳統(tǒng) MoE 的問題在哪？

大家都知道 MoE 靠"只激活部分專家"來省計算量。但英偉達(dá)指出一個被忽視的問題：現(xiàn)有 MoE 設(shè)計幾乎只優(yōu)化了每 FLOP 的精度，忽略了每參數(shù)的精度

什么意思呢？在實際部署中，你的成本不只是算力，還有：

• 內(nèi)存帶寬：每個專家權(quán)重矩陣是 d×m，讀取成本和隱藏維度 d 成正比

• 通信開銷：分布式推理時 all-to-all 路由的流量和 d×K 成正比（K 是激活專家數(shù)）

所以英偉達(dá)的思路是：把隱藏維度 d 壓下來。

標(biāo)準(zhǔn) MoE vs LatentMoE 架構(gòu)對比

LatentMoE 的做法：

1. 降維：先把 token 從隱藏維度 d 投影到更小的潛在空間 ?

2. 在低維空間做路由和專家計算：內(nèi)存讀取和通信量直接降低 d/? 倍

3. 擴展專家數(shù)量：省下來的預(yù)算用來增加總專家數(shù) N 和激活專家數(shù) K，同比放大 d/? 倍

4. 升維：計算完再投回原始維度

這個 trade-off 非常精妙——維度降了，但專家數(shù)增了，總計算量基本不變，精度卻更好。因為更多專家的組合空間是指數(shù)級增長的

LatentMoE 降維擴專家的核心思路：用 d/? 倍降維換來指數(shù)級專家組合空間

Nemotron 3 Super 的具體配置：512 個專家，每次激活 22 個，潛在維度 1024。做個對比：DeepSeek V3 是 256 個專家激活 8 個，Qwen3.5 是 128 個專家激活 8 個

Nemotron 的專家數(shù)和激活數(shù)都大幅領(lǐng)先

MTP：內(nèi)置的推測解碼加速器

MTP（Multi-Token Prediction）也是一大亮點。DeepSeek V3 也用了 MTP，但 Nemotron 3 Super 的實現(xiàn)有一個關(guān)鍵改進(jìn)：共享權(quán)重的 MTP head

傳統(tǒng)方式：訓(xùn)練 N 個獨立的預(yù)測頭，分別預(yù)測 n+2, n+3, ..., n+N+1 位置的 token。問題是推理時只能生成最多 N 個 draft token

Nemotron 的做法：多個 MTP head共享參數(shù)，讓同一個頭在訓(xùn)練中見過多種偏移量。這樣推理時可以遞歸地用同一個頭生成更長的 draft，接受率衰減更平緩

MTP 接受率對比：Nemotron 3 Super 在各個 draft 位置都保持較高接受率

論文用 SPEED-Bench 測的結(jié)果：Nemotron 3 Super 平均接受長度3.45，超過 DeepSeek-R1 的 2.70，和 Qwen3-Next 的 3.33 也有優(yōu)勢。在 Roleplay、RAG、Summarization 這些場景下優(yōu)勢尤其明顯

配合 Blackwell 硬件，開啟 MTP draft=3 后，在同等用戶延遲下，總吞吐量顯著提升：

MTP 關(guān)閉 vs 開啟（draft=1, draft=3）的吞吐量 - 延遲 Pareto 曲線 Hybrid Mamba-Attention：KV Cache 的終結(jié)者

Nemotron 3 Super 的 88 層中，大部分是 Mamba-2 塊，只有少量注意力層作為"全局錨點"插入。

Nemotron 3 Super 的層交替模式：Mamba 塊 + MoE 層為主，穿插少量 Attention 層

這么做的好處太明顯了：

• Mamba 塊沒有 KV Cache，生成時狀態(tài)大小恒定，不隨上下文線性增長

• 只在關(guān)鍵位置保留注意力層做長程信息路由

• 注意力層用 GQA（32 query heads, 2 KV heads），進(jìn)一步壓縮

最終效果：支持 100 萬 token 上下文，RULER 1M 測試得分 91.64，Qwen3.5-122B 也是 91.33，而 GPT-OSS-120B 只有 22.30

這個差距太大了

NVFP4 預(yù)訓(xùn)練：全程 4-bit 精度訓(xùn)練

這是我覺得非常硬核的一點——Nemotron 3 Super 全程用 NVFP4（4-bit 浮點）訓(xùn)練了 25 萬億 token

大多數(shù)模型用 BF16 或 FP8 訓(xùn)練，用 FP4 預(yù)訓(xùn)練的幾乎沒有

英偉達(dá)在這里踩了不少坑：

層類型

精度

原因

大部分線性層

NVFP4

主力精度

網(wǎng)絡(luò)最后 15% 的層

BF16

保證訓(xùn)練穩(wěn)定性

QKV & Attention 投影

BF16

保持注意力層精度

Mamba 輸出投影

MXFP8

NVFP4 下溢太嚴(yán)重

MTP 層

BF16

保留多 token 預(yù)測能力

訓(xùn)練過程中觀察到 7% 的權(quán)重梯度變成零值，主要是因為 NVFP4 量化把 BF16 下本就很小的梯度（<1e-12）直接下溢為零

但英偉達(dá)發(fā)現(xiàn)這不影響最終精度——BF16 訓(xùn)練到 10T token 后也會出現(xiàn)類似的零值梯度模式

甚至他們試過在 19T token 處從 NVFP4 切換到 MXFP8，loss 曲線改善了，但下游任務(wù)精度沒有任何提升

所以最終決定全程 NVFP4，不搞精度升級，這個結(jié)論很有價值。

后訓(xùn)練：21 個 RL 環(huán)境，強化 Agent 能力

Nemotron 3 Super 的后訓(xùn)練流程分四步：

后訓(xùn)練流水線全景：SFT → RLVR → SWE-RL → RLHF → MTP Healing后訓(xùn)練流水線：SFT → RLVR → SWE-RL → RLHF → MTP Healing

SFT 階段：用了超過 700 萬樣本，大幅擴充了 Agent 任務(wù)的數(shù)據(jù)量。亮點包括：

• 從 SWE-Gym、R2E-Gym 等數(shù)據(jù)集蒸餾 Qwen3-Coder-480B 的編程軌跡

• 專門生成了 2 萬條 Agentic CLI 任務(wù)（涵蓋 Claude Code、OpenCode、Codex 等多種 harness）

• 合成了 150 萬條通用工具調(diào)用軌跡

• 新增 CUDA 內(nèi)核編寫/修復(fù)/優(yōu)化數(shù)據(jù)（10 萬條）

RL 階段：在21 個環(huán)境、37 個數(shù)據(jù)集上同時訓(xùn)練。這個規(guī)模夠恐怖的。覆蓋數(shù)學(xué)、代碼、STEM、安全、指令遵循、長上下文、Agent 工具使用等全方位能力

比較有意思的是PivotRL——一種新的 Agent 長程 RL 方法。它復(fù)用 SFT 的專家軌跡，只在"策略不確定的關(guān)鍵 turn"上做 RL 訓(xùn)練。比端到端 RL 高效得多，又避免了 SFT 的域外退化問題

SWE-RL 階段：每個 rollout 在 Apptainer 容器中啟動完整的 GitHub 倉庫環(huán)境，跑 OpenHands agent 循環(huán)生成補丁，然后用真實測試驗證。為了工具多樣性，他們在 OpenHands 里實現(xiàn)了 OpenCode 和 Codex 的 agent class，匹配 Claude Code 和 Codex CLI 的工具格式。

量化推理：FP8 和 NVFP4 雙版本

英偉達(dá)提供了兩個量化版本：

• FP8（W8A8）：面向 Hopper 架構(gòu) GPU

• NVFP4（W4A4）：面向 Blackwell 架構(gòu) GPU，用 AutoQuantize 做混合精度搜索

NVFP4 量化的關(guān)鍵技巧：

1. 權(quán)重用 MSE 最小化選擇縮放因子（離線校準(zhǔn)，不影響運行時）

2. 激活用 max-based 縮放（在線計算，追求效率）

3. 敏感層自動提升到 FP8 或 BF16

最終 NVFP4 模型達(dá)到 BF16 基線的99.8% 精度。整個量化過程在單臺 B200 8 卡節(jié)點上不到 2 小時完成

還有一個很硬核的細(xì)節(jié)：Mamba 狀態(tài)緩存量化。直接從 FP32 轉(zhuǎn) FP16 會導(dǎo)致代碼生成任務(wù)的冗余度暴漲 40%（生成太多無用 token）。原因是 Mamba 的遞歸特性會讓量化誤差逐步累積。英偉達(dá)的解決方案是隨機舍入（Stochastic Rounding），用 Philox 偽隨機數(shù)生成器消除系統(tǒng)性偏差。Blackwell GPU 還提供了專用的 PTX 指令來加速這個操作。

Benchmark 成績單

先看 Base 模型（預(yù)訓(xùn)練后、后訓(xùn)練前）的成績：

任務(wù)

Nemotron 3 Super

Ling-flash-Base-2.0

GLM-4.5-Air-Base

MMLU (5-shot)

MMLU-Pro (5-shot)

MATH (4-shot)

HumanEval (0-shot)

RULER 128K

RULER 1M

Base 模型階段就已經(jīng)全面碾壓同級別競品。

后訓(xùn)練版本 vs Qwen3.5-122B 和 GPT-OSS-120B：

任務(wù)

Nemotron 3 Super

Qwen3.5-122B

GPT-OSS-120B

AIME25

HMMT Feb25 (with tools)

SWE-Bench (OpenHands)

41.9

RULER 1M

Arena-Hard-V2

說實話，精度上 Nemotron 3 Super 和 Qwen3.5-122B 各有勝負(fù)。Qwen 在編程和推理上略強，但 Nemotron 在長上下文和工具使用上更有優(yōu)勢。

真正拉開差距的是推理效率——在 8k 輸入 + 64k 輸出的設(shè)置下，Nemotron 3 Super 比 GPT-OSS-120B 快 2.2 倍，比 Qwen3.5-122B 快 7.5 倍。這才是實際部署時最關(guān)鍵的指標(biāo)。

總結(jié)

Nemotron 3 Super 是英偉達(dá)在"效率優(yōu)先"路線上的集大成之作

三個核心創(chuàng)新——LatentMoE、MTP、Hybrid Mamba-Attention——分別從參數(shù)效率、解碼效率、內(nèi)存效率三個維度做了優(yōu)化，加上 NVFP4 全程訓(xùn)練的探索，整體技術(shù)含量很高

優(yōu)點：

• 推理吞吐量確實是王炸級別，7.5 倍的差距太夸張

• 100 萬上下文長度，且長上下文表現(xiàn)極其穩(wěn)定

• 全部開源（模型權(quán)重 + 訓(xùn)練數(shù)據(jù) + 訓(xùn)練 recipe），真·業(yè)界良心

• NVFP4 全程訓(xùn)練驗證了低精度大規(guī)模訓(xùn)練的可行性

• Agent 能力突出，21 個 RL 環(huán)境訓(xùn)練的深度投入

不足：

• 在純推理任務(wù)（AIME、GPQA）上相比 Qwen3.5 稍有差距

• SWE-Bench 分?jǐn)?shù)落后 Qwen3.5 約 6 個點

• 目前主要針對 NVIDIA GPU 優(yōu)化（Hopper/Blackwell），其他硬件適配待觀察

• 512 個專家的 MoE 結(jié)構(gòu)對顯存要求不低，個人部署有門檻

適合誰用：如果你是做大規(guī)模 AI 推理服務(wù)的，需要在 NVIDIA 硬件上追求極致吞吐量，或者需要超長上下文和 Agent 能力，Nemotron 3 Super 是一個非常值得考慮的選擇。

制作不易，如果這篇文章覺得對你有用，可否點個關(guān)注。給我個三連擊：點贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！