來(lái)源 | 機(jī)器之心

萬(wàn)萬(wàn)沒(méi)想到，年初還是個(gè)小眾方向的「擴(kuò)散語(yǔ)言模型（dLLM）」，現(xiàn)在已經(jīng)被擴(kuò)展到千億參數(shù)的規(guī)模了。

前段時(shí)間，我們?cè)?HuggingFace 頁(yè)面發(fā)現(xiàn)了兩個(gè)新模型：LLaDA2.0-mini 和 LLaDA2.0-flash。它們來(lái)自螞蟻集團(tuán)與人大、浙大、西湖大學(xué)組成的聯(lián)合團(tuán)隊(duì)，都采用了 MoE 架構(gòu)。前者總參數(shù)量為 16B，后者總參數(shù)量則高達(dá) 100B—— 在「擴(kuò)散語(yǔ)言模型」這個(gè)領(lǐng)域，這是從未見(jiàn)過(guò)的規(guī)模。

更令人欣慰的是，模型變大了，也確實(shí)變強(qiáng)了：在涵蓋知識(shí)、推理、編碼、數(shù)學(xué)、智能體與對(duì)齊幾大維度的 47 個(gè)基準(zhǔn)測(cè)試中，LLaDA2.0-flash 平均得分 73.18，與強(qiáng) AR（自回歸）模型 Qwen3-30B-A3B-Instruct-2507（73.60）持平，在編碼（如 HumanEval、MBPP）、智能體（BFCL）等復(fù)雜任務(wù)上優(yōu)勢(shì)顯著。

長(zhǎng)期以來(lái)，自回歸生成范式在大模型領(lǐng)域始終占據(jù)主導(dǎo)地位，這種從前到后依次生成下一個(gè) token 的方法曾被寄予厚望。然而，其固有弊端也逐漸顯現(xiàn)：長(zhǎng)文本生成的計(jì)算成本較高、推理速度較慢，且難以捕捉 token 之間的雙向依賴關(guān)系。一旦前期生成的內(nèi)容出現(xiàn)錯(cuò)誤，不僅無(wú)法直接修正，后續(xù)輸出也會(huì)受到干擾，最終導(dǎo)致誤差累積。

dLLM 的成功擴(kuò)展讓人們看到了另一條路的可行性。更值得注意的是，這類模型的快速演進(jìn)并不是沿著單一路線不斷推高規(guī)模，而是來(lái)自研究者們「多線并進(jìn)」的探索。

就在今年 9 月，LLaDA 系列模型的研究者剛剛驗(yàn)證了 MoE 架構(gòu)下從頭訓(xùn)練 dLLM 的可行性，推出了 7B 的 LLaDA-MoE，這為擴(kuò)散范式提供了新的實(shí)現(xiàn)方式。而僅僅三個(gè)月后，團(tuán)隊(duì)又在另一條路線 —— 從成熟的 AR 模型平滑遷移到擴(kuò)散框架 —— 上取得突破，直接將模型規(guī)模擴(kuò)展到了 100B。

LLaDA2.0 生成效果演示。可以看到，模型會(huì)在多個(gè)位置并行生成，而且已生成內(nèi)容可以修改。

這背后涉及哪些關(guān)鍵的技術(shù)選擇？哪些方法在 dLLM 中能 work？在最近發(fā)布的技術(shù)報(bào)告中，LLaDA2.0 幕后團(tuán)隊(duì)披露了很多細(xì)節(jié)。

• 報(bào)告標(biāo)題：LLaDA2.0: Scaling Up Diffusion Language Models to 100B

• 報(bào)告鏈接：https://github.com/inclusionAI/LLaDA2.0/blob/main/tech_report.pdf

• HuggingFace 鏈接：https://hf.co/collections/inclusionAI/llada-20

將 dLLM 擴(kuò)展到 100B

—— 一個(gè)公認(rèn)的難題

最近，有研究發(fā)現(xiàn)，在數(shù)據(jù)不夠多的情況下，dLLM 會(huì)越訓(xùn)越強(qiáng)，最后反超傳統(tǒng)自回歸模型。訓(xùn)練得越久，優(yōu)勢(shì)越明顯。如果數(shù)據(jù)更豐富或質(zhì)量更高，這個(gè)「反超」會(huì)來(lái)得更晚；如果模型更大，反超會(huì)來(lái)得更早。

這些證據(jù)的出現(xiàn)讓「訓(xùn)練 dLLM」這件事變得越來(lái)越有吸引力。但是，怎么把 dLLM「做大做強(qiáng)」卻是一個(gè)公認(rèn)的難題。在過(guò)去的一兩年間，研究者們已經(jīng)嘗試了不少方法。

首先是從頭開(kāi)始訓(xùn)練。此前的 LLaDA、LLaDA-MoE 都是這一方向的成功嘗試，證明了從頭訓(xùn)練的 dLLM 性能可以接近同尺寸的 AR 模型，并且在加入 MoE 后，dLLM 還能更高效、更強(qiáng)。不過(guò)，受限于可用數(shù)據(jù)量、基礎(chǔ)設(shè)施成熟度、計(jì)算成本、訓(xùn)練周期等因素，從頭訓(xùn)練的 dLLM 通常規(guī)模較?。ā?B），在整體性能上仍落后于最先進(jìn)的 AR 模型。

其次是從已經(jīng)訓(xùn)練好的 AR 模型出發(fā)，讓 dLLM 繼承其知識(shí)與能力，從而減少訓(xùn)練成本并縮小性能差距。這一方向已經(jīng)出現(xiàn)了多個(gè)代表性工作，包括 DiffusionLLaMA、Dream-7B、RND1、Block DLM 等。它們通過(guò)掩碼退火、block diffusion 等方法，將 AR 模型預(yù)訓(xùn)練好的語(yǔ)言能力「挪」到擴(kuò)散結(jié)構(gòu)中。但這類嘗試也沒(méi)有突破 30B 的規(guī)模。再加上 block diffusion 本身的訓(xùn)練效率不高，很難把這種方法直接擴(kuò)展到大規(guī)模模型的海量語(yǔ)料訓(xùn)練中。

最后是后訓(xùn)練階段的努力。微調(diào)方面，已有工作證明 dLLM 經(jīng)過(guò) SFT 后可以在代碼生成、復(fù)雜規(guī)劃等任務(wù)上媲美頂級(jí) AR 模型。強(qiáng)化學(xué)習(xí)方面，由于 dLLM 的對(duì)數(shù)似然難以計(jì)算，研究者不得不另辟蹊徑設(shè)計(jì)新算法，甚至訓(xùn)出了首個(gè)具備長(zhǎng)鏈思維推理能力的 dLLM。推理加速方面，通過(guò)動(dòng)態(tài)剪枝或混合 AR - 擴(kuò)散范式，dLLM 的推理速度已首次超越同規(guī)模 AR 模型。但總體而言，后訓(xùn)練研究仍處于起步階段，這些技術(shù)如何協(xié)同、如何擴(kuò)展到千億參數(shù)規(guī)模，都還是開(kāi)放問(wèn)題。

LLaDA2.0 模型的出現(xiàn)，給這些問(wèn)題提供了一個(gè)解決思路。

千億級(jí)擴(kuò)散模型的穩(wěn)定訓(xùn)練

LLaDA2.0 給出了更優(yōu)解

和之前的 LLaDA-MoE 等模型不同，LLaDA2.0 沒(méi)有選擇從頭訓(xùn)練 dLLM，而是把已有的 AR 模型「平滑地」轉(zhuǎn)化成擴(kuò)散模型，并在這個(gè)基礎(chǔ)上做大規(guī)模訓(xùn)練與對(duì)齊。

為了完成這種轉(zhuǎn)化，LLaDA2.0 提出了一套系統(tǒng)性的解決方案。從訓(xùn)練范式的重構(gòu)、預(yù)訓(xùn)練與后訓(xùn)練流程的強(qiáng)化協(xié)同，到訓(xùn)練與推理基礎(chǔ)設(shè)施的適配與優(yōu)化，給出了區(qū)別于以往方法的獨(dú)特實(shí)現(xiàn)路徑。

整體來(lái)講，LLaDA2.0 通過(guò)構(gòu)建一個(gè)分段式、可擴(kuò)展的訓(xùn)練體系，高效完成了從 AR 模型轉(zhuǎn)化為 dLLM 的目標(biāo)。

如下圖 2 所示，首先通過(guò)持續(xù)預(yù)訓(xùn)練（CPT）將一個(gè) AR 基座模型重建為掩碼擴(kuò)散語(yǔ)言模型（MDLM），并使其能夠?qū)W習(xí)雙向去噪能力，從而在保持原 AR 模型表征幾何結(jié)構(gòu)的前提下平滑過(guò)渡到擴(kuò)散范式。

接下來(lái)，在已訓(xùn)練的 MDLM 基礎(chǔ)上引入了塊擴(kuò)散預(yù)訓(xùn)練（Block Diffusion Pre-training）。此時(shí)，模型不再針對(duì)單個(gè) token，而是訓(xùn)練其對(duì)連續(xù)文本片段（即塊）的去噪。從 token 到塊的轉(zhuǎn)變，顯著增強(qiáng)了生成的長(zhǎng)程一致性，并帶來(lái)更高的計(jì)算效率。

最后，在兼具 token 與塊兩級(jí) AR 生成能力之后，模型通過(guò)后訓(xùn)練（包括 SFT 與 DPO）具備了更強(qiáng)的人類意圖與指令遵從特性，并更能滿足下游任務(wù)的需求。經(jīng)過(guò)這一階段，擴(kuò)散預(yù)訓(xùn)練過(guò)程中獲得的強(qiáng)大生成能力可以高效地轉(zhuǎn)化為實(shí)際任務(wù)中的性能表現(xiàn)。

LLaDA2.0 訓(xùn)練流程圖。

接下來(lái)，我們將逐一剖析這些關(guān)鍵環(huán)節(jié)。

持續(xù)預(yù)訓(xùn)練

由于 AR 模型的因果建模方式與 dLLM 的雙向去噪機(jī)制存在天然差異，前者到后者的轉(zhuǎn)化并不是簡(jiǎn)單替換訓(xùn)練目標(biāo)就能完成。為此，LLaDA2.0 采取了 Warmup–Stable–Decay（WSD）的持續(xù)預(yù)訓(xùn)練策略。

其中在 Warmup（熱身）階段，團(tuán)隊(duì)將 Ling-mini-2.0（16B）等 AR 基座模型視為塊大小 = 1 的塊擴(kuò)散語(yǔ)言模型（BDLM）起點(diǎn)，并按照「1→4→32 → 64 → 4096」逐步增加塊大小。塊大小的每次調(diào)整在中等規(guī)模數(shù)據(jù)上進(jìn)行訓(xùn)練，以確保模型平穩(wěn)過(guò)渡。在塊大小達(dá)到最大 4096 時(shí)，BDLM 轉(zhuǎn)化為標(biāo)準(zhǔn)的掩碼擴(kuò)散語(yǔ)言模型（MDLM），完成從因果生成向全局雙向去噪的結(jié)構(gòu)性遷移。

接下來(lái)是 Stable（穩(wěn)定）階段。在塊大小固定為 4096 且模型轉(zhuǎn)化為全局雙向去噪范式之后，在大規(guī)模語(yǔ)料上進(jìn)行 MDLM 訓(xùn)練，以掌握擴(kuò)散式生成與雙向上下文建模能力。

完成 MDLM 訓(xùn)練之后，進(jìn)入到 Decay（衰減）階段。團(tuán)隊(duì)逐步將塊大小從 4096 減少到更適合推理的尺寸（如 32），從而轉(zhuǎn)換回高效的 BDLM。這樣一來(lái)，模型在 MDLM 階段學(xué)到的全局上下文知識(shí)被蒸餾回更緊湊的塊級(jí)結(jié)構(gòu)中，讓擴(kuò)散式的雙向語(yǔ)義能力與塊級(jí)生成的推理效率二者兼得。

此外，由于訓(xùn)練過(guò)程中會(huì)將多個(gè)文檔拼接成長(zhǎng)序列，這會(huì)在語(yǔ)義無(wú)關(guān)的文本之間造成長(zhǎng)程依賴。為此，團(tuán)隊(duì)引入了文檔級(jí)注意力掩碼（Document-level Attention Mask），可以避免這種跨文檔干擾，防止語(yǔ)義污染，并確保雙向建模穩(wěn)定性。

為了進(jìn)一步增強(qiáng) BDLM 的泛化性和穩(wěn)健性，團(tuán)隊(duì)又采用了 Top-k 檢查點(diǎn)融合策略。在預(yù)訓(xùn)練結(jié)束后，根據(jù)困惑度等驗(yàn)證指標(biāo)選取表現(xiàn)最優(yōu)的 k 個(gè)模型檢查點(diǎn)，并對(duì)它們的權(quán)重、偏置等參數(shù)進(jìn)行算數(shù)平均，得到了更穩(wěn)健的 BDLM 初始化。

一整套流程走下來(lái)，LLaDA2.0 為行業(yè)內(nèi)千億規(guī)模的擴(kuò)散模型訓(xùn)練提供了可借鑒的穩(wěn)定解決方案。

后訓(xùn)練

在完成從 AR 到 dLLM 范式的持續(xù)預(yù)訓(xùn)練之后，LLaDA2.0 還進(jìn)行了系統(tǒng)化的后訓(xùn)練，主要包括以下三個(gè)核心環(huán)節(jié)。

一是 SFT（監(jiān)督微調(diào)）：在預(yù)訓(xùn)練階段完成之后，通過(guò) SFT 來(lái)對(duì)齊用戶指令。過(guò)程中引入多項(xiàng)關(guān)鍵改進(jìn)：對(duì)序列長(zhǎng)度進(jìn)行塊對(duì)齊，確保與塊級(jí)注意力結(jié)構(gòu)兼容；利用「Mask ratio bandwidth」避免近乎無(wú)噪聲和過(guò)度噪聲樣本造成的訓(xùn)練無(wú)效與梯度不穩(wěn)定；利用「Complementary Masking」，保證同一序列的所有 token 在一個(gè)訓(xùn)練 batch 中至少被學(xué)習(xí)一次，大幅提升樣本利用率與收斂速度；通過(guò)覆蓋推理、通用與工業(yè)三類數(shù)據(jù)，確保模型能力分布均衡而不偏科。

二是 CAP（置信度感知并行訓(xùn)練）：通過(guò)在訓(xùn)練中添加額外置信度損失，CAP 為正確預(yù)測(cè)的 token 引入了熵最小化目標(biāo)，提升模型預(yù)測(cè)置信度，并實(shí)現(xiàn)更快并行解碼，生成質(zhì)量與推理速度之間取得了良好權(quán)衡。

三是 DPO（直接偏好對(duì)齊）：使模型更好地對(duì)齊人類偏好。團(tuán)隊(duì)構(gòu)建了涵蓋通用、數(shù)學(xué)、指令遵循等多個(gè)領(lǐng)域的偏好數(shù)據(jù)集，共包含 150 萬(wàn)對(duì)偏好樣本。另外將重構(gòu)損失的證據(jù)下界（Evidence Lower Bound,ELBO）作為對(duì)數(shù)似然替代，構(gòu)建出適配擴(kuò)散模型的 DPO 框架。

通過(guò)三項(xiàng)后訓(xùn)練技術(shù)的協(xié)同，LLaDA2.0 在能力塑造、推理效率提升與人類偏好對(duì)齊之間形成了完善的優(yōu)化體系，使其從通用的擴(kuò)散式生成模型進(jìn)一步邁向高性能實(shí)用型大模型。

訓(xùn)練與推理基礎(chǔ)設(shè)施

為了進(jìn)一步解決訓(xùn)練穩(wěn)定性、大規(guī)?？蓴U(kuò)展性和推理效率問(wèn)題，LLaDA2.0 分別在預(yù)訓(xùn)練、后訓(xùn)練與推理階段進(jìn)行了針對(duì)性的工程優(yōu)化與機(jī)制設(shè)計(jì)。

在預(yù)訓(xùn)練階段，團(tuán)隊(duì)將 Megatron-LM 用作訓(xùn)練后端，并結(jié)合數(shù)據(jù)并行（DP）、流水線并行（PP）、張量并行（TP）、上下文并行（CP）與專家并行（EP）的多并行策略，使得千億級(jí)模型在長(zhǎng)序列與復(fù)雜注意力結(jié)構(gòu)下仍能保持高吞吐與強(qiáng)擴(kuò)展性。

此外，團(tuán)隊(duì)通過(guò)引入基于 cuDNN 的注意力實(shí)現(xiàn)，為任意塊擴(kuò)散訓(xùn)練帶來(lái)顯著加速。在訓(xùn)練 LLaDA2.0-mini 時(shí)，相較于 TransformerEngine 中未融合的注意力實(shí)現(xiàn)，這一做法實(shí)現(xiàn)了 1.3 倍 + 的端到端加速，以及 90%+ 的注意力層顯存節(jié)省。團(tuán)隊(duì)還通過(guò)在「masked token embedding」輸出中添加獨(dú)立高斯噪聲，解決了擴(kuò)散訓(xùn)練初期的數(shù)值不穩(wěn)定問(wèn)題。

預(yù)訓(xùn)練階段的多并行策略

在后訓(xùn)練階段，團(tuán)隊(duì)通過(guò)專為 dLLM 提供高效訓(xùn)練范式的開(kāi)源庫(kù) dFactory 實(shí)現(xiàn)了復(fù)雜的并行化策略。同時(shí)采用「數(shù)據(jù)打包」策略，將多個(gè)短序列拼接在一起，提升數(shù)據(jù)吞吐與硬件利用率。

在推理階段，團(tuán)隊(duì)對(duì)原為 dLLM 推理框架的 dInfer 進(jìn)行改造，使其能夠支持塊擴(kuò)散推理，并在能力實(shí)現(xiàn)上更接近 AR 模型。關(guān)鍵優(yōu)化包括有效復(fù)用 KV-cache，大幅降低 prefill 開(kāi)銷；另外，在 SGLang 中加入塊擴(kuò)散支持，使得 dLLM 也能享受 AR 模型的成熟推理優(yōu)化生態(tài)。

下圖 3 的結(jié)果顯示，在 HumanEval、MBPP、GSM8K、CRUXEval 等基準(zhǔn)測(cè)試中，LLaDA2.0-flash-CAP 達(dá)到了 535 TPS（Token/s），相較于基線 AR 模型（Ling-flash-2.0 與 Qwen3-30B-A3B-Inst-2507）實(shí)現(xiàn)最高 2.1 倍推理加速。

通過(guò)大規(guī)模訓(xùn)練、穩(wěn)定性保障、分布式并行、高效推理框架的適配等多個(gè)工程環(huán)節(jié)的全面優(yōu)化，LLaDA2.0 有望成為擴(kuò)散模型實(shí)現(xiàn)真正工業(yè)級(jí)可用的關(guān)鍵轉(zhuǎn)折點(diǎn)。

性能比肩 AR

dLLM 的路走通了？

說(shuō)了這么多，LLaDA2.0 到底表現(xiàn)如何？

整體來(lái)看，該系列模型不僅具備競(jìng)爭(zhēng)力，而且在一些關(guān)鍵領(lǐng)域展現(xiàn)出接近甚至超越 AR 模型的趨勢(shì)。

先看 LLaDA2.0-mini。它的綜合得分為 64.34，接近同級(jí)別 AR 模型 Ling-mini-2.0 的 65.77，證明了擴(kuò)散路線的基本可行性。值得一提的是，它在一些復(fù)雜任務(wù)上已經(jīng)超過(guò)了直接對(duì)標(biāo)的 Qwen3-8B，比如 SQuAD 2.0 閱讀理解（86.50）、代碼生成 HumanEval（86.59）。

再看更大的 LLaDA2.0-flash。它的綜合得分為 73.18，與 Qwen3-30B-A3B-Instruct-2507（73.60）基本持平。而在編碼任務(wù)上，它開(kāi)始展現(xiàn)出更明顯的優(yōu)勢(shì)：HumanEval 94.51、MBPP 88.29、MultiPL-E 74.87，均高于 AR 對(duì)手。這一趨勢(shì)也延伸到了 Agent 能力（BFCL v3: 75.43）上。

一個(gè)值得關(guān)注的現(xiàn)象是：隨著模型規(guī)模增大，擴(kuò)散架構(gòu)在結(jié)構(gòu)化生成和工具調(diào)用上的優(yōu)勢(shì)似乎愈發(fā)明顯。

LLaDA 2.0 的性能表明，擴(kuò)散語(yǔ)言模型是一條可擴(kuò)展且有競(jìng)爭(zhēng)力的技術(shù)路線。它在通用基準(zhǔn)上快速縮小了與 AR 模型的差距，同時(shí)在代碼生成、工具使用等復(fù)雜任務(wù)上展現(xiàn)出超越的潛力。

100B 之后

dLLM 未來(lái)可期

作為業(yè)內(nèi)首個(gè)沖刺到 100B 參數(shù)規(guī)模的 dLLM，LLaDA2.0 系列模型的出現(xiàn)無(wú)疑給整個(gè)領(lǐng)域注入了一針強(qiáng)心劑。

除了規(guī)模本身，LLaDA2.0「將成熟 AR 大模型平滑過(guò)渡到擴(kuò)散框架」的思路同樣值得關(guān)注。它表明，不同生成范式并非非此即彼的對(duì)立關(guān)系，而是可以串聯(lián)、融合、相互繼承。這為擴(kuò)散語(yǔ)言模型的規(guī)?；剿魈峁┝艘粭l切實(shí)可行的工程路徑，打開(kāi)了一片更廣闊的設(shè)計(jì)空間。

與此同時(shí)，越來(lái)越多的玩家正在入場(chǎng)，其中不乏馬斯克旗下 xAI 這樣的科技巨頭。

當(dāng)然，dLLM 距離真正成熟還有很長(zhǎng)的路要走。更大的參數(shù)規(guī)模、更高效的強(qiáng)化學(xué)習(xí)與推理范式、更快的解碼速度…… 每一項(xiàng)都是待攻克的難題。但方向已經(jīng)明確，剩下的只是時(shí)間。