DrDiff框架的核心思想是“動態(tài)化”，其創(chuàng)新性體現(xiàn)在三個(gè)緊密協(xié)同的技術(shù)組件上，宛如為模型裝上了“智能調(diào)度中樞”。

作者丨王可澤

拓元智慧團(tuán)隊(duì)聯(lián)合來自中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室、阿里巴巴集團(tuán)及Snap Inc的研究團(tuán)隊(duì)，針對了困擾業(yè)界已久的長文本生成中“效率”與“質(zhì)量”難以兼得的根本性挑戰(zhàn)，開發(fā)出DrDiff（動態(tài)路由擴(kuò)散）框架（已被NLP 頂會 EMNLP 2025錄用接收）。該框架通過創(chuàng)新的動態(tài)資源調(diào)度機(jī)制，在保證生成內(nèi)容連貫性的同時(shí)，將計(jì)算復(fù)雜度降至線性，為AI輔助學(xué)術(shù)科研、長篇內(nèi)容創(chuàng)作、自動報(bào)告生成等應(yīng)用提供了有力的基礎(chǔ)支撐。

論文題目：

DrDiff: Dynamic Routing Diffusion with Hierarchical Attention for

Breaking the Efficiency-Quality Trade-off

論文鏈接：

論文通訊作者王可澤博士：國家級青年人才、中山大學(xué)計(jì)算機(jī)學(xué)院副教授、博士生導(dǎo)師、拓元智慧高級算法總監(jiān)，曾獲吳文俊人工智能自然科學(xué)獎二等，人工智能學(xué)會CAAI優(yōu)秀博士論文獎，國際著名學(xué)術(shù)評估機(jī)構(gòu)AI 2000年最有影響力學(xué)者提名獎。主要研究方向有因果驅(qū)動認(rèn)知的復(fù)雜推理、多智能體良好高階推理、多模態(tài)生產(chǎn)式AI、具身智能等。

01

研究背景：長文本生成的固有瓶頸

盡管大型語言模型（LLM）在各類任務(wù)上表現(xiàn)出色，但在生成超過數(shù)萬token的超長文本時(shí)，其性能會顯著下降。核心問題源于Transformer架構(gòu)固有的二次計(jì)算復(fù)雜度（O(n2)），導(dǎo)致處理長序列時(shí)計(jì)算資源消耗巨大?，F(xiàn)有解決方案，如稀疏注意力（如Longformer）或擴(kuò)散模型（如DiffuSeq），多采用固定模式的資源分配，無法靈活應(yīng)對文本中不同片段、不同生成階段的異質(zhì)性需求，從而導(dǎo)致：

• 長程依賴衰減：模型難以維持遠(yuǎn)距離的語義連貫性，易出現(xiàn)內(nèi)容重復(fù)或邏輯斷裂。

• 資源分配次優(yōu)：對簡單和復(fù)雜文本片段“一視同仁”，造成算力浪費(fèi)或關(guān)鍵部分計(jì)算不足。

• 生成質(zhì)量隨長度退化：文本越長，模型越容易“遺忘”前文信息，質(zhì)量下降越明顯。

02

核心技術(shù)突破：動態(tài)智能的三大支柱

DrDiff框架的核心思想是“動態(tài)化”，其創(chuàng)新性體現(xiàn)在三個(gè)緊密協(xié)同的技術(shù)組件上，宛如為模型裝上了“智能調(diào)度中樞”：

1.分層稀疏注意力（HSA）：自適應(yīng)的感受野切換

HSA機(jī)制徹底改變了固定注意力模式的思路。它根據(jù)實(shí)時(shí)輸入序列長度（N）動態(tài)構(gòu)建稀疏注意力掩碼：

• 短文本（N ≤ 512）：啟用密集注意力模式，捕獲全部細(xì)節(jié)。

• 中等文本（512 < N ≤ 4K）：切換至局部（窗口w=256）+ 稀疏膨脹（δ?） 組合模式，高效覆蓋中短程依賴。

• 長文本（4K< N ≤ 8K）：采用稀疏膨脹（δ? > δ?）+ 全局節(jié)點(diǎn)（G?） 模式，擴(kuò)大感受野。

• 超長文本（N > 8K）：啟用超長序列模式（M??K?），結(jié)合稀疏局部注意力和基于關(guān)鍵token比例（ρ=0.05）的全局注意力，理論上將復(fù)雜度降至線性O(shè)(n)。
  這種基于長度的分層策略，確保了無論文本多長，模型總能以最經(jīng)濟(jì)的計(jì)算成本激活最合適的注意力模式。

2.動態(tài)專家調(diào)度（DES）：按需分配的計(jì)算資源

DrDiff在去噪網(wǎng)絡(luò)的前饋網(wǎng)絡(luò)（FFN）層集成了混合專家（MoE）架構(gòu)。其動態(tài)性體現(xiàn)在：

• 專業(yè)化專家：不同專家可具有不同容量（如隱藏層維度為標(biāo)準(zhǔn)FFN的0.5倍）或不同結(jié)構(gòu)（如特定激活函數(shù)），甚至可在預(yù)訓(xùn)練時(shí)針對語法生成、主題內(nèi)容等子任務(wù)進(jìn)行輕微微調(diào)，形成功能特化。

• 智能路由：一個(gè)輕量級路由網(wǎng)絡(luò)（小型MLP）會分析經(jīng)過HSA處理后的隱藏狀態(tài)，該狀態(tài)已編碼了當(dāng)前上下文的復(fù)雜度和特征。路由網(wǎng)絡(luò)據(jù)此生成門控權(quán)重，動態(tài)選擇Top-1或Top-2最合適的專家來處理當(dāng)前token。

• 負(fù)載均衡：通過輔助損失函數(shù)確保所有專家都能得到充分訓(xùn)練，避免某些專家過載而其他專家閑置。這意味著簡單、重復(fù)的文本由“輕量級專家”快速處理，而復(fù)雜、關(guān)鍵的語義樞紐則分配給“重量級專家”深度計(jì)算，實(shí)現(xiàn)了前所未有的計(jì)算效率。

3.語義錨點(diǎn)狀態(tài)（SAS）：引導(dǎo)擴(kuò)散路徑的“燈塔”

為優(yōu)化超長文本的生成路徑，DrDiff在去噪過程的特定中間時(shí)間步（如t? = T/4, T/2, 3T/4）引入語義錨點(diǎn)狀態(tài)（???）作為顯式引導(dǎo)。

• 構(gòu)建方式：???可以是基于輸入文本Z?的核心語義摘要（通過預(yù)訓(xùn)練的輕量摘要模型獲得）所對應(yīng)的理想噪聲狀態(tài)，也可以是通過對大量真實(shí)文本在t?時(shí)刻的噪聲狀態(tài)進(jìn)行聚類得到的典型簇中心。

• 訓(xùn)練與推理：在訓(xùn)練時(shí)，除了標(biāo)準(zhǔn)的去噪損失，還增加了一個(gè)SAS引導(dǎo)損失（L_SAS），強(qiáng)制模型在關(guān)鍵時(shí)間步的預(yù)測狀態(tài)向預(yù)設(shè)的語義錨點(diǎn)靠近。這使得整個(gè)去噪軌跡更加平滑、目標(biāo)明確。

• 加速推理：這種“燈塔”式的指引顯著降低了擴(kuò)散過程的隨機(jī)性和曲折度，使得DPM-Solver++等高效的ODE求解器能夠采用更大的步長，從而將采樣步數(shù)從訓(xùn)練時(shí)的2000步大幅減少至50步左右，實(shí)現(xiàn)了數(shù)量級般的生成加速。

03

權(quán)威評測結(jié)果：小模型，大能量

研究成果在多項(xiàng)標(biāo)準(zhǔn)基準(zhǔn)測試中得到了驗(yàn)證：

• 長文本理解（LongBench）：參數(shù)量僅2.2億（220M）的DrDiff，取得了33.5%的綜合準(zhǔn)確率，性能超越了參數(shù)量高達(dá)700億（70B）的LLaMA-3.1-70B（32.1%）等大型模型。尤其在處理長序列（35.6%）、長對話（38.7%）和長結(jié)構(gòu)化數(shù)據(jù)（34.6%）任務(wù)上展現(xiàn)出顯著優(yōu)勢。

• 生成與問答任務(wù)：在WikiHop、TriviaQA、HotpotQA等數(shù)據(jù)集上，DrDiff的綜合表現(xiàn)（平均分?jǐn)?shù)~80.7）與GPT-4o、Qwen2.5-72B等頂級閉源模型仍存差距，但顯著領(lǐng)先于Longformer、LLaMA系列同參數(shù)量級模型及DiffuSeq等擴(kuò)散基線，證明了其架構(gòu)的優(yōu)越性。

• 效率驗(yàn)證：實(shí)驗(yàn)表明，在處理16K token的長序列時(shí)，DrDiff的訓(xùn)練時(shí)間比DiffuSeq減少56%，甚至比高度優(yōu)化的Longformer快9%-10%。

04

未來展望與意義

DrDiff的成功標(biāo)志著長文本生成進(jìn)入了“動態(tài)智能化”的新階段。其提出的動態(tài)路由、分層注意力和語義引導(dǎo)機(jī)制，為后續(xù)相關(guān)研究提供了寶貴的方向。團(tuán)隊(duì)計(jì)劃未來進(jìn)一步探索其在極長文本（>20K token）、多模態(tài)數(shù)據(jù)融合以及特定垂直領(lǐng)域（如科技、法律文獻(xiàn)生成）中的應(yīng)用，持續(xù)推動生成式AI的能力邊界。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。