這項(xiàng)由蘭州大學(xué)與阿里巴巴AMAP團(tuán)隊(duì)聯(lián)合完成的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號(hào)為arXiv:2604.16044，有興趣深入了解的讀者可通過該編號(hào)查詢完整論文。研究圍繞擴(kuò)散概率模型（即當(dāng)今最流行的AI圖像生成技術(shù)背后的核心引擎）中一個(gè)此前從未被系統(tǒng)性揭示的內(nèi)在缺陷展開，并提出了一套無需重新訓(xùn)練模型、幾乎不增加任何計(jì)算成本的修復(fù)方案。

每當(dāng)你用FLUX、Stable Diffusion或其他AI畫圖工具生成圖像時(shí)，背后都在運(yùn)行一套叫做"擴(kuò)散模型"的機(jī)制。這套機(jī)制就像一位畫家從一張布滿隨機(jī)噪點(diǎn)的畫布出發(fā)，一步步擦去噪點(diǎn)、補(bǔ)上細(xì)節(jié)，最終完成一幅完整的畫作。步驟越少，畫得越快，但質(zhì)量往往也越難保證。研究團(tuán)隊(duì)發(fā)現(xiàn)，這種"越快越容易出問題"的現(xiàn)象并非偶然，而是源自一個(gè)深層的系統(tǒng)性缺陷——他們將其命名為"信噪比-時(shí)間步偏差"，簡(jiǎn)稱SNR-t偏差。

理解這個(gè)發(fā)現(xiàn)的意義，首先需要知道這類缺陷會(huì)造成什么樣的后果。你或許注意過，當(dāng)AI繪圖步驟設(shè)置得很少時(shí)，生成的圖像往往會(huì)出現(xiàn)過度平滑（像是蒙了一層霧）、過曝（顏色失真、局部太亮）以及細(xì)節(jié)模糊等問題。這項(xiàng)研究正是第一次從理論上徹底解釋了這些現(xiàn)象的根本原因，并給出了一個(gè)干凈利落的修復(fù)辦法。

一、擴(kuò)散模型是怎么工作的，為什么會(huì)出問題

要理解研究團(tuán)隊(duì)發(fā)現(xiàn)的這個(gè)缺陷，可以把擴(kuò)散模型的訓(xùn)練過程想象成一所"降噪學(xué)校"。學(xué)校里的學(xué)生（也就是神經(jīng)網(wǎng)絡(luò)）每天接受這樣的訓(xùn)練：老師拿來一張?jiān)紙D片，按照嚴(yán)格的規(guī)則在上面疊加不同程度的噪點(diǎn)，然后告訴學(xué)生"這張圖片現(xiàn)在處于第7步的噪點(diǎn)程度，請(qǐng)預(yù)測(cè)并去掉噪點(diǎn)"。這里有一個(gè)關(guān)鍵規(guī)則：噪點(diǎn)的多少與步驟編號(hào)之間存在嚴(yán)格的一一對(duì)應(yīng)關(guān)系。簡(jiǎn)單說，第7步的圖片一定有第7步應(yīng)有的"信噪比"——信號(hào)（圖像本身的信息）與噪聲（疊加的隨機(jī)擾動(dòng)）之間的比例是固定的。

信噪比這個(gè)概念本身并不復(fù)雜。收音機(jī)信號(hào)強(qiáng)、雜音小，信噪比就高；反之，信號(hào)弱、雜音大，信噪比就低。AI圖像生成過程中，早期步驟信噪比很低（幾乎全是噪點(diǎn)），晚期步驟信噪比很高（圖像逐漸清晰）。訓(xùn)練時(shí)，學(xué)生只見過"步驟編號(hào)與信噪比嚴(yán)格匹配"的情形，因此非常擅長(zhǎng)處理這類"標(biāo)準(zhǔn)樣本"。

然而，真正生成圖像時(shí)（也就是"推理"階段），情況就發(fā)生了變化。神經(jīng)網(wǎng)絡(luò)本身預(yù)測(cè)并不完美，再加上數(shù)值計(jì)算中不可避免的舍入誤差，每一步生成的中間圖像實(shí)際上并不完全符合該步驟應(yīng)有的信噪比。就好像這位"學(xué)生"，在實(shí)際考場(chǎng)上處理的題目和他訓(xùn)練時(shí)見過的題目存在微妙的偏差——訓(xùn)練時(shí)的第7步圖片信噪比精準(zhǔn)無誤，而實(shí)際生成時(shí)的"第7步"圖片，信噪比卻悄悄偏低了。這種偏差會(huì)在每一步之間不斷疊加，形成滾雪球效應(yīng)，最終導(dǎo)致圖像質(zhì)量明顯下滑。

二、兩個(gè)關(guān)鍵實(shí)驗(yàn)：偏差的存在有多么確鑿

研究團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)非常直觀的實(shí)驗(yàn)來驗(yàn)證這一缺陷的存在。

第一個(gè)實(shí)驗(yàn)可以理解為"給學(xué)生出一道偏題"。他們固定神經(jīng)網(wǎng)絡(luò)的"時(shí)間步驟"為某一個(gè)值（比如第16步），然后分別把不同程度的噪點(diǎn)圖像喂給網(wǎng)絡(luò)，觀察網(wǎng)絡(luò)的輸出。結(jié)果非常清楚：當(dāng)輸入圖像的噪點(diǎn)程度比第16步"應(yīng)有的"更多時(shí)（也就是信噪比偏低），網(wǎng)絡(luò)會(huì)過度估計(jì)噪點(diǎn)，輸出一個(gè)比實(shí)際需要大得多的噪聲預(yù)測(cè)值；反過來，當(dāng)輸入圖像的噪點(diǎn)比第16步應(yīng)有的更少時(shí)（信噪比偏高），網(wǎng)絡(luò)又會(huì)低估噪點(diǎn)。換句話說，這位"學(xué)生"只擅長(zhǎng)處理他訓(xùn)練時(shí)見過的"標(biāo)準(zhǔn)題"，一旦遇到稍有偏差的情形，判斷就會(huì)出現(xiàn)系統(tǒng)性的偏移。

第二個(gè)實(shí)驗(yàn)則是"對(duì)照追蹤生成過程"。研究團(tuán)隊(duì)一方面通過標(biāo)準(zhǔn)規(guī)則生成一批"正向加噪"的樣本（確保每步信噪比完全正確），另一方面讓模型從頭開始實(shí)際生成圖像（走真實(shí)的去噪過程），然后在每一步上對(duì)比兩批圖像輸出的噪聲預(yù)測(cè)值大小。結(jié)論同樣明確：在任意時(shí)間步驟上，實(shí)際生成過程中的圖像，其噪聲預(yù)測(cè)值始終高于正向加噪樣本的噪聲預(yù)測(cè)值。結(jié)合第一個(gè)實(shí)驗(yàn)的發(fā)現(xiàn)，這意味著實(shí)際生成過程中的圖像，其信噪比在每一步上都系統(tǒng)性地低于"應(yīng)有值"。偏差不是偶發(fā)的，而是持續(xù)存在且方向一致的。

為了排除隨機(jī)性的干擾，研究團(tuán)隊(duì)還用不同的隨機(jī)種子（16、42、99）和不同的批量大?。?0、100、1000、2000）重復(fù)了這些實(shí)驗(yàn)，每次結(jié)果都保持一致，進(jìn)一步確認(rèn)了這一現(xiàn)象的普遍性。

三、數(shù)學(xué)層面的解釋：偏差從何而來

研究團(tuán)隊(duì)不滿足于實(shí)驗(yàn)層面的觀察，還從數(shù)學(xué)角度給出了嚴(yán)格的理論證明。這部分的核心是一個(gè)關(guān)于"重建樣本"的假設(shè)。

在擴(kuò)散模型每一步去噪時(shí)，除了生成下一步的中間圖像，模型還會(huì)順帶預(yù)測(cè)一個(gè)"重建樣本"——也就是它對(duì)最終干凈圖像的當(dāng)前估計(jì)。此前的研究有兩種不同的假設(shè)來描述這個(gè)重建樣本的數(shù)學(xué)形式，兩者之間甚至存在矛盾。研究團(tuán)隊(duì)通過一個(gè)簡(jiǎn)潔的數(shù)學(xué)論證解決了這個(gè)爭(zhēng)議：由于神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的是一種"均值估計(jì)"，根據(jù)統(tǒng)計(jì)學(xué)中方差恒為非負(fù)的基本原理，重建樣本的能量（即L2范數(shù)）必然小于或等于真實(shí)原始圖像的能量。換言之，重建樣本在能量上永遠(yuǎn)存在"信息損耗"。這一結(jié)論與此前一種假設(shè)相矛盾，卻與另一種假設(shè)吻合，從而為后續(xù)的理論推導(dǎo)奠定了基礎(chǔ)。

在此基礎(chǔ)上，研究團(tuán)隊(duì)推導(dǎo)出了反向去噪過程中每一步實(shí)際生成樣本的精確數(shù)學(xué)形式，并計(jì)算出其真實(shí)信噪比。結(jié)果表明，相比于同一時(shí)間步驟下正向加噪樣本的理論信噪比，實(shí)際生成樣本的信噪比總是更低——因?yàn)榉帜钢蓄~外多出了一個(gè)與"重建誤差"相關(guān)的正數(shù)項(xiàng)。這就像一道數(shù)學(xué)題：分母變大了，分?jǐn)?shù)自然變小。這從理論上嚴(yán)格證明了SNR-t偏差的存在和方向性，也為實(shí)驗(yàn)結(jié)論提供了堅(jiān)實(shí)的數(shù)學(xué)支撐。

四、修復(fù)方案：差分修正，讓生成軌跡回到正軌

發(fā)現(xiàn)了問題，研究團(tuán)隊(duì)隨即著手設(shè)計(jì)解決方案。他們的核心思路是：既然生成過程中的樣本信噪比系統(tǒng)性偏低，那就找到一個(gè)方向，把它往正確的方向推一推。

這個(gè)"推力"就隱藏在每一步去噪過程本身之中。每步去噪結(jié)束后，模型同時(shí)得到兩個(gè)東西：當(dāng)前步驟生成的中間圖像（預(yù)測(cè)樣本），以及模型對(duì)最終干凈圖像的當(dāng)前猜測(cè)（重建樣本）。研究團(tuán)隊(duì)發(fā)現(xiàn)，這兩者之差——也就是"差分信號(hào)"——恰好包含了將預(yù)測(cè)樣本推向正確分布方向所需的梯度信息。用一個(gè)簡(jiǎn)單的比喻來理解：你在霧中開車，儀表盤顯示你在第7公里處，但實(shí)際上你偏離了正常路線，只走到了第6.8公里的位置。"差分信號(hào)"就好比路邊的導(dǎo)航提示，告訴你"往右偏一點(diǎn)點(diǎn)，回到正軌"。

具體的修正操作非常簡(jiǎn)單：每完成一步去噪，得到中間圖像后，再加上這個(gè)差分信號(hào)乘以一個(gè)可調(diào)節(jié)的系數(shù)。系數(shù)越大，修正力度越強(qiáng)；系數(shù)為零時(shí)，等于沒有修正。這個(gè)操作不需要重新訓(xùn)練模型，不需要額外調(diào)用一次神經(jīng)網(wǎng)絡(luò)，只是在每步去噪結(jié)束后做一次輕量級(jí)的數(shù)值調(diào)整，計(jì)算開銷可以忽略不計(jì)。

五、進(jìn)階優(yōu)化：在小波域中分頻修正

僅僅在原始圖像空間做修正已經(jīng)有效，但研究團(tuán)隊(duì)進(jìn)一步發(fā)現(xiàn)，如果把修正操作搬到"頻率域"中進(jìn)行，效果會(huì)更好。這里涉及一個(gè)叫做"離散小波變換"的工具，可以簡(jiǎn)單理解為：把一張圖像拆分成四個(gè)部分，分別代表圖像的低頻信息（整體輪廓、大色塊、主要結(jié)構(gòu)）和三個(gè)方向上的高頻信息（邊緣、紋理、細(xì)節(jié)）。

為什么要分開處理？這背后有一個(gè)擴(kuò)散模型本身的內(nèi)在規(guī)律：在去噪的早期階段，模型優(yōu)先重建圖像的低頻結(jié)構(gòu)（先畫出大致輪廓和整體色調(diào)）；在去噪的后期階段，模型才逐漸補(bǔ)充高頻細(xì)節(jié)（邊緣、紋理、發(fā)絲等）。既然生成過程本身有這樣的節(jié)奏感，修正操作也應(yīng)當(dāng)順應(yīng)這個(gè)節(jié)奏，而不是一刀切。

研究團(tuán)隊(duì)因此設(shè)計(jì)了一套動(dòng)態(tài)權(quán)重策略：在去噪早期，給低頻修正分配較大的權(quán)重，優(yōu)先保證整體結(jié)構(gòu)的準(zhǔn)確性；在去噪后期，給高頻修正分配較大的權(quán)重，重點(diǎn)改善細(xì)節(jié)質(zhì)量。權(quán)重的調(diào)節(jié)借助了擴(kuò)散模型自帶的一個(gè)參數(shù)——反向過程方差，它天然地反映了當(dāng)前去噪進(jìn)度，數(shù)值在早期較大、晚期趨近于零，正好可以用來驅(qū)動(dòng)這套"先粗后細(xì)"的動(dòng)態(tài)修正機(jī)制。

此外，在頻率域操作還有另一個(gè)好處：差分信號(hào)中混雜著隨機(jī)高斯噪聲的干擾，直接在圖像空間修正時(shí)，這些噪聲會(huì)一定程度上影響修正方向的準(zhǔn)確性。拆分到頻率域后，低頻分量中的噪聲干擾更少，修正效果更為精準(zhǔn)。整套方案被研究團(tuán)隊(duì)命名為DCW，即"小波域差分修正"。

六、實(shí)驗(yàn)驗(yàn)證：在各種模型和數(shù)據(jù)集上的全面測(cè)試

研究團(tuán)隊(duì)對(duì)DCW進(jìn)行了極為廣泛的測(cè)試，橫跨多個(gè)主流擴(kuò)散模型（IDDPM、ADM、DDIM、A-DPM、EA-DPM、EDM、PFGM++、FLUX以及Qwen-Image），以及從32×32像素到256×256像素的多個(gè)數(shù)據(jù)集（CIFAR-10、CelebA、ImageNet、LSUN Bedroom）。

評(píng)價(jià)指標(biāo)主要使用FID分?jǐn)?shù)——這是衡量AI生成圖像質(zhì)量的標(biāo)準(zhǔn)指標(biāo)，分?jǐn)?shù)越低代表生成質(zhì)量越好，與真實(shí)圖像越接近。測(cè)試同時(shí)覆蓋了隨機(jī)采樣和確定性采樣兩種生成方式，并對(duì)20步、50步等不同步驟數(shù)的設(shè)置分別評(píng)估。

以IDDPM模型在CIFAR-10上的結(jié)果為例，原始模型在20步生成時(shí)FID為13.19，加入DCW后降至7.57，降幅達(dá)42.6%；50步時(shí)從5.55降至4.16，降幅25%。在LSUN Bedroom 256×256的20步任務(wù)上，F(xiàn)ID從18.69大幅下降至11.03。對(duì)于EDM這類已經(jīng)相當(dāng)優(yōu)秀的模型，DCW在13、21、35步的確定性采樣任務(wù)上，分別將FID從10.66、5.91、3.74降至5.67、3.37、2.41，降幅在36%至47%之間。

更值得關(guān)注的是，DCW不僅能改善原始基線模型，還能疊加在已經(jīng)針對(duì)"暴露偏差"做過修正的改進(jìn)模型上，進(jìn)一步提升性能。研究團(tuán)隊(duì)選取了ADM-ES（ICLR 2024）和DPM-FR（ACM MM 2025，當(dāng)時(shí)的暴露偏差修正領(lǐng)域最優(yōu)模型）作為參照，將DCW集成進(jìn)去后，F(xiàn)ID仍然能進(jìn)一步下降，說明SNR-t偏差與暴露偏差是兩個(gè)獨(dú)立的問題，前者修復(fù)了后者遺留的問題。相比同年ICLR 2025上發(fā)表的另外兩篇方法（DPM-AE和DPM-AT），DCW在所有測(cè)試場(chǎng)景下均表現(xiàn)更優(yōu)。

在文本生成圖像的定性測(cè)試中，使用FLUX模型以10步生成圖像時(shí)，原始版本產(chǎn)生的圖像存在明顯的過度平滑和過曝現(xiàn)象，而DCW修正版則視覺細(xì)節(jié)更豐富、色彩更自然、整體美感明顯提升。同樣的改善效果也出現(xiàn)在Qwen-Image模型上。

計(jì)算開銷方面，研究團(tuán)隊(duì)在CelebA 64×64、ImageNet 128×128和LSUN 256×256上分別測(cè)量了每批圖像的生成時(shí)間，DCW引入的額外時(shí)間開銷分別約為0.47%、0.08%和0.26%，在實(shí)際使用中幾乎感知不到。

七、消融實(shí)驗(yàn)：每個(gè)設(shè)計(jì)決策都有其價(jià)值

研究團(tuán)隊(duì)還做了細(xì)致的消融實(shí)驗(yàn)，驗(yàn)證DCW中每個(gè)設(shè)計(jì)組件的必要性。他們分別測(cè)試了僅在原始圖像空間修正（不使用小波分解）、僅對(duì)高頻分量修正、僅對(duì)低頻分量修正，以及同時(shí)對(duì)高低頻分量修正（完整DCW）四種配置。結(jié)果顯示，單獨(dú)的圖像空間修正已經(jīng)有效，單獨(dú)的高頻或低頻修正也各有改善，但同時(shí)修正高低頻分量的完整版DCW效果最佳，在A-DPM模型25步任務(wù)上，F(xiàn)ID從8.50分別降至6.38（僅圖像空間）、6.05（僅高頻）、7.00（僅低頻）和5.99（完整DCW）。這說明頻率分解并非可有可無的錦上添花，而是有實(shí)質(zhì)貢獻(xiàn)的設(shè)計(jì)選擇。

關(guān)于超參數(shù)的魯棒性，研究團(tuán)隊(duì)在λl（低頻修正系數(shù)）和λh（高頻修正系數(shù)）的大范圍取值內(nèi)都能觀察到FID的改善，兩個(gè)參數(shù)各自有一個(gè)最優(yōu)值，F(xiàn)ID隨參數(shù)增大呈現(xiàn)先降后升的趨勢(shì)。通過一個(gè)簡(jiǎn)單的兩階段搜索（先粗搜，步長(zhǎng)0.01；再細(xì)搜，步長(zhǎng)0.001），可以快速確定最優(yōu)參數(shù)。在實(shí)驗(yàn)中，最優(yōu)λl約為0.052，最優(yōu)λh約為0.010。

說到底，這項(xiàng)研究做的事情并不復(fù)雜，但它解決的問題卻長(zhǎng)期被忽視。AI繪圖工具在生成速度和質(zhì)量之間的矛盾，很大程度上來自于訓(xùn)練時(shí)的"理想狀態(tài)"和推理時(shí)的"真實(shí)狀態(tài)"之間的裂縫。這個(gè)裂縫不是因?yàn)槟Ｐ筒粔蚵斆鳎且驗(yàn)橄到y(tǒng)本身在訓(xùn)練時(shí)埋下了一個(gè)無法自行修復(fù)的隱患——每次生成過程的誤差都在悄悄累積，讓最終圖像逐漸偏離應(yīng)有的樣子。DCW的貢獻(xiàn)在于，它找到了這個(gè)裂縫，并用一把幾乎不費(fèi)力氣的"扳手"把它修好了。

對(duì)于普通用戶來說，這意味著在步驟數(shù)較少的快速生成場(chǎng)景中，AI繪圖工具有望在不增加等待時(shí)間的前提下，輸出質(zhì)量更穩(wěn)定、細(xì)節(jié)更豐富的圖像。對(duì)于研究者來說，這項(xiàng)工作揭示的SNR-t偏差是一個(gè)更基礎(chǔ)的問題，它在一定程度上解釋了此前許多"暴露偏差"研究現(xiàn)象背后的根本原因，為后續(xù)研究提供了新的切入角度。完整的代碼已公開，有興趣動(dòng)手實(shí)驗(yàn)的讀者可通過論文編號(hào)arXiv:2604.16044找到相關(guān)資源。

Q&A

Q1：SNR-t偏差和暴露偏差有什么區(qū)別，為什么說SNR-t偏差更根本？

A：暴露偏差指的是訓(xùn)練時(shí)模型看到的是真實(shí)噪點(diǎn)圖像，推理時(shí)卻要處理自己上一步生成的圖像，兩者之間存在差距。SNR-t偏差則更具體：它指的是推理時(shí)生成的中間圖像，其信噪比系統(tǒng)性地低于該步驟應(yīng)有的水平，導(dǎo)致神經(jīng)網(wǎng)絡(luò)的判斷出現(xiàn)方向性錯(cuò)誤。簡(jiǎn)單說，暴露偏差描述"用了錯(cuò)誤的輸入"，SNR-t偏差解釋了"為什么錯(cuò)、錯(cuò)在哪個(gè)方向"，是更底層的原因，并且兩者可以同時(shí)修正。

Q2：DCW修正方法需要重新訓(xùn)練擴(kuò)散模型嗎，對(duì)普通用戶來說用起來難不難？

A：完全不需要重新訓(xùn)練，DCW是一種"即插即用"的推理階段修正方法，直接疊加在現(xiàn)有模型的生成過程上。實(shí)際運(yùn)行時(shí)，每步去噪結(jié)束后額外做一次輕量級(jí)數(shù)值計(jì)算，時(shí)間開銷不超過0.5%。對(duì)于普通用戶，只需調(diào)整兩個(gè)超參數(shù)（低頻和高頻修正系數(shù)），通過簡(jiǎn)單的兩階段搜索就能快速確定最優(yōu)值，不需要深入了解模型原理。

Q3：小波域差分修正對(duì)哪類圖像生成場(chǎng)景改善效果最明顯？

A：步驟數(shù)較少的快速生成場(chǎng)景中效果最顯著，因?yàn)椴襟E越少，每步誤差積累的影響越大，SNR-t偏差暴露得越明顯。以IDDPM在CIFAR-10上10步生成為例，F(xiàn)ID改善幅度可超過40%。對(duì)于步驟數(shù)較多的高質(zhì)量生成，改善幅度相對(duì)較小，但仍然穩(wěn)定存在。文本生成圖像的場(chǎng)景（如FLUX、Qwen-Image）中，過度平滑和過曝問題的視覺改善尤為直觀。