自擴(kuò)散模型提出以來，它不僅在圖像、視頻和音頻生成方面取得了優(yōu)異效果，也正逐漸成為解決圖像復(fù)原、超分辨率、去模糊等逆問題的重要工具。

這個(gè)領(lǐng)域長期以來普遍認(rèn)為，作為先驗(yàn)的擴(kuò)散模型必須足夠強(qiáng)，且其訓(xùn)練圖像分布需要與目標(biāo)圖像分布高度匹配。因此，經(jīng)典算法通常會(huì)采用在目標(biāo)領(lǐng)域上充分訓(xùn)練的擴(kuò)散模型來進(jìn)行圖像恢復(fù)，否則恢復(fù)質(zhì)量往往會(huì)明顯下降。

然而，近期來自羅格斯大學(xué)、杜克大學(xué)和密歇根大學(xué)的一項(xiàng)最新研究表明，即使是「弱」擴(kuò)散先驗(yàn)和完全不匹配的數(shù)據(jù)分布，也可以實(shí)現(xiàn)高質(zhì)量圖像重建。

這篇題為《Weak Diffusion Priors Can Still Achieve Strong Inverse-Problem Performance》的工作不僅展示了這種反直覺的實(shí)驗(yàn)現(xiàn)象，還首次從理論和實(shí)驗(yàn)層面解釋了這種「弱先驗(yàn)依然有效」的機(jī)制。

• 論文地址：https://arxiv.org/abs/2601.22443

一個(gè)反直覺的實(shí)驗(yàn)：臥室擴(kuò)散模型重構(gòu)人臉

僅使用 3 步 DDIM 擴(kuò)散模型作為先驗(yàn)進(jìn)行圖像重建：匹配先驗(yàn)（上）與不匹配先驗(yàn)（下）的對(duì)比。在底部左圖（或底部右圖）中，可以看到在臥室圖像（或人臉圖像）上訓(xùn)練的擴(kuò)散模型依然能夠重建人臉圖像（或臥室圖像）。從左到右展示的是優(yōu)化迭代過程中不同階段的中間重建結(jié)果?！窻eference」列表示干凈的真實(shí)圖像，「Measurement」列表示帶噪聲的觀測圖像。

首先展示一組很有沖擊力的實(shí)驗(yàn)。如上圖左下所示，在優(yōu)化初始噪聲（initial noise optimization）的框架下，使用只在 LSUN-bedroom 數(shù)據(jù)集上訓(xùn)練的 3 步 DDIM 擴(kuò)散模型可以重構(gòu) CelebA-HQ 數(shù)據(jù)集中的人臉圖像。

擴(kuò)散模型在初始階段只能生成模糊的臥室圖像，但隨著優(yōu)化不斷推進(jìn)，原本只能生成臥室圖像的模型逐漸擺脫了低質(zhì)量結(jié)果和「臥室結(jié)構(gòu)」偏好，最終恢復(fù)出清晰且高質(zhì)量的人臉圖像。

同樣的，用只能生成人臉的擴(kuò)散模型，也可以有效重建臥室圖像?？梢詮南旅娴膭?dòng)圖看到這個(gè)「臥室變臉」的過程。

這個(gè)現(xiàn)象在 X 上也引發(fā)了討論。有網(wǎng)友感嘆道：「一個(gè)只用臥室圖片訓(xùn)練的擴(kuò)散模型竟然能生成人臉，真的太嚇人了！」

這些現(xiàn)象進(jìn)一步引導(dǎo)團(tuán)隊(duì)思考這樣一個(gè)問題：在擴(kuò)散先驗(yàn)較弱且訓(xùn)練分布與目標(biāo)分布不匹配的情況下，圖像復(fù)原成功的機(jī)制究竟是什么？

現(xiàn)實(shí)問題：強(qiáng)先驗(yàn)并不總是存在

這樣的問題并不只是來自一些看起來「反直覺」的實(shí)驗(yàn)結(jié)果，更有明確的實(shí)際背景。在實(shí)際應(yīng)用中，并不總是有一個(gè)高質(zhì)量和數(shù)據(jù)匹配的先驗(yàn)?zāi)Ｐ停?/p>

• 內(nèi)存和計(jì)算限制使得擴(kuò)散模型步數(shù)被截?cái)啵?/li>
• 醫(yī)學(xué)成像、遙感成像、科學(xué)成像等場景中，目標(biāo)數(shù)據(jù)往往稀缺且分布特殊，很難專門訓(xùn)練一個(gè)完全匹配的生成模型。

這項(xiàng)研究旨在回答三個(gè)問題：

• When（何時(shí)有效）：弱 / 不匹配先驗(yàn)在什么條件下仍能實(shí)現(xiàn)高質(zhì)量重建？
• Why（內(nèi)在機(jī)制）：這種超越分布的魯棒性源自何處？
• Limitations（失效邊界）：這種能力在何時(shí)會(huì)達(dá)到極限？

核心結(jié)論：重建常是觀測主導(dǎo)的

當(dāng)觀測數(shù)據(jù)本身提供足夠充足的信息時(shí)，重建過程將由觀測驅(qū)動(dòng)（observation-dominant）而非先驗(yàn)驅(qū)動(dòng)。因此，模型對(duì)先驗(yàn)的強(qiáng)弱和匹配度表現(xiàn)出顯著的不敏感性。

簡單來說，當(dāng)觀測數(shù)據(jù)維度高、強(qiáng)可辨識(shí)性、有效像素?cái)?shù)量多時(shí)，后驗(yàn)分布會(huì)集中到真實(shí)解附近，即便先驗(yàn)較弱，也不會(huì)顯著影響最終結(jié)果。

這一觀點(diǎn)與傳統(tǒng)「先驗(yàn)決定一切」的觀點(diǎn)形成鮮明對(duì)比。

多任務(wù)實(shí)驗(yàn)全面驗(yàn)證

團(tuán)隊(duì)在圖像復(fù)原（inpainting）、高斯去模糊（Gaussian debluring）、超分辨率（super-resolution）、非線性去模糊（nonlinear debluring）等經(jīng)典圖像逆問題上進(jìn)行了大量的實(shí)驗(yàn)，采用的擴(kuò)散模型和數(shù)據(jù)集包括 LSUN-bedroom、LSUN-church 和 CelebA-HQ。

實(shí)驗(yàn)結(jié)果顯示：

• 在優(yōu)化初始噪聲的框架下，僅使用 3 步 DDIM 的弱先驗(yàn)擴(kuò)散模型在 PSNR、SSIM、LPIPS 等各項(xiàng)指標(biāo)上超過使用 1000 步模型的 baseline 方法；
• 即使模型訓(xùn)練數(shù)據(jù)領(lǐng)域與圖像重建目標(biāo)領(lǐng)域完全不一樣，性能的下降也非常有限，甚至能夠超越領(lǐng)域一致和使用 1000 步模型的 baseline 方法。

跨數(shù)據(jù)領(lǐng)域的圖像修復(fù)與超分辨率結(jié)果對(duì)比。「Model」表示擴(kuò)散模型的訓(xùn)練數(shù)據(jù)來源（即先驗(yàn)的源領(lǐng)域），「CelebA」「Bedroom」「Church」表示被重建圖像的目標(biāo)領(lǐng)域。需要說明的是，baseline 方法 DPS 始終采用與目標(biāo)數(shù)據(jù)一致的領(lǐng)域內(nèi)模型。

理論突破：從貝葉斯后驗(yàn)集中 (Posterior Concentration) 解釋現(xiàn)象

為了理解這種現(xiàn)象，團(tuán)隊(duì)從貝葉斯視角出發(fā)，基于高斯混合模型建立了一個(gè)高維逆問題的分析框架，在滿足一定的假設(shè)條件時(shí)：

• 后驗(yàn)分布會(huì)以維度的指數(shù)級(jí)速度集中在最匹配的重建圖像附近；
• 當(dāng)觀測數(shù)據(jù)維度足夠高、包含信息足夠充分時(shí)（例如觀測到的像素、邊緣、紋理多），即使非常不同的先驗(yàn)分布，都會(huì)得到相似的重建圖像。

另外，團(tuán)隊(duì)在 LSUN-bedroom、LSUN-church 和 CelabA-HQ 等數(shù)據(jù)集上進(jìn)行了數(shù)據(jù)模擬，證明了上述理論分析的假設(shè)在實(shí)際數(shù)據(jù)和問題中的有效性。

弱先驗(yàn)?zāi)Ｐ偷氖н吔?/p>

值得注意的是，弱先驗(yàn)并非萬能，團(tuán)隊(duì)系統(tǒng)分析了其失敗場景。在觀測圖像信息不充分時(shí)，例如大面積連續(xù)遮擋（box inpainting）和極端超分辨率（16x super-resolution）這些低信息量任務(wù)中，重建圖像將重新變得由先驗(yàn)主導(dǎo)（prior-dominant），在這種情況下強(qiáng)先驗(yàn)依然重要。

例如下圖最后一列，使用人臉模型重建的教堂圖像會(huì)出現(xiàn)明顯的人臉特征。

上半部分：60% x 60% 連續(xù)遮擋；下半部分：16 倍超分辨率。

結(jié)論

團(tuán)隊(duì)系統(tǒng)地研究了弱先驗(yàn)擴(kuò)散模型在逆問題中的應(yīng)用，從實(shí)驗(yàn)和理論上證明了其有效性，并展示了其典型的失敗模式，指出了清晰的應(yīng)用邊界，避免誤用。

這項(xiàng)工作為社區(qū)帶來的啟示可能遠(yuǎn)超算法本身：

• 在觀測數(shù)據(jù)信息充分的情況下，弱先驗(yàn)比傳統(tǒng)認(rèn)知中更有效。當(dāng)使用者沒有一個(gè)非常匹配的強(qiáng)先驗(yàn)時(shí)，可以使用弱先驗(yàn)進(jìn)行圖像重建；
• 在未來的研究中，研究者或?qū)⒏嗟仃P(guān)注弱先驗(yàn)，特別是少步數(shù)擴(kuò)散模型先驗(yàn)的相關(guān)算法，同時(shí)考慮將初始噪聲優(yōu)化和傳統(tǒng)算法結(jié)合。

作者介紹

本文共同第一作者為羅格斯大學(xué)計(jì)算機(jī)系博士生賈婧、統(tǒng)計(jì)系博士生袁偉。

其他作者包括杜克大學(xué)劉思繁、密歇根大學(xué)申荔月、羅格斯大學(xué)王冠揚(yáng)。