何愷明，再次出手精簡架構(gòu)。

新方法Pixel Mean Flow（pMF），突破傳統(tǒng)擴(kuò)散模型/流模型限制。

兩大傳統(tǒng)組件多步采樣和潛空間都被砍了，現(xiàn)在只需一步，直接在像素空間生成圖像。

在ImageNet 256×256分辨率上，pMF達(dá)到了2.22 FID；512×512分辨率上則是2.48 FID。這是目前單步、無潛空間擴(kuò)散模型在該基準(zhǔn)上取得的最佳成績之一。

砍掉擴(kuò)散模型的兩大件

現(xiàn)代擴(kuò)散模型生成圖像，一直離不開多步采樣和潛空間編碼。

多步采樣意味著生成一張圖需要跑幾十甚至上百次神經(jīng)網(wǎng)絡(luò)，潛空間則需要先把圖像壓縮到一個低維空間再進(jìn)行操作。兩者的共同目的是把一個極度復(fù)雜的生成問題拆解成若干個相對簡單的子問題。

近年來，研究社區(qū)分別在這兩個方向上取得了進(jìn)展：

一致性模型（Consistency Models）和何愷明團(tuán)隊2025年提出的MeanFlow在少步、單步采樣上持續(xù)突破。

何愷明團(tuán)隊2026年1月提出的JiT（Just image Transformers）則證明了在原始像素空間做擴(kuò)散模型的可行性。

但把這兩條路合到一起，難度陡增。

少步模型要求單個網(wǎng)絡(luò)能夠處理不同起點和終點的軌跡；像素空間模型則需要在沒有預(yù)訓(xùn)練tokenizer的情況下完成壓縮和抽象。

兩邊的挑戰(zhàn)疊加在一起，對架構(gòu)設(shè)計提出了更高的要求。

pMF的核心設(shè)計

pMF的思路可以概括為：網(wǎng)絡(luò)直接輸出像素級別的去噪圖像，但訓(xùn)練時用速度場來計算損失。

具體來說，pMF定義了一個新的場x，它是從平均速度場u通過簡單變換得到的。

x場的關(guān)鍵特性是看起來像干凈的圖像。

論文通過追蹤ODE軌跡進(jìn)行可視化發(fā)現(xiàn)，平均速度場u對應(yīng)的是噪聲圖像，而變換后的x場則對應(yīng)近乎干凈或略微模糊的圖像。

這背后的假設(shè)是流形假設(shè)（manifold hypothesis）：自然圖像實際上位于一個低維流形上，讓網(wǎng)絡(luò)直接預(yù)測這個低維流形上的量，比預(yù)測高維噪聲空間中的量要容易得多。

團(tuán)隊用一個2D玩具模型驗證了這一點。

當(dāng)把2D數(shù)據(jù)投影到512維觀察空間時，傳統(tǒng)的u-prediction直接崩潰，而x-prediction仍然能夠正常工作。

在真實的ImageNet實驗中也是如此：256×256分辨率下，patch維度達(dá)到768（16×16×3），u-prediction的FID直接飆到164.89，而 x-prediction則保持在個位數(shù)。

pMF還有一個獨特優(yōu)勢：

因為網(wǎng)絡(luò)直接輸出像素圖像，可以自然地使用感知損失（perceptual loss）。

這本是潛空間方法在訓(xùn)練VAE時才能用的技巧，pMF把它帶到了生成器本身的訓(xùn)練中。實

實驗顯示，加入感知損失后，F(xiàn)ID從9.56直接降到3.53，提升了約6個點。

實驗結(jié)果與對比

在ImageNet 256×256上，pMF-H/16模型以2.22 FID的成績，超越了此前唯一的同類方法EPG（8.82 FID）。與GAN方法相比，pMF達(dá)到了相近的FID，但計算量大幅下降——StyleGAN-XL每次前向傳播需要1574 Gflops，是pMF-H/16的5.8倍。

在512×512分辨率上，pMF采用了32×32的大patch尺寸，保持與256×256相近的計算開銷，達(dá)到了2.48 FID。

另外，潛空間方法還有一筆經(jīng)常被忽略的開銷：VAE解碼器。

標(biāo)準(zhǔn)SD-VAE解碼器在256分辨率下需要310 Gflops，512分辨率下需要1230 Gflops，這個開銷已經(jīng)超過了pMF整個生成器的計算量。

論文還進(jìn)行了大量消融實驗：

優(yōu)化器方面，Muon比Adam收斂更快且效果更好；

時間采樣方面，MeanFlow的全平面采樣策略不可或缺，只在r=t或r=0單線上采樣都會導(dǎo)致失??；

預(yù)條件器（pre-conditioner）方面，傳統(tǒng)的EDM和sCM風(fēng)格設(shè)計在這個高維場景下不如直接的 x-prediction有效。

團(tuán)隊介紹

一個圖像生成模型，本質(zhì)上就是從噪聲到像素的映射。

多步采樣和潛空間編碼都是歷史上為了降低難度而引入的折中方案，但隨著模型能力的提升和訓(xùn)練技巧的進(jìn)步，這些“拐杖”正在變得不那么必要。

團(tuán)隊在結(jié)尾寫道：希望這項工作能夠鼓勵未來對直接、端到端生成建模的探索。從實驗結(jié)果來看，單步無潛空間生成已經(jīng)從“是否可行”進(jìn)入到“如何做得更好”的階段了。

共同一作Yiyang Lu（陸伊煬）、Susie Lu、Qiao Sun（孫啟傲）、Hanhong Zhao（趙瀚宏）為MIT本科生。

其中孫啟傲是IMO金牌得主，趙瀚宏是國際物理奧林匹克競賽IPhO金牌得主，陸伊煬是全國中學(xué)生物理競賽CPhO金牌得主。

論文地址：
https://arxiv.org/abs/2601.22158

文章來源：量子位。