文章轉(zhuǎn)載于量子位
作者：聞樂

長期以來，AI生圖被一個經(jīng)典矛盾困擾。

潛空間模型效率高，但細(xì)節(jié)有損耗；像素空間模型保真度高，卻容易結(jié)構(gòu)混亂、速度慢。

要么快要沒準(zhǔn)，大家?guī)缀跄J(rèn)這是架構(gòu)帶來的取舍問題，沒法徹底解決。

但擴(kuò)散模型生圖，順序真的對嗎？

李飛飛團(tuán)隊最新論文提出的Latent Forcing方法直接打破了這一共識，他們發(fā)現(xiàn)生成的質(zhì)量瓶頸不在架構(gòu)，而在順序。

簡單說就像畫畫必須先打草稿再填色，AI也需要一個「先定結(jié)構(gòu)、后填細(xì)節(jié)」的強(qiáng)制邏輯。

Latent Forcing僅通過重排生成軌跡，像素擴(kuò)散模型不僅找回了效率，更在多項指標(biāo)上刷新SOTA。

1

傳統(tǒng)方法瓶頸

在深入了解Latent Forcing之前，咱先來說說當(dāng)前兩大方法的瓶頸。

傳統(tǒng)像素級擴(kuò)散模型之所以畫圖會畫歪，是因為它在降噪過程中，高頻的紋理細(xì)節(jié)往往會干擾低頻的語義結(jié)構(gòu)。

模型常常在還沒搞清楚物體的整體輪廓時，就被迫去預(yù)測局部的像素顏色，其實這在本質(zhì)上就違背了視覺生成的自然邏輯。

為了解決這個問題，行業(yè)此前大多轉(zhuǎn)向潛空間。

它通過預(yù)訓(xùn)練的tokenizer把圖像壓到低維空間，生成速度飛起。

但潛空間模型必須依賴一個預(yù)訓(xùn)練的解碼器，但這不僅會引入重建誤差，也讓模型失去了端到端建模原始數(shù)據(jù)的能力。

于是李飛飛團(tuán)隊思考——

能不能既保留像素級的無損精度，又獲得潛空間的結(jié)構(gòu)引導(dǎo)？

1

先打個草稿

Latent Forcing的答案是——

對擴(kuò)散軌跡重新排序。

怎么做的呢？

在不改變基礎(chǔ)Transformer架構(gòu)的前提下，引入了雙時間變量機(jī)制。

在訓(xùn)練和生成過程中，模型會同時處理像素和潛變量。不同的是，團(tuán)隊為兩者定制了獨立的降噪節(jié)奏：

• 潛變量先行：在生成初期，潛變量會率先完成降噪，在大尺度上確立圖像的語義骨架；

• 像素填色：在結(jié)構(gòu)確定后，像素部分再跟進(jìn)進(jìn)行精細(xì)化降噪。

這么一看，潛變量就像是一個臨時的草稿本。

生成結(jié)束時，這個草稿本直接丟棄，最終輸出仍是100%無損的原始像素圖像，沒有任何decoder。

整個過程端到端、可擴(kuò)展，幾乎不增加計算量（token數(shù)量不變，速度接近原生DiT）。

這種先latent后pixel的細(xì)微調(diào)整，在ImageNet榜單上展現(xiàn)了出色的表現(xiàn)。

在相同計算規(guī)模，訓(xùn)練80個epochs的條件下，Latent Forcing在ImageNet-256任務(wù)中，條件生成的FID分?jǐn)?shù)較此前最強(qiáng)的像素級模型JiT+REPA，從18.60降到9.76，接近腰斬。

在200個epoch的最終模型（ViT?L 規(guī)模）下，Latent Forcing實現(xiàn)了條件生成FID 2.48（guided）、無條件生成FID 7.2（unguided）的分?jǐn)?shù)。

創(chuàng)下像素空間擴(kuò)散Transformer新的SOTA。

過去學(xué)術(shù)界普遍認(rèn)為，必須通過更高倍率的有損壓縮才能換取好的FID表現(xiàn)。

Latent Forcing則用數(shù)據(jù)反駁了這一觀點——

在保持100%原始像素精度的情況下，我們依然能跑出超越有損模型的性能。

Latent Forcing項目由李飛飛領(lǐng)銜。

第一作者Alan Baade是李飛飛的學(xué)生，斯坦福計算機(jī)系博士生，在擴(kuò)散模型和生成建模方向有深入研究。

其他斯坦福共同作者包括Eric Ryan Chan、Kyle Sargent、Changan Chen和Ehsan Adeli。

此外，密歇根大學(xué)教授Justin Johnson作為合作作者參與其中。

論文地址：https://arxiv.org/abs/2602.11401

點個“愛心”，再走 吧