在數(shù)字世界里，計(jì)算機(jī)如何"看懂"圖像一直是個(gè)令人著迷的問題。最近，來自新加坡南洋理工大學(xué)S-Lab實(shí)驗(yàn)室和商湯科技研究院的研究團(tuán)隊(duì)發(fā)表了一項(xiàng)突破性研究，提出了一個(gè)被稱為"棱鏡假設(shè)"的全新理論。這項(xiàng)研究由樊維晨、刁海文、王權(quán)、林達(dá)華和劉子威等研究者共同完成，發(fā)表于2025年12月的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2512.19693v1。

傳統(tǒng)上，人工智能在理解圖像和生成圖像時(shí)往往采用不同的技術(shù)路徑，就像用兩套完全不同的工具來完成相似的工作。理解圖像的AI系統(tǒng)專注于識(shí)別圖片中的物體、場(chǎng)景和含義，而生成圖像的AI系統(tǒng)則致力于創(chuàng)造出逼真的視覺細(xì)節(jié)。這種分工雖然各有所長(zhǎng)，但也帶來了一個(gè)棘手問題：當(dāng)我們想要構(gòu)建一個(gè)既能理解又能生成圖像的統(tǒng)一AI系統(tǒng)時(shí)，這兩套不同的技術(shù)往往會(huì)相互沖突，就像試圖用同一個(gè)工具既當(dāng)錘子又當(dāng)螺絲刀一樣別扭。

研究團(tuán)隊(duì)在深入分析了各種圖像處理技術(shù)后，發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。他們注意到，專門用來理解圖像語(yǔ)義的AI模型主要關(guān)注圖像的低頻信息，這些信息包含了物體的大致輪廓、基本形狀和整體布局，就像我們遠(yuǎn)遠(yuǎn)看一幅畫時(shí)首先注意到的大致內(nèi)容。相比之下，專門用來重建圖像細(xì)節(jié)的AI模型不僅保留這些低頻信息，還會(huì)額外關(guān)注高頻信息，也就是圖像中的精細(xì)紋理、銳利邊緣和微妙的色彩變化。

基于這個(gè)觀察，研究團(tuán)隊(duì)提出了"棱鏡假設(shè)"這一核心理論。就像白光通過三棱鏡會(huì)被分解成彩虹般的光譜一樣，他們認(rèn)為任何自然輸入的圖像都可以被看作是現(xiàn)實(shí)世界在某個(gè)共享頻譜上的投影。在這個(gè)頻譜中，低頻部分承載著抽象的語(yǔ)義含義，比如物體的類別、屬性和相互關(guān)系，而高頻部分則編碼著具體的視覺細(xì)節(jié)，比如表面紋理、幾何形狀和精確的外觀特征。

為了驗(yàn)證這個(gè)假設(shè)，研究團(tuán)隊(duì)設(shè)計(jì)了兩組巧妙的實(shí)驗(yàn)。第一組實(shí)驗(yàn)測(cè)量了不同AI模型在各個(gè)頻率帶上的能量分布。他們發(fā)現(xiàn)，像DINOv2和CLIP這樣的語(yǔ)義理解模型確實(shí)將大部分計(jì)算資源集中在低頻區(qū)域，而像SD-VAE這樣的圖像重建模型則在中高頻區(qū)域保持了更強(qiáng)的表現(xiàn)能力。這就好比測(cè)量不同樂器的音頻特征，鋼琴主要集中在中頻，而小提琴則在高頻區(qū)域有更豐富的表現(xiàn)。

第二組實(shí)驗(yàn)更加直觀地證明了這一點(diǎn)。研究團(tuán)隊(duì)使用文本-圖像檢索任務(wù)來測(cè)試不同頻率信息對(duì)語(yǔ)義理解的重要性。他們對(duì)圖像施加不同的頻率濾波，發(fā)現(xiàn)當(dāng)逐漸移除低頻信息時(shí)，AI系統(tǒng)的語(yǔ)義理解能力會(huì)急劇下降，檢索準(zhǔn)確率從正常水平迅速跌落到隨機(jī)猜測(cè)的程度。而當(dāng)移除高頻信息時(shí)，語(yǔ)義理解能力基本保持穩(wěn)定，直到幾乎所有細(xì)節(jié)都被抹去。這個(gè)結(jié)果清晰地表明，跨模態(tài)的語(yǔ)義對(duì)齊確實(shí)主要依賴于共享的低頻基礎(chǔ)。

在理論基礎(chǔ)建立之后，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為"統(tǒng)一自編碼"（UAE）的實(shí)用系統(tǒng)。這個(gè)系統(tǒng)的設(shè)計(jì)靈感直接來源于棱鏡假設(shè)，它像一個(gè)精密的頻譜分析儀一樣工作。系統(tǒng)首先將輸入圖像分解為多個(gè)頻率帶，然后通過一個(gè)創(chuàng)新的頻率帶調(diào)制器來協(xié)調(diào)語(yǔ)義結(jié)構(gòu)和像素細(xì)節(jié)的共存。

UAE系統(tǒng)的工作流程頗具巧思。它從一個(gè)預(yù)訓(xùn)練的語(yǔ)義編碼器開始，比如DINOv2，然后通過一個(gè)可訓(xùn)練的統(tǒng)一編碼器來擴(kuò)展其能力。這個(gè)統(tǒng)一編碼器被初始化為與語(yǔ)義編碼器相同的狀態(tài)，就像給一個(gè)已經(jīng)會(huì)彈鋼琴的人教授小提琴技巧一樣，在保持原有技能的基礎(chǔ)上增加新的能力。

系統(tǒng)的核心創(chuàng)新在于其頻率分解機(jī)制。通過FFT（快速傅里葉變換）帶投影器，輸入的潛在表征被分解為多個(gè)頻率帶。每個(gè)頻率帶捕獲不同尺度的特征：最低頻帶包含全局語(yǔ)義和平滑結(jié)構(gòu)，而較高頻帶則捕獲局部邊緣和精細(xì)細(xì)節(jié)。這種分解采用了類似于流模型中耦合機(jī)制的迭代分離過程，確保了頻率分解的可逆性和空間一致性。

為了進(jìn)一步提升系統(tǒng)的魯棒性，UAE引入了一個(gè)巧妙的噪聲注入策略。在訓(xùn)練過程中，系統(tǒng)會(huì)選擇性地對(duì)高頻帶添加隨機(jī)噪聲，而保持低頻帶不受干擾。這種做法類似于在練習(xí)鋼琴時(shí)故意在復(fù)雜段落中加入一些干擾，以提高演奏者的適應(yīng)能力。通過這種方式，系統(tǒng)學(xué)會(huì)了即使在高頻信息受到干擾的情況下，仍然能夠依賴低頻語(yǔ)義信息進(jìn)行可靠的重建。

系統(tǒng)的解碼過程同樣精心設(shè)計(jì)。所有頻率帶在經(jīng)過調(diào)制后會(huì)被重新組合成一個(gè)統(tǒng)一的潛在表征，然后通過一個(gè)基于Vision Transformer的像素解碼器來重建最終的RGB圖像。整個(gè)過程就像一個(gè)熟練的調(diào)音師，能夠?qū)⒉煌l率的聲音完美混合成和諧的音樂。

在訓(xùn)練策略方面，UAE采用了一個(gè)多階段的方法。第一階段凍結(jié)語(yǔ)義編碼器，專注于訓(xùn)練解碼器進(jìn)行圖像重建。第二階段解凍編碼器，同時(shí)優(yōu)化語(yǔ)義對(duì)齊損失和重建損失。第三階段引入對(duì)抗性訓(xùn)練和噪聲注入，進(jìn)一步提升生成質(zhì)量。這種漸進(jìn)式訓(xùn)練就像學(xué)習(xí)一門復(fù)雜技藝，從基礎(chǔ)動(dòng)作開始，逐步增加難度和復(fù)雜度。

為了驗(yàn)證UAE的有效性，研究團(tuán)隊(duì)在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面的評(píng)估。在ImageNet-1K和MS-COCO 2017數(shù)據(jù)集上的重建質(zhì)量測(cè)試中，UAE展現(xiàn)出了令人印象深刻的性能。相比于現(xiàn)有的統(tǒng)一tokenizer方法，UAE在PSNR、SSIM和rFID等關(guān)鍵指標(biāo)上都取得了顯著提升。具體來說，在ImageNet-1K上，UAE將PSNR從基準(zhǔn)方法的18.05提升到29.65，將SSIM從0.50提升到0.88，同時(shí)將rFID從2.04降低到0.19。這些數(shù)字背后意味著更清晰的圖像重建、更好的結(jié)構(gòu)保持和更高的感知質(zhì)量。

在生成能力測(cè)試中，UAE在ImageNet-1K的類條件生成任務(wù)上取得了gFID為1.68、IS為301.6的優(yōu)異成績(jī)，與現(xiàn)有的頂級(jí)生成模型性能相當(dāng)。這表明UAE學(xué)習(xí)到的統(tǒng)一頻率表征不僅適用于重建任務(wù)，同樣能夠有效支持高質(zhì)量的生成任務(wù)。

語(yǔ)義理解能力的評(píng)估進(jìn)一步證實(shí)了UAE的優(yōu)勢(shì)。在ImageNet-1K的線性探測(cè)任務(wù)中，UAE達(dá)到了83.0%的top-1準(zhǔn)確率，與使用相同骨干網(wǎng)絡(luò)的RAE方法持平，同時(shí)超越了許多使用更大模型的方法。這個(gè)結(jié)果特別令人鼓舞，因?yàn)樗C明了UAE在擴(kuò)展到像素級(jí)重建能力的同時(shí)，完全保持了原有的語(yǔ)義理解能力。

研究團(tuán)隊(duì)還通過t-SNE可視化展示了UAE的低頻表征與原始DINOv2特征的相似性。兩個(gè)可視化圖顯示出高度相似的全局結(jié)構(gòu)和類別可分離性，這直觀地證明了UAE的低頻表征確實(shí)保留了原始語(yǔ)義編碼器的組織結(jié)構(gòu)，同時(shí)成功地在統(tǒng)一的潛在空間中實(shí)現(xiàn)了頻率感知的因式分解。

為了深入理解系統(tǒng)的各個(gè)組成部分，研究團(tuán)隊(duì)進(jìn)行了詳盡的消融研究。他們發(fā)現(xiàn)，每個(gè)設(shè)計(jì)選擇都對(duì)最終性能有重要貢獻(xiàn)。頻率帶投影器的引入顯著提升了結(jié)構(gòu)恢復(fù)能力，將PSNR從基準(zhǔn)的15.27提升到22.13。編碼器微調(diào)進(jìn)一步改善了像素級(jí)保真度，使PSNR達(dá)到29.02。噪聲注入策略雖然帶來的改進(jìn)相對(duì)較小，但對(duì)于穩(wěn)定訓(xùn)練和提升最終的感知質(zhì)量仍然很重要。

研究團(tuán)隊(duì)還測(cè)試了不同頻率帶數(shù)量對(duì)系統(tǒng)性能的影響。令人驚訝的是，無(wú)論是使用2個(gè)還是10個(gè)頻率帶，UAE都能保持基本一致的重建質(zhì)量和語(yǔ)義理解性能。這種魯棒性表明，大部分重要的頻率信息確實(shí)集中在基礎(chǔ)帶和前幾個(gè)殘差帶中，這與棱鏡假設(shè)的預(yù)測(cè)完全吻合。

在語(yǔ)義對(duì)比實(shí)驗(yàn)中，研究團(tuán)隊(duì)發(fā)現(xiàn)僅使用最低頻率分量進(jìn)行分類任務(wù)時(shí)，準(zhǔn)確率甚至略高于使用原始DINOv2特征或連接所有頻率帶的表征。這個(gè)發(fā)現(xiàn)進(jìn)一步支持了低頻帶有效保留全局語(yǔ)義結(jié)構(gòu)這一核心假設(shè)，也解釋了為什么這種頻率分解方法能夠如此成功。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)層面的突破。棱鏡假設(shè)為理解不同模態(tài)之間的關(guān)系提供了一個(gè)新的理論框架。它表明，看似不同的數(shù)據(jù)模態(tài)實(shí)際上可能是同一個(gè)底層連續(xù)體在不同頻率切片上的投影。這種統(tǒng)一的視角有助于解釋為什么某些跨模態(tài)技術(shù)能夠成功，也為未來的多模態(tài)AI系統(tǒng)設(shè)計(jì)提供了指導(dǎo)原則。

從實(shí)際應(yīng)用的角度來看，UAE為構(gòu)建真正統(tǒng)一的視覺AI系統(tǒng)提供了一條可行的路徑。傳統(tǒng)上，理解和生成任務(wù)往往需要不同的模型架構(gòu)和訓(xùn)練策略，這不僅增加了系統(tǒng)的復(fù)雜性，也限制了不同任務(wù)之間的協(xié)同效應(yīng)。UAE證明了通過適當(dāng)?shù)念l率域分解，我們可以在一個(gè)統(tǒng)一的框架內(nèi)同時(shí)實(shí)現(xiàn)高質(zhì)量的理解和生成能力。

這種統(tǒng)一的方法還有助于提高計(jì)算效率和模型的泛化能力。由于語(yǔ)義理解和細(xì)節(jié)生成共享了底層的表征學(xué)習(xí)，系統(tǒng)可以更好地利用有限的計(jì)算資源，同時(shí)在不同任務(wù)之間傳遞有用的知識(shí)。這對(duì)于資源受限的應(yīng)用場(chǎng)景特別有價(jià)值，比如移動(dòng)設(shè)備上的AI應(yīng)用或需要實(shí)時(shí)處理的場(chǎng)景。

從更廣的角度來看，這項(xiàng)研究為人工智能領(lǐng)域的一個(gè)核心挑戰(zhàn)提供了新的解決思路：如何在抽象和具象之間找到平衡。人類視覺系統(tǒng)天生具備這種能力，我們既能快速識(shí)別物體的類別和含義，又能感知精細(xì)的紋理和細(xì)節(jié)。UAE的成功表明，通過模擬這種多尺度、多頻率的信息處理機(jī)制，人工系統(tǒng)也能獲得類似的靈活性。

當(dāng)然，這項(xiàng)研究也有其局限性。目前的實(shí)驗(yàn)主要集中在靜態(tài)圖像上，而在視頻、音頻或其他模態(tài)上的表現(xiàn)還有待驗(yàn)證。此外，雖然頻率分解提供了一個(gè)有效的統(tǒng)一框架，但如何進(jìn)一步優(yōu)化這種分解策略，以及如何將其擴(kuò)展到更復(fù)雜的多模態(tài)場(chǎng)景，仍然是未來研究的重要方向。

研究團(tuán)隊(duì)在論文中也坦承，當(dāng)前的方法雖然在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中表現(xiàn)出色，但在面對(duì)真實(shí)世界的復(fù)雜場(chǎng)景時(shí)可能還需要進(jìn)一步改進(jìn)。特別是在處理極端的光照條件、復(fù)雜的遮擋關(guān)系或罕見的物體類別時(shí)，系統(tǒng)的魯棒性還有提升空間。

盡管如此，這項(xiàng)研究為視覺AI領(lǐng)域的未來發(fā)展指明了一個(gè)明確的方向。隨著計(jì)算能力的不斷提升和數(shù)據(jù)規(guī)模的持續(xù)擴(kuò)大，我們有理由期待基于頻率域分解的統(tǒng)一方法能夠在更多應(yīng)用場(chǎng)景中發(fā)揮作用。從自動(dòng)駕駛汽車的視覺感知，到創(chuàng)意產(chǎn)業(yè)的內(nèi)容生成，再到醫(yī)學(xué)影像的分析和診斷，這種統(tǒng)一的視覺表征學(xué)習(xí)方法都有巨大的應(yīng)用潛力。

說到底，這項(xiàng)研究最吸引人的地方在于它提供了一個(gè)簡(jiǎn)潔而優(yōu)雅的解決方案來處理一個(gè)長(zhǎng)期困擾AI研究者的問題。通過借鑒物理學(xué)中光譜分析的思想，研究團(tuán)隊(duì)成功地將復(fù)雜的視覺理解和生成問題轉(zhuǎn)化為頻率域的分解和重組問題。這種跨學(xué)科的思維方式不僅解決了當(dāng)前的技術(shù)挑戰(zhàn)，也為未來的研究提供了寶貴的啟示。

對(duì)于普通讀者來說，這項(xiàng)研究的意義在于它讓我們看到了AI技術(shù)發(fā)展的一個(gè)重要趨勢(shì)：從專門化走向統(tǒng)一化。就像智能手機(jī)集成了電話、相機(jī)、計(jì)算機(jī)等多種功能一樣，未來的AI系統(tǒng)也將越來越多地集成不同的認(rèn)知能力。UAE的成功表明，這種集成不僅是可能的，而且可能比分離的系統(tǒng)更加強(qiáng)大和高效。

有興趣深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者可以通過arXiv:2512.19693v1查詢完整論文。這項(xiàng)由新加坡南洋理工大學(xué)和商湯科技研究院合作完成的研究，無(wú)疑將為計(jì)算機(jī)視覺和人工智能領(lǐng)域的發(fā)展產(chǎn)生深遠(yuǎn)影響。

Q&A

Q1：棱鏡假設(shè)具體是什么意思？

A：棱鏡假設(shè)認(rèn)為自然圖像就像白光通過三棱鏡一樣，可以被分解成不同的頻率成分。低頻部分包含物體類別、形狀等抽象語(yǔ)義信息，高頻部分包含紋理、邊緣等精細(xì)視覺細(xì)節(jié)，不同類型的AI模型實(shí)際上是在關(guān)注這個(gè)頻譜的不同部分。

Q2：UAE系統(tǒng)比傳統(tǒng)方法有什么優(yōu)勢(shì)？

A：UAE最大優(yōu)勢(shì)是實(shí)現(xiàn)了理解和生成圖像能力的真正統(tǒng)一。傳統(tǒng)方法通常需要兩套不同系統(tǒng)分別處理理解和生成任務(wù)，而UAE通過頻率分解在一個(gè)框架內(nèi)同時(shí)實(shí)現(xiàn)了高質(zhì)量的語(yǔ)義理解和像素級(jí)重建，大大提升了效率和性能。

Q3：這項(xiàng)研究對(duì)普通人有什么實(shí)際意義？

A：這項(xiàng)研究將推動(dòng)更智能、更高效的AI視覺應(yīng)用發(fā)展。未來的手機(jī)拍照、視頻編輯、虛擬現(xiàn)實(shí)等應(yīng)用可能會(huì)變得更加智能和自然，AI既能理解圖片內(nèi)容又能生成高質(zhì)量圖像，為用戶提供更好的視覺體驗(yàn)和創(chuàng)作工具。