新智元報道

編輯：LRST

【新智元導(dǎo)讀】UniGeo通過視頻模型的連續(xù)視角先驗與統(tǒng)一幾何引導(dǎo)，實現(xiàn)穩(wěn)定、高質(zhì)量的相機(jī)可控圖像生成，全面超越現(xiàn)有方法，在不同幅度的相機(jī)運動中提升跨視角一致性與結(jié)構(gòu)穩(wěn)定性。

當(dāng)前主流的相機(jī)可控圖像編輯主要基于圖像擴(kuò)散模型，通過處理離散視角映射，在場景生成和新視角合成領(lǐng)域取得了顯著成功。

然而，圖像模型天生的離散屬性使其在應(yīng)對連續(xù)相機(jī)運動時，極易出現(xiàn)幾何漂移和結(jié)構(gòu)退化。現(xiàn)有方法引入的幾何引導(dǎo)也往往是碎片化的（如僅在表示層注入點云），這導(dǎo)致即使引入視頻模型來克服圖像模型的缺點，提供連續(xù)視角先驗，模型也依然難以形成穩(wěn)定的全局幾何理解，無法徹底消除結(jié)構(gòu)退化現(xiàn)象。

近日，浙大聯(lián)合哈佛發(fā)布了全新的基于視頻模型的統(tǒng)一幾何引導(dǎo)相機(jī)可控編輯框架UniGeo。該框架系統(tǒng)性地打破了碎片化瓶頸，創(chuàng)新性地在決定生成輸出的三個核心層面（表示層、架構(gòu)層、損失函數(shù)層）全面注入了統(tǒng)一的幾何引導(dǎo)。結(jié)合視頻模型的連續(xù)先驗與全局統(tǒng)一的幾何引導(dǎo)，UniGeo 有效克服了結(jié)構(gòu)退化問題，顯著提升了在不同幅度的相機(jī)運動下的視覺質(zhì)量與跨視角幾何一致性。

模型代碼網(wǎng)址：https://github.com/mo230761/UniGeo

英文技術(shù)報告網(wǎng)址：https://arxiv.org/pdf/2604.17565

Project Page網(wǎng)址：https://mo230761.github.io/UniGeo.github.io/

HF Space網(wǎng)址：https://huggingface.co/spaces/123123aa123/UniGeo

現(xiàn)有主流的相機(jī)可控圖像編輯（Camera-controllable image editing）主要依托于圖像擴(kuò)散模型。其基本范式是：通過處理離散的二維視角映射，并輔以局部層面的幾何信息（如僅在表示層注入點云），來合成不同相機(jī)姿態(tài)下的新場景。這一技術(shù)路徑在二維視角的轉(zhuǎn)換上取得了顯著進(jìn)展。

然而，這類方法在應(yīng)對真實的連續(xù)相機(jī)運動時，面臨著跨視角幾何不一致和結(jié)構(gòu)退化等嚴(yán)峻問題。真實物理世界中的相機(jī)運動在三維空間內(nèi)是平滑且連續(xù)的，但受限于圖像模型天生的「離散屬性」，以及僅停留在單一層面的「碎片化」幾何引導(dǎo)，現(xiàn)有模型內(nèi)部難以形成全局協(xié)同的三維幾何對應(yīng)關(guān)系，導(dǎo)致生成過程常常發(fā)生幾何漂移。

鑒此，研究團(tuán)隊認(rèn)為，要實現(xiàn)高保真的相機(jī)可控圖像生成，必須摒棄以往「離散生成+碎片化幾何引導(dǎo)」的局限思路。視頻模型天然具備連續(xù)視角建模的先驗?zāi)芰Γ@為攻克上述難題提供了絕佳基座。

但僅引入視頻先驗并不充分，研究團(tuán)隊在此基礎(chǔ)上提出了一條系統(tǒng)性重構(gòu)的新路徑：即系統(tǒng)地將「統(tǒng)一幾何引導(dǎo)」貫穿于生成模型的全鏈路，確保模型從特征輸入到特征交互、再到最終優(yōu)化的每一個環(huán)節(jié)，都遵循嚴(yán)格的三維幾何引導(dǎo)。

在該思路的指引下，研究團(tuán)隊探索了連續(xù)視頻先驗與全局幾何引導(dǎo)的深度融合，提出了全新的相機(jī)可控圖像編輯框架UniGeo。該框架系統(tǒng)地重構(gòu)了決定生成輸出的三大核心基石：在表示層實現(xiàn)幀解耦的幾何參考注入，在架構(gòu)層引入對齊多視角的幾何錨點注意力，并在損失函數(shù)層強(qiáng)化軌跡端點的幾何監(jiān)督。

UniGeo 成功打通了視頻模型與三維幾何理解之間的壁壘，在不同幅度的相機(jī)運動下均實現(xiàn)了跨視角一致性的突破，或?qū)橛耙暫笃谥谱?、具身智能感知等依賴高可靠渲染的前沿領(lǐng)域提供堅實的基礎(chǔ)模型積累。

核心技術(shù)

給定輸入圖像與相機(jī)控制指令，UniGeo 的目標(biāo)是在嚴(yán)格保持三維幾何結(jié)構(gòu)的前提下合成新視角。為此，模型從表示層、架構(gòu)層和損失函數(shù)層系統(tǒng)性地注入了統(tǒng)一幾何引導(dǎo)（圖1）。

圖1. UniGeo框架概覽

在表示層，為避免直接輸入相機(jī)參數(shù)帶來的映射模糊，模型構(gòu)建了幀解耦點云注入機(jī)制。該機(jī)制首先提取首幀點云并沿目標(biāo)相機(jī)軌跡渲染，生成顯式的 3D 幾何先驗序列。隨后，區(qū)別于傳統(tǒng)的通道拼接，模型將該渲染序列作為獨立的幾何上下文，與目標(biāo)視頻特征在幀維度（Frame-dim）進(jìn)行拼接。這一解耦設(shè)計避免了強(qiáng)硬的像素級對齊，使幾何先驗?zāi)軌蚺c視頻特征在網(wǎng)絡(luò)中靈活交互并提升容錯率。

在架構(gòu)層，為維持連續(xù)生成中的跨視角結(jié)構(gòu)一致性，模型引入了幾何錨點注意力。該機(jī)制將序列首幀顯式指定為「幾何錨點」，后續(xù)所有幀均通過新增的少量可學(xué)習(xí)投影矩陣（Query 與 Output），持續(xù)與首幀的 Key 和 Value 進(jìn)行注意力交互。這一設(shè)計在不破壞預(yù)訓(xùn)練視頻生成先驗的前提下，以極低的計算開銷在微觀特征層面實現(xiàn)了全局的結(jié)構(gòu)對齊。

在損失函數(shù)層，為強(qiáng)化目標(biāo)最終視角的結(jié)構(gòu)保真度，模型提出了軌跡端點幾何監(jiān)督策略。在稀疏時間采樣的基礎(chǔ)上，模型將各時間步的損失權(quán)重設(shè)計為隨時間中心距離遞增的二次函數(shù)，從而增加對軌跡兩端（特別是目標(biāo)端點）的幾何懲罰力度。進(jìn)一步結(jié)合在序列末尾復(fù)制擴(kuò)展目標(biāo)幀的聯(lián)合建模策略，模型以持續(xù)的幾何引導(dǎo)嚴(yán)格鎖定了最終視角的 3D 結(jié)構(gòu)表達(dá)。

性能亮點

UniGeo 在跨視角幾何一致性與高保真生成質(zhì)量上實現(xiàn)了全面領(lǐng)跑。在 DL3DV、RE10K 以及 Tanks 等多個權(quán)威數(shù)據(jù)集上，面對大幅度（Extensive）和小幅度（Limited）相機(jī)運動的雙重測試，UniGeo 全面超越了 CameraCtrl、MotionCtrl、ViewCrafter、FlexWorld 以及 PE-Field 等現(xiàn)有主流方法，在所有關(guān)鍵量化評估指標(biāo)上均取得了最佳（SOTA）成績。

在視覺生成效果層面，UniGeo 直擊現(xiàn)有方法在物理結(jié)構(gòu)上的痛點。定性對比結(jié)果顯示，現(xiàn)有模型在相機(jī)運動（尤其是大范圍視角轉(zhuǎn)移）下，往往難以維持場景的底層幾何結(jié)構(gòu)，極易產(chǎn)生結(jié)構(gòu)重疊、幾何關(guān)系扭曲以及局部內(nèi)容割裂等嚴(yán)重偽影。相比之下，UniGeo 憑借全局統(tǒng)一的幾何引導(dǎo)，在跨視角轉(zhuǎn)換中展現(xiàn)出了極高的結(jié)構(gòu)穩(wěn)定性，生成了極為自然、連貫的新視角畫面（圖2）。

圖2. 定性對比結(jié)果

進(jìn)一步的中間連續(xù)軌跡可視化徹底展現(xiàn)了 UniGeo 的過程優(yōu)勢。模型能夠極其平滑且精準(zhǔn)地模擬由相機(jī)運動驅(qū)動的連續(xù)幾何變換，在整個視角的中間推演過程中保持了高度的結(jié)構(gòu)連貫性。這種平滑的過渡完美契合了真實的物理相機(jī)運動規(guī)律，從而在全鏈路上保證了最終渲染新視角時的絕對精準(zhǔn)與極高畫質(zhì)（圖3）。

圖3. 中間軌跡可視化

總結(jié)

本次發(fā)布的相機(jī)可控圖像編輯框架 UniGeo 深度探索了視頻擴(kuò)散模型的連續(xù)性先驗與三維幾何約束之間的內(nèi)在聯(lián)系，系統(tǒng)性地在表示層、架構(gòu)層和損失函數(shù)層貫穿了統(tǒng)一的幾何引導(dǎo)，通過全鏈路的三維對齊克服了傳統(tǒng)碎片化幾何注入帶來的結(jié)構(gòu)退化局限，在確保場景結(jié)構(gòu)完整性的同時，建立了極其可靠的跨視角對應(yīng)關(guān)系。

這種具備高度一致性的連續(xù)視角建模能力，在面對各類復(fù)雜且大范圍的相機(jī)運動時，不僅全面超越了現(xiàn)有方法的幾何可靠性與視覺質(zhì)量，也為影視后期制作、具身智能感知等高度依賴嚴(yán)格空間連貫性的視覺生成任務(wù)，提供了原則性且高效的解決方案。

未來，該團(tuán)隊將進(jìn)一步探索連續(xù)視頻先驗與真實世界三維空間物理結(jié)構(gòu)之間的深度耦合機(jī)制，構(gòu)建二維視頻生成與三維空間智能之間的橋梁，期望通過整合統(tǒng)一的幾何引導(dǎo)理念來突破現(xiàn)有離散圖像生成模型的局限，進(jìn)而實現(xiàn)高結(jié)構(gòu)保真、支持復(fù)雜場景自由漫游的下一代可控視覺生成模型，為未來的三維視覺生成生態(tài)提供重要啟發(fā)。

參考資料：

https://arxiv.org/pdf/2604.17565