本文介紹了來自 WACV 2026 的最新科研成果——FB-4D，一種在無需額外訓(xùn)練的前提下，利用特征記憶機(jī)制顯著提升 4D 動(dòng)態(tài)生成質(zhì)量的新方法。面對(duì)擴(kuò)散模型與 4D 生成中長期存在的時(shí)空一致性難題，F(xiàn)B-4D 通過構(gòu)建可動(dòng)態(tài)更新的特征記憶庫，將前序幀信息有效融入后續(xù)生成，顯著提升跨時(shí)間與多視角的穩(wěn)定性。同時(shí)，該方法首次證明：結(jié)合特征庫機(jī)制后，通過多輪自回歸生成額外多視角參考序列，可以持續(xù)提升最終 4D 內(nèi)容的質(zhì)量，在零訓(xùn)練成本下即可達(dá)到當(dāng)前同類方法的最高水平。

論文題目： FB-4D: Spatial-Temporal Coherent Dynamic 3D Content Generation with Feature Banks 論文鏈接： https://arxiv.org/abs/2503.20784 項(xiàng)目主頁： https://fb-4d.c7w.tech/

當(dāng)前 4D 生成技術(shù)通常依賴兩階段流程：先生成多視角序列，再基于這些視角訓(xùn)練 4D 表達(dá)。然而，無論是需要大規(guī)模顯存支持的訓(xùn)練型方法，還是依賴預(yù)訓(xùn)練模型的無需訓(xùn)練方法，均存在一個(gè)共同瓶頸——時(shí)空一致性不足。訓(xùn)練型方法受顯存限制難以處理長序列與多視角，而無需訓(xùn)練的方法由于將運(yùn)動(dòng)建模與多視角生成割裂開，極易產(chǎn)生空間錯(cuò)位與隨時(shí)間累積的噪聲。

近年的研究如 diffusionfeatures[1] 表明，擴(kuò)散模型在去噪過程中提取的中間特征蘊(yùn)含跨視角、跨幀的隱式對(duì)應(yīng)關(guān)系。然而現(xiàn)有方法并未利用這些天然的對(duì)應(yīng)性，這導(dǎo)致 4D 場景中不同幀、不同視角之間往往缺乏一致的結(jié)構(gòu)表現(xiàn)。

此外，雖然現(xiàn)有的研究工作如 SAP3D[2] 已經(jīng)表明在靜態(tài) 3D 中通過引入額外 2D 參考圖像可以顯著提升質(zhì)量，但在 4D 場景中，傳統(tǒng)自回歸生成更多的多視角序列用作參考，會(huì)累積噪聲，難以穩(wěn)定提升下游表現(xiàn)。

基于上述觀察，我們將“利用擴(kuò)散模型中間特征指導(dǎo)當(dāng)前生成”的思想系統(tǒng)地?cái)U(kuò)展到動(dòng)態(tài) 4D 場景，并設(shè)計(jì)了一個(gè)可動(dòng)態(tài)更新的特征記憶庫，用于在生成過程中持續(xù)存儲(chǔ)和調(diào)用歷史幀與歷史視角的中間特征。該機(jī)制在無需額外訓(xùn)練的前提下，實(shí)現(xiàn)了跨時(shí)間與跨視角的一致性：一方面，歷史特征為當(dāng)前生成提供穩(wěn)定的結(jié)構(gòu)參照，顯著減少時(shí)間方向上的漂移；另一方面，不同視角的共享特征增強(qiáng)了空間對(duì)齊效果。同時(shí)，我們發(fā)現(xiàn)這一特征記憶庫還能夠有效抑制自回歸生成中固有的誤差積累，使多輪迭代生成的額外參考序列不再降低質(zhì)量，反而持續(xù)強(qiáng)化特征記憶，從而不斷提升最終的 4D 生成效果。

二、方法
FB-4D 方法流程

給定單視角輸入視頻，F(xiàn)B-4D 將多視角擴(kuò)散生成模型與特征記憶庫結(jié)合，以增強(qiáng)空間與時(shí)間維度的一致性。每一輪迭代中，生成的多視角序列會(huì)作為下一輪的輸入，從而在不同視角與時(shí)間之間形成持續(xù)的特征交互。方法從初始視角出發(fā)，并在隨后的迭代中逐步選擇新的輸入視角，不斷提升幾何與運(yùn)動(dòng)質(zhì)量。經(jīng)過多輪迭代后，最終的多視角序列用于訓(xùn)練可形變的 3D 高斯場，從而得到一致性更高的 4D 表達(dá)。

2.1 背景知識(shí)

我們的方法主要基于 STAG4D[3] 進(jìn)行構(gòu)建，該方法是一個(gè)結(jié)合預(yù)訓(xùn)練多視角擴(kuò)散模型與可變形高斯的高保真 4D 重建框架，主要由兩階段組成：

2.1.1 階段一：多視角序列生成

首先輸入單視角視頻 ，之后使用多視角擴(kuò)散模型（如 Zero123++）生成輸出視角 的多視角序列：

但是，原生的多視角擴(kuò)散模型如 Zero123++ 在自注意力中融合參考圖像特征，但它逐幀獨(dú)立處理，導(dǎo)致生成序列在時(shí)間維度上存在不一致性。STAG4D 嘗試通過引入第一幀的特征作為額外條件注入，來改善時(shí)間一致性，但依然不足。

2.1.2 階段二：4D 高斯優(yōu)化

使用多視角序列與原始視角，通過多視角 SDS 損失優(yōu)化 4D 高斯，其中 為權(quán)重系數(shù)，并依據(jù)渲染視角與生成視角的接近程度選擇對(duì)應(yīng)視角的 SDS：

2.1.3 目前方法的局限

STAG4D 在第一階段中，僅將第一幀的特征作為生成后續(xù)幀的條件，無法捕捉跨時(shí)間的完整一致性。因此，我們提出：在生成第 i 幀時(shí)，應(yīng)有效利用所有歷史幀 (t < i)的特征信息作為額外條件注入，以實(shí)現(xiàn)更強(qiáng)的時(shí)序一致性，這促使我們設(shè)計(jì)了能動(dòng)態(tài)融合所有過往幀特征的注意力結(jié)構(gòu)。

2.2 特征庫機(jī)制與更新2.2.1 自注意力層中的特征庫機(jī)制

為保留歷史幀信息，我們在多視角生成模型的自注意力層中引入特征庫模塊。處理第 幀輸入 時(shí)，對(duì)應(yīng)特征庫記為（其中 K，V 分別代表自注意層中的 keys 以及 values， 而 O 則代表該層輸出）：

在第 i 幀的去噪過程中，使用對(duì)應(yīng)中間層特征 來更新全局特征庫。不同擴(kuò)散推理的時(shí)間戳，使用獨(dú)立特征庫，以提升一致性。該機(jī)制貫穿所有自注意力層，保證生成過程中可以訪問跨幀的時(shí)空信息。后續(xù)將詳細(xì)介紹：如何高效更新特征庫（緊湊表示與融合）以及特征庫的利用方法。在本文的設(shè)計(jì)，特征庫能夠高效積累并利用歷史信息，同時(shí)保持較低的計(jì)算與存儲(chǔ)開銷。

2.2.2 特征庫更新：緊湊表示（Compact Representation）

在傳統(tǒng)做法中，當(dāng)前幀的所有中間特征通常會(huì)被直接追加到特征庫中，但這種無選擇的堆積不僅造成嚴(yán)重的信息冗余，也顯著增加顯存占用。為在充分保留歷史信息價(jià)值的同時(shí)有效控制存儲(chǔ)開銷，我們進(jìn)一步設(shè)計(jì)了一個(gè)更高效的特征管理策略，使特征庫能夠以緊湊、高效的方式持續(xù)吸收歷史特征，從而在保持代表性的前提下最大化利用跨時(shí)間的信息。我們提出了一種動(dòng)態(tài)貪心融合策略，構(gòu)建緊湊而信息豐富的特征庫。具體過程如下（可見上圖）：首先，將當(dāng)前幀特征與特征庫拼接：

隨后隨機(jī)將其劃分為兩部分src與dst。對(duì)每個(gè) src token，找到最相似的 dst token：

最后，將匹配到同一 dst 的 token 做平均融合，得到更新后的特征庫：

該方法在有效控制特征庫規(guī)模的同時(shí)，能夠保持對(duì)前 (i-1) 幀的緊湊表示和信息完整性。

2.2.3 高效利用特征庫

（I）讀取自注意力層 Key 與 Value（K/V）

在自注意力機(jī)制中，當(dāng)前幀的特征通過查詢（Query）與當(dāng)前幀、參考幀及特征庫的鍵（Key）進(jìn)行匹配，從而獲取對(duì)應(yīng)的值（Value）信息，實(shí)現(xiàn)信息增強(qiáng)。公式表示為：

這里， 表示當(dāng)前幀的查詢， 分別表示當(dāng)前幀、參考幀以及特征庫的鍵， 為對(duì)應(yīng)的值， 是縮放因子。通過這個(gè)操作，當(dāng)前幀的特征能夠充分利用歷史幀的信息，從而增強(qiáng)表示能力，達(dá)到更高的時(shí)空一致性。隨后通過一個(gè)簡單的多層感知機(jī)（MLP）得到最終輸出：

（II）讀取自注意力層 Output 并融合（Similarity Fusion）

為了進(jìn)一步利用擴(kuò)散過程中的中間特征的信息，我們對(duì)當(dāng)前幀中間自注意力層輸出的每個(gè) token ，在特征庫對(duì)應(yīng)輸出中找到與之最相似的 token ：

然后進(jìn)行加權(quán)融合得到增強(qiáng)后的輸出：

這里， 被用來控制融合比例，平衡當(dāng)前幀與特征庫信息的貢獻(xiàn)。為了避免過度融合，保持當(dāng)前幀的運(yùn)動(dòng)細(xì)節(jié)，當(dāng)相似度低于固定閾值 時(shí)，不執(zhí)行融合：

通過這種方式，特征庫信息能夠在保持當(dāng)前幀動(dòng)態(tài)細(xì)節(jié)的前提下，有選擇地增強(qiáng)輸出質(zhì)量，使幀間一致性和細(xì)節(jié)表現(xiàn)得到提升。

整體流程可理解為兩步：第一步，通過自注意力機(jī)制利用 K/V 計(jì)算增強(qiáng)當(dāng)前幀表示；第二步，通過相似度匹配從特征庫中提取高質(zhì)量信息并融合，進(jìn)一步提升輸出效果。

2.3 特征庫機(jī)制用于自回歸生成

在多視角自回歸生成過程中，生成器依賴前一幀或前一次迭代的輸出作為下一步輸入。然而，隨著迭代次數(shù)增加，累積誤差和視角差異容易導(dǎo)致幀間不一致、細(xì)節(jié)丟失以及生成質(zhì)量下降。為了解決這一問題，我們將特征庫機(jī)制（Feature Bank）引入，用于在自回歸過程中保持多視圖信息的一致性并增強(qiáng)生成質(zhì)量。

2.3.1 特征庫的構(gòu)建與管理

每一次迭代生成的圖像特征（Key / Value 對(duì)）都會(huì)被存入特征庫 ，其中 j 表示迭代編號(hào)，特征庫分別記錄了不同迭代和視角的高質(zhì)量特征，可在后續(xù)迭代中被訪問和融合，利用這些特征庫，生成模型能夠聚焦多樣化特征，同時(shí)避免自回歸過程中信息混亂。

2.3.2 特征庫在自回歸生成中的利用

在生成當(dāng)前幀或當(dāng)前迭代的輸出時(shí)，我們將特征庫中的歷史迭代特征與當(dāng)前迭代特征加權(quán)融合，即 ，其中 J 表示當(dāng)前迭代編號(hào)，權(quán)重 根據(jù)歷史輸入視角與當(dāng)前輸入視角的差異計(jì)算，視角差異越大，歷史特征的權(quán)重越低，從而保證當(dāng)前迭代的生成過程既能夠有效利用歷史迭代信息，又能夠避免過度干擾當(dāng)前迭代圖片生成。

2.3.3 漸進(jìn)式自回歸生成

在本文的自回歸多視角生成過程中，作者通過逐步縮小當(dāng)前輸入視角與后方視角（ 度）之間的差異 ，實(shí)現(xiàn)視角的平滑過渡，從而提升生成圖像在不同角度間的一致性。

具體來說，前 次迭代的輸入視角形成集合 ，輸出視角形成集合 ，從 中篩選比當(dāng)前最靠后的視角，即更接近 的候選視角集合 。然后，對(duì) 中每個(gè)候選視角 與歷史輸入視角計(jì)算加權(quán)相似度：

選擇得分最高的視角作為當(dāng)前迭代的輸入。權(quán)重 根據(jù)視角差異分配，差異越大說明視角關(guān)聯(lián)性越弱，因此其對(duì)當(dāng)前候選視角的相似度貢獻(xiàn)也應(yīng)越低。

綜合上述步驟，我們得以在每一輪生成中從大量潛在視角中自動(dòng)篩選出一個(gè)既與歷史輸入保持連續(xù)、又與目標(biāo)方向慢慢接近的最優(yōu)視角。該自適應(yīng)視角選擇策略不僅避免了視角順序的盲目擴(kuò)展，也最大化減少冗余和噪聲累積，從而在整個(gè)自回歸生成過程中穩(wěn)步提升多視角序列的時(shí)空一致性與結(jié)構(gòu)穩(wěn)定性。

三、實(shí)驗(yàn)結(jié)果

作者在 Consistent4D[4] 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集包含七個(gè)動(dòng)態(tài)物體的多視角視頻。評(píng)估指標(biāo)包括 CLIP、LPIPS 和 FVD ：其中 CLIP 和 LPIPS 用于衡量圖像級(jí)語義與感知相似性，而 FVD 同時(shí)評(píng)估幀質(zhì)量與時(shí)間一致性，非常適合視頻生成任務(wù)。此外，我們還在野外場景的 STAG4D[3]數(shù)據(jù)集上進(jìn)行了定性評(píng)估，共生成 28 個(gè)視頻的 4D 內(nèi)容。此外，作者還對(duì)框架的各個(gè)組件進(jìn)行了全面的消融研究，以驗(yàn)證其有效性。

這里展示主要結(jié)果，更多結(jié)果請參考論文。

與現(xiàn)有基線方法的比較。我們的方法在性能上與需要大量訓(xùn)練的方法 SV4D 相當(dāng)，顯著高于同類型無需訓(xùn)練的其他方法。T-F 表示在 Stage1 中無需訓(xùn)練（training-free）

3.2 與當(dāng)前基線方法的定量對(duì)比

我們在多個(gè)數(shù)據(jù)集上對(duì)比了不同基線方法的 4D 生成質(zhì)量。結(jié)果顯示，在多視角渲染的結(jié)構(gòu)一致性、細(xì)節(jié)保真度以及時(shí)空穩(wěn)定性方面，我方法均顯著優(yōu)于現(xiàn)有基線。

4D 生成質(zhì)量比較（背面視角）。 在其余兩種基線范式中 (a) SV4D 和 (b) STAG4D 中，背面視角均存在時(shí)間維度不一致的現(xiàn)象。

四、總結(jié)

此研究提出了 FB-4D 框架，用于從單目視頻生成 4D 內(nèi)容。通過引入特征庫，F(xiàn)B-4D 能顯著提升空間和時(shí)間一致性，并在漸進(jìn)式迭代中緩解漂移問題，展示了在實(shí)際應(yīng)用中的潛力。其局限在于生成仍為逐幀漸進(jìn)式，長序列生成效率仍有提升空間。未來可能的改進(jìn)方向包括：(i) 在保持時(shí)空一致性的前提下實(shí)現(xiàn)并行生成；(ii) 采用模型蒸餾或輕量化擴(kuò)散結(jié)構(gòu)。

參考文獻(xiàn)

[1] Tang, L., Jia, M., Wang, Q., Phoo, C. P., & Hariharan, B. (2023). Emergent correspondence from image diffusion. Advances in Neural Information Processing Systems, 36, 1363-1389.

[2] Han, X., Gao, Z., Kanazawa, A., Goel, S., & Gandelsman, Y. (2024). The more you see in 2d the more you perceive in 3d. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 20912-20922).

[3] Zeng, Y., Jiang, Y., Zhu, S., Lu, Y., Lin, Y., Zhu, H., ... & Yao, Y. (2024, September). Stag4d: Spatial-temporal anchored generative 4d gaussians. In European Conference on Computer Vision (pp. 163-179). Cham: Springer Nature Switzerland.

[4] Jiang, Y., Zhang, L., Gao, J., Hu, W., & Yao, Y. (2023). Consistent4d: Consistent 360 {\deg} dynamic object generation from monocular video. arXiv preprint arXiv:2311.02848.

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈