隨著3D生成技術(shù)的迅猛發(fā)展，數(shù)字內(nèi)容創(chuàng)作在游戲開發(fā)、增強現(xiàn)實等領(lǐng)域的應(yīng)用愈加廣泛，尤其是將外觀（包括紋理和精細幾何細節(jié)）遷移到3D資產(chǎn)的需求也日益迫切。然而，現(xiàn)有方法在輸入與參考對象幾何差異較大時，往往難以協(xié)調(diào)全局結(jié)構(gòu)保持與局部細節(jié)遷移之間的平衡，從而導(dǎo)致生成的結(jié)果失真。

本文介紹了一項由斯坦福大學(xué)和巴黎高科等研究團隊共同完成的工作，該工作已發(fā)表在2025年人工智能頂級會議NeurIPS上。研究團隊提出了一種優(yōu)化引導(dǎo)的Rectified Flow方法GuideFlow3D，旨在無需微調(diào)預(yù)訓(xùn)練模型的情況下，在推理階段精確調(diào)控3D外觀的遷移效果。其核心創(chuàng)新在于構(gòu)建了兩種獨立且互補的引導(dǎo)損失信號：

（1）部件感知外觀損失，確保外觀與語義部件對齊，嚴(yán)格控制幾何與外觀的不一致性；

（2）自相似結(jié)構(gòu)損失可以保持紋理與目標(biāo)幾何的適配性，增強細節(jié)的豐富性。

GuideFlow3D不僅有效地解決了外觀遷移中的幾何不一致問題，還賦予了用戶高度的可控性，使得用戶能夠根據(jù)外觀源模態(tài)（圖像/文本/3D模型）靈活選擇遷移策略。

論文題目： GuideFlow3D: Optimization-Guided Rectified Flow For Appearance Transfer 文章鏈接： https://www.arxiv.org/pdf/2510.16136 代碼地址： http://github.com/GradientSpaces/GuideFlow3D 項目鏈接： https://sayands.github.io/guideflow3d/

在游戲開發(fā)、增強現(xiàn)實與數(shù)字內(nèi)容創(chuàng)作等領(lǐng)域，實現(xiàn)高質(zhì)量的三維外觀遷移已成為行業(yè)發(fā)展的迫切需求。盡管2D風(fēng)格遷移技術(shù)已相對成熟，但其在3D場景下的擴展仍面臨多重挑戰(zhàn)：

（1）三維數(shù)據(jù)表示（如點云、網(wǎng)格、隱式場）具有不規(guī)則性與結(jié)構(gòu)稀疏性，難以像二維圖像那樣進行規(guī)整化處理；

（2）當(dāng)輸入模型與外觀源對象之間存在顯著幾何差異時，現(xiàn)有方法往往難以在保持目標(biāo)結(jié)構(gòu)一致性的同時，實現(xiàn)細節(jié)的完整遷移；

（3）外觀源本身具有多模態(tài)特性（如三維網(wǎng)格、二維圖像或文本描述），如何構(gòu)建統(tǒng)一框架以支持跨模態(tài)的高質(zhì)量遷移，仍是當(dāng)前研究中的關(guān)鍵難題。

此外，盡管目前已有不同的方法被提出以應(yīng)對上述挑戰(zhàn)，但在實際應(yīng)用中仍存在明顯的局限性。基于多視圖的方法將3D問題轉(zhuǎn)化為多視角2D生成任務(wù)，但由于不同視圖之間的生成結(jié)果難以保持幾何一致性，這常常導(dǎo)致結(jié)構(gòu)失真和不一致。而直接應(yīng)用預(yù)訓(xùn)練的3D生成模型則容易受到訓(xùn)練數(shù)據(jù)分布的限制，在輸入與外觀源幾何差異較大時，往往生成結(jié)果的質(zhì)量下降、泛化能力不足，難以實現(xiàn)細粒度控制。

本文的核心研究目標(biāo)是突破現(xiàn)有方法的瓶頸，提出了一種無需重新訓(xùn)練的3D外觀遷移框架GuideFlow3D。如上圖所示，在保持其整體幾何結(jié)構(gòu)的前提下，有效遷移外觀對象的紋理與局部幾何細節(jié)，例如左上角桌子的圓角邊緣得以自然重現(xiàn)，右上角床的底座與床墊之間的結(jié)構(gòu)特征也被準(zhǔn)確區(qū)分與保留。

二、本文方法

下圖展示了GuideFlow3D的整體框架。給定輸入3D對象網(wǎng)格 與外觀對象 ，GuideFlow3D旨在基于 修改 的外觀，同時嚴(yán)格保持 的幾何結(jié)構(gòu)，其中 可表示為圖像-網(wǎng)格對或文本。

該框架引入了Rectified Flow來解決外觀遷移問題：首先構(gòu)造結(jié)構(gòu)化潛變量作為核心表示載體，通過部件感知外觀損失 和自相似結(jié)構(gòu)損失 對預(yù)訓(xùn)練Rectified Flow模型 的采樣過程進行引導(dǎo)，最終經(jīng)過解碼器 生成保留輸入幾何、融合外觀細節(jié)的3D模型。

2.1 結(jié)構(gòu)化潛在表示

本文基于Trellis模型[1]采用結(jié)構(gòu)化潛變量來表示3D對象 。其形式化定義為：

其中， 是指第 個活躍體素在3D網(wǎng)格中的位置坐標(biāo)， 是與該體素相關(guān)聯(lián)的潛在特征。

2.2 兩種引導(dǎo)損失函數(shù)

為了實現(xiàn)更精細的生成和控制效果，作者分別定義了兩個不同的優(yōu)化目標(biāo)，用于引導(dǎo)潛在特征在不同輸入條件下的更新方向。下圖（a）和（b）分別展示了部件感知外觀損失和自相似結(jié)構(gòu)損失這兩種優(yōu)化模式。

（1）部件感知外觀損失：當(dāng)外觀對象 以圖像-網(wǎng)格對的形式提供時，采用 PartField[2]方法對輸入網(wǎng)格 和外觀網(wǎng)格 進行分割，將兩者分解為語義一致的部件。然后，基于這些部件標(biāo)簽，針對查詢對象的每個潛特征 ，在外觀對象的潛特征集 中尋找其對應(yīng)部件內(nèi)的最近鄰潛特征 ，其可以形式化表達為：

（2）自相似結(jié)構(gòu)損失：當(dāng)外觀對象 僅以圖像或文本形式提供時，采用該目標(biāo)進行優(yōu)化。其核心思想是在沒有明確的3D外觀參考情況下，依賴對象自身的結(jié)構(gòu)先驗。具體而言，通過幾何特征聚類將輸入網(wǎng)格的體素劃分為不同的部件，并利用對比損失確保同一部件內(nèi)體素特征相似，且不同部件間特征有區(qū)分度。為此，作者首先對輸入網(wǎng)格 進行幾何聚類（例如，使用 PartField 特征進行 K-means 聚類），將體素劃分為不同的簇 ，每個簇代表一個語義部件。分子項鼓勵同一部件內(nèi)體素特征相似（正樣本），分母項鼓勵不同部件間特征差異（負樣本）。

2.3 Rectified Flow的采樣過程

Rectified Flow通常由兩個過程組成：前向過程（將樣本從數(shù)據(jù)分布映射到噪聲）和反向過程（將噪聲樣本映射回數(shù)據(jù)分布）。GuideFlow3D在反向過程引入外觀和結(jié)構(gòu)的引導(dǎo)信號來優(yōu)化潛在空間。具體來說，框架采用以下更新規(guī)則：

其中， 是Rectified Flow模型的輸出， 是由引導(dǎo)函數(shù)提供的額外優(yōu)化項（包括部件感知外觀損失和自相似性結(jié)構(gòu)損失）， 是時間步長。

三、實驗結(jié)果

針對現(xiàn)有公開數(shù)據(jù)集中缺乏專門面向跨幾何外觀遷移任務(wù)的benchmarks，作者首先構(gòu)建了一個全新的評估數(shù)據(jù)集。該數(shù)據(jù)集整合了程序化生成的簡單三維對象與來自ABO數(shù)據(jù)集的復(fù)雜模型，覆蓋床、櫥柜、椅子、桌子和沙發(fā)五類核心家具類別，并設(shè)計了四類遷移場景（同類/跨類、簡單-復(fù)雜/復(fù)雜-復(fù)雜），每類包含250組輸入-外觀對象配對。

在評估方法上，為解決缺乏真實標(biāo)注數(shù)據(jù)的問題，作者提出了基于GPT-5的人類排序體系，從風(fēng)格保真度、結(jié)構(gòu)清晰度、風(fēng)格整合度、細節(jié)質(zhì)量、形狀適應(yīng)性和整體質(zhì)量六個維度對生成結(jié)果進行兩兩比較排序。這一評估機制的有效性通過了59人規(guī)模的用戶研究驗證，結(jié)果顯示其與人類審美判斷具有高度一致性。實驗選取了五類代表性基線方法進行對比，包括基于基礎(chǔ)UV紋理映射的UV Nearest Neighbor、結(jié)合二維風(fēng)格遷移與三維重建的Image-to-3D、采用邊緣感知條件擴散的EasiTex、無引導(dǎo)的流模型Trellis，以及文本引導(dǎo)的Text-to-3D模型，確保了對比實驗的全面性。

3.1 定量評估

上表展示了GuideFlow3D在圖像和文本兩種條件下外觀遷移任務(wù)中的綜合性能評估結(jié)果。在圖像條件（使用外觀損失）下，該方法在風(fēng)格保真度、結(jié)構(gòu)清晰度等所有六個評估指標(biāo)上均取得最佳排名，特別是在風(fēng)格整合和細節(jié)質(zhì)量方面表現(xiàn)突出。在文本條件（使用結(jié)構(gòu)損失）下，該方法同樣保持領(lǐng)先，顯示出其通過自相似性約束保持幾何合理性的能力。

上表展示了GuideFlow3D在簡單和復(fù)雜同類物體外觀遷移任務(wù)中基于GPT指標(biāo)的定量評估結(jié)果。該實驗設(shè)置了簡單-復(fù)雜、復(fù)雜-復(fù)雜兩種幾何組合，并分別測試了同類與跨類遷移場景。結(jié)果表明，該方法在所有設(shè)置下均保持最優(yōu)性能，特別是在幾何差異顯著的簡單-復(fù)雜跨類遷移中優(yōu)勢最為突出，驗證了其引導(dǎo)機制能有效解耦外觀與結(jié)構(gòu)，對幾何和語義變化具有強魯棒性。

3.2 定性評估

上圖通過定性對比直觀展示了不同方法在3D外觀遷移任務(wù)中的視覺表現(xiàn)。該圖包含同類物體遷移（椅子->椅子）和跨類物體遷移（柜->雙層床）兩個典型場景。結(jié)果顯示對比baseline方法均存在明顯缺陷，例如，MambaST出現(xiàn)紋理混合，EasiTex存在紋理缺失與重復(fù)，Cross Image Attention遺漏關(guān)鍵細節(jié)。而GuideFlow3D在保持輸入物體原始幾何結(jié)構(gòu)（如床架側(cè)邊空洞、椅子扶手形態(tài)）的同時，成功實現(xiàn)了外觀紋理的高質(zhì)量遷移。

上圖進一步展示了GuideFlow3D在跨類別場景下的外觀遷移能力。GuideFlow3D能實現(xiàn)部件級語義映射（如將動物腿部特征對應(yīng)到家具腿部，柜子把手對應(yīng)到飛機螺旋槳），在保持目標(biāo)物體整體結(jié)構(gòu)的同時，完成既符合語義邏輯又保持視覺連貫的紋理與幾何細節(jié)遷移。通過與Trellis基線結(jié)果的直接對比（圖中小插圖），凸顯了GuideFlow3D高效的幾何感知能力。

四、總結(jié)

本文提出了一種無需重新訓(xùn)練的3D外觀遷移框架GuideFlow3D，通過優(yōu)化引導(dǎo)的Rectified Flow機制，實現(xiàn)了在推理階段對生成過程的精準(zhǔn)控制。在優(yōu)化過程中，框架引入了兩種互補的引導(dǎo)信號，部件感知外觀損失和自相似結(jié)構(gòu)損失，確保在保留輸入幾何形態(tài)的同時，精準(zhǔn)地遷移外觀細節(jié)。該方法支持多模態(tài)輸入（如網(wǎng)格、圖像、文本），并允許用戶靈活控制遷移的范圍，例如基于網(wǎng)格進行“幾何+紋理”遷移，或基于圖像/文本進行“僅紋理”遷移。為更好地評估遷移效果，本文還提出了一種符合人類感知的評估體系，有效解決了傳統(tǒng)指標(biāo)在無標(biāo)簽場景下的局限性。這一方法將推動3D內(nèi)容創(chuàng)作向更加高效和可控的方向發(fā)展。

參考

[1] Xiang, Jianfeng, et al. "Structured 3d latents for scalable and versatile 3d generation." Proceedings of the Computer Vision and Pattern Recognition Conference. 2025.

[2] Liu M, Uy M A, Xiang D, et al. Partfield: Learning 3d feature fields for part segmentation and beyond[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2025: 9704-9715.

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈