這項(xiàng)由騰訊AI實(shí)驗(yàn)室的屈天元、柯磊、詹曉航等研究團(tuán)隊(duì)，聯(lián)合香港中文大學(xué)和香港科技大學(xué)共同完成的研究，發(fā)表于2025年12月18日，論文編號(hào)為arXiv:2512.16864v1。對(duì)于想要深入了解技術(shù)細(xì)節(jié)的讀者，可以通過(guò)該論文編號(hào)查詢完整的學(xué)術(shù)論文。

當(dāng)我們打開(kāi)修圖軟件想要編輯一張復(fù)雜的照片時(shí)，經(jīng)常會(huì)遇到這樣的困擾：告訴AI"把那個(gè)穿藍(lán)色背包的女士的鞋子改成紅色"，但AI要么找錯(cuò)了人，要么把整個(gè)場(chǎng)景都搞得面目全非。這就是當(dāng)前圖像編輯AI面臨的核心挑戰(zhàn)——它們很難準(zhǔn)確理解復(fù)雜場(chǎng)景中的具體指令，更難精準(zhǔn)地只在需要的地方進(jìn)行修改。

騰訊AI實(shí)驗(yàn)室的研究團(tuán)隊(duì)發(fā)現(xiàn)了這個(gè)問(wèn)題的根源，并提出了一個(gè)叫做RePlan的創(chuàng)新解決方案。他們把這類挑戰(zhàn)稱為"指令-視覺(jué)復(fù)雜度"，就像是給一個(gè)剛學(xué)會(huì)識(shí)字的孩子一本復(fù)雜的地圖，然后要求他找到特定的小巷并只在那里做改動(dòng)一樣困難。

這項(xiàng)研究的突破性在于，它首次將視覺(jué)理解和圖像編輯在區(qū)域級(jí)別進(jìn)行了深度結(jié)合。傳統(tǒng)方法就像是用大刷子粗糙地涂色，而RePlan則像是拿著精細(xì)的畫筆，能夠準(zhǔn)確地在每個(gè)需要的位置進(jìn)行精確編輯。更令人驚嘆的是，這個(gè)系統(tǒng)僅僅用了大約1000個(gè)訓(xùn)練樣本就達(dá)到了超越那些用海量數(shù)據(jù)訓(xùn)練的大型模型的效果，這就好比一個(gè)學(xué)生只看了幾道例題就能在考試中擊敗那些刷了成千上萬(wàn)道題的同學(xué)。

一、理解問(wèn)題：當(dāng)AI遇到復(fù)雜場(chǎng)景時(shí)為什么會(huì)"迷路"

在日常生活中，我們經(jīng)常需要編輯包含多個(gè)相似物體的復(fù)雜照片。比如一張辦公桌的照片上有多個(gè)杯子，我們想要"把那個(gè)用過(guò)的杯子換成小盆栽"。對(duì)于人類來(lái)說(shuō)，我們能夠通過(guò)觀察杯子里是否有咖啡殘留、杯子的擺放位置等線索來(lái)判斷哪個(gè)是"用過(guò)的"杯子。但對(duì)于現(xiàn)有的AI系統(tǒng)來(lái)說(shuō)，這種理解和推理能力還遠(yuǎn)遠(yuǎn)不夠。

研究團(tuán)隊(duì)將這種挑戰(zhàn)精確地定義為"指令-視覺(jué)復(fù)雜度"。這個(gè)概念包含三個(gè)相互交織的維度：首先是視覺(jué)復(fù)雜度，指的是圖像本身包含多個(gè)相似物體、雜亂的布局或者模糊的邊界；其次是指令復(fù)雜度，比如需要引用多個(gè)物體、包含隱含語(yǔ)義或需要外部知識(shí)的指令；最后是這兩種復(fù)雜度之間的相互作用，使得編輯任務(wù)變得更加困難。

以"把桌上用過(guò)的杯子換成小盆栽"這個(gè)指令為例，AI需要首先理解什么叫"用過(guò)"的杯子，然后在可能有多個(gè)杯子的桌面上準(zhǔn)確定位目標(biāo)，最后還要確保替換過(guò)程不會(huì)影響周圍的其他物體。這就像要求一個(gè)機(jī)器人在一個(gè)混亂的倉(cāng)庫(kù)里找到一個(gè)特定的、可能有細(xì)微磨損痕跡的工具，然后小心翼翼地只替換那一個(gè)工具，而不碰動(dòng)周圍任何其他東西。

現(xiàn)有的圖像編輯方法主要分為兩類：一類是端到端的方法，直接從指令生成編輯結(jié)果，但往往缺乏精確的空間推理能力；另一類是基于區(qū)域涂抹的方法，先定位區(qū)域再進(jìn)行編輯，但依賴的定位模塊往往不夠準(zhǔn)確，而且難以處理需要推理的復(fù)雜指令。更重要的是，這些方法都沒(méi)有充分利用大型視覺(jué)語(yǔ)言模型在理解和推理方面的強(qiáng)大能力。

研究團(tuán)隊(duì)意識(shí)到，問(wèn)題的關(guān)鍵在于如何讓AI系統(tǒng)能夠像人類專家一樣，先仔細(xì)分析場(chǎng)景和指令，制定詳細(xì)的編輯計(jì)劃，然后精確地執(zhí)行這個(gè)計(jì)劃。這就好比一個(gè)經(jīng)驗(yàn)豐富的照片修復(fù)師，他會(huì)先仔細(xì)觀察整張照片，理解客戶的需求，在腦海中規(guī)劃好要在哪些具體區(qū)域進(jìn)行什么樣的修改，然后才開(kāi)始動(dòng)手操作。

二、創(chuàng)新方案：讓AI學(xué)會(huì)"先思考再行動(dòng)"

RePlan的核心創(chuàng)新就像是給AI配了一個(gè)智能助手和一個(gè)精密工具。這個(gè)智能助手負(fù)責(zé)理解復(fù)雜的指令并制定詳細(xì)的行動(dòng)計(jì)劃，而精密工具則負(fù)責(zé)按照計(jì)劃精確地執(zhí)行編輯操作。

整個(gè)系統(tǒng)采用了"計(jì)劃-執(zhí)行"的兩階段架構(gòu)。在計(jì)劃階段，一個(gè)基于大型視覺(jué)語(yǔ)言模型的規(guī)劃器扮演著"智能助手"的角色。當(dāng)接收到一個(gè)編輯指令時(shí)，這個(gè)規(guī)劃器不會(huì)急于行動(dòng)，而是先進(jìn)行詳細(xì)的思考過(guò)程。它會(huì)像一個(gè)經(jīng)驗(yàn)豐富的編輯師一樣，仔細(xì)分析圖像中的每個(gè)元素，理解指令的真正含義，然后制定一個(gè)包含具體區(qū)域坐標(biāo)和編輯提示的詳細(xì)計(jì)劃。

以前面提到的"替換用過(guò)的杯子"為例，規(guī)劃器會(huì)這樣思考：首先識(shí)別圖像中所有的杯狀物體，然后分析哪個(gè)杯子顯示出"被使用過(guò)"的特征（比如里面有液體殘留、位置表明剛被使用等），接著確定這個(gè)杯子的精確位置，最后生成具體的編輯指導(dǎo)，比如"在坐標(biāo)[224, 372, 263, 431]的紅色杯子替換為小盆栽"，同時(shí)還會(huì)生成保護(hù)性指令，如"在坐標(biāo)[175, 329, 220, 388]的玻璃杯保持不變"。

在執(zhí)行階段，系統(tǒng)使用了一個(gè)創(chuàng)新的"訓(xùn)練-免費(fèi)注意力區(qū)域注入"機(jī)制。這就像是給編輯工具裝上了精密的導(dǎo)航系統(tǒng)，能夠確保編輯效果精確地作用在指定區(qū)域，而不會(huì)"溢出"到不該修改的地方。傳統(tǒng)的方法就像是用噴漆罐作業(yè)，很容易波及周圍區(qū)域，而這個(gè)新機(jī)制就像是用精密的激光切割，只在需要的地方產(chǎn)生效果。

這個(gè)注意力機(jī)制的工作原理類似于一個(gè)智能的信息分發(fā)系統(tǒng)。在處理圖像時(shí)，系統(tǒng)會(huì)根據(jù)區(qū)域規(guī)劃將圖像分割成不同的區(qū)域組，每個(gè)組只能接收到與其對(duì)應(yīng)的編輯指令。這樣確保了編輯指令不會(huì)相互干擾，同時(shí)保持了全局的一致性。就好比在一個(gè)大型orchestra中，每個(gè)樂(lè)器組只聽(tīng)自己的指揮，但整體仍然保持協(xié)調(diào)一致的演奏。

更令人印象深刻的是，這個(gè)系統(tǒng)支持并行多區(qū)域編輯。傳統(tǒng)方法需要一個(gè)接一個(gè)地處理不同區(qū)域，就像裝修房子時(shí)只能一個(gè)房間一個(gè)房間地刷漆。而RePlan可以同時(shí)在多個(gè)區(qū)域進(jìn)行精確編輯，就像有多個(gè)專業(yè)工匠同時(shí)在不同房間工作，但彼此之間完美協(xié)調(diào)，不會(huì)產(chǎn)生沖突。

三、強(qiáng)化學(xué)習(xí)讓AI變得更聰明

為了進(jìn)一步提升規(guī)劃器的能力，研究團(tuán)隊(duì)還采用了一種叫做GRPO的強(qiáng)化學(xué)習(xí)方法。這就像是給AI安排了一個(gè)嚴(yán)格而有效的訓(xùn)練課程，讓它在反復(fù)練習(xí)中不斷改進(jìn)自己的規(guī)劃能力。

這個(gè)訓(xùn)練過(guò)程分為兩個(gè)階段，就像學(xué)習(xí)寫作一樣先學(xué)會(huì)正確的格式，再學(xué)會(huì)精彩的內(nèi)容。第一階段專注于格式和推理質(zhì)量的學(xué)習(xí)。系統(tǒng)學(xué)會(huì)如何用正確的格式輸出規(guī)劃結(jié)果，如何進(jìn)行有條理的思考推理。這個(gè)階段的獎(jiǎng)勵(lì)機(jī)制很簡(jiǎn)單但很重要：如果輸出格式正確就給予積極獎(jiǎng)勵(lì)，如果推理過(guò)程詳細(xì)就給予更高獎(jiǎng)勵(lì)。

第二階段則引入了圖像級(jí)別的評(píng)估。系統(tǒng)會(huì)根據(jù)最終的編輯結(jié)果獲得反饋，學(xué)習(xí)如何制定更好的編輯計(jì)劃。評(píng)估標(biāo)準(zhǔn)包括三個(gè)方面：編輯是否作用在了正確的目標(biāo)上，視覺(jué)效果是否符合指令要求，以及其他區(qū)域是否保持了一致性。這就像一個(gè)學(xué)生不僅要學(xué)會(huì)解題的步驟，還要確保最終答案是正確的。

令人驚訝的是，這個(gè)強(qiáng)化學(xué)習(xí)過(guò)程只使用了大約1000個(gè)復(fù)雜的編輯指令樣本。這相當(dāng)于一個(gè)學(xué)生只做了1000道練習(xí)題就達(dá)到了超越那些刷了數(shù)萬(wàn)題的同學(xué)的水平。這種高效的學(xué)習(xí)能力得益于系統(tǒng)巧妙的架構(gòu)設(shè)計(jì)和訓(xùn)練策略。

為了防止系統(tǒng)在優(yōu)化過(guò)程中走偏（比如為了獲得高一致性分?jǐn)?shù)而干脆什么都不改），研究團(tuán)隊(duì)設(shè)計(jì)了巧妙的獎(jiǎng)勵(lì)權(quán)重機(jī)制。一致性分?jǐn)?shù)會(huì)根據(jù)編輯效果進(jìn)行加權(quán)，這樣系統(tǒng)既不能偷懶不做編輯，也不能為了編輯而破壞其他區(qū)域，必須在兩者之間找到完美的平衡。

四、全新基準(zhǔn)：真正考驗(yàn)AI能力的"期末考試"

為了全面評(píng)估復(fù)雜圖像編輯的能力，研究團(tuán)隊(duì)還創(chuàng)建了一個(gè)名為IV-Edit的新基準(zhǔn)數(shù)據(jù)集。如果說(shuō)現(xiàn)有的圖像編輯測(cè)試就像是小學(xué)的數(shù)學(xué)作業(yè)，那么IV-Edit就像是為博士生設(shè)計(jì)的綜合考試。

這個(gè)基準(zhǔn)的設(shè)計(jì)理念是故意選擇那些具有挑戰(zhàn)性的場(chǎng)景。與現(xiàn)有數(shù)據(jù)集偏向選擇主體突出、背景簡(jiǎn)單的圖像不同，IV-Edit專門收集了那些包含多個(gè)相似物體、布局復(fù)雜、需要細(xì)致推理的圖像。就像考試時(shí)故意出一些需要綜合運(yùn)用多種知識(shí)的綜合題，而不是簡(jiǎn)單的基礎(chǔ)題。

編輯指令的設(shè)計(jì)也更加貼近真實(shí)使用場(chǎng)景。研究團(tuán)隊(duì)定義了7種不同的引用類型，從簡(jiǎn)單的特征描述到需要外部知識(shí)的復(fù)雜推理。比如"特征引用"可能是"那個(gè)紅色的杯子"，而"理解引用"可能是"那個(gè)負(fù)責(zé)場(chǎng)上指揮的運(yùn)動(dòng)員"，這需要AI理解運(yùn)動(dòng)員的角色和行為。

任務(wù)類型涵蓋了16種不同的編輯需求，從簡(jiǎn)單的顏色修改到復(fù)雜的物理推理。比如有一類叫"預(yù)測(cè)編輯"的任務(wù)，要求AI根據(jù)物理規(guī)律或邏輯推理來(lái)預(yù)測(cè)和顯示某種變化的結(jié)果。例如"展示這個(gè)蔬菜造型如果是匹諾曹剛說(shuō)謊后會(huì)發(fā)生什么"，這需要AI理解匹諾曹的故事背景，并將這個(gè)知識(shí)應(yīng)用到圖像編輯中。

整個(gè)基準(zhǔn)包含約800對(duì)指令-圖像組合，平均每個(gè)指令包含21個(gè)單詞，其中182個(gè)樣本涉及多區(qū)域編輯。這些數(shù)字看似不大，但每個(gè)樣本都經(jīng)過(guò)精心設(shè)計(jì)和人工驗(yàn)證，確保它們真正能夠測(cè)試AI在復(fù)雜場(chǎng)景下的理解和編輯能力。

評(píng)估方法也摒棄了傳統(tǒng)的簡(jiǎn)單相似度比較，而是采用了更智能的多維度評(píng)估。系統(tǒng)會(huì)從目標(biāo)準(zhǔn)確性、一致性、質(zhì)量和效果四個(gè)維度對(duì)編輯結(jié)果進(jìn)行評(píng)分，每個(gè)維度都有具體的評(píng)判標(biāo)準(zhǔn)。這就像是請(qǐng)專業(yè)的攝影師和編輯從多個(gè)角度來(lái)評(píng)判作品質(zhì)量，而不是簡(jiǎn)單地比較像素差異。

五、實(shí)驗(yàn)結(jié)果：令人印象深刻的性能表現(xiàn)

在IV-Edit基準(zhǔn)上的測(cè)試結(jié)果顯示，RePlan在多個(gè)關(guān)鍵指標(biāo)上都表現(xiàn)出色，特別是在一致性方面取得了顯著優(yōu)勢(shì)。一致性是指編輯后的圖像中，非目標(biāo)區(qū)域是否保持了原有的狀態(tài)，這對(duì)于實(shí)際應(yīng)用來(lái)說(shuō)至關(guān)重要。沒(méi)有人希望修改一個(gè)物體的顏色后，發(fā)現(xiàn)照片中其他物體也莫名其妙地發(fā)生了變化。

與現(xiàn)有的開(kāi)源模型相比，RePlan在幾乎所有評(píng)估維度上都顯示出了明顯的改進(jìn)。更重要的是，即使與一些閉源的商業(yè)系統(tǒng)相比，RePlan也表現(xiàn)得相當(dāng)出色。這特別令人印象深刻，因?yàn)槟切┥虡I(yè)系統(tǒng)通常使用了數(shù)量級(jí)更多的訓(xùn)練數(shù)據(jù)和計(jì)算資源。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)來(lái)驗(yàn)證系統(tǒng)各個(gè)組件的重要性。當(dāng)移除鏈?zhǔn)剿伎纪评砟芰r(shí)，系統(tǒng)性能明顯下降，這證明了讓AI"先思考再行動(dòng)"策略的重要性。當(dāng)使用其他視覺(jué)語(yǔ)言模型作為規(guī)劃器時(shí)，雖然它們?cè)谕评砟芰ι虾軓?qiáng)，但由于格式控制和邊界框精度問(wèn)題，最終效果不如經(jīng)過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化的版本。

特別有趣的是關(guān)于邊界框擾動(dòng)的魯棒性測(cè)試。研究團(tuán)隊(duì)故意在AI生成的區(qū)域坐標(biāo)上添加隨機(jī)噪聲，模擬實(shí)際使用中可能出現(xiàn)的定位誤差。結(jié)果顯示，即使坐標(biāo)精度下降了50%，系統(tǒng)仍然能夠保持相對(duì)穩(wěn)定的編輯效果。這就像一個(gè)熟練的畫家，即使手稍微抖動(dòng)也不會(huì)影響整體作品質(zhì)量。

在處理重疊區(qū)域的測(cè)試中，RePlan也展現(xiàn)了出色的處理能力。當(dāng)兩個(gè)編輯區(qū)域有重疊時(shí)，系統(tǒng)能夠智能地協(xié)調(diào)不同的編輯指令，確保重疊區(qū)域得到合理的處理。這就像兩個(gè)裝修工人需要在同一面墻上工作，他們必須協(xié)調(diào)好各自的任務(wù)，確保最終效果協(xié)調(diào)統(tǒng)一。

六、實(shí)際應(yīng)用價(jià)值和未來(lái)展望

RePlan的技術(shù)突破為圖像編輯領(lǐng)域帶來(lái)了許多實(shí)際應(yīng)用價(jià)值。在內(nèi)容創(chuàng)作領(lǐng)域，設(shè)計(jì)師和創(chuàng)作者可以使用更自然的語(yǔ)言來(lái)描述復(fù)雜的編輯需求，而不必?fù)?dān)心AI誤解或執(zhí)行錯(cuò)誤。比如在制作廣告圖片時(shí)，創(chuàng)作者可以說(shuō)"把那個(gè)看起來(lái)最新鮮的水果的顏色調(diào)得更鮮艷一些"，系統(tǒng)就能準(zhǔn)確理解并執(zhí)行。

在電商領(lǐng)域，商家可以更方便地批量處理產(chǎn)品圖片。想要把所有產(chǎn)品圖片中的背景替換為白色，同時(shí)保持產(chǎn)品本身不變，這在以前需要大量的手工操作，現(xiàn)在可以通過(guò)簡(jiǎn)單的指令自動(dòng)完成。更進(jìn)一步，商家甚至可以根據(jù)不同的營(yíng)銷需求，動(dòng)態(tài)調(diào)整產(chǎn)品展示效果，比如"讓這個(gè)手表看起來(lái)更適合商務(wù)場(chǎng)合"。

在教育和培訓(xùn)領(lǐng)域，這項(xiàng)技術(shù)可以幫助制作更生動(dòng)的教學(xué)材料。歷史老師可以說(shuō)"給這張古代戰(zhàn)爭(zhēng)圖片添加一些體現(xiàn)當(dāng)時(shí)武器特色的細(xì)節(jié)"，系統(tǒng)就能根據(jù)歷史知識(shí)進(jìn)行合理的圖像修改。

從技術(shù)發(fā)展的角度來(lái)看，RePlan代表了一個(gè)重要的趨勢(shì)：將大型語(yǔ)言模型的推理能力與專門的生成模型相結(jié)合。這種"專業(yè)分工"的方法可能會(huì)在更多AI領(lǐng)域得到應(yīng)用，每個(gè)組件都專注于自己最擅長(zhǎng)的任務(wù)，然后通過(guò)精心設(shè)計(jì)的接口進(jìn)行協(xié)作。

當(dāng)然，這項(xiàng)技術(shù)也面臨一些挑戰(zhàn)和限制。首先是對(duì)計(jì)算資源的需求，雖然比端到端的大模型要效率更高，但仍然需要相當(dāng)?shù)挠?jì)算能力。其次是在處理某些藝術(shù)性或高度主觀的編輯需求時(shí)，可能還需要更多的人工指導(dǎo)。

研究團(tuán)隊(duì)也指出了一些未來(lái)的改進(jìn)方向。比如如何進(jìn)一步提高系統(tǒng)對(duì)藝術(shù)風(fēng)格變化的理解能力，如何處理更復(fù)雜的三維空間推理，以及如何在保持編輯質(zhì)量的同時(shí)進(jìn)一步提高處理速度。

說(shuō)到底，RePlan最重要的價(jià)值在于它讓AI圖像編輯變得更加智能和人性化。用戶不再需要學(xué)習(xí)復(fù)雜的操作技巧或者反復(fù)嘗試不同的參數(shù)設(shè)置，而是可以用最自然的語(yǔ)言表達(dá)自己的需求，然后讓AI來(lái)理解和執(zhí)行。這就像是有了一個(gè)真正理解你意圖的專業(yè)助手，不僅能完成你交代的任務(wù)，還能避免那些你沒(méi)有想到的潛在問(wèn)題。

這項(xiàng)研究的成功也證明了一個(gè)重要觀點(diǎn)：在AI發(fā)展的過(guò)程中，有時(shí)候最好的解決方案不是構(gòu)建一個(gè)無(wú)所不能的巨大模型，而是讓不同的專業(yè)模型各司其職，通過(guò)巧妙的協(xié)作來(lái)解決復(fù)雜問(wèn)題。這種思路可能會(huì)為未來(lái)的AI系統(tǒng)設(shè)計(jì)提供重要啟發(fā)。對(duì)于那些希望深入了解技術(shù)細(xì)節(jié)的讀者，建議查閱原論文arXiv:2512.16864v1，其中包含了更多實(shí)驗(yàn)數(shù)據(jù)和技術(shù)實(shí)現(xiàn)的具體細(xì)節(jié)。

Q&A

Q1：RePlan和普通的圖像編輯AI有什么不同？

A：RePlan最大的不同是采用了"先思考再行動(dòng)"的方式。普通AI直接根據(jù)指令進(jìn)行編輯，容易出錯(cuò)或影響其他區(qū)域。RePlan先用智能規(guī)劃器分析圖像和指令，制定詳細(xì)的編輯計(jì)劃，然后精確執(zhí)行，就像專業(yè)編輯師會(huì)先規(guī)劃再操作一樣。

Q2：為什么RePlan只用1000個(gè)樣本就能超越大型模型？

A：關(guān)鍵在于訓(xùn)練策略的巧妙設(shè)計(jì)。RePlan使用強(qiáng)化學(xué)習(xí)分兩階段訓(xùn)練：先學(xué)習(xí)正確的格式和推理方式，再根據(jù)實(shí)際編輯效果進(jìn)行優(yōu)化。這種方法比簡(jiǎn)單的大量數(shù)據(jù)堆疊更有效，就像有針對(duì)性的精英訓(xùn)練比盲目刷題效果更好。

Q3：RePlan能處理哪些傳統(tǒng)圖像編輯AI處理不好的場(chǎng)景？

A：RePlan特別擅長(zhǎng)處理復(fù)雜場(chǎng)景中的精確編輯，比如在多個(gè)相似物體中準(zhǔn)確定位目標(biāo)、需要推理的編輯任務(wù)（如"把用過(guò)的杯子換成盆栽"）、多區(qū)域同時(shí)編輯等。它還能很好地保護(hù)非編輯區(qū)域不被意外修改，這是傳統(tǒng)方法的常見(jiàn)問(wèn)題。