国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

浙大&騰訊打破圖像編輯「規(guī)模-質(zhì)量」魔咒:1000萬數(shù)據(jù)+統(tǒng)一驗(yàn)證框架,讓開源模型追上閉源SOTA | CVPR 2026

0
分享至


他們用一套"質(zhì)檢+改題"雙系統(tǒng),造出了AI圖像編輯領(lǐng)域的第一套標(biāo)準(zhǔn)化教材。

不知你有沒有發(fā)現(xiàn),用ChatGPT里的圖像編輯挺順,但換幾個(gè)開源工具就頻頻翻車?這不是錯(cuò)覺——頂尖閉源模型(如GPT-Image-1)和開源模型之間的差距,正在被越拉越大。 根源在于:開源陣營手里沒有兩樣?xùn)|西——足夠多且足夠好的訓(xùn)練素材,以及一套能全面體檢模型能力的'診斷系統(tǒng)'。

更麻煩的是,做數(shù)據(jù)就像走鋼絲:純手工打造的精品數(shù)據(jù)集,質(zhì)量過硬但根本攢不夠量;全自動(dòng)流水線倒是能批量生產(chǎn),但環(huán)節(jié)一多,前面的小錯(cuò)會一路放大成災(zāi)難——比如第一步識別錯(cuò)了物體,后面所有編輯都跟著跑偏。

具體來說,現(xiàn)在的數(shù)據(jù)生產(chǎn)有三個(gè)漏銅:

? '傳話游戲'式誤差:一個(gè)編輯任務(wù)要過N個(gè)工具(識別→分割→生成→融合),前面一步歪一點(diǎn),后面步步歪;

? '安檢'走過場:要么只查'有沒有出圖'而不管文本指令對不對,要么花大價(jià)錢調(diào)API改文字描述,卻不管圖本身質(zhì)量;

? '考試范圍'太窄:現(xiàn)有測試只考'換顏色'、'加物體'這種基礎(chǔ)題,不考'從空中俯瞰這個(gè)建筑'這種空間理解題,也不考'將咖啡壺變?yōu)橹蠓袪顟B(tài)'這種需要常識推理的題。而且評分標(biāo)準(zhǔn)還有bug——背景被偷偷改了看不出來,風(fēng)格一變就扣冤枉分。


圖1: UnicEdit-10M 涵蓋了跨越基礎(chǔ)與復(fù)雜編輯的 22 種編輯任務(wù)。該數(shù)據(jù)集采用統(tǒng)一的后置驗(yàn)證階段,通過過濾失敗樣本并精煉指令,從而產(chǎn)出高質(zhì)量的三元組數(shù)據(jù)。此外,我們還推出了配套的 UnicBench,利用細(xì)粒度指標(biāo)進(jìn)行全面評估。

針對這個(gè)痛點(diǎn),浙江大學(xué)和騰訊聯(lián)合搞了個(gè)大動(dòng)作:他們不僅造出了1000萬組高質(zhì)量的"圖像編輯練習(xí)題"(UnicEdit-10M),還配了一套22類難度遞進(jìn)的"全真模擬考卷"(UnicBench)。簡單來說,就是給AI圖像編輯領(lǐng)域提供了標(biāo)準(zhǔn)化的教材+考試系統(tǒng)。除此之外,他們還配置了一名"嚴(yán)格判官"(Qwen-Verify),對生成的圖像編輯數(shù)據(jù)進(jìn)行嚴(yán)格的篩選和優(yōu)化,保證最終得到的"練習(xí)題"的答案都是正確且高質(zhì)量的。


論文標(biāo)題:UnicEdit-10M: A Dataset and Benchmark Breaking the Scale-Quality Barrier via Unified Verification for Reasoning-Enriched Edits

論文地址:https://arxiv.org/pdf/2512.02790

代碼倉庫:https://github.com/WeChatCV/UnicBench

項(xiàng)目主頁:https://hongsexiaotanhua.github.io/UnicEdit-10M/

數(shù)據(jù)集:https://huggingface.co/datasets/xiaotanhua/UnicEdit-10M

Benchmark:https://huggingface.co/datasets/xiaotanhua/UnicBench

01


核心亮點(diǎn)

1. 大規(guī)模高質(zhì)量數(shù)據(jù)集 UnicEdit-10M:構(gòu)建了包含 10M 樣本的高質(zhì)量圖像編輯數(shù)據(jù)集,覆蓋 22 種編輯任務(wù),不僅包含基礎(chǔ)的屬性和對象編輯,還涵蓋幾何空間變化和基于推理知識的編輯任務(wù),同時(shí),該數(shù)據(jù)集的圖像美學(xué)得分也超越其他數(shù)據(jù)集。

2. Qwen-Verify 后校驗(yàn)專家模型:訓(xùn)練了一個(gè) 7B 規(guī)模的雙任務(wù)專家模型,能夠同時(shí)進(jìn)行細(xì)粒度的失敗檢測和指令重寫,在計(jì)算成本和經(jīng)濟(jì)成本遠(yuǎn)低于 Qwen2.5-VL-72B 的情況下,實(shí)現(xiàn)了更優(yōu)的性能。

3. UnicBench 綜合評估基準(zhǔn):提出了覆蓋基礎(chǔ)編輯、幾何空間變化以及基于推理知識編輯任務(wù)的綜合基準(zhǔn),引入了非編輯一致性和推理準(zhǔn)確性等新穎評估指標(biāo),能夠全面診斷模型的編輯能力,為未來研究提供了清晰的方向。


圖2: UnicEdit-10M 中所有子任務(wù)的代表性編輯樣例。

02


UnicEdit-10M數(shù)據(jù)集構(gòu)建

UnicEdit-10M 的構(gòu)建采用了三階段的高效自動(dòng)化流水線:

1. 指令生成階段:使用 Qwen2.5-VL-72B 模型,基于預(yù)定義的編輯分類體系,為每張圖像生成 3-7 個(gè)不同的、符合內(nèi)容的編輯指令,確保任務(wù)分布均衡,無需人工標(biāo)注。

2. 圖像編輯階段:使用 FLUX.1-Kontext 和 Qwen-Image-Edit 兩款領(lǐng)先的開源編輯模型,對每一對〈原始圖像,指令〉進(jìn)行處理,生成編輯后的圖像,形成初始的三元組。同時(shí)對源圖像進(jìn)行中心裁剪和縮放預(yù)處理,并進(jìn)行質(zhì)量檢查,丟棄需要超過 20% 裁剪的圖像,避免內(nèi)容丟失。

3. 后校驗(yàn)階段:所有合成的三元組都經(jīng)過統(tǒng)一的后校驗(yàn)環(huán)節(jié),不僅過濾掉失敗的樣本,還會優(yōu)化對應(yīng)的指令,增強(qiáng)其與視覺編輯的語義對齊。

最終生成的 UnicEdit-10M 數(shù)據(jù)集包含約 10M 個(gè)三元組,分為 4 大編輯類型:場景編輯(3.063M 樣本)、屬性編輯(3.529M 樣本)、對象編輯(3.242M 樣本)和推理編輯(1.746M 樣本),其中 50% 的圖像為 1024×1024 的高分辨率圖像。


圖3: 包含三個(gè)階段的數(shù)據(jù)構(gòu)建流水線:(1) 數(shù)據(jù)準(zhǔn)備;(2) 圖像編輯;(3) 后校驗(yàn),用于過濾失敗的編輯樣本并進(jìn)行指令重寫(Recaption)。

03


后校驗(yàn)專家模型

在后校驗(yàn)階段,為了實(shí)現(xiàn)更為準(zhǔn)確和高效的質(zhì)量控制,作者訓(xùn)練了7B的雙任務(wù)后校驗(yàn)專家模型Qwen-Verify,通過使用人類標(biāo)注的偏好數(shù)據(jù)進(jìn)行偏好對齊,實(shí)現(xiàn)更為準(zhǔn)確的數(shù)據(jù)篩選。該專家模型能夠同時(shí)執(zhí)行如下兩個(gè)關(guān)鍵任務(wù)::

1. 編輯失敗檢測:能夠細(xì)粒度地識別出編輯失敗的樣本,包括無編輯、幻覺等情況,相比傳統(tǒng)的 SSIM 等像素級指標(biāo),Qwen-Verify 具備語義理解能力,能夠準(zhǔn)確識別出語義上有變化但視覺上細(xì)微的編輯,同時(shí)忽略生成過程中微小的像素級噪聲。

2. 編輯指令重寫:能夠?qū)εc編輯結(jié)果語義對齊不足的指令進(jìn)行重寫,確保指令與實(shí)際的視覺變換精確匹配。

對比實(shí)驗(yàn)顯示,Qwen-Verify 在正常編輯、無編輯和幻覺檢測的準(zhǔn)確率上均顯著優(yōu)于 Qwen2.5-VL-7B、Qwen2.5-VL-72B 等基線模型,在人臉一致性等關(guān)鍵指標(biāo)上,UnicEdit-10M 的一致性得分達(dá)到 0.89,遠(yuǎn)優(yōu)于 GPT-Image-Edit-1.5M 的 0.3025,展現(xiàn)出在保持關(guān)鍵主體細(xì)節(jié)上的卓越能力。


圖4: 專家模型后校驗(yàn)樣例。其中:Base 表示 Qwen2.5-VL-7B 模型;SFT 表示經(jīng)過第一階段指令微調(diào)后的基礎(chǔ)模型;Ours 表示我們提出的雙任務(wù)專家模型 Qwen-Verify。

04


UnicBench:綜合編輯能力評測

UnicBench 是一個(gè)覆蓋基礎(chǔ)編輯、幾何空間變化以及基于推理知識編輯任務(wù)的綜合基準(zhǔn),其構(gòu)建過程采用了 VLM 與人工結(jié)合的工作流:首先由 Qwen2.5-VL 生成候選指令,再由人類專家進(jìn)行審核,移除模糊或語義不一致的提示,并進(jìn)行重寫以匹配特定的編輯任務(wù)類別,每個(gè)類別包含 50 個(gè)測試用例。

為了實(shí)現(xiàn)更精準(zhǔn)的評估,UnicBench 引入了四個(gè)專門的評估指標(biāo):

1. 指令遵循度(IF):通過基于 VLM 的跨模態(tài)對齊分?jǐn)?shù),衡量編輯圖像滿足指令的程度。

2. 非編輯一致性(NC):評估非目標(biāo)區(qū)域的保留情況,對編輯區(qū)域外的意外變化進(jìn)行懲罰。

3. 視覺質(zhì)量(VQ):基于指令的自然度、連貫性和視覺風(fēng)格一致性的評估。

4. 推理準(zhǔn)確性(RA):針對基于推理知識的編輯任務(wù),VLM會利用所提供的reasoning points 列表,針對實(shí)際編輯變化進(jìn)行對比打分,該列表均經(jīng)過人工進(jìn)行核驗(yàn)優(yōu)化。

對主流模型的評估結(jié)果顯示,閉源模型在整體能力上顯著優(yōu)于開源模型,GPT-Image-1 在英文和中文任務(wù)上均取得了最高的綜合得分,展現(xiàn)出最優(yōu)的通用編輯能力。開源模型中,Qwen-Image-Edit 表現(xiàn)最佳,開始縮小與閉源模型的差距。但所有模型在推理準(zhǔn)確性(RA)指標(biāo)上均出現(xiàn)了顯著的性能下降,這表明當(dāng)前模型在執(zhí)行需要復(fù)雜邏輯推理或世界知識的編輯任務(wù)時(shí)存在普遍的局限性,為未來的研究指明了方向。


圖5: 各模型在 UnicBench 子任務(wù)上的綜合評分,左側(cè)為英文(EN)指令結(jié)果,右側(cè)為中文(CN)指令結(jié)果。所有結(jié)果均由 GPT-4o 進(jìn)行評估。


表1: 不同模型在 UnicBench 上的綜合性能表現(xiàn)。開源模型與閉源模型的結(jié)果分別標(biāo)注,其中最優(yōu)性能以加粗表示,次優(yōu)性能以下劃線表示。

未經(jīng)「AI科技評論」授權(quán),嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載!

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán),轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
巔峰之夜!亞冠決賽今晚打響:吉達(dá)vs町田 馬寧擔(dān)任第四官員

巔峰之夜!亞冠決賽今晚打響:吉達(dá)vs町田 馬寧擔(dān)任第四官員

新英體育
2026-04-25 09:09:10
中組部人社部規(guī)定:公職人員違紀(jì)后待遇一文講清

中組部人社部規(guī)定:公職人員違紀(jì)后待遇一文講清

笑熬漿糊111
2026-04-23 00:05:18
曝克洛普同意接掌皇馬!提出九大轉(zhuǎn)會要求,這三人必須買

曝克洛普同意接掌皇馬!提出九大轉(zhuǎn)會要求,這三人必須買

瀾歸序
2026-04-25 05:46:16
丁俊暉4-4逼平趙心童!聽聽賽后媒體專家都怎么說,墨菲壓力很大

丁俊暉4-4逼平趙心童!聽聽賽后媒體專家都怎么說,墨菲壓力很大

觀察鑒娛
2026-04-25 09:45:26
上海德云社換明星陣容也不火,上座率不高,觀眾評價(jià)更不好

上海德云社換明星陣容也不火,上座率不高,觀眾評價(jià)更不好

我就是個(gè)碼字的
2026-04-23 07:30:03
052D過橫當(dāng)水道后,遼寧艦抵臺海,日本向中國抗議,不滿東海行動(dòng)

052D過橫當(dāng)水道后,遼寧艦抵臺海,日本向中國抗議,不滿東海行動(dòng)

老赳說歷史
2026-04-23 16:08:53
兩性關(guān)系:60歲后男人必深交的3種女人,第三種定晚年質(zhì)量

兩性關(guān)系:60歲后男人必深交的3種女人,第三種定晚年質(zhì)量

王二哥老搞笑
2026-04-25 17:12:08
“濕氣”最怕這種豆,中老年人每周吃2次,利尿消水腫,健脾祛濕

“濕氣”最怕這種豆,中老年人每周吃2次,利尿消水腫,健脾祛濕

江江食研社
2026-04-21 22:30:03
烏專家:中國“榨干”蘇聯(lián)遺產(chǎn),我們圖紙都沒看懂,他們造出2.0

烏專家:中國“榨干”蘇聯(lián)遺產(chǎn),我們圖紙都沒看懂,他們造出2.0

馬蹄燙嘴說美食
2026-04-24 18:45:06
眼紅!從年薪20萬到125萬,一上海交大碩士特斯拉6年收入345萬

眼紅!從年薪20萬到125萬,一上海交大碩士特斯拉6年收入345萬

火山詩話
2026-04-23 07:11:53
建議中老年人:若不差錢,少吃饅頭和米飯,多吃4種主食,身體棒

建議中老年人:若不差錢,少吃饅頭和米飯,多吃4種主食,身體棒

華庭講美食
2026-04-25 17:36:42
又奪冠了!霍思燕的蒙古獒爆火,狠狠給中國犬種爭了口氣

又奪冠了!霍思燕的蒙古獒爆火,狠狠給中國犬種爭了口氣

超人強(qiáng)動(dòng)物俱樂部
2026-04-25 13:16:54
長川科技(300604.SZ):2025年年報(bào)凈利潤為13.31億元

長川科技(300604.SZ):2025年年報(bào)凈利潤為13.31億元

界面新聞
2026-04-25 10:33:11
古裝劇都是騙人的:真實(shí)的古代百姓餐桌,現(xiàn)代人看一眼就想吐

古裝劇都是騙人的:真實(shí)的古代百姓餐桌,現(xiàn)代人看一眼就想吐

富貴說
2026-04-19 14:52:13
丁寶楨為何敢殺安德海?除了手握重兵,他還擁有這2項(xiàng)大權(quán)

丁寶楨為何敢殺安德海?除了手握重兵,他還擁有這2項(xiàng)大權(quán)

雍親王府
2026-04-22 19:20:03
離橫掃只差1場,湖人怎么贏的,4件事很正確,一人要拿大合同了

離橫掃只差1場,湖人怎么贏的,4件事很正確,一人要拿大合同了

體壇大辣椒
2026-04-25 11:16:37
剛剛宣布,降息50個(gè)基點(diǎn)

剛剛宣布,降息50個(gè)基點(diǎn)

中國基金報(bào)
2026-04-24 19:35:36
穆里尼奧:帥位問題該說的都說了,賽季結(jié)束后我有10天做決定

穆里尼奧:帥位問題該說的都說了,賽季結(jié)束后我有10天做決定

懂球帝
2026-04-24 21:15:11
文班亞馬缺陣,馬刺20歲+21歲組合橫空出世!NBA未來是他們的?

文班亞馬缺陣,馬刺20歲+21歲組合橫空出世!NBA未來是他們的?

體育妞世界
2026-04-25 15:26:33
詹姆斯29+13+6絕平三分拯救湖人!41歲季后賽父子連線

詹姆斯29+13+6絕平三分拯救湖人!41歲季后賽父子連線

布斯基
2026-04-25 19:09:47
2026-04-25 19:44:49
AI科技評論 incentive-icons
AI科技評論
點(diǎn)評學(xué)術(shù),服務(wù)AI
7222文章數(shù) 20749關(guān)注度
往期回顧 全部

科技要聞

DeepSeek V4發(fā)布!黃仁勛預(yù)言的"災(zāi)難"降臨

頭條要聞

現(xiàn)場視頻:殲-15掛彈起飛硬剛外軍航母編隊(duì)滋擾

頭條要聞

現(xiàn)場視頻:殲-15掛彈起飛硬剛外軍航母編隊(duì)滋擾

體育要聞

火箭0-3觸發(fā)百分百出局定律:本季加時(shí)賽9戰(zhàn)8敗

娛樂要聞

鄧超最大的幸運(yùn),就是遇見孫儷

財(cái)經(jīng)要聞

90%訂單消失,中東旺季沒了

汽車要聞

2026款樂道L90亮相北京車展 樂道L80正式官宣

態(tài)度原創(chuàng)

游戲
藝術(shù)
本地
數(shù)碼
公開課

索尼新規(guī)落地!所有數(shù)字版游戲都要強(qiáng)制30天聯(lián)網(wǎng)驗(yàn)權(quán)

藝術(shù)要聞

安德烈·皮安科夫斯基:當(dāng)代俄羅斯畫家

本地新聞

云游中國|逛世界風(fēng)箏都 留學(xué)生探秘中國傳統(tǒng)文化

數(shù)碼要聞

雷達(dá)感應(yīng)自動(dòng)開關(guān)燈,Yeelight新品來了

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版