允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

AI生圖領(lǐng)域，又出了個“狠角色”。

今日，小紅書基礎(chǔ)模型FireRed-Image-Edit正式亮相。

看似“低調(diào)”，實則戰(zhàn)績驚人——其在處理復(fù)雜編輯指令、風格化轉(zhuǎn)換，及高精度文字編輯等多個核心指標上，展現(xiàn)出超強實力。

對比結(jié)果顯示，F(xiàn)ireRed-Image-Edit憑借更精準的理解力、更強的ID保持度及高效的架構(gòu)，在多項權(quán)威測試中脫穎而出，在ImgEdit、GEdit等多個榜單中取得了SOTA，達到業(yè)界領(lǐng)先水平。

△主流榜單和自建評測集上的指標對比

這種高效架構(gòu)背后的技術(shù)底座，來自小紅書Super Intelligence Team在圖像生成與編輯領(lǐng)域的一次重要探索。

劃重點！目前該項目代碼、技術(shù)報告、demo網(wǎng)頁已開源，模型權(quán)重也即將在未來幾天開源。

△人工評估勝出率

硬核評測指標與全鏈路技術(shù)底座

FireRed-Image-Edit之所以能被稱為“狠角色”，不僅在于榜單上的驚艷表現(xiàn)，更源于小紅書團隊為其量身定制的一套“高難度考卷”與“進階版練功房”。

1、重新定義標準：RedEdit Bench

在AI生圖領(lǐng)域，現(xiàn)有的基準測試往往難以覆蓋用戶真實的復(fù)雜需求。為此，團隊推出了RedEdit Bench這一深度評測方案。

• 全場景覆蓋：包含15個子任務(wù)。除了常規(guī)的畫面增刪改外，該評測集還前瞻性地納入了人像美化、低畫質(zhì)增強等高頻實戰(zhàn)場景。
• 真實嚴苛：對比實驗表明，相比ImgEdit和GEdit，該Bench對編輯模型通用能力的評估精度更高。

該Bench隨后會開源，以期為開源社區(qū)對圖像編輯模型的評估建立新維度的標準。

2、核心戰(zhàn)力來源：數(shù)據(jù)構(gòu)造與三階段訓練

有了嚴苛的考卷，如何“培養(yǎng)”出高分考生？

FireRed-Image-Edit依靠的是一套極具效率的數(shù)據(jù)引擎與訓練邏輯

首先來看數(shù)據(jù)引擎方面，F(xiàn)ireRed-Image-Edit構(gòu)建了一套圖像編輯數(shù)據(jù)生產(chǎn)引擎，從“快速、可控、精準”出發(fā)，將復(fù)雜編輯需求拆解為可組合的子任務(wù)，并通過三條路徑規(guī)?；a(chǎn)出訓練對

• 指令控制的專家模型合成；
• 結(jié)構(gòu)化控制（如分割/關(guān)鍵點/深度等）的專家模型合成；
• 模型無關(guān)的模板化合成（如3D/布局/文字）。

針對長尾編輯任務(wù)樣本稀缺問題，采用“檢查—補齊”的定向補數(shù)流程，由引擎快速生成針對性數(shù)據(jù)，并配合三層級去重、十余種質(zhì)量清洗算子與嚴格一致性守門員，確保數(shù)據(jù)的指令遵循、視覺自然度與內(nèi)容一致性

而在模型訓練方面，當前模型框架參考主流編輯模型框架，模型通過三階段訓練來完成能力的進階。

• 預(yù)訓練階段：通過多條件感知桶采樣來平衡不同的編輯任務(wù)，并通過隨機動態(tài)指令來提升模型的指令泛化理解能力，并通過前置的embedding抽取來提升訓練效率；
• 微調(diào)階段：通過高質(zhì)量數(shù)據(jù)的引入，來提升模型表現(xiàn)；
• 強化學習階段：通過非對稱梯度優(yōu)化來強化正樣本反饋，基于OCR獎勵的diffusionNFT來提升文字編輯準確性。

模型核心能力展示

FireRed-Image-Edit的強大，源于對“編輯”二字的深度理解。

并非簡單重繪，而是實現(xiàn)精準控制，其核心能力提升如下。

1、指令遵循一致性

指的是模型引入隨機指令對齊的機制，通過隨機打亂和動態(tài)重組prompt，來使模型能真正理解語義與圖像的對應(yīng)關(guān)系，而非死記硬背。

• 請修正圖像中的錯誤。

示例1：

示例2：

2、文字編輯

FireRed-Image-Edit創(chuàng)新性地提出了Layout-Aware OCR-based Reward

在強化學習階段，團隊不僅懲罰錯別字，還懲罰字符的錯位、大小異常和布局崩壞。

這使得模型在進行海報修改、文字替換時，能更準確地進行編輯并保持原始文字風格。

示例1：

• 將海報上右下角的文字“ programme”修改為“program ongoing”，保持字體和風格一致。

示例2：

• 用參考圖的玩偶作為畫面主角，衣服上面印著“FireRed-Image-Edit”字樣，站在童話感花園草地中，周圍有精致小花和柔和建筑背景，整體風格溫暖夢幻，超清細節(jié)，商業(yè)級攝影質(zhì)感。 小紅薯正對鏡頭，自信可愛地站立，身后是一塊黑板，用白色粉筆清晰寫著： “FireRed-Image-Edit三大絕活：文字藝術(shù)家：中英文字體排版專業(yè)穩(wěn)定，視覺風格統(tǒng)一 時光修復(fù)師：老照片修復(fù)細節(jié)豐富，呈現(xiàn)自然真實造型設(shè)計師：智能換裝精準自然，多風格服飾一鍵切換”，文字為白色粉筆手寫體。 畫面光線柔和自然光，淺景深，背景輕微虛化，色彩明亮飽滿，高清8K，真實攝影風格，細節(jié)銳利，無噪點，無畸變。

3、創(chuàng)意與多圖生成

同時依賴于強大的模型架構(gòu)能力，F(xiàn)ireRed-Image-Edit支持了創(chuàng)造力場景生成和多參考圖生成的能力，支持風格遷移或多圖融合。

示例1：

• 模特穿上圖1服飾，版型寬松。搭配黑色、材質(zhì)為氨綸、純色、緊身、長度至大腿中部的騎行短褲，再搭配金色圓環(huán)耳環(huán)。

示例2：

• 一瓶香水放居中，香水瓶放在水面上，透明方形瓶身搭配金色金屬瓶蓋，極簡而現(xiàn)代。晶瑩的水花如爆炸般環(huán)繞瓶身綻放開，無數(shù)水滴在空中定格，折射出夢幻的光彩。底部水波漣漪層層擴散，與飛濺的水花形成動靜交織的視覺張力。清涼活力與高端奢華并存，仿佛將夏日清泉的瞬息靈動永久封存。透過瓶身能看到香水背后的說明書。

示例3：

• 將這張圖變成游戲CG風格，極具藝術(shù)感，震撼人心，超高清。落葉飛濺，前景落葉虛化，動態(tài)模糊，背景動態(tài)虛化，陽光燦爛，藍天白云，光影交錯，仰拍特寫鏡頭，突出速度感和視覺沖擊力，強透視。

示例4：

• 將這張圖變成游戲CG風格，極具藝術(shù)感，震撼人心。

示例5：

• 設(shè)計一張A6折疊卡：打開時顯示圖片中的小屋。

示例6：

• 畫質(zhì)修復(fù)，細節(jié)重現(xiàn)：除了通用編輯，實際應(yīng)用中，用戶經(jīng)常面臨照片模糊、低分辨率、曝光不足或畫質(zhì)受損的問題。FireRed-Image-Edit將超分、去模糊、去噪及光影增強等底層視覺任務(wù)統(tǒng)一納入了指令微調(diào)的范疇。讓用戶可以一鍵畫質(zhì)調(diào)整。修復(fù)并上色這張老照片，使其看起來像是用現(xiàn)代相機拍攝的。

示例7：

• 將這張模糊的圖像增強清晰度，使其極為清晰且高質(zhì)量。

通過開源FireRed-Image-Edit，小紅書希望為社區(qū)提供一個高效、可控、高質(zhì)量的基座。

后續(xù)將會進一步提升基礎(chǔ)模型在人像美化、一致性、文字上的編輯能力，并將在未來幾個月內(nèi)持續(xù)開源更新版本和文生圖基座模型。

歡迎大家下載體驗，在GitHub上點亮Star！

GitHub:
https://github.com/FireRedTeam/FireRed-Image-Edit
技術(shù)報告:
https://github.com/FireRedTeam/FireRed-Image-Edit/blob/main/assets/FireRed_Image_Edit_1_0_Techinical_Report.pdf
體驗Demo:
https://huggingface.co/spaces/FireRedTeam/FireRed-Image-Edit-1.0

以下是小紅書Super Intelligence的團隊介紹：

*本文系量子位獲授權(quán)刊載，觀點僅為原作者所有。

一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」

歡迎在評論區(qū)留下你的想法！

科技前沿進展每日見