一、引言

在生成式 AI 浪潮中，文生圖技術(shù)已實(shí)現(xiàn)跨越式發(fā)展，在視覺呈現(xiàn)上達(dá)到了前所未有的高度。然而，在生成圖像中準(zhǔn)確合成拼寫正確、結(jié)構(gòu)規(guī)范且風(fēng)格協(xié)調(diào)的文字 ——視覺文本渲染（Visual Text Rendering, VTR），至今仍是該領(lǐng)域尚未攻克的核心難題。

即便是當(dāng)前最先進(jìn)的文生圖模型（如 Nano Banana，Seedream、Qwen-Image），也難以穩(wěn)定生成結(jié)構(gòu)忠實(shí)的文本，常伴有筆畫錯位、結(jié)構(gòu)畸變與字符缺失等問題，在中文等字形結(jié)構(gòu)復(fù)雜的語言中表現(xiàn)尤為明顯。這一短板直接制約了 AIGC 技術(shù)在海報設(shè)計、廣告創(chuàng)意、圖文排版及電商場景等高價值商業(yè)領(lǐng)域的規(guī)�；涞�。

針對這一難題，華中科技大學(xué)白翔教授團(tuán)隊(duì)等提出了TextPecker，一個為視覺文本而生的「啄木鳥」。該方法是一種基于結(jié)構(gòu)感知的即插即用型強(qiáng)化學(xué)習(xí)優(yōu)化策略，無需修改底層模型即可靈活適配各類主流生成器，并帶來顯著的性能增益：搭載 TextPecker 后，F(xiàn)LUX 的語義對齊度與結(jié)構(gòu)保真度分別提升了 +38.3% 和 +31.6%；即便面對已為中文場景高度優(yōu)化的 Qwen-Image，仍取得了 +8.7% 和 +4.0% 的顯著增益，將視覺文本渲染推向了全新 SOTA。

目前，該工作已被 CVPR 2026 接收。

• 論文標(biāo)題：TextPecker: Rewarding Structural Anomaly Quantification for Enhancing Visual Text Rendering
• 論文鏈接：https://arxiv.org/pdf/2602.20903
• 代碼鏈接：https://github.com/CIawevy/TextPecker

二、當(dāng)「裁判」失靈：評估與優(yōu)化的雙重瓶頸

TextPecker 的核心洞察在于：制約視覺文本渲染質(zhì)量的瓶頸，并非生成模型本身的能力上限，而是優(yōu)化流程中負(fù)責(zé)評估文字質(zhì)量的「裁判」存在根本性缺陷。

當(dāng)前主流范式普遍采用強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練來提升模型的文字生成能力，并依賴 OCR 模型或多模態(tài)大模型（MLLM）作為獎勵信號的來源。然而，研究團(tuán)隊(duì)發(fā)現(xiàn)，這些評估模型缺乏對文字結(jié)構(gòu)異常的細(xì)粒度感知能力，在面對不完美的生成文字時，表現(xiàn)出兩類典型失效模式：

• 語言先驗(yàn)驅(qū)動的「幻覺」（Hallucination）：評估模型過渡依賴語言先驗(yàn)，將結(jié)構(gòu)錯誤的文字自動 "腦補(bǔ)" 為正確字符，從而給出虛高的獎勵分?jǐn)?shù)。
• 低置信區(qū)域的「失明」（Invisibility）：評估模型對嚴(yán)重模糊或畸變的文字區(qū)域直接跳過識別，導(dǎo)致關(guān)鍵渲染錯誤被完全遺漏。

圖 1 現(xiàn)有 OCR 模型與多模態(tài)大模型難以感知生成文字中的細(xì)粒度結(jié)構(gòu)異常，成為 VTR 評估與強(qiáng)化學(xué)習(xí)優(yōu)化的關(guān)鍵瓶頸。紅色標(biāo)注為誤識別字符。

這兩類失效直接導(dǎo)致強(qiáng)化學(xué)習(xí)的獎勵信號中混入大量噪聲，模型無法獲得細(xì)粒度的結(jié)構(gòu)級反饋，構(gòu)成了當(dāng)前 VTR 評估與優(yōu)化的雙重瓶頸。

三、結(jié)構(gòu)感知的「好裁判」：TextPecker 方法詳解

1. 重新定義「好」的標(biāo)準(zhǔn)：結(jié)構(gòu)感知的復(fù)合獎勵

TextPecker 基于 Flow-GRPO 框架構(gòu)建，是一種即插即用的強(qiáng)化學(xué)習(xí)優(yōu)化策略。其核心改進(jìn)在于重新定義獎勵函數(shù)：引入一個具備細(xì)粒度結(jié)構(gòu)異常感知能力的評估模塊，替代傳統(tǒng)的 OCR 編輯距離信號，從結(jié)構(gòu)質(zhì)量與語義對齊兩個維度同時評估生成文字的質(zhì)量。

圖 2：TextPecker 方法整體框架

以往方法簡單地將生成文本視為一條長字符串，直接與目標(biāo)文本計算編輯距離。這種方式隱含一個假設(shè)：生成文字的排列順序與 Prompt 完全一致。但在真實(shí)渲染場景中，文字的空間布局未必與 Prompt 中的出現(xiàn)順序一致

最終，TextPecker 將結(jié)構(gòu)質(zhì)量與語義對齊兩個維度的分?jǐn)?shù)通過加權(quán)融合構(gòu)成復(fù)合獎勵。這一設(shè)計使得優(yōu)化過程不再僅僅追求「文字內(nèi)容對不對」，而是同時關(guān)注 「文字結(jié)構(gòu)好不好」，實(shí)現(xiàn)二者的聯(lián)合優(yōu)化。

2. 打造「好裁判」：字符級結(jié)構(gòu)異常數(shù)據(jù)集的構(gòu)建

上述復(fù)合獎勵的有效性，取決于一個前提：結(jié)構(gòu)感知評估模塊能夠準(zhǔn)確識別生成文字中的細(xì)粒度結(jié)構(gòu)異常。而訓(xùn)練這樣的模塊，首先面臨一個基礎(chǔ)性難題 ——缺乏大規(guī)模、帶有字符級結(jié)構(gòu)異常標(biāo)注的高質(zhì)量數(shù)據(jù)。為此，TextPecker 設(shè)計了一套系統(tǒng)化的三階段數(shù)據(jù)構(gòu)建流程（如圖 3 所示）。

圖 3 TextPecker 數(shù)據(jù)構(gòu)建流程概覽

階段一：大規(guī)模多樣化富文本圖像生成

由于不同生成模型產(chǎn)生的結(jié)構(gòu)錯誤各有特點(diǎn)，單一模型的輸出難以反映真實(shí)場景下錯誤類型的多樣性。因此，第一階段的核心策略是多模型、多來源的交叉生成。

具體而言，團(tuán)隊(duì)針對中英文場景分別設(shè)計了數(shù)據(jù)生成方案：

• 英文場景：從 TextAtlas5M、Lex-10k 等數(shù)據(jù)集中采樣 Prompt，分別調(diào)用 AnyText、Stable Diffusion v1-5、Stable Diffusion 3.5、Flux.1-dev、Seedream 3.0、Qwen-Image 等多種主流生成模型進(jìn)行圖像合成，確保對錯誤類型與生成風(fēng)格的廣泛覆蓋。
• 中文場景：首先從萬卷 1.0 語料庫中采樣文本，確保對現(xiàn)代漢語常用字的充分覆蓋。在此基礎(chǔ)上，利用 Qwen3-235B-A22B 針對不同字體風(fēng)格生成風(fēng)格化描述，與語料組合構(gòu)成最終的 Prompt，驅(qū)動 CogView4、Kolors、Seedream、Qwen-Image 等模型合成圖像，兼顧多種字體風(fēng)格下的結(jié)構(gòu)錯誤表現(xiàn)。

階段二：高成本的字符級結(jié)構(gòu)異常精標(biāo)注

獲取富文本圖像后，研究團(tuán)隊(duì)投入了大量人工標(biāo)注資源，對數(shù)據(jù)進(jìn)行字符級的結(jié)構(gòu)異常檢查。這里，結(jié)構(gòu)異常被定義為：任何因模糊、扭曲、筆畫缺失或冗余偽影導(dǎo)致的結(jié)構(gòu)性失真，使得字符的語義可識別性受損。

具體的標(biāo)注流程分為兩步：首先利用 OCR 模型獲取初步識別結(jié)果，再由標(biāo)注人員逐字符檢查并以特殊標(biāo)記標(biāo)注所有結(jié)構(gòu)缺陷（如圖 4 所示）。對于結(jié)構(gòu)嚴(yán)重粘連、無法逐字區(qū)分的區(qū)域，則采用統(tǒng)一占位符標(biāo)記。這一階段將監(jiān)督粒度細(xì)化至單字符的結(jié)構(gòu)完整性層面，為結(jié)構(gòu)感知評估模塊的訓(xùn)練提供了精確的字符級監(jiān)督信號。

圖 4 TextPecker 數(shù)據(jù)集可視化

階段三：基于筆畫編輯的合成數(shù)據(jù)增強(qiáng)

僅依賴階段二人工標(biāo)注的數(shù)據(jù)訓(xùn)練模型存在局限：對未見異常類型的泛化能力不足，且對標(biāo)準(zhǔn)漢字的識別能力下降。其原因在于中文的固有復(fù)雜性：不同于英文字母的線性形態(tài)，漢字具有二維空間構(gòu)成且規(guī)模龐大（常用字超過 8000），潛在的結(jié)構(gòu)異常類型呈組合爆炸式增長，遠(yuǎn)超人工標(biāo)注所能窮舉。

為此，團(tuán)隊(duì)設(shè)計了一套基于筆畫編輯的程序化合成流程。利用公開筆順數(shù)據(jù)將漢字表示為有序筆畫序列，并在此基礎(chǔ)上定義三種筆畫級結(jié)構(gòu)編輯算子：

• 筆畫刪除（Stroke Deletion）：隨機(jī)移除部分筆畫，模擬缺失類錯誤
• 筆畫交換（Stroke Swapping）：交換筆畫間的空間位置，模擬錯位類錯誤
• 筆畫插入（Stroke Insertion）：從其他字符中取出筆畫插入當(dāng)前字符，模擬冗余類錯誤

關(guān)鍵在于，這三種算子并非獨(dú)立使用，而是按順序隨機(jī)組合疊加，從而能夠模擬遠(yuǎn)比單一編輯更復(fù)雜、更貼近真實(shí)生成錯誤的結(jié)構(gòu)異常類型。在此基礎(chǔ)上，團(tuán)隊(duì)自研了一套基于 SynthTIGER 的文本渲染引擎，將生成的異常字符與規(guī)范字符放置到多樣化的背景與排版布局中，合成最終的富文本圖像（如圖 4 所示）。最終，將階段二的人工標(biāo)注數(shù)據(jù)與本階段的合成數(shù)據(jù)合并，形成訓(xùn)練集與測試集，數(shù)據(jù)集統(tǒng)計與分布詳見圖 5。

圖 5 TextPecker 數(shù)據(jù)集統(tǒng)計

結(jié)構(gòu)感知評估模塊的訓(xùn)練

基于上述數(shù)據(jù)集，研究團(tuán)隊(duì)對 Qwen3-VL 與 InternVL-3 進(jìn)行監(jiān)督微調(diào)（SFT），得到最終的結(jié)構(gòu)感知評估模塊，為強(qiáng)化學(xué)習(xí)提供結(jié)構(gòu)級獎勵信號。

四、從感知評估到跨模型生成優(yōu)化：TextPecker 實(shí)驗(yàn)全景

1. 結(jié)構(gòu)異常感知能力：現(xiàn)有模型近乎失靈，TextPecker 大幅領(lǐng)先

團(tuán)隊(duì)設(shè)計了兩項(xiàng)專用評測任務(wù)：文本結(jié)構(gòu)異常感知（TSAP）和規(guī)范文本識別（CTR），系統(tǒng)檢驗(yàn)?zāi)Ｐ蛯ι晌谋局屑?xì)粒度結(jié)構(gòu)缺陷的辨識能力。結(jié)果揭示了一個嚴(yán)峻事實(shí)：無論是專業(yè) OCR 模型（PP-OCRv5、GOT-OCR-2.0、MonkeyOCR 等）還是頂尖多模態(tài)大模型（GPT-5、Gemini-2.5-Pro 等），在 TSAP 任務(wù)上的 F1 均不超過 0.23，部分模型甚至完全無法檢出異常字符。

相比之下，TextPecker 在英文和中文 TSAP 上分別取得0.87和0.93的 F1 值，同時在 CTR 上也顯著優(yōu)于基線模型，驗(yàn)證了其結(jié)構(gòu)感知能力的全面優(yōu)勢。

圖 6 現(xiàn)有模型在文本結(jié)構(gòu)異常感知（TSAP）與規(guī)范文本識別（CTR）任務(wù)上的表現(xiàn)對比。TextPecker 在所有維度上大幅領(lǐng)先。

2. VTR 生成優(yōu)化：跨模型、跨語言的一致性提升

團(tuán)隊(duì)在 SD3.5-M、Flux.1 [dev]、Qwen-Image 三個生成模型上進(jìn)行了 RL 優(yōu)化實(shí)驗(yàn)，覆蓋 OneIG-Bench、LongText-Bench、CVTG-2K 及自建 GenTextEval 四個基準(zhǔn)。

結(jié)果顯示，TextPecker 獎勵信號在所有配置下均帶來一致提升。以 Flux.1 [dev] 英文生成為例，語義對齊（Sem.）和結(jié)構(gòu)質(zhì)量（Qua.）分別提升 +38.3% 和 +31.6%，同時在語義維度上超越 OCR 獎勵基線 +11.7%。

更具說服力的是，即便在已經(jīng)對文字生成高度優(yōu)化的 Qwen-Image 上，TextPecker 在中文渲染任務(wù)中仍實(shí)現(xiàn)了+8.7% Sem.和+4.0% Qua.的顯著增益，刷新了高保真 VTR 的 SOTA。

圖 7 TextPecker 在三大主流模型上的定量結(jié)果對比。

3. 定性對比：從「語義接近」到「結(jié)構(gòu)忠實(shí)」的質(zhì)變

原始 Qwen-Image 在小字、密集排版等高難場景中頻繁出現(xiàn)模糊、扭曲與錯位；基于 OCR 獎勵的 RL 優(yōu)化雖改善了語義一致性，但結(jié)構(gòu)缺陷依然存在。而 TextPecker 驅(qū)動的優(yōu)化則在結(jié)構(gòu)保真與語義準(zhǔn)確兩個維度實(shí)現(xiàn)了同步提升：以論文中的「英文菜單」和「中文論文」渲染案例為例，文字筆畫清晰、行列對齊，結(jié)構(gòu)畸變問題得到有效消除。

圖 8 TextPecker 顯著改善了 Qwen-Image 的文字渲染質(zhì)量，定性對比。

4. 消融實(shí)驗(yàn)：數(shù)據(jù)構(gòu)建與獎勵設(shè)計的協(xié)同效應(yīng)

研究團(tuán)隊(duì)通過兩組消融實(shí)驗(yàn)驗(yàn)證了方法各組件的貢獻(xiàn)（如圖 9、圖 10 所示）：

• 數(shù)據(jù)有效性：僅用人工標(biāo)注數(shù)據(jù)即可在 TSAP 上大幅超越基線，但中文識別出現(xiàn)下降；加入合成數(shù)據(jù)后中文性能全面恢復(fù)，TSAP 性能進(jìn)一步提升，驗(yàn)證了筆畫編輯引擎的必要性。
• 獎勵設(shè)計：逐步疊加詞級匹配（PM）與結(jié)構(gòu)質(zhì)量分?jǐn)?shù)，每一組件均帶來增量收益；將 OCR 獎勵替換為 TextPecker 獎勵后語義與結(jié)構(gòu)同步提升，完整獎勵設(shè)計達(dá)到最優(yōu)綜合性能。

圖 9 數(shù)據(jù)組成消融實(shí)驗(yàn)

圖 10 獎勵設(shè)計消融實(shí)驗(yàn)

5. 補(bǔ)充實(shí)驗(yàn)：從跨模型泛化到多獎勵協(xié)同下的魯棒優(yōu)化

除主實(shí)驗(yàn)外，研究團(tuán)隊(duì)在論文附錄中提供了兩組補(bǔ)充實(shí)驗(yàn)，從不同角度進(jìn)一步驗(yàn)證了 TextPecker 的泛化能力與實(shí)用潛力。

• 評估器的跨模型泛化驗(yàn)證

TextPecker 評估器是否僅對訓(xùn)練中涉及的生成模型有效？為此，團(tuán)隊(duì)選取訓(xùn)練過程中從未接觸過的 Nano Banana（Gemini-2.5-flash-image） 作為測試對象，在常規(guī)渲染、極端藝術(shù)字、低對比度排版三種遞進(jìn)難度下進(jìn)行驗(yàn)證（見圖 11）。結(jié)果顯示，TextPecker 在未見過的生成模型上依然保持強(qiáng)勁的結(jié)構(gòu)感知能力，常規(guī)與低對比度條件下表現(xiàn)尤為穩(wěn)��；性能衰減主要出現(xiàn)在極端藝術(shù)化字體場景，此時藝術(shù)變形與真實(shí)結(jié)構(gòu)缺陷的界限趨于模糊，也為后續(xù)研究指出了明確方向。

圖 11 TextPecker 的跨模型泛化表現(xiàn)

• 多獎勵協(xié)同下的增強(qiáng) RL 優(yōu)化

主實(shí)驗(yàn)中 TextPecker 僅使用文本渲染獎勵，單一目標(biāo)在實(shí)際應(yīng)用中不可避免地會影響圖像美學(xué)質(zhì)量。

為此，團(tuán)隊(duì)構(gòu)建了增強(qiáng) RL 框架：訓(xùn)練層面引入 Flow-GRPO-Fast、GRPO-Guard 及 Velocity KL 正則化以提升穩(wěn)定性；獎勵層面將 TextPecker 與 PickScore、Aesthetic Score 組合為多目標(biāo)獎勵，兼顧文字準(zhǔn)確性與畫面美學(xué)。實(shí)驗(yàn)覆蓋三個模型在 7 個英文基準(zhǔn)和 3 個中文基準(zhǔn)上的完整評測。

結(jié)果顯示，TextPecker 在多獎勵體系中的提升與主實(shí)驗(yàn)一致甚至更為顯著，在中英文場景下均取得了大幅度的質(zhì)量與語義雙重增益，驗(yàn)證了其獎勵信號與其他優(yōu)化目標(biāo)的兼容性，也表明 TextPecker 具備產(chǎn)品級優(yōu)化流程的落地潛力。

圖 12 TextPecker 在多獎勵協(xié)同優(yōu)化下提升依然顯著（中文）

圖 13 TextPecker 在多獎勵協(xié)同優(yōu)化下提升依然顯著（英文）

圖 14 Qwen-Image 經(jīng) TextPecker 多獎勵協(xié)同優(yōu)化后，文字保真度與畫面美學(xué)實(shí)現(xiàn)良好平衡

五、總結(jié)：從結(jié)構(gòu)感知到可信賴的視覺文本生成

TextPecker 揭示了制約視覺文本渲染質(zhì)量的關(guān)鍵瓶頸 —— 現(xiàn)有評估模型無法感知生成文字中的細(xì)粒度結(jié)構(gòu)異常，并圍繞這一問題給出了完整的解決方案：構(gòu)建字符級結(jié)構(gòu)異常數(shù)據(jù)集訓(xùn)練專用評估器，設(shè)計兼顧語義對齊與結(jié)構(gòu)質(zhì)量的復(fù)合獎勵函數(shù)，以即插即用的方式為主流生成模型提供結(jié)構(gòu)級優(yōu)化信號。

實(shí)驗(yàn)表明，該方法在所有測試模型上均帶來一致提升，將高保真視覺文本渲染推向了新的水平。

從更宏觀的視角看，可靠的文字渲染能力是多模態(tài) AI 走向真實(shí)應(yīng)用的關(guān)鍵基礎(chǔ)設(shè)施，從 AI Agent 自主生成海報文檔，到多模態(tài)大模型輸出含文字的視覺內(nèi)容，都以此為前提。TextPecker 為這一方向提供了基礎(chǔ)性的評估工具與優(yōu)化范式。