ZwZ 通過"區(qū)域到圖像蒸餾"將推理時的 Zooming 操作轉(zhuǎn)化為訓練目標，讓多模態(tài)大模型不需要調(diào)用工具、僅在單次前向傳播中實現(xiàn)細粒度感知，同時達到開源SOTA性能。

上海交通大學與螞蟻集團聯(lián)合研究團隊發(fā)布最新多模態(tài)大模型成果“Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception”。這項研究讓多模態(tài)大模型在單次前向傳播中就能實現(xiàn)原本需要反復"放大-觀察"才能完成的細粒度感知任務，真正做到"既快又準"。團隊開源的 ZwZ（4/7/8B）模型家族在多模態(tài)細粒度感知任務中達到開源模型 SOTA 性能，超越 Kimi-K2.5、Qwen3-VL-235B 等眾多行業(yè)標桿模型。

論文信息

標題: Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception

論文: https://arxiv.org/pdf/2602.11858

作者: 魏來、何梁博、蘭鈞、董凌眾、蔡雨彤、李思遠、?；奂?、王維強、孔令和、汪躍、張倬勝、黃維然

單位: 上海交通大學、螞蟻集團、北京中關(guān)村學院、上海創(chuàng)智學院

代碼: https://github.com/inclusionAI/Zooming-without-Zooming

模型/數(shù)據(jù): https://huggingface.co/collections/inclusionAI/zooming-without-zooming

01

痛點：AI看圖的"近視困境"

當前多模態(tài)大語言模型（MLLMs）雖然已具備不錯的圖像理解能力，但在細粒度感知任務上卻仍然容易變成"近視眼"：面對圖片中的微小文字與符號常常視而不見，難以辨別細膩的顏色差異和材質(zhì)紋理，在密集小物體的計數(shù)任務上也頻繁出錯。這類任務的共同特點是：關(guān)鍵證據(jù)往往只占圖像的很小區(qū)域，極易被全局上下文淹沒，模型必須從成千上萬的視覺 tokens 中精準檢索這些"滄海遺珠"，難度可想而知。

為破解這一困局，當前主流方案是“Thinking-with-Images”范式，即讓AI像人一樣反復縮放、裁剪、觀察感興趣區(qū)域。這種交互式方法確實能緩解感知壓力，一旦微小區(qū)塊被單獨提取出來，模型便能專注于細節(jié)識別，將"大海撈針"轉(zhuǎn)化為直接辨認。然而，代價同樣明顯：多次工具調(diào)用與反復視覺編碼帶來嚴重的延遲開銷，讓實時應用成為奢望。

核心問題：能否既享受"放大觀察"的準確性，又保持"一眼掃過"的速度？

02

破局：把"縮放"從推理工具轉(zhuǎn)成訓練目標

為此，研究團隊提出了Region-to-Image Distillation（R2I，區(qū)域到圖像蒸餾）方法，核心思路簡潔而巧妙：先通過Zoom in讓模型聚焦“小圖”合成高質(zhì)量數(shù)據(jù)；隨后再Zoom out將這些合成的數(shù)據(jù)映射回全圖視角，并基于這些數(shù)據(jù)進行強化學習，使模型逐步學會直接“從全圖看”。最終，模型在推理階段無需再執(zhí)行 Zoom in and out 操作，相當于將模型在局部區(qū)域（Region）上的高精度能力蒸餾到全圖（Image）視角中。

具體而言，R2I 包含以下幾個關(guān)鍵步驟：

1、首先利用目標檢測系統(tǒng)定位圖像中的微小區(qū)塊（面積小于原圖的10%），確保這些區(qū)域包含關(guān)鍵視覺證據(jù)；

2、接著讓 Qwen3-VL-235B、GLM-4.5V 等強模型在裁剪后的清晰小圖上生成感知相關(guān)問題；

3、通過多模型投票達成共識答案，只保留高置信度的標注以最大限度抑制幻覺；

4、為避免指代歧義，將邊界框疊加到原圖上，并在問題中加入空間約束（如"只看紅框內(nèi)的物體"）；

5、隨后用拒絕采樣過濾掉太簡單的樣本確保訓練效率；

6、最后基于視覺錨定后的全圖、合成的問題與答案，通過純強化學習訓練，讓模型學會直接從全圖中定位并看清關(guān)鍵證據(jù)，無需任何工具調(diào)用。

總結(jié)來說：我們在合成數(shù)據(jù)時為多模態(tài)大模型"戴上放大鏡"，利用"Zooming"確保合成數(shù)據(jù)的高質(zhì)量；訓練時基于原圖訓練，讓模型只看原圖就能回答正確，實現(xiàn)"裸眼看清"！

03

ZoomBench：細粒度感知的新基準

為嚴格評估這種"不縮放也能看清"的能力，研究團隊專門構(gòu)建了ZoomBench基準測試。該 benchmark 包含 845 個高質(zhì)量樣本，涵蓋大量高分辨率圖片，采用 AI 合成與人工驗證相結(jié)合的高效混合構(gòu)建方式——每個問答對先由 AI 合成，再經(jīng) 3 位作者獨立審核，確保問題有效、答案準確。與現(xiàn)有基準相比，ZoomBench 實現(xiàn)了六大感知維度的全覆蓋，包括細粒度計數(shù)（24%）、OCR（15%）、顏色屬性（29%）、結(jié)構(gòu)屬性（18%）、材質(zhì)屬性（7%）和物體識別（7%），同時支持多選題與開放題兩種格式。

ZoomBench 的核心創(chuàng)新在于雙視角評估模式（Dual-View）。每個樣本都提供完整原圖和對應的關(guān)鍵區(qū)域裁剪圖，分別對應"全局視角"和"局部視角"兩種測試條件。局部視角準確率可視為理論上限（證據(jù)明確可見時模型能否答對），全局視角準確率則反映真實場景下的感知能力（能否從完整圖片中定位關(guān)鍵證據(jù)）。兩者之差即為"縮放差距"（Zooming Gap），這一指標直接量化了模型"找不到關(guān)鍵證據(jù)"的瓶頸，為診斷細粒度感知能力提供了精確標尺。此外，ZoomBench 還配備自動標注的關(guān)鍵區(qū)域邊界框，支持基于注意力可視化的可解釋性分析。

04

效果：ZwZ 打敗超大規(guī)模模型

研究團隊基于 Qwen-VL 用 Region-to-Image Distillation 合成的數(shù)據(jù)進行強化微調(diào)，得到的ZwZ 系列模型（4B/7B/8B 參數(shù)）在多項基準測試上表現(xiàn)亮眼。值得注意的是，8B 參數(shù)的 ZwZ-8B 在綜合感知任務平均性能上超過了 235B 參數(shù)的 Qwen3-VL-235B，108B 參數(shù)的 GLM-4.5V，以及最新發(fā)布的 1T 參數(shù)的 Kimi-K2.5，并且逼近最頂尖的閉源模型 Gemini-3-Flash。

同時，ZwZ-8B 僅通過測試時單次推理，性能即可超越 Qwen3-VL-8B 結(jié)合官方工具的多輪交互效果，以及其他 Thinking with Images Agentic 模型（比如 Deepeyes，Thyme），速度提升約 10 倍。

此外，ZwZ 在 AIGC 檢測、GUI Agent 等真實任務上也展現(xiàn)出強勁的泛化能力。

ZoomBench 的獨特設計也讓我們能精確診斷模型的"視力問題"。在雙視角評估模式中，基線模型（Qwen3-VL-8B）呈現(xiàn)出明顯的"放大看得懂，不放大找不著"現(xiàn)象：局部視角準確率 63% versus 全局視角 38%，差距高達 25%。而 ZwZ 將這一"縮放差距"顯著縮小至 15%，證明模型真正學會了從全局中定位微證據(jù)。注意力可視化結(jié)果進一步佐證：ZwZ-8B 在關(guān)鍵邊界框內(nèi)的注意力覆蓋率從 17.39% 提升至 21.64%，提升了 4.25 個百分點。

05

深入洞察：什么時候該用工具，什么時候不需要？

論文深入探討了 “Thinking with Images” 范式的邊界，提出信息增益判別準則，將工具動作分為兩類：

信息增益型如網(wǎng)頁搜索、檢索外部知識，這類操作引入當前視圖不可預測的新信息，必須使用工具；無信息增益型如縮放、旋轉(zhuǎn)、翻轉(zhuǎn)、2D/3D 定位、去噪等，僅是對已有信息的重新格式化或突出顯示，其結(jié)果完全可以基于當前視圖預測，可通過訓練內(nèi)化到模型中。

核心洞察：如果工具調(diào)用只是"重新格式化"已有信息（讓關(guān)鍵細節(jié)更容易看），而非獲取新信息，那么它的收益完全可以用 Algorithm 1 所示的方法，通過訓練內(nèi)化到模型權(quán)重中，無需在推理時犧牲速度。

Zooming 正是典型的無信息增益型操作——裁剪后的內(nèi)容本就存在于原圖中，只是被全局上下文"淹沒"。R2I 通過訓練讓模型學會"腦內(nèi)縮放"，將工具收益壓縮進單次前向傳播。展望未來，研究團隊認為下一代 “Thinking with Images” 范式應當盡可能內(nèi)化無信息增益的工具調(diào)用，同時學會動態(tài)靈活地調(diào)用能帶來信息增益的工具，在速度與能力之間取得最佳平衡。

06

總結(jié)

這項研究不僅提出了一種高效的數(shù)據(jù)合成方法，更重新定義了"工具使用"與"模型能力"的邊界——通過 Region-to-Image Distillation 將"縮放"從推理時工具轉(zhuǎn)化為訓練時目標，讓多模態(tài)大模型在保持單遍推理速度的同時，獲得媲美工具調(diào)用的細粒度感知能力，為實際部署提供了"既快又準"的新范式。

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。