解幾何題時，你是否會先畫一條輔助線來幫助思考？創(chuàng)作一幅畫時，你是否需要先理解光影和物理原理？

這種「理解」與「生成」的緊密協(xié)同，是人類智能的核心特征。近年來，AI社區(qū)致力于構(gòu)建「統(tǒng)一多模態(tài)模型」，期望它們能像人一樣，在單個模型內(nèi)同時具備強大的視覺理解和內(nèi)容生成能力。

我們?nèi)绾沃澜y(tǒng)一模型的生成和理解能力有何協(xié)同作用？

過去多模態(tài)評測常把理解與生成分開測，或只看表層一致性，難以揭示兩者真正的交互與依賴。但很多真實任務(wù)恰恰要求“邊畫邊想、邊想邊畫”，體現(xiàn)出邏輯耦合。

論文標(biāo)題： Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark 論文鏈接： https://arxiv.org/abs/2510.13759

為了解決這一問題，來自 S-Lab（南洋理工大學(xué)）、上海人工智能實驗室、中國科學(xué)技術(shù)大學(xué)和香港中文大學(xué)的研究者們推出了 Uni-MMMU ：

1.首個系統(tǒng)性評“理解?生成雙向增益”的基準(zhǔn)：8 個推理中心任務(wù)，覆蓋幾何空間推理、STEM等強邏輯學(xué)科，分別檢驗“生成助理解”“理解助生成”。

2.過程+結(jié)果“雙通道打分”：既看最終答案，也嚴(yán)查中間視覺步驟（如每一步生成圖是否正確），并以可復(fù)現(xiàn)的程序化解析器/感知度量/模型打分綜合評估，精準(zhǔn)可復(fù)現(xiàn)。

3.關(guān)鍵發(fā)現(xiàn)：當(dāng)前“統(tǒng)一模型”整體理解顯著強于生成；“先生成中間態(tài)→再推理”比端到端更穩(wěn)，若給到 “正確中間態(tài)(oracle)”，成績還會顯著上升。

一、Uni-MMMU：一個“雙向奔赴”的協(xié)同基準(zhǔn)

Uni-MMMU的設(shè)計理念是“雙向耦合” (bidirectionally coupled)。它涵蓋了科學(xué)、編碼、數(shù)學(xué)和謎題等8個以推理為中心的領(lǐng)域，系統(tǒng)地考察兩種核心協(xié)同路徑：

范式一：理解指導(dǎo)生成 (Und aids Gen)

在這類任務(wù)中，模型必須先“想明白”，才能“畫得對”。

科學(xué)（物理/化學(xué)/生物）： 模型需根據(jù)給定的初始狀態(tài)和科學(xué)原理（如“檸檬汁是酸性的”），推理出最終的物理或化學(xué)變化，并生成描繪該結(jié)果的圖像（如“紫色石蕊試紙浸入后變紅”）。

代碼渲染： 模型被給予原始的圖形渲染源代碼（SVG） ，它必須在不依賴外部工具的情況下，“讀懂”代碼邏輯（如形狀、顏色、位置），先用自然語言描述出場景，然后再精確地將代碼“渲染”成圖像 。

范式二：生成輔助理解 (Gen aids Und)

在這類任務(wù)中，模型必須“邊畫邊想”，利用生成的圖像來輔助自己找到答案。

幾何題： 這是對人類解題思路的直接模擬。模型需要先根據(jù)指令“畫出”正確的輔助線，生成一張新圖 ，然后再利用這張自己生成的圖來進行邏輯推理，最終解出答案 。

迷宮導(dǎo)航： 模型需要一步一步地走出迷宮 。每一步，它都必須交替生成（1）下一步的移動方向（文本）和（2）移動后迷宮的新狀態(tài)（圖像）。

滑塊Puzzle： 類似于迷宮，模型需要規(guī)劃出到達目標(biāo)狀態(tài)的最短路徑，并交替輸出文本的移動指令和對應(yīng)的拼圖視覺狀態(tài) 。

Jigsaw拼圖： 模型需要面對一塊缺失的拼圖和兩個候選補丁 。它必須先分別生成“用候選A補全”和“用候選B補全”的兩張完整圖像 ，然后再“看著”自己生成的這兩張圖，做出判斷和推理，選出正確答案 。

評價體系同樣講究：

• 所有任務(wù)的理解和生成部分均提供GT，同時評估中間模態(tài)和最終答案。

• 迷宮/滑塊設(shè)計代碼解析器將圖像解析為離散狀態(tài)，既算步級準(zhǔn)確率也算整題準(zhǔn)確率；

• 拼圖用 DreamSim 量化生成圖與GT的感知相似度；

• 幾何/科學(xué)/代碼引入VLM 多維度打分，并報告Cohen’s κ與人類專家評估的一致度，強調(diào)可靠性。

研究團隊使用 Uni-MMMU 對一系列開源閉源SOTA的統(tǒng)一模型（如 Bagel、nano-banana、GPT-4.1+GPT-image 等）和專用模型進行了全面評估 。

表中數(shù)據(jù)體現(xiàn)了開源與閉源模型之間的顯著差距，此外結(jié)果也揭示了當(dāng)前領(lǐng)域的重要見解：

發(fā)現(xiàn)一：生成理解協(xié)同作用真實有效

實驗證明，這種「生成」與「理解」的協(xié)同是解決復(fù)雜問題的關(guān)鍵。分析顯示，即使模型生成的中間步驟并不完美，也比完全不生成（即端到端）的方案準(zhǔn)確率更高 。而當(dāng)提供完美的中間步驟（Oracle）時，模型性能會得到巨幅提升 ，如表4所示。

發(fā)現(xiàn)二：當(dāng)前統(tǒng)一模型普遍「偏科」，生成是最大瓶頸

評估暴露出一個清晰的趨勢：當(dāng)前統(tǒng)一模型嚴(yán)重偏向于「理解」能力，而「生成」能力是主要的瓶頸 。

模型的失敗點高度集中在：

1. 編輯一致性漂移

2. 指令遵循不嚴(yán)

3. 位置/拓撲偏差

例如，在代碼渲染任務(wù)中，Qwen-Image-Edit 會錯誤地將本應(yīng)是文本描述的 SVG 代碼也“渲染”到圖像上 。在迷宮任務(wù)中，Bagel 則傾向于生成無法解析的“無意義符號” 。

總之，當(dāng)前主流模型在實驗中暴露出生成能力“短板”、邏輯鏈條易斷、空間表達偏差等痛點，也為下一代通用模型的優(yōu)化指明了方向。未來，模型不再只是“看得懂”或“畫得出”，而是要真正具備“看中有畫、畫中有思”的協(xié)同智能。Uni-MMMU 的發(fā)布無疑是邁向這一目標(biāo)的重要一步。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈