文章來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)（ID：aicvml）

最近，來(lái)自牛津大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、中南大學(xué)和微軟研究院的研究者們聯(lián)手，帶來(lái)了一項(xiàng)非常有意思的工作：VCode。簡(jiǎn)單來(lái)說(shuō)，他們不再讓AI模型僅僅“看懂”圖片，而是要求模型將圖片“翻譯”成一種名為SVG的代碼。這種做法，就像是讓AI學(xué)習(xí)用簡(jiǎn)筆畫(huà)和符號(hào)來(lái)復(fù)刻一幅畫(huà)，不僅要畫(huà)得像，更要抓住畫(huà)里的精髓。

這項(xiàng)研究的核心思想是，通過(guò)生成精確、可執(zhí)行的代碼，我們可以更深入地檢驗(yàn)和提升AI對(duì)視覺(jué)世界的理解能力。

• 
  

  論文標(biāo)題 : VCode: a Multimodal Coding Benchmark with SVG as Symbolic Visual Representation

• 作者 : Kevin Qinghong Lin, Yuhao Zheng, Hangyu Ran, Dantong Zhu, Dongxing Mao, Linjie Li, Philip Torr, Alex Jinpeng Wang

• 機(jī)構(gòu) : 牛津大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、中南大學(xué)、微軟研究院

• 論文地址 : https://arxiv.org/abs/2511.02778

• 項(xiàng)目主頁(yè) : https://csu-jpg.github.io/VCode

• 代碼倉(cāng)庫(kù) : https://github.com/CSU-JPG/VCode

我們知道，現(xiàn)在的大模型（VLMs）在處理語(yǔ)言任務(wù)上已經(jīng)非常強(qiáng)大，但在理解視覺(jué)信息方面，它們大多還停留在像素層面。也就是說(shuō)，模型看到的是一堆RGB值，雖然能識(shí)別出物體，但很難像人類一樣，提煉出物體之間的結(jié)構(gòu)、關(guān)系和符號(hào)意義。

舉個(gè)例子，人類看到一張畫(huà)，可能會(huì)隨手畫(huà)個(gè)草圖，勾勒出主要輪廓和布局。這個(gè)草圖就是一種符號(hào)化的表示，它緊湊、易于理解，并且抓住了核心信息。受到這個(gè)啟發(fā)，研究者們想，能不能讓AI也學(xué)會(huì)這種“打草稿”的能力呢？

他們選擇了SVG（可縮放矢量圖形）作為這種“草圖”的載體。SVG是一種用代碼來(lái)描述圖形的格式，具有緊湊、可解釋和可執(zhí)行的優(yōu)點(diǎn)。于是，一個(gè)全新的任務(wù)誕生了：將圖片（像素表示）轉(zhuǎn)化為SVG代碼（符號(hào)表示）。

VCode基準(zhǔn)：三大領(lǐng)域考驗(yàn)AI的“畫(huà)功”

為了系統(tǒng)地評(píng)估模型將圖像轉(zhuǎn)化為SVG代碼的能力，研究團(tuán)隊(duì)構(gòu)建了 VCode 基準(zhǔn)。這個(gè)基準(zhǔn)并非從零開(kāi)始，而是巧妙地“再利用”了現(xiàn)有的三個(gè)經(jīng)典多模態(tài)評(píng)測(cè)集，覆蓋了不同難度和維度的挑戰(zhàn)：

• 通用常識(shí) (MM-Vet) : 考察模型對(duì)日常場(chǎng)景和空間關(guān)系的理解。

• 專業(yè)學(xué)科 (MMMU) : 涉及大學(xué)水平的專業(yè)知識(shí)，需要模型具備更深層次的推理能力。

• 視覺(jué)感知 (CV-Bench) : 專注于更純粹的視覺(jué)任務(wù)，如物體計(jì)數(shù)、距離估計(jì)和三維關(guān)系判斷。

通過(guò)這三個(gè)維度的考驗(yàn)，VCode能夠全面地衡量一個(gè)模型是否真正“理解”了圖像的符號(hào)意義。

CodeVQA：一種新穎的評(píng)估范式

那么，如何判斷模型生成的SVG代碼好不好呢？傳統(tǒng)的像素級(jí)對(duì)比顯然不合適，因?yàn)槲覀冏非蟮氖恰吧袼啤倍恰靶嗡啤薄?/p>

為此，論文提出了一個(gè)名為 CodeVQA 的創(chuàng)新評(píng)估方法。它的流程是：

1. 模型根據(jù)原圖生成SVG代碼。

2. 將SVG代碼渲染成一張新的圖片。

3. 讓一個(gè)策略模型（Policy Model）看著這張渲染出來(lái)的圖片，回答關(guān)于原圖的問(wèn)題。

如果策略模型能夠正確回答，就說(shuō)明SVG代碼成功地保留了原圖的關(guān)鍵符號(hào)信息。反之，則說(shuō)明轉(zhuǎn)化過(guò)程中信息丟失了。CV君認(rèn)為，這種評(píng)估方式非常巧妙，它繞開(kāi)了像素比較的難題，直擊“符號(hào)保真度”這一核心。

VCoder：兩大“法寶”提升模型表現(xiàn)

實(shí)驗(yàn)發(fā)現(xiàn)，即便是當(dāng)前最強(qiáng)的多模態(tài)大模型（如GPT-4o, Claude 3 Opus），在VCode基準(zhǔn)上的表現(xiàn)也差強(qiáng)人意。這暴露了它們?cè)谝曈X(jué)中心編碼能力上的短板。

為了解決這個(gè)問(wèn)題，研究者們提出了一個(gè)名為 VCoder 的代理框架，它從兩個(gè)方面來(lái)增強(qiáng)現(xiàn)有VLM的能力：

1. 思考與修正 (Thinking with Revision) : 這是一個(gè)迭代優(yōu)化的過(guò)程。模型首先生成一個(gè)初始版本的SVG，然后自己對(duì)比渲染圖和原圖的差異，并“寫下”評(píng)論，最后根據(jù)這些評(píng)論來(lái)修改代碼。這個(gè)過(guò)程循環(huán)往復(fù)，不斷提升SVG的保真度。

2. 行動(dòng)與視覺(jué)工具 (Acting with Visual Tools) : 允許模型調(diào)用外部的“視覺(jué)工具箱”，比如物體檢測(cè)器、分割模型、OCR工具等。這些工具可以提供關(guān)于物體類別、位置、形狀、顏色和文本的結(jié)構(gòu)化信息，作為代碼生成的“輔助線”，彌補(bǔ)模型自身在底層感知上的不足。

搭載了VCoder框架后，模型性能得到了巨大提升。

從上表的主實(shí)驗(yàn)結(jié)果可以看出：

• 現(xiàn)有模型仍有差距 ：即使是像GPT-5這樣的頂級(jí)模型，在CodeVQA上的得分（46.8）也遠(yuǎn)低于直接在原圖上進(jìn)行問(wèn)答的上限（61.7），說(shuō)明從圖像到符號(hào)代碼的轉(zhuǎn)換仍然是一個(gè)巨大的挑戰(zhàn)。

• VCoder提升巨大 ：基于Claude-4-Opus，VCoder框架帶來(lái)了 12.3個(gè)點(diǎn) 的驚人總體性能提升，證明了“思考與修正”和“行動(dòng)與視覺(jué)工具”這兩大法寶的有效性。

• 知識(shí)和3D是難點(diǎn) ：所有模型在需要專業(yè)知識(shí)和3D空間推理的子任務(wù)上表現(xiàn)普遍不佳，這指明了未來(lái)研究需要攻克的方向。

下面的定性結(jié)果更直觀地展示了VCoder的威力。無(wú)論是網(wǎng)絡(luò)迷因圖，還是涉及藝術(shù)理論和3D場(chǎng)景的復(fù)雜圖像，VCoder生成的SVG都更加忠實(shí)于原作的結(jié)構(gòu)和語(yǔ)義。

消融實(shí)驗(yàn)進(jìn)一步證明，無(wú)論是引入視覺(jué)工具（特別是形狀和文本信息），還是增加修正的輪次，都能穩(wěn)定地提升模型性能。

總結(jié)

總的來(lái)說(shuō)，VCode不僅為多模態(tài)領(lǐng)域提供了一個(gè)全新的、富有挑戰(zhàn)性的視角，也通過(guò)VCoder框架展示了提升模型符號(hào)推理能力的有效路徑。這項(xiàng)工作讓我們離真正能像人一樣思考和理解視覺(jué)世界的AI又近了一步。

你覺(jué)得這個(gè)技術(shù)未來(lái)會(huì)用在哪些場(chǎng)景？一起來(lái)聊聊吧！