這項(xiàng)由法國人工智能公司Valeo.ai與索邦大學(xué)、法國國家科學(xué)研究中心（CNRS）以及法國大學(xué)研究院（IUF）聯(lián)合開展的研究，以預(yù)印本形式于2026年4月14日發(fā)布在arXiv平臺(tái)，論文編號(hào)為arXiv:2604.12966v1。感興趣的讀者可通過該編號(hào)查詢完整原文。

**視覺失明的"讀圖專家"**

現(xiàn)在的人工智能聊天助手，表面上看起來無所不知。你扔給它一張圖，它能說出里面有什么物體、大致場(chǎng)景是什么、甚至幫你寫一段描述。但如果你問它："圖里有幾盞臺(tái)燈？"或者"那只貓是在車上面還是車下面？"，這類需要仔細(xì)數(shù)數(shù)、辨別空間位置的問題，往往會(huì)讓它翻車。

這種現(xiàn)象背后有一個(gè)有趣的根本原因，而這項(xiàng)研究的核心工作，就是找出這個(gè)原因并提出一個(gè)出奇簡(jiǎn)單的解法。

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的多模態(tài)大語言模型——也就是那種既能看圖又能聊天的AI——在訓(xùn)練時(shí)存在一個(gè)隱患：它們做題的時(shí)候，往往不需要真正"看"圖就能答對(duì)。

可以用一個(gè)生活場(chǎng)景來理解這件事。假設(shè)你參加了一場(chǎng)語文考試，題目是"根據(jù)下面這段描述，回答主人公的心情是什么"。但你平時(shí)讀了太多小說，對(duì)各種故事套路了如指掌，所以不看文字，光憑題目本身的措辭，就能猜出答案是"悲傷"。久而久之，你養(yǎng)成了靠套路答題的習(xí)慣，真正理解文章內(nèi)容的能力反而退化了。

AI訓(xùn)練時(shí)面臨的問題如出一轍。那些用來訓(xùn)練AI的"圖文問答題"，很多都能靠"文字經(jīng)驗(yàn)"猜出答案。比如問"圖里有一只貓，它在干什么？"——就算不看圖，AI也能根據(jù)日常語言規(guī)律猜"貓可能在睡覺或玩耍"，并且有相當(dāng)高的概率蒙對(duì)。這種"走捷徑"的策略讓AI在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，卻讓它的真實(shí)視覺理解能力形同虛設(shè)。

**一、為什么好眼神卻不會(huì)"看"：解剖AI視覺短板的真正根源**

在此之前，研究界普遍認(rèn)為AI看圖能力差，是因?yàn)樗褂玫囊曈X編碼器（相當(dāng)于眼睛）不夠好。于是大家爭(zhēng)相設(shè)計(jì)更強(qiáng)大的"眼睛"，或者把多個(gè)不同的"眼睛"拼在一起用。

然而，這項(xiàng)研究指出了一個(gè)更微妙的問題所在：眼睛本身沒毛病，是大腦懶得去聽眼睛說話。

現(xiàn)代AI系統(tǒng)使用的視覺編碼器，比如CLIP和DINOv2，其實(shí)已經(jīng)能捕捉到非常豐富的視覺細(xì)節(jié)。問題在于，當(dāng)這些視覺信息傳遞給負(fù)責(zé)"思考和回答"的語言模型時(shí)，語言模型傾向于忽略這些視覺信號(hào)，轉(zhuǎn)而依賴自己從海量文字訓(xùn)練中積累的"語言直覺"來作答。

這種現(xiàn)象有點(diǎn)像一位學(xué)識(shí)淵博的圖書館員，你拿著一張照片去問他問題，他沒有認(rèn)真看照片，而是憑借多年看書的經(jīng)驗(yàn)直接給你一個(gè)聽起來合理的答案。如果照片內(nèi)容比較尋常，他可能碰巧答對(duì)了；但如果照片里有什么特殊或反常的細(xì)節(jié)，他就會(huì)答錯(cuò)，因?yàn)樗緵]有真正"看"。

更令人擔(dān)憂的是，隨著模型規(guī)模越來越大、訓(xùn)練數(shù)據(jù)越來越多，這個(gè)問題并沒有自然消失。強(qiáng)大的語言先驗(yàn)反而會(huì)變得更強(qiáng)，走捷徑的傾向更加根深蒂固。

正是基于這一洞察，研究團(tuán)隊(duì)提出了一個(gè)全新的思路：與其修改AI的"眼睛"，不如在訓(xùn)練階段強(qiáng)制AI必須用"眼睛"才能答對(duì)題。

**二、往訓(xùn)練題庫里摻"沙子"：V-GIFT方法的核心思路**

研究團(tuán)隊(duì)給這套方法起了一個(gè)名字：V-GIFT，即"視覺驅(qū)動(dòng)指令微調(diào)"（Visually Grounded Instruction Fine-Tuning）。

它的核心思路可以用一個(gè)教育類比來理解。一位語文老師發(fā)現(xiàn)班上的學(xué)生擅長猜答案，不喜歡認(rèn)真讀文章。于是老師采取了一個(gè)策略：在日常練習(xí)題里，摻入少量"必須認(rèn)真讀原文才能答對(duì)"的題型，比如"請(qǐng)找出第三段第二句的第五個(gè)字"或者"文中哪個(gè)顏色的衣服出現(xiàn)了三次"。這些題沒有任何套路可循，必須老老實(shí)實(shí)看原文。學(xué)生做多了這類題，就會(huì)養(yǎng)成認(rèn)真閱讀的習(xí)慣，整體理解能力也隨之提升。

V-GIFT做的，就是往AI的訓(xùn)練題庫里摻入這樣的"強(qiáng)制看圖題"。這些題目來自經(jīng)典的自監(jiān)督學(xué)習(xí)（Self-Supervised Learning，SSL）領(lǐng)域，即通過改造圖片本身來自動(dòng)生成訓(xùn)練信號(hào)的技術(shù)，而非依賴人工標(biāo)注。研究團(tuán)隊(duì)將三種經(jīng)典的自監(jiān)督預(yù)訓(xùn)練任務(wù)，改造成了與普通訓(xùn)練數(shù)據(jù)格式完全相同的"圖文問答題"。

第一種是旋轉(zhuǎn)預(yù)測(cè)。研究團(tuán)隊(duì)把一張普通圖片旋轉(zhuǎn)0度、90度、180度或270度，然后讓AI回答"這張圖被旋轉(zhuǎn)了多少度"。要回答這個(gè)問題，AI必須真正觀察圖中物體的朝向，判斷它與現(xiàn)實(shí)世界中物體正常朝向的偏差。一輛倒置的汽車、一個(gè)斜歪的人臉——這些視覺細(xì)節(jié)無法通過語言猜測(cè)得到，必須靠"看"。

第二種是顏色匹配。研究團(tuán)隊(duì)把彩色圖片轉(zhuǎn)換為灰度圖（也就是黑白圖），在圖上隨機(jī)標(biāo)注五個(gè)點(diǎn)，用字母A到E標(biāo)記。然后把這五個(gè)點(diǎn)在原始彩色圖中對(duì)應(yīng)的顏色打亂順序列出來，要求AI把每個(gè)字母對(duì)應(yīng)到正確的顏色編號(hào)上。這個(gè)任務(wù)需要AI辨認(rèn)每個(gè)標(biāo)記點(diǎn)所在的物體，聯(lián)系上下文判斷其顏色。比如某個(gè)點(diǎn)在天空區(qū)域，大概率是藍(lán)色；某個(gè)點(diǎn)在草地上，大概率是綠色。這不僅需要精細(xì)的視覺辨別，還需要整合全局語境。而且，顏色的順序是被打亂的，完全沒有語言規(guī)律可循。

第三種是跨視角對(duì)應(yīng)點(diǎn)。研究團(tuán)隊(duì)使用一對(duì)拍攝同一物體的不同視角圖片，在第一張圖上標(biāo)注一個(gè)"查詢點(diǎn)"，在第二張圖上標(biāo)注三個(gè)候選點(diǎn)（其中一個(gè)是正確的對(duì)應(yīng)點(diǎn)，兩個(gè)是干擾點(diǎn)）。AI需要判斷哪個(gè)候選點(diǎn)與查詢點(diǎn)在視覺上對(duì)應(yīng)。這個(gè)任務(wù)需要AI理解物體的三維結(jié)構(gòu)，跨越視角變化來匹配語義一致的位置。這種跨圖理解能力，是任何語言先驗(yàn)都無法提供的。

這三類任務(wù)有一個(gè)共同特點(diǎn)：答案無法從語言經(jīng)驗(yàn)中推導(dǎo)出來。一張圖被旋轉(zhuǎn)了90度還是180度，跟圖片內(nèi)容描述毫無關(guān)系；一個(gè)黑白圖上的點(diǎn)是什么顏色，沒有任何文字線索；兩張圖之間哪兩個(gè)點(diǎn)對(duì)應(yīng)，需要精確的視覺特征匹配。AI必須真正啟用視覺感知能力，才能做對(duì)這些題。

**三、摻多少才合適：一點(diǎn)點(diǎn)就夠了**

這套方法最令人稱道的特性之一，是它非常"輕量"——不需要修改模型結(jié)構(gòu)，不需要額外的訓(xùn)練階段，不需要人工標(biāo)注，更不需要復(fù)雜的超參數(shù)調(diào)整。

研究團(tuán)隊(duì)只是在原有的訓(xùn)練數(shù)據(jù)集里，額外加入少量這類"強(qiáng)制看圖題"，然后用和原來完全一樣的方式訓(xùn)練模型。新增數(shù)據(jù)的比例，用希臘字母ρ（rho）來表示，代表新增題目數(shù)量占原有數(shù)據(jù)集的百分比。

實(shí)驗(yàn)結(jié)果顯示，僅需加入原始數(shù)據(jù)量3%到10%的這類題目，就能帶來穩(wěn)定可見的性能提升。對(duì)于LLaVA-1.5系列模型，最佳比例是10%；對(duì)于更強(qiáng)的LLaVA-OneVision-1.5模型，最佳比例是3%。超過這個(gè)比例之后，收益開始飽和甚至略有下降，因?yàn)檫^多的"看圖強(qiáng)制題"會(huì)對(duì)原有的語言指令理解能力產(chǎn)生干擾。

有一個(gè)尤為值得一提的發(fā)現(xiàn)：研究團(tuán)隊(duì)測(cè)試了用"單張圖片的多個(gè)裁切放大版本"來生成這些訓(xùn)練題，結(jié)果一樣有效。換句話說，你甚至不需要一個(gè)大型圖片數(shù)據(jù)集，僅用一張高清圖片生成數(shù)百個(gè)不同角度和區(qū)域的版本，就足以產(chǎn)生有效的視覺訓(xùn)練信號(hào)。這說明關(guān)鍵不在于數(shù)據(jù)量，而在于訓(xùn)練信號(hào)的性質(zhì)——必須是那種"不看圖就答不了"的題型。

**四、實(shí)驗(yàn)怎么做的，成效如何**

研究團(tuán)隊(duì)在多個(gè)不同的模型和訓(xùn)練設(shè)置下進(jìn)行了驗(yàn)證，以確保結(jié)論的普遍性。

測(cè)試的模型包括三個(gè)系列：LLaVA-1.5-Vicuna-7B（使用Vicuna語言模型）、LLaVA-1.5-Qwen2.5-7B（使用Qwen2.5語言模型）以及更先進(jìn)的LLaVA-OneVision-1.5（使用Qwen3-4B語言模型和RICE-ViT視覺編碼器）。這三個(gè)模型不僅語言模型不同，視覺編碼器和整體訓(xùn)練流程也各有差異，確保了實(shí)驗(yàn)結(jié)論不依賴于某一特定架構(gòu)。

訓(xùn)練方式方面，研究團(tuán)隊(duì)測(cè)試了兩種設(shè)置：全參數(shù)微調(diào)（把整個(gè)模型的參數(shù)都更新）以及LoRA微調(diào)（一種參數(shù)高效的方法，只更新模型中很小一部分的低秩適配參數(shù)）。在兩種設(shè)置下，V-GIFT都展現(xiàn)出了明顯的提升效果。

評(píng)估使用了四個(gè)專門針對(duì)視覺能力的基準(zhǔn)測(cè)試，分別是：CVB-2D（測(cè)試二維空間推理和物體計(jì)數(shù)能力）、POPE（測(cè)試物體幻覺問題，即AI是否會(huì)聲稱圖中有實(shí)際不存在的物體）、MMStar（測(cè)試多維視覺推理能力，共1500道題）以及BLINK（測(cè)試14種視覺感知子任務(wù)）。

從數(shù)字來看，在LLaVA-1.5-Vicuna-7B上，加入V-GIFT后CVB-2D提升了2.6分，POPE提升了0.2分，MMStar提升了1.1分。在LLaVA-1.5-Qwen2.5-7B上，CVB-2D提升了1.1分，POPE提升了0.5分，MMStar提升了0.5分，BLINK提升了1.7分。在最強(qiáng)的LLaVA-OneVision-1.5上，CVB-2D提升了1.0分，POPE提升了0.3分，BLINK更是大幅提升了3.4分。這些數(shù)字看起來不大，但要知道這些基準(zhǔn)測(cè)試的改進(jìn)空間本身就不大，能在幾乎所有指標(biāo)上穩(wěn)定提升，是相當(dāng)難得的成果。

在LoRA微調(diào)的對(duì)比實(shí)驗(yàn)中，研究團(tuán)隊(duì)還與另一種叫做VIRAL的方法做了比較。VIRAL通過引入額外的"蒸餾損失"（一種讓AI學(xué)習(xí)模仿外部視覺模型的額外訓(xùn)練目標(biāo)）來提升視覺能力。V-GIFT在不修改任何訓(xùn)練目標(biāo)、不引入任何額外損失函數(shù)的情況下，在總體性能上超過了VIRAL。這個(gè)對(duì)比充分說明：優(yōu)化訓(xùn)練數(shù)據(jù)的分布，有時(shí)比引入復(fù)雜的額外目標(biāo)更加有效。

研究團(tuán)隊(duì)還專門驗(yàn)證了這些提升不是來自"訓(xùn)練時(shí)間變長了"這一副作用。他們?cè)O(shè)計(jì)了一組對(duì)照實(shí)驗(yàn)：用同等數(shù)量的普通指令數(shù)據(jù)替代SSL任務(wù)，把原來已經(jīng)用過的數(shù)據(jù)再訓(xùn)練一遍。結(jié)果顯示，單純?cè)黾佑?xùn)練步數(shù)不僅沒有提升性能，在某些指標(biāo)上甚至還略有下降。只有加入真正的"強(qiáng)制看圖題"，才會(huì)帶來實(shí)質(zhì)性的改善。

此外，研究團(tuán)隊(duì)還測(cè)試了把這些SSL任務(wù)放在不同階段的效果。如果放在正式指令微調(diào)之前單獨(dú)訓(xùn)練，對(duì)最終性能幾乎沒有幫助，因?yàn)楹罄m(xù)的指令微調(diào)會(huì)把之前學(xué)到的視覺關(guān)注習(xí)慣覆蓋掉。如果放在指令微調(diào)之后再加一個(gè)單獨(dú)的SSL訓(xùn)練階段，則會(huì)因?yàn)?災(zāi)難性遺忘"（即模型在學(xué)新東西時(shí)把舊東西忘掉）導(dǎo)致性能大幅下降。只有把SSL任務(wù)和普通指令數(shù)據(jù)混合在同一個(gè)訓(xùn)練階段，才能獲得最佳效果。這個(gè)發(fā)現(xiàn)說明了一個(gè)重要原則：視覺能力的強(qiáng)化必須與語言指令理解的訓(xùn)練同步進(jìn)行，而不能分離開來。

**五、三種任務(wù)，缺一不可嗎**

研究團(tuán)隊(duì)還細(xì)致地分析了三種任務(wù)各自的貢獻(xiàn)，以及它們組合起來是否比單獨(dú)使用更好。

實(shí)驗(yàn)結(jié)果表明，三種任務(wù)單獨(dú)使用時(shí)，都能帶來整體性能的提升，但各有側(cè)重。旋轉(zhuǎn)預(yù)測(cè)在CVB-2D（計(jì)數(shù)和空間關(guān)系）上表現(xiàn)突出，顏色匹配在POPE（物體感知）上更有效，跨視角對(duì)應(yīng)點(diǎn)在BLINK（視覺感知子任務(wù)）上收益更明顯。把三者組合起來使用，取得了最強(qiáng)且最均勻的提升效果，說明這三類任務(wù)確實(shí)覆蓋了互補(bǔ)的視覺能力維度。

從另一個(gè)角度看，這也意味著研究者可以根據(jù)自己的需求靈活選擇。如果只關(guān)心某一類視覺任務(wù)的提升，使用單一任務(wù)就已經(jīng)有效；如果希望全面提升，組合使用是更穩(wěn)健的選擇。

**六、AI的注意力發(fā)生了什么變化**

為了直觀理解V-GIFT究竟在改變什么，研究團(tuán)隊(duì)可視化了模型在回答問題時(shí)，注意力（Attention）在圖片各部分的分布。簡(jiǎn)單來說，注意力圖顯示了模型在生成答案時(shí)，"眼神"落在圖片哪個(gè)區(qū)域最多。

對(duì)比基線模型和V-GIFT模型在同一張圖片上的注意力分布，可以清晰地看到：基線模型的注意力比較分散，均勻鋪在整張圖上，甚至集中在與問題無關(guān)的背景區(qū)域；而V-GIFT模型的注意力則更加集中、精準(zhǔn)，直接落在與問題相關(guān)的物體上。比如在"圖里有幾盞臺(tái)燈"這個(gè)問題上，V-GIFT模型的注意力明顯集中在臺(tái)燈所在的位置，而基線模型的注意力則沒有表現(xiàn)出這種有針對(duì)性的聚焦。

研究團(tuán)隊(duì)還使用了一個(gè)叫做TVI（Token Visual Information）的指標(biāo)，專門用來量化模型在回答時(shí)對(duì)視覺信息的依賴程度——數(shù)值越高，代表模型越需要"看圖"才能給出答案，越少依賴語言先驗(yàn)猜測(cè)。結(jié)果顯示，V-GIFT模型的TVI分?jǐn)?shù)在CVB-2D和MMStar基準(zhǔn)上均高于基線，印證了視覺信息的利用率確實(shí)提高了。

在若干定性案例中，這種改變的效果也很直觀。面對(duì)"貓是在車下面還是車上面"這類問題，基線模型憑"常識(shí)"回答"是的，在車下面"，而V-GIFT模型則正確回答"不是，在車上面"。面對(duì)"相機(jī)是在向左還是向右移動(dòng)"這類需要理解圖像動(dòng)態(tài)感的問題，基線回答錯(cuò)了方向，V-GIFT則看出了正確的運(yùn)動(dòng)趨勢(shì)。在需要識(shí)別畫作上某個(gè)功能點(diǎn)對(duì)應(yīng)物體上哪個(gè)位置的問題上，兩者的表現(xiàn)差異同樣明顯。

**七、對(duì)普通用途的影響：有益還是有損**

一個(gè)自然而然的擔(dān)憂是：加入這些視覺專項(xiàng)訓(xùn)練題之后，模型在普通對(duì)話、數(shù)學(xué)推理、文字識(shí)別等非視覺任務(wù)上會(huì)不會(huì)變差？

研究團(tuán)隊(duì)在三個(gè)通用基準(zhǔn)上進(jìn)行了測(cè)試，包括MathVista（數(shù)學(xué)推理）、OCRBench（文字識(shí)別）和RealWorldQA（真實(shí)場(chǎng)景綜合問答）。結(jié)果顯示，V-GIFT模型在這些通用任務(wù)上的表現(xiàn)與基線持平甚至略有提升，并沒有出現(xiàn)明顯的負(fù)面影響。

這說明這套方法在提升視覺能力的同時(shí)，并未對(duì)語言理解和推理能力造成破壞，實(shí)現(xiàn)了一種良性的平衡。這在實(shí)際應(yīng)用中非常重要——畢竟人們使用AI助手時(shí)，既需要它能看懂圖，也需要它能好好聊天和推理。

說到底，這項(xiàng)研究提供了一個(gè)優(yōu)雅的答案：想讓AI更會(huì)"看"，不需要大動(dòng)干戈地?fù)Q眼睛、加模塊、改訓(xùn)練目標(biāo)，只需要在教它的過程中，多出幾道"必須認(rèn)真看才能答對(duì)"的題，就足夠了。這就像培養(yǎng)一個(gè)學(xué)生的閱讀習(xí)慣，不是靠買更好的眼鏡，而是靠出一些"強(qiáng)迫他真正讀進(jìn)去"的作業(yè)。

整個(gè)方案的成本極低：不需要額外的人工標(biāo)注（所有訓(xùn)練信號(hào)都自動(dòng)從圖片變換中生成），不需要修改模型架構(gòu)，不需要引入額外的損失函數(shù)，不需要獨(dú)立的訓(xùn)練階段，只是悄悄往訓(xùn)練數(shù)據(jù)里加入一小部分特殊題目，就讓模型脫胎換骨，真正開始"用眼睛"回答問題。

這項(xiàng)研究同時(shí)也啟發(fā)了一個(gè)更廣泛的問題：對(duì)于任何會(huì)走捷徑的學(xué)習(xí)系統(tǒng)而言，通過精心設(shè)計(jì)訓(xùn)練數(shù)據(jù)的結(jié)構(gòu)，是否比不斷擴(kuò)大數(shù)據(jù)量或模型參數(shù)更加關(guān)鍵？這或許值得研究者們繼續(xù)深入探索。有興趣了解完整實(shí)驗(yàn)細(xì)節(jié)的讀者，可以通過arXiv編號(hào)2604.12966檢索這篇論文。

Q&A

Q1：V-GIFT方法具體是怎么讓AI必須"看圖"才能答題的？

A：V-GIFT通過向訓(xùn)練數(shù)據(jù)中加入三類特殊題型來實(shí)現(xiàn)這一點(diǎn)。一類是旋轉(zhuǎn)預(yù)測(cè)，讓AI判斷圖片被旋轉(zhuǎn)了多少度；一類是顏色匹配，讓AI把黑白圖上的標(biāo)記點(diǎn)對(duì)應(yīng)到打亂順序的顏色選項(xiàng)；一類是跨視角對(duì)應(yīng)點(diǎn)，讓AI在兩張不同角度的圖中找到語義一致的位置點(diǎn)。這三類題目的答案都無法通過文字經(jīng)驗(yàn)猜出，必須真正分析圖片內(nèi)容才能作答。

Q2：V-GIFT需要加入多少特殊訓(xùn)練題才能有效？

A：實(shí)驗(yàn)結(jié)果顯示，只需加入原始訓(xùn)練數(shù)據(jù)量3%到10%的特殊題目就能產(chǎn)生穩(wěn)定的效果。對(duì)于LLaVA-1.5系列模型，10%是最佳比例；對(duì)于更強(qiáng)的LLaVA-OneVision-1.5模型，3%就已足夠。超過這個(gè)比例后，收益趨于飽和甚至略有下降。更值得注意的是，即使這些特殊題目只來自單張圖片的多個(gè)裁切版本，依然有效，說明關(guān)鍵在于題目的類型而非數(shù)據(jù)量。

Q3：V-GIFT方法會(huì)不會(huì)讓AI在普通對(duì)話和推理任務(wù)上變差？

A：研究團(tuán)隊(duì)在MathVista、OCRBench和RealWorldQA三個(gè)通用基準(zhǔn)上進(jìn)行了測(cè)試，結(jié)果顯示V-GIFT模型與基線模型表現(xiàn)相當(dāng)，部分指標(biāo)還略有提升，沒有出現(xiàn)明顯的負(fù)面影響。這說明加入視覺專項(xiàng)訓(xùn)練題在提升看圖能力的同時(shí)，并未損害語言理解和邏輯推理等通用能力，兩者可以在同一訓(xùn)練過程中和諧共存。