這項(xiàng)由德克薩斯大學(xué)奧斯汀分校與新加坡國立大學(xué)聯(lián)合開展的研究，將于2026年發(fā)表在計(jì)算語言學(xué)領(lǐng)域的頂級會議ACL Findings上，論文編號為arXiv:2604.18203v1，發(fā)布于2026年4月20日。有興趣深入了解的讀者可以通過該編號查詢完整原文。

一、那個讓AI頻頻出錯的"小把戲"

先來做一道題：47乘以36，等于多少？

對大多數(shù)人來說，這只是一道小學(xué)數(shù)學(xué)題，花幾分鐘列豎式就能得出答案1692。但如果把同樣的題目換一種方式呈現(xiàn)——不是打成數(shù)字，而是截一張圖，或者用語音說出來——這道題的難度會改變嗎？

對于我們?nèi)祟悂碚f，答案顯然是不會的：不管別人是寫給我們看還是說給我們聽，算法本身沒有變，答案當(dāng)然一樣。但對于當(dāng)前最先進(jìn)的多模態(tài)大型語言模型，也就是那些能同時看圖、聽聲音、讀文字的AI系統(tǒng)來說，情況卻遠(yuǎn)比我們想象的復(fù)雜。

研究團(tuán)隊(duì)注意到一個奇特的現(xiàn)象：同一道乘法題，以數(shù)字文本的形式呈現(xiàn)時，AI可能答對；但把這道題渲染成圖片，或者轉(zhuǎn)成音頻說出來，AI的表現(xiàn)就開始打折扣了。更奇怪的是，即便同樣是文字，把"47×36"改寫成"四十七乘以四十六"，AI的準(zhǔn)確率也會有所不同。

這背后到底是AI"看不懂"還是"算不來"？為了回答這個問題，三位來自德克薩斯大學(xué)奧斯汀分校和新加坡國立大學(xué)的研究者精心設(shè)計(jì)了一套實(shí)驗(yàn)，試圖把這個問題查個水落石出。

二、做一把精密的尺子：算術(shù)負(fù)擔(dān)指數(shù)C

在正式拆解AI的"乘法困境"之前，研究團(tuán)隊(duì)首先面臨一個工程上的挑戰(zhàn)：如何用一個簡單的數(shù)字來衡量"一道乘法題有多難"？

直覺上，位數(shù)越多的乘法越難——1000乘以200當(dāng)然比7乘以3要費(fèi)勁得多。但光看位數(shù)還不夠，因?yàn)?000乘以100實(shí)際上比89乘以67要簡單，盡管前者的數(shù)字看起來更大。關(guān)鍵在于，數(shù)字里面有多少個真正參與計(jì)算的非零數(shù)字，因?yàn)榱愠艘匀魏螖?shù)都等于零，可以跳過。

于是，研究團(tuán)隊(duì)定義了一個他們稱為"算術(shù)負(fù)擔(dān)"的指標(biāo)，用字母C表示。計(jì)算方法是：把兩個操作數(shù)加起來的總位數(shù)，乘以兩個操作數(shù)合計(jì)的非零位數(shù)。以47乘以36為例，兩個數(shù)合計(jì)有4位，而這4位全都是非零數(shù)字，所以C等于4乘以4等于16。再看1000乘以200，總位數(shù)是7，但非零位只有2個（1和2），所以C等于7乘以2等于14，難度反而更低。

這個指標(biāo)C的設(shè)計(jì)思路就像評估一道菜的制作難度：不僅要看食材的總數(shù)量，還要看有多少食材需要實(shí)際處理。一道菜里有二十種食材，但其中十五種都是"隨便撒點(diǎn)鹽"這樣的簡單操作，真正費(fèi)工夫的只有五種，那整體難度其實(shí)并不高。研究團(tuán)隊(duì)在后續(xù)驗(yàn)證中發(fā)現(xiàn)，C雖然不完美，但在預(yù)測AI準(zhǔn)確率方面有相當(dāng)強(qiáng)的解釋力，決定系數(shù)R?普遍超過0.5，而且與那些考慮了進(jìn)位傳播、中間步驟數(shù)量的更復(fù)雜指標(biāo)相比，C的表現(xiàn)差距并不大。

三、搭建"考場"：跨模態(tài)乘法基準(zhǔn)測試

有了測量難度的尺子，接下來就是搭建考場。研究團(tuán)隊(duì)構(gòu)建了一套包含一萬道配對乘法題的測試集，每道題都同時以三種甚至四種形式呈現(xiàn)：純數(shù)字文本、數(shù)字單詞文本（比如"forty-seven times thirty-six"）、將文本渲染成圖片的視覺版本，以及音頻版本。

題目的設(shè)計(jì)相當(dāng)系統(tǒng)。研究團(tuán)隊(duì)預(yù)設(shè)了幾種數(shù)字模板來控制操作數(shù)的結(jié)構(gòu)：最簡單的是單個隨機(jī)數(shù)字，接著是兩位隨機(jī)數(shù)字組成的"VV"型，三位數(shù)字的"VVV"型，還有帶有尾部零的"V0""V00""VV0"型，以及非相鄰非零位的"V0V"型。這種設(shè)計(jì)能在不改變題目形式的前提下，系統(tǒng)地拉高或降低算術(shù)難度，產(chǎn)生豐富多樣的進(jìn)位模式。

參與測試的AI模型陣容相當(dāng)豪華，涵蓋了谷歌的Gemini 2.5 Flash、阿里云的Qwen3-VL（30億和2350億參數(shù)兩個版本）、OpenAI的GPT-4o和GPT-5.4，以及xAI的Grok 4.20。對于需要進(jìn)行更深層分析（比如訪問每個詞的損失值）的實(shí)驗(yàn)，研究團(tuán)隊(duì)重點(diǎn)使用了Qwen3-VL的兩個版本。

四、"看得見"和"算得出"，竟然是兩回事

測試結(jié)果揭示了一個相當(dāng)關(guān)鍵的發(fā)現(xiàn)，研究者將其稱為"感知與計(jì)算的分離"。

通俗地說，研究團(tuán)隊(duì)設(shè)計(jì)了兩類題目：一類是"識別題"——直接問AI，圖片或音頻里的數(shù)字是多少？另一類是"計(jì)算題"——把這兩個數(shù)字乘起來，答案是什么？

如果AI在圖片版乘法題上答錯了，原因可能有兩種：要么是它沒看清楚圖片里寫的是什么數(shù)字（感知失?。词撬辞宄说褪撬沐e了（計(jì)算失?。?/p>

實(shí)驗(yàn)結(jié)果非常清晰地指向了第二種原因。在感知檢查中，所有模型在所有模態(tài)下的正確率均超過99%——也就是說，AI完全能準(zhǔn)確讀出圖片里或音頻里的數(shù)字。但在隨后的計(jì)算環(huán)節(jié)，準(zhǔn)確率就會隨著C的增長而急劇下降，當(dāng)C超過100時，很多模型的正確率幾乎趨近于零。

這個發(fā)現(xiàn)相當(dāng)于告訴我們：AI的乘法失敗，不是因?yàn)樗?看不見"題目，而是因?yàn)樗?算不來"。這對那些擔(dān)心"圖片會干擾AI讀數(shù)"的人來說是個好消息，但對于希望AI能可靠地完成計(jì)算任務(wù)的應(yīng)用場景來說，則揭示了一個更深層的能力邊界。

五、誰比誰更能"抗"？各模型的表現(xiàn)大比較

既然找到了難度的統(tǒng)一刻度C，就可以在同一把尺子上比較各家AI的表現(xiàn)了。研究團(tuán)隊(duì)為每個模型在每種輸入形式下分別擬合了一條預(yù)測準(zhǔn)確率的曲線，并提取了幾個關(guān)鍵參數(shù)。

其中最直觀的是"50%門檻"——也就是當(dāng)C增長到多少時，這個模型的預(yù)測準(zhǔn)確率會降到五成。門檻越高，說明模型越能扛住難題。

Gemini 2.5 Flash、Qwen3-VL-30B和GPT-4o表現(xiàn)相近，50%門檻大約落在C等于50到54的區(qū)間。這意味著對這些模型來說，當(dāng)乘法題的"算術(shù)負(fù)擔(dān)"超過50，猜對的概率就已經(jīng)降到了一半。Qwen3-VL-235B明顯更強(qiáng)，50%門檻在74到75之間，展現(xiàn)出參數(shù)規(guī)模帶來的算力優(yōu)勢。GPT-5.4和Grok 4.20總體表現(xiàn)更好，但它們對輸入格式更敏感——在純數(shù)字文本或數(shù)字圖片上，門檻相對較高，但一旦換成字母拼寫的圖片，門檻就會明顯下滑。

值得注意的是，不同模態(tài)之間的差異往往體現(xiàn)在起點(diǎn)（截距）上，而不是斜率上。換句話說，圖片和音頻模態(tài)往往從更低的基準(zhǔn)準(zhǔn)確率出發(fā)，但隨著C增長而下降的速度與文本模態(tài)差不多。數(shù)字圖片通常與數(shù)字文本表現(xiàn)接近，字母拼寫的圖片則是最穩(wěn)定的弱點(diǎn)，而音頻在被評估的條件下并沒有表現(xiàn)出統(tǒng)一的懲罰效應(yīng)。

還有一個特別值得一提的極端案例：谷歌的Gemini 3.1 Pro。這個模型在C不超過100的原始測試范圍內(nèi)，表現(xiàn)近乎完美，令人嘆為觀止。但代價是——它的推理速度極慢，每種模態(tài)需要超過一小時，而其他模型只需幾分鐘；它輸出的詞語數(shù)量也是其他模型的十倍以上。為此，研究團(tuán)隊(duì)專門將測試范圍擴(kuò)展到C等于400，才終于看到Gemini 3.1 Pro的準(zhǔn)確率開始下滑，轉(zhuǎn)折點(diǎn)大約在C等于360附近，對應(yīng)的例題是一千六百多萬乘以五十六億這樣的超大數(shù)字。

六、AI更喜歡哪種算法？"口味測試"揭秘

搞清楚AI在哪里會出錯之后，研究團(tuán)隊(duì)進(jìn)一步追問：當(dāng)AI計(jì)算乘法時，它在腦子里（或者更準(zhǔn)確地說，在權(quán)重矩陣?yán)铮﹥A向于用哪種方法？

人類在做乘法時會根據(jù)題目特點(diǎn)選擇不同策略。比如算49乘以51，大多數(shù)人會想到"差不多50乘以50再調(diào)整一下"，這叫做"取整補(bǔ)償法"（RC）。算47乘以60，則會自然地想到"47乘以6再加個零"，這叫"分配分解法"（DD）。而面對87乘以96這樣沒有明顯規(guī)律的題目，老老實(shí)實(shí)列豎式逐位相乘，就是"列式乘法"（OT）。

研究團(tuán)隊(duì)設(shè)計(jì)了一個巧妙的"口味測試"：他們?yōu)槊糠N方法寫了一段簡短的開場白，比如"列式法：從個位數(shù)字開始……"或者"分解法：把一個因數(shù)拆成各位值……"，然后把這些開場白接在題目后面，測量AI對哪種開場白的"延續(xù)意愿"更強(qiáng)——在統(tǒng)計(jì)上，這體現(xiàn)為模型預(yù)測這段續(xù)寫所需的交叉熵?fù)p失值，損失越低，說明這種續(xù)寫越符合模型的"自然傾向"。

結(jié)果相當(dāng)一致：不管是30億參數(shù)版本還是2350億參數(shù)版本，不管是文字題還是圖片題，AI都對分配分解法（DD）表現(xiàn)出最低的損失值，也就是最強(qiáng)的"口味偏好"。在30億版本中，DD在文字模態(tài)下的delta損失為-0.5060（低于中性基準(zhǔn)，意味著更受偏愛），圖片模態(tài)為+0.9156；在2350億版本中，雖然所有策略的損失都高于中性基準(zhǔn)，但DD仍然是損失最低的一個（+1.4734，而OT高達(dá)+2.3409）。列式法（OT）則始終是最不受AI"青睞"的選項(xiàng)。

研究團(tuán)隊(duì)還專門測試了這個"口味"是真實(shí)的算法偏好還是僅僅因?yàn)槟承┐朕o更常見。他們替換了測試用的模板措辭，發(fā)現(xiàn)雖然替換措辭會讓測量結(jié)果變得更嘈雜（噪聲增大），但AI的整體偏好方向基本不變——就像換了口音但還是在說同一件事。這說明AI對DD的偏好不是表面的文字匹配，而是有一定的實(shí)質(zhì)性根基。

七、能不能"強(qiáng)行換口味"？LoRA適配器的失敗啟示

既然AI有自己的算法偏好，下一個問題自然是：能不能通過訓(xùn)練讓它強(qiáng)制使用某種特定的方法，從而提升準(zhǔn)確率？

研究團(tuán)隊(duì)嘗試了一種輕量級的訓(xùn)練方式，叫做LoRA適配器（低秩適應(yīng)），可以把它理解為在原有AI模型基礎(chǔ)上加了一個薄薄的"行為補(bǔ)丁"，而不用重新訓(xùn)練整個龐大的模型。他們分別為三種算法策略各訓(xùn)練了一個補(bǔ)?。阂粋€專門鼓勵取整補(bǔ)償法，一個鼓勵分配分解法，一個鼓勵列式乘法，另外還有一個純粹模仿推理格式但不強(qiáng)調(diào)任何特定算法的對照補(bǔ)丁。每個補(bǔ)丁大約用了一千道精心選擇的例題訓(xùn)練。

實(shí)驗(yàn)結(jié)果令人沮喪，卻也頗有啟發(fā)性。在用這些補(bǔ)丁測試144道題（每種補(bǔ)?。r，三種算法補(bǔ)丁總共在432次比較中造成了114次正確率翻轉(zhuǎn)——其中只有1次是從錯變對，另外113次是從對變錯。類似地，2350億版本的模型在432次比較中有121次翻轉(zhuǎn)，4次變好、117次變差。就連那個只模仿推理格式、不涉及任何具體算法的對照補(bǔ)丁，也主要帶來了準(zhǔn)確率的下降。

這說明什么？AI的原始"內(nèi)部路由機(jī)制"——也就是它自發(fā)選擇哪種算法策略的能力——實(shí)際上比任何人為強(qiáng)制設(shè)定的單一策略都要優(yōu)化得更好。當(dāng)外部補(bǔ)丁強(qiáng)行把AI推向某種固定套路時，反而破壞了它原本靈活調(diào)度的能力。就像一個經(jīng)驗(yàn)豐富的廚師，他懂得根據(jù)食材狀況隨機(jī)應(yīng)變，而如果你強(qiáng)行規(guī)定他每道菜都必須用同一種烹飪手法，結(jié)果反而會更糟。

事后分析出錯類型，最常見的錯誤是"漏掉了某個中間乘積"，沒有發(fā)現(xiàn)"數(shù)量級錯誤"或"進(jìn)位遺漏"。這進(jìn)一步說明強(qiáng)制使用單一策略會導(dǎo)致AI在執(zhí)行算法時丟失步驟，而不是產(chǎn)生其他類型的錯誤。

八、不同策略在"參數(shù)空間"里住得有多遠(yuǎn)？

為了從更底層理解這三種算法策略是否對應(yīng)了AI內(nèi)部真正不同的計(jì)算機(jī)制，研究團(tuán)隊(duì)做了一個幾何分析。

每個LoRA補(bǔ)丁在訓(xùn)練完成后都會產(chǎn)生一組參數(shù)更新，可以把它想象成一個指向某個方向的向量。如果兩種策略的補(bǔ)丁在參數(shù)空間里指向幾乎相同的方向（余弦相似度接近1），說明它們調(diào)用了類似的底層機(jī)制；如果幾乎垂直（余弦相似度接近0），則說明是完全不同的計(jì)算子空間。

結(jié)果顯示，三種策略的補(bǔ)丁方向彼此幾乎正交——余弦相似度全都接近零。在30億版本中，OT和DD之間的相似度只有0.0726，DD和RC之間為0.1192；在2350億版本中，數(shù)字更小，OT和DD之間僅有0.0412，DD和RC之間為0.0342。

為了確認(rèn)這不是隨機(jī)噪聲，研究團(tuán)隊(duì)用不同的隨機(jī)種子重新訓(xùn)練了相同策略的補(bǔ)丁，發(fā)現(xiàn)"同一策略的兩次訓(xùn)練"之間的相似度（30億版本約為0.2553）明顯高于"不同策略之間"的相似度（30億版本約為0.1055）。這說明每種策略的補(bǔ)丁確實(shí)在參數(shù)空間里占據(jù)了相對獨(dú)立的位置，三種人類算法策略在AI內(nèi)部有著各自不同的"神經(jīng)實(shí)現(xiàn)"。

九、當(dāng)AI遇到"陷阱題"：策略偏好有多脆弱？

研究團(tuán)隊(duì)還設(shè)計(jì)了一批專門的"對抗陷阱"題目，用來測試AI的策略偏好在面對具有誤導(dǎo)性的題目時會不會崩潰。

比如，一道"反取整陷阱"題會讓題目表面上看起來很適合取整補(bǔ)償法（比如操作數(shù)接近50），但實(shí)際上隱藏了一個額外的修正負(fù)擔(dān)，讓取整法用起來反而麻煩。"缺項(xiàng)分解陷阱"則測試AI在進(jìn)行分配分解時，會不會漏掉某個必要的中間乘積。

實(shí)驗(yàn)結(jié)果顯示，陷阱題確實(shí)會重新分配AI的策略偏好。在對抗取整陷阱時，30億版本的模型對RC策略的偏好分?jǐn)?shù)從正常測試集的26.5%上升到了34.5%——也就是說，陷阱題反而讓模型更強(qiáng)烈地認(rèn)為應(yīng)該使用取整法，恰好落入了陷阱設(shè)計(jì)者的圈套。2350億版本的模型也有類似的變化，但幅度小得多，從12.4%上升到15.6%，表現(xiàn)出更強(qiáng)的魯棒性。

這個發(fā)現(xiàn)意味著，規(guī)模更大的模型不僅算術(shù)能力更強(qiáng)，在面對誤導(dǎo)性線索時也更不容易被"帶偏"，具有更穩(wěn)定的內(nèi)部判斷機(jī)制。

說到底，這項(xiàng)研究告訴了我們一件很有意思的事：AI的"聰明"比我們想象的更專一也更脆弱。它能精準(zhǔn)地"看懂"任何格式呈現(xiàn)的數(shù)學(xué)題，但真正的瓶頸在于計(jì)算本身。隨著數(shù)字位數(shù)增多、非零數(shù)字變多，AI的乘法準(zhǔn)確率會以相當(dāng)可預(yù)測的方式急劇下滑，而且這種下滑在圖片、音頻、文字等各種輸入形式下都驚人地相似——多模態(tài)的外殼，包裹的是同一套計(jì)算能力的極限。

歸根結(jié)底，AI更偏愛分配分解法，這種偏好既有實(shí)質(zhì)根基，又在一定程度上受到了題目格式和操作數(shù)結(jié)構(gòu)的影響。而當(dāng)我們試圖用輕量級訓(xùn)練強(qiáng)行改變這種偏好時，反而把它原本運(yùn)轉(zhuǎn)良好的內(nèi)部路由給攪亂了。這或許意味著，對于需要可靠算術(shù)能力的應(yīng)用場景，與其試圖訓(xùn)練AI掌握某種固定算法，不如給它提供外部計(jì)算工具，讓它把"讀題"和"算題"的工作拆開來做。

如果你對這項(xiàng)研究感興趣，想要了解更多技術(shù)細(xì)節(jié)，可以在arXiv上通過編號2604.18203查閱完整論文，獲取所有實(shí)驗(yàn)數(shù)據(jù)、方法細(xì)節(jié)和附錄內(nèi)容。

Q&A

Q1：算術(shù)負(fù)擔(dān)指標(biāo)C是怎么計(jì)算的？為什么用這個指標(biāo)？

A：算術(shù)負(fù)擔(dān)C的計(jì)算方式是：兩個操作數(shù)的總位數(shù)，乘以兩個操作數(shù)中非零位數(shù)的總數(shù)。以47乘以36為例，總位數(shù)是4，非零位數(shù)也是4，所以C等于16。之所以選這個指標(biāo)，是因?yàn)樗芎啙嵉胤从吵朔ㄕ嬲枰龅挠?jì)算量——零乘任何數(shù)都是零，可以跳過，所以非零位數(shù)才是核心難度來源。研究發(fā)現(xiàn)，C對AI準(zhǔn)確率的預(yù)測力相當(dāng)強(qiáng)，R?通常超過0.5，與更復(fù)雜的進(jìn)位步驟計(jì)數(shù)方法相比差距不大。

Q2：多模態(tài)AI在乘法題上的失誤，到底是看錯了數(shù)字還是算錯了？

A：主要是算錯了，而不是看錯了。研究團(tuán)隊(duì)專門做了感知檢查實(shí)驗(yàn)，單獨(dú)測試AI能否正確讀出圖片或音頻里的數(shù)字，結(jié)果所有模型在所有模態(tài)下的識別準(zhǔn)確率均超過99%。但在隨后的乘法計(jì)算中，準(zhǔn)確率隨算術(shù)負(fù)擔(dān)C增大而急劇下滑。這說明多模態(tài)AI的失敗根源不在于感知能力，而在于計(jì)算能力本身的局限。

Q3：為什么給AI強(qiáng)制訓(xùn)練某種乘法策略反而讓準(zhǔn)確率下降？

A：因?yàn)锳I原有的"內(nèi)部路由機(jī)制"比任何單一固定策略都更靈活、優(yōu)化得更好。輕量級LoRA適配器訓(xùn)練會把AI推向某種固定套路，破壞它原本根據(jù)題目特點(diǎn)靈活調(diào)度算法的能力。實(shí)驗(yàn)中，三種策略補(bǔ)丁在432次比較中造成了114次正確率翻轉(zhuǎn)，其中113次是從對變錯。就連只模仿推理格式、不強(qiáng)調(diào)具體算法的對照補(bǔ)丁，也主要帶來了準(zhǔn)確率下降，說明問題出在干擾了模型原本的自然路由，而非策略本身。