AI能寫復(fù)雜代碼、做邏輯推理，卻搞不定小學(xué)四年級(jí)的四位數(shù)乘法。

這事聽著像段子，卻是真實(shí)存在的研究發(fā)現(xiàn)。

芝加哥大學(xué)有個(gè)團(tuán)隊(duì)做了項(xiàng)研究，牽頭的是博士生白曉燕和教授譚晨浩，還聯(lián)合了麻省理工、哈佛這些名校以及谷歌DeepMind的研究者，他們的成果發(fā)在了arXiv預(yù)印本服務(wù)器上。

誰(shuí)能想到最先進(jìn)的AI會(huì)栽在這種基礎(chǔ)算術(shù)上。

團(tuán)隊(duì)測(cè)試了不同層數(shù)的模型，從兩層到十二層，結(jié)果都一樣慘，四位數(shù)相乘的正確率低得可憐。

這種“能搞定復(fù)雜推理，卻在簡(jiǎn)單任務(wù)上翻車”的現(xiàn)象，被研究團(tuán)隊(duì)命名為“崎嶇前沿”。

本來(lái)想，是不是模型層數(shù)不夠、訓(xùn)練數(shù)據(jù)太少？但測(cè)試下來(lái)發(fā)現(xiàn)不是這么回事。

哪怕把模型做得更大、訓(xùn)練時(shí)間拉得更長(zhǎng)，準(zhǔn)確率還是上不去。

這就有意思了，AI處理代碼編寫、數(shù)據(jù)分析這種高難度任務(wù)時(shí)游刃有余，怎么偏偏在乘法這種人類小學(xué)生都能掌握的技能上掉鏈子？

后來(lái)才明白，問(wèn)題的關(guān)鍵不在任務(wù)難度高低，而在任務(wù)本身的特性。

咱們?nèi)祟愖鏊奈粩?shù)乘法時(shí)，得記住進(jìn)位，還得把中間算出來(lái)的部分積暫時(shí)存著，最后再匯總相加。

這種需要暫存中間信息并用到后續(xù)步驟里的能力，學(xué)術(shù)上叫“長(zhǎng)程依賴”。

AI搞不定乘法，核心就是缺了這方面的能力。

標(biāo)準(zhǔn)的大語(yǔ)言模型，本質(zhì)上是靠識(shí)別訓(xùn)練數(shù)據(jù)里的模式來(lái)工作的。

復(fù)雜任務(wù)雖然難，但可能存在更多可復(fù)用的模式，可四位數(shù)乘法的組合太多了，模型根本沒(méi)法靠記憶覆蓋所有情況。

更麻煩的是，標(biāo)準(zhǔn)的微調(diào)方法會(huì)讓模型陷入“局部最優(yōu)解”的陷阱。

打個(gè)比方，這就像爬山找最高峰，模型爬到一個(gè)小山包就以為到頂了，壓根不知道真正的山頂還在更遠(yuǎn)的地方。

沒(méi)有能存儲(chǔ)和檢索中間信息的架構(gòu)支持，再怎么訓(xùn)練都是白費(fèi)功夫。

這一點(diǎn)挺顛覆認(rèn)知的，以前大家總覺(jué)得“模型越大、參數(shù)越多，能力就越強(qiáng)”，現(xiàn)在看來(lái)并非如此。

長(zhǎng)程依賴問(wèn)題也不是只出現(xiàn)在乘法里。

如此看來(lái)，這個(gè)問(wèn)題其實(shí)是大模型的共性短板，只是在乘法這種需要精準(zhǔn)分步計(jì)算的任務(wù)上，暴露得更明顯而已。

就在大家覺(jué)得沒(méi)辦法的時(shí)候，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)成功案例，用“隱式思維鏈”訓(xùn)練的模型，做四位數(shù)乘法的準(zhǔn)確率居然能達(dá)到百分之百。

我特意去了解了下這種訓(xùn)練方法，它不是讓模型一步出答案，而是強(qiáng)迫模型把推理過(guò)程內(nèi)化到自身的隱藏狀態(tài)里，不用依賴顯式的分步標(biāo)記。

這有點(diǎn)像教小孩心算，一開始可以掰手指、寫草稿，慢慢就得在腦子里完成整個(gè)過(guò)程。

研究團(tuán)隊(duì)解剖這兩種模型后發(fā)現(xiàn)，用隱式思維鏈訓(xùn)練的模型，首先學(xué)會(huì)了記住重要的中間信息，從它的內(nèi)部狀態(tài)里能解碼出累計(jì)總和這些關(guān)鍵數(shù)據(jù)，標(biāo)準(zhǔn)模型卻完全做不到。

更讓人驚訝的是，這種模型還會(huì)自己組織注意力路徑。

早期的網(wǎng)絡(luò)層負(fù)責(zé)計(jì)算數(shù)字對(duì)的乘積并存儲(chǔ)，后續(xù)層再精準(zhǔn)檢索需要的數(shù)值，形成了一套高效的內(nèi)部運(yùn)算結(jié)構(gòu)。

甚至，它還自發(fā)形成了精妙的數(shù)學(xué)結(jié)構(gòu)，用傅里葉基的波形模式編碼數(shù)字，通過(guò)閔可夫斯基和這種幾何運(yùn)算來(lái)處理乘法，這些都不是研究人員編程寫進(jìn)去的。

基于這個(gè)發(fā)現(xiàn)，團(tuán)隊(duì)還給出了一個(gè)簡(jiǎn)單的解決方案：在標(biāo)準(zhǔn)訓(xùn)練里加一個(gè)目標(biāo)，讓模型學(xué)會(huì)追蹤每一步的累加總和。

沒(méi)想到效果立竿見(jiàn)影，原本徹底失敗的雙層模型，準(zhǔn)確率一下子就提了上來(lái)，還自己學(xué)會(huì)了類似的存儲(chǔ)檢索機(jī)制。

毫無(wú)疑問(wèn)，這項(xiàng)研究的價(jià)值遠(yuǎn)不止讓AI學(xué)會(huì)乘法。它揭示了大模型學(xué)習(xí)和思考的基本原理，證明了正確的訓(xùn)練引導(dǎo)和架構(gòu)設(shè)計(jì)，比單純堆參數(shù)、堆數(shù)據(jù)更重要。

這也解釋了為啥AI在數(shù)學(xué)上的表現(xiàn)總不穩(wěn)定，用模式匹配的思路去解決需要嚴(yán)格邏輯推理的問(wèn)題，本身就是用錯(cuò)了工具。

未來(lái)的AI要想真正走向“智能”，可能需要明確區(qū)分記憶和邏輯這兩種能力，在架構(gòu)上給它們提供針對(duì)性的支持。

隨著AI越來(lái)越多地融入關(guān)鍵決策過(guò)程，搞清楚它的學(xué)習(xí)規(guī)律，找到正確的提升方向，遠(yuǎn)比追求參數(shù)規(guī)模的堆砌更有意義。