全文 2,000字 | 閱讀約 6 分鐘

（陶哲軒做客 Brian Keating 播客訪談精彩片段）

剛剛上線的一期播客節(jié)目中。

菲爾茲獎(jiǎng)得主陶哲軒說：AI 最危險(xiǎn)的地方，不是它不會(huì)，而是它錯(cuò)得太像對(duì)了。

AI 把一段推理寫得滴水不漏。邏輯鏈完整，術(shù)語齊全，語氣篤定。你一讀，就有點(diǎn)信了。

可問題是：你無法確認(rèn)它是不是真的對(duì)。

• 它為什么這么說？

• 如果錯(cuò)了誰能看出來？

• 能不能被復(fù)現(xiàn)？

• 能不能被驗(yàn)收？

這些基本問題，AI一落地就會(huì)遇到。這不是技術(shù)問題，而是責(zé)任問題。陶哲軒在節(jié)目中從三個(gè)層面剖析了這個(gè)問題：AI如何模仿、為什么缺乏判斷、以及為什么難以驗(yàn)證。

他的結(jié)論是：當(dāng) AI 的產(chǎn)出越來越像真的，驗(yàn)證它沒錯(cuò)的能力，才是真正稀缺的。

這篇文章只圍繞一個(gè)問題：你有沒有能力確認(rèn) AI 沒錯(cuò)？

第一節(jié)： 模仿｜AI 在復(fù)制思維的外殼

陶哲軒說，現(xiàn)在的 AI 在做數(shù)學(xué)時(shí)，看起來什么都會(huì)，但實(shí)際上，它根本不知道自己在做什么。

它能寫出一段看起來像證明的內(nèi)容，有定理、有步驟、有“所以”，語氣還挺自然。

但如果你深入追問一句：你為什么這么寫？

他指出，AI 給的答案完全是邏輯不通（complete nonsense）。明顯看出它根本不知道自己在說什么。

這種 AI 更像是一個(gè)緊張的學(xué)生，在黑板前快速把訓(xùn)練中見過的內(nèi)容拼湊出來，但他自己不理解這個(gè)推理是否合理。

更麻煩的是，你很難確認(rèn) AI 是真的推導(dǎo)出來的，還是只是在復(fù)述訓(xùn)練數(shù)據(jù)。

陶哲軒把這個(gè)叫做“Contamination”（數(shù)據(jù)污染）：教科書里有的定理、例題，AI 在訓(xùn)練時(shí)都見過。它可能只是在重復(fù)訓(xùn)練時(shí)見過的內(nèi)容，而不是在思考。這也是目前大模型在專業(yè)領(lǐng)域的一個(gè)共同問題：它很會(huì)模仿，但不具備判斷力。

人類在做一道數(shù)學(xué)題時(shí)，會(huì)有基本的直覺。

但 AI 沒有。

它是從海量語料中，找到最可能出現(xiàn)的句子接著往下寫。它輸出的不是邏輯，而是統(tǒng)計(jì)概率。

這導(dǎo)致了一個(gè)危險(xiǎn)后果：這些模型說得越像人、表達(dá)越自然，我們?cè)饺菀紫乱庾R(shí)相信它是對(duì)的，而不去查每一步推理是否真的成立。

尤其在數(shù)學(xué)里，只要有一環(huán)錯(cuò)了，整個(gè)結(jié)論就全盤崩塌。但 AI 不會(huì)告訴你哪一步有問題，它甚至不知道它錯(cuò)了。

這不是 AI 錯(cuò)得離譜，而是錯(cuò)得太像真的了，這才是陶哲軒最擔(dān)憂的地方。

第二節(jié)： 動(dòng)機(jī)｜AI說不清為什么這么做

“那它為什么能錯(cuò)得這么像？”

在陶哲軒看來，AI 在數(shù)學(xué)里的表現(xiàn)，不止是缺邏輯，更嚴(yán)重的是它對(duì)問題本身沒有理解。

一個(gè)真正懂?dāng)?shù)學(xué)的人，在面對(duì)一個(gè)新問題時(shí)，心里首先會(huì)冒出的是：

• 這個(gè)問題值不值得解？

• 它跟哪些已知知識(shí)有關(guān)？

• 有沒有什么有趣的定理或者公式可以利用？

而 AI 沒有這種判斷。

它寫出某個(gè)定理，不是因?yàn)樗肋@個(gè)定理在證明中起關(guān)鍵作用，而是見過這樣的證明，就照著寫。

陶哲軒強(qiáng)調(diào)，AI 不具備價(jià)值判斷，它不知道這件事為什么重要，也不知道哪些問題更值得解決。數(shù)學(xué)世界里最難的從來不是怎么做，而是做什么。

一個(gè)真正的突破，往往來自提了一個(gè)沒人想到的問題。

但 AI 只能解決現(xiàn)成的問題，沒法提出新問題。

這就是 AI 的本質(zhì)：它能幫你回憶已知的東西，但你必須自己判斷哪些是真的、哪些更有價(jià)值。

AI 不知道什么重要、什么不重要。它不是不會(huì)做，而是不知道該做什么。

因?yàn)樗狈?dòng)機(jī)。

第三節(jié)： 驗(yàn)證｜AI 寫的東西過不了檢查

就算 AI 知道該做什么，還有一個(gè)更致命的問題：它寫出來的東西，往往過不了檢查。

在數(shù)學(xué)里，答案只是起點(diǎn)，真正重要的，是你怎么一步步推出來的。

一個(gè)結(jié)論成立，不是因?yàn)樗犉饋砗侠恚且驗(yàn)樗梢员粰z查、被追溯、被驗(yàn)證。

數(shù)學(xué)家出錯(cuò)是正常的，大師也不例外。但人類的證明有個(gè)優(yōu)勢(shì)：推導(dǎo)過程清晰。所以哪怕有漏洞，同行也能檢查出問題。

而 AI 給出的，缺少這種推導(dǎo)過程。

這不只是數(shù)學(xué)問題。

• 律師用 AI 生成法律文書，發(fā)現(xiàn)引用的判例根本不存在。據(jù)報(bào)道，有律師因?yàn)闆]驗(yàn)證 AI 生成的案例引用，在法庭上被當(dāng)場(chǎng)拆穿，最后被罰款。

• 程序員用 AI 寫代碼，看起來能跑，但埋了安全漏洞。 沒仔細(xì)審查就上線，等發(fā)現(xiàn)時(shí)損失已經(jīng)造成。

• 金融分析師用 AI 生成投資報(bào)告，數(shù)據(jù)來源、計(jì)算邏輯都說不清楚。 你敢拿這個(gè)給客戶做決策嗎？

問題的核心都一樣：AI 給你一個(gè)“看起來對(duì)”的結(jié)果，但你很難驗(yàn)證每一步是否站得住腳。

怎么辦？陶哲軒的答案是：

只在你能驗(yàn)證的范圍內(nèi)使用 AI。

也就是說，不是不用 AI，而是必須把 AI 和驗(yàn)證工具配對(duì)使用。AI 負(fù)責(zé)生成，人類或自動(dòng)驗(yàn)證系統(tǒng)負(fù)責(zé)檢查。

超出驗(yàn)證能力的部分，不要碰。

在這個(gè)前提下，AI 的價(jià)值在哪？

陶哲軒認(rèn)為，AI 的真正價(jià)值，不在于攻克那些最頂級(jí)的數(shù)學(xué)難題，而在于處理數(shù)百萬個(gè)不夠重要、不值得頂尖數(shù)學(xué)家花時(shí)間、但又有一定價(jià)值的中等難度問題。

這些問題數(shù)量太大，人類研究者太少，處理不過來。而 AI 的優(yōu)勢(shì)恰恰在于規(guī)模：哪怕它只能解決這 100 萬個(gè)問題中的10%，那也是 10 萬個(gè)已解決的問題。

除了批量處理，在日常研究中，AI 也能發(fā)揮輔助作用。 比如文獻(xiàn)綜述：某類問題可能已經(jīng)有十幾種解決方法，你在研究時(shí)可能記得六個(gè)，忘了另外六個(gè)。這時(shí) AI 能提醒你那些你忘記的方法。當(dāng)然，它可能還會(huì)幻覺出三個(gè)根本不存在的方法，所以你必須驗(yàn)證。

甚至，AI 還能幫你從數(shù)據(jù)中找到隱藏的規(guī)律。

陶哲軒舉了一個(gè)實(shí)際案例：紐結(jié)理論中，有個(gè)叫 signature 的不變量，神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)它可以從一堆其他不變量中高精度預(yù)測(cè)出來。

一開始這只是個(gè)黑箱：你輸入20個(gè)數(shù)，它吐出一個(gè)預(yù)測(cè)，90%的時(shí)候是對(duì)的。但研究者可以分析這個(gè)黑箱，調(diào)整輸入，看輸出怎么變化。

最后他們發(fā)現(xiàn)：這20個(gè)輸入里，3個(gè)真正重要，另外17個(gè)幾乎沒用。通過這種分析，他們反推出了背后的數(shù)學(xué)關(guān)系，最終證明了它。

這些才是 AI 的正確用法：不是讓它直接給答案，而是讓它提供線索、找出可能性，然后由人類去判斷、去驗(yàn)證、去決策。

無論是數(shù)學(xué)研究、法律文書、代碼審查，還是投資分析，AI 適合當(dāng)批量處理工具和輔助工具，而不是最終決策者。

前提是：有人能驗(yàn)收它生成的內(nèi)容，確認(rèn)哪些能用、哪些不能用。

用 AI，可以。

但要記住一句話：信任，但必須驗(yàn)證。

結(jié)語｜它不是會(huì)做數(shù)學(xué)，是在表演“會(huì)”

AI 最危險(xiǎn)的，不是它不會(huì)，是它表現(xiàn)得像會(huì)。

• 它能寫出看起來完整的推理，但說不清為什么。

• 它能復(fù)述訓(xùn)練數(shù)據(jù)里的內(nèi)容，但判斷不了重要性。

• 它能排列出推理的格式，但經(jīng)不起逐步檢查。

你很難從表面判斷：它是真懂，還是在照搬？是在推理，還是在東拼西湊？

這才是陶哲軒真正擔(dān)心的事：

AI 做得越像真的，你就越容易信它。但它錯(cuò)得也越像對(duì)的，你就越難發(fā)現(xiàn)。

識(shí)自AI

本文由AI深度研究院出品，內(nèi)容翻譯整理自陶哲軒在 Brian Keating 播客訪談等網(wǎng)上公開素材，屬翻譯整理性質(zhì)。內(nèi)容為原文翻譯與合理編譯，未逐字復(fù)制原訪談材料。未經(jīng)授權(quán)，不得轉(zhuǎn)載

星標(biāo)公眾號(hào)， 點(diǎn)這里 1. 點(diǎn)擊右上角 2. 點(diǎn)擊"設(shè)為星標(biāo)" ← AI深度研究員 ? ← 設(shè)為星標(biāo)

參考資料：

https://www.youtube.com/watch?v=ukpCHo5v-Gc&t=1614s

https://pmc.ncbi.nlm.nih.gov/articles/PMC5352490/?utm_source=chatgpt.com

https://www.lingexp.uni-tuebingen.de/z2/Morphology/baroni.rows

https://x.com/DrBrianKeating

https://mathstodon.xyz/%40tao/114967652676795985

來源：官方媒體/網(wǎng)絡(luò)新聞

排版：Atlas

編輯：深思

主編: 圖靈