全文 3,000字 | 閱讀約 8 分鐘

（Jeff Dean與Geoffrey Hinton爐邊對話精彩片段）

2025 年 12 月初，圣地亞哥 NeurIPS 大會(huì)。

Geoffrey Hinton（神經(jīng)網(wǎng)絡(luò)奠基人、2024年諾貝爾物理學(xué)獎(jiǎng)得主）與Jeff Dean（Google首席科學(xué)家、Gemini模型聯(lián)合負(fù)責(zé)人、TPU架構(gòu)師）的爐邊對談，成為這場大會(huì)的重要時(shí)刻。

對話聚焦一個(gè)關(guān)鍵問題：

現(xiàn)代 AI 為什么能從實(shí)驗(yàn)室走向數(shù)十億用戶？

從 AlexNet 在學(xué)生臥室的兩塊 GPU 上訓(xùn)練，到 Google 在餐巾紙上算出TPU需求；從學(xué)術(shù)圈的小眾實(shí)驗(yàn)，到支撐全球億級應(yīng)用的基礎(chǔ)設(shè)施。

這是一次對 AI 工業(yè)化進(jìn)程的系統(tǒng)性復(fù)盤。

他們給出的答案是：現(xiàn)代 AI 的突破從來不是單點(diǎn)奇跡，而是算法、硬件、工程同時(shí)成熟后的系統(tǒng)性涌現(xiàn)。強(qiáng)算法必須與強(qiáng)基礎(chǔ)設(shè)施結(jié)合，才能真正走向規(guī)?；?。

沿著時(shí)間線，我們梳理三個(gè)關(guān)鍵階段：

• 起點(diǎn)突破：硬件如何讓 AI 從想法變成現(xiàn)實(shí)

• 系統(tǒng)成熟：算法、組織、工具如何協(xié)同推進(jìn)

• 未來門檻：規(guī)模化之后要突破的三道關(guān)卡

看清這條路徑，你就能理解AI為什么是今天這個(gè)樣子。

第一節(jié)｜AI的突破，起于一塊GPU板

Geoffrey Hinton 說，現(xiàn)代 AI 真正的轉(zhuǎn)折，不在某篇論文里，而是在他學(xué)生 Alex 的臥室里：兩塊 NVIDIA GPU 板，插在父母家電腦上，訓(xùn)練圖像識別模型。電費(fèi)，還是家里人掏的。

那是 2012年 ，ImageNet 比賽。

別人用的是手工特征提取，他和學(xué)生團(tuán)隊(duì)用的是深度神經(jīng)網(wǎng)絡(luò)。參數(shù)比別人多十倍，算力也超出好幾倍，準(zhǔn)確率遠(yuǎn)超對手。AlexNet 由此奠定了深度學(xué)習(xí)的地位。

而這場勝利證明了一件事：沒有足夠算力，什么結(jié)構(gòu)都只是想象。

Jeff Dean 的回憶更早：1990 年他還在做本科論文，就開始琢磨怎么用并行算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。他做了兩個(gè)方向，一個(gè)現(xiàn)在叫數(shù)據(jù)并行，一個(gè)叫模型并行，但當(dāng)時(shí)沒人用這些詞。他用的是一臺 32 處理器的超立方體計(jì)算機(jī)。

問題是：他分了 32 份算力，卻只用了 10 個(gè)神經(jīng)元。

“我犯了個(gè)很大的錯(cuò)誤。”

這次失敗的經(jīng)驗(yàn)，讓他在二十多年后設(shè)計(jì)TPU 時(shí)，從一開始就考慮如何讓算力和模型規(guī)模真正匹配。

二十多年后，類似的算力問題再次出現(xiàn)，但這次是在推理端。

2013 年，Jeff Dean 在餐巾紙做了一次計(jì)算：如果未來全球有 1 億人每天用語音助手，每人說 3 分鐘話，要用現(xiàn)在的模型上線，僅這一個(gè)應(yīng)用就需要讓谷歌的服務(wù)器總量翻倍。

這是真實(shí)的物理成本。

他沒有等預(yù)算開會(huì)。他攔下了谷歌當(dāng)時(shí)的 CFO Patrick Pichette，說：我們得自己造硬件，現(xiàn)在就要。

TPU 項(xiàng)目就此啟動(dòng)。2015 年，第一代 TPU 專注于推理，而非訓(xùn)練。它比同期 CPU 和 GPU 的推理能效高出 30-80 倍。直到 2017 年的 TPU v2，Google 才開始在自研硬件上大規(guī)模訓(xùn)練模型。

這是一條垂直整合的路線。十年之后，TPU 已經(jīng)進(jìn)化到第七代。Pathways系統(tǒng)讓一個(gè)Python進(jìn)程能統(tǒng)一調(diào)度分布在跨城市數(shù)據(jù)中心的數(shù)萬顆TPU芯片，就像操作一臺超大型計(jì)算機(jī)。

與此同時(shí)，NVIDIA GPU 路線也在持續(xù)演進(jìn)。

從 AlexNet 的兩塊 GPU 板卡，到 2023 年的 H100、2024年的 H200，以及2025年開始交付的 B200，NVIDIA GPU 仍然支撐著 OpenAI、Meta 等公司的大規(guī)模訓(xùn)練。值得注意的是，AI 基礎(chǔ)設(shè)施已經(jīng)呈現(xiàn)多元化：Anthropic 在 AWS 的Trainium 芯片和 Google TPU 之間分配訓(xùn)練任務(wù)，各家都在尋找最適合自己的路線。。

兩條路線各有優(yōu)勢：

• NVIDIA GPU生態(tài)開放、適配性強(qiáng)，讓創(chuàng)業(yè)者和研究者都能用上 AI 算力；

• 定制芯片如TPU、Trainium則為特定需求深度優(yōu)化，在能效和成本上有獨(dú)特價(jià)值。

從臥室里的兩塊 GPU 板，到遍布全球的 AI 算力網(wǎng)絡(luò)，AI 的突破第一步不是理解語言，也不是創(chuàng)造內(nèi)容，而是擁有足夠算力完成訓(xùn)練。

第二節(jié)｜從 AlexNet 到 Gemini，三條曲線如何交匯

現(xiàn)代 AI 能大規(guī)模應(yīng)用，不是靠某一個(gè)天才靈感，而是三條技術(shù)曲線在 2017-2023 年間密集交匯：

1、算法架構(gòu)找到了可擴(kuò)展的形態(tài)

從AlexNet 到Transformer，核心變化不是更聰明，而是更易規(guī)?；?。

• 卷積神經(jīng)網(wǎng)絡(luò)擅長圖像，但參數(shù)量和層數(shù)成正比，很難做大；

• 循環(huán)神經(jīng)網(wǎng)絡(luò)能處理序列，但必須一個(gè)字一個(gè)字處理，算不快。

Transformer 的突破在于：它把順序處理變成了并行處理。所有token同時(shí)計(jì)算，既快，又能充分利用GPU/TPU的并行能力。

在 Jeff Dean 看來，同樣的準(zhǔn)確率，Transformer 用的計(jì)算量可以比LSTM少10-100倍。這不是小優(yōu)化，而是讓大規(guī)模訓(xùn)練從理論可能變成“工程可行”。

Geoffrey Hinton 起初并不看好。他覺得這種“保存所有狀態(tài)”的設(shè)計(jì)不像大腦。

但他后來意識到：不用管像不像人腦，重要是它真的讓 Scaling law 成立了。

2、組織方式從分散變成集中

2022 年 ChatGPT 發(fā)布前，Google 內(nèi)部已經(jīng)有一個(gè)聊天機(jī)器人，8萬員工在用。技術(shù)上已經(jīng)可行，為什么沒推向市場？

Jeff Dean說 ，他們被搜索業(yè)務(wù)的思維限制住了，太過糾結(jié)準(zhǔn)確性和幻覺問題，反而忘了它可以做很多不是搜索的事情。

更關(guān)鍵的問題是：當(dāng)時(shí)Google有三個(gè)團(tuán)隊(duì)在各自訓(xùn)練模型：Brain、Research、DeepMind。每個(gè)團(tuán)隊(duì)的算力都不夠大，也各自為戰(zhàn)。ChatGPT 上線一周后，Dean 寫了一頁紙的備忘錄：我們其實(shí)早就能做出這個(gè)，但我們沒把資源合起來。

Gemini 團(tuán)隊(duì)就此誕生。算力、模型、人才第一次真正集中到一個(gè)目標(biāo)上。

技術(shù)突破往往不是技術(shù)問題，而是組織問題。

3、工程工具棧形成了閉環(huán)

AI 不只是模型，還需要一整套讓它能運(yùn)行、能調(diào)試、能復(fù)用的基礎(chǔ)設(shè)施：

• JAX：讓研究員能用數(shù)學(xué)語言直接寫代碼

• Pathways：讓 2 萬顆 TPU 能被一個(gè)Python 進(jìn)程調(diào)度

• 蒸餾技術(shù)：把千億參數(shù)模型壓縮到能跑在手機(jī)上

這些工具的價(jià)值，不只是提升效率，而是降低了AI 的準(zhǔn)入門檻。有了 JAX，研究員不需要成為系統(tǒng)工程師；有了 Pathways，不需要手動(dòng)管理上萬個(gè)設(shè)備；有了蒸餾，不需要每個(gè)應(yīng)用都依賴云端算力。

為什么是這三條？因?yàn)樗鼈冃纬闪艘粋€(gè)閉環(huán)：

• Transformer 讓模型能規(guī)?；枰笏懔χ?；

• 更大算力需要組織資源集中，同時(shí)催生了更好的工具；

• 更好的工具提升訓(xùn)練效率，反過來支撐了更大模型的訓(xùn)練。

缺任何一條，AI 都不會(huì)從實(shí)驗(yàn)室走到 10 億用戶手里。

第三節(jié)｜能效、記憶、創(chuàng)造：AI規(guī)?；蟮娜篱T檻

模型已經(jīng)能運(yùn)行起來，也能用在現(xiàn)實(shí)中。那接下來要突破什么？

Jeff Dean 和 Hinton在這場對話中，不約而同指出了三個(gè)還未解決的方向。這不是更大模型的問題，而是三道看不見的門檻：

01｜能效：規(guī)模化的物理極限

AI 模型越來越大，帶來的直接后果是越來越貴、越來越耗電。

Gemini的訓(xùn)練動(dòng)用了上萬顆 TPU 芯片。每一次模型升級，意味著消耗更多電力、更多時(shí)間、更多預(yù)算。

Dean 指出，雖然 Google 在2013年就通過自研TPU把推理能效提升了30-80倍，但今天這個(gè)問題變得更嚴(yán)峻了：要讓 AI 真正普及，不能靠繼續(xù)疊加計(jì)算，而是要換一種方式訓(xùn)練和部署。

Google 現(xiàn)在把最常用的模型推理控制在FP4這種超低精度格式上運(yùn)行。 背后的邏輯很簡單：只要結(jié)果對，過程可以模糊。

但這還不夠。Dean 認(rèn)為下一代推理硬件需要在能效上再提升一個(gè)數(shù)量級。

02｜記憶：上下文的深度限制

現(xiàn)在的模型上下文窗口，最強(qiáng)的也不過幾百萬個(gè)token。

Dean 認(rèn)為：現(xiàn)在的模型理解力，仍然受限于一次能看到多少信息。就像人一次只能翻 5 頁書，AI 也只能看一段、忘一段。

Hinton 也強(qiáng)調(diào)，它們還不能真正像人一樣長期記住事物。

想要讓 AI 真正幫助科學(xué)研究、復(fù)雜決策，必須能一次處理更深、更長的信息，比如整本教科書、整年財(cái)報(bào)、或一百篇相互關(guān)聯(lián)的論文。

Dean 的思路是：讓模型能覆蓋數(shù)十億甚至萬億個(gè)token。這背后的挑戰(zhàn)不是如何算得更快，而是如何讓模型記得更深、理解得更遠(yuǎn)。

而要實(shí)現(xiàn)這一點(diǎn)，不只是算法層面的優(yōu)化，芯片本身的注意力計(jì)算架構(gòu)也需要重新設(shè)計(jì)。

03｜創(chuàng)造：從模仿到聯(lián)想

Hinton 最關(guān)注的是另一個(gè)維度：AI 會(huì)不會(huì)聯(lián)想。

他說，人類大腦最厲害的地方，不是記憶，不是推理，而是能把看似無關(guān)的東西聯(lián)系起來。

“訓(xùn)練這些大模型，實(shí)際上是把海量知識壓進(jìn)一個(gè)相對有限的空間里。你必須找到不同事物之間的共同點(diǎn)，才能壓得進(jìn)去。”

這意味著，AI 在訓(xùn)練過程中會(huì)自動(dòng)學(xué)到很多人類沒意識到的類比。

Hinton 說

“也許某個(gè)模型發(fā)現(xiàn)了希臘文學(xué)和量子力學(xué)之間的共同結(jié)構(gòu)。人類專家可能永遠(yuǎn)都不會(huì)把它們放在一起看?！?/p>

很多人說 AI 只是模仿，不具創(chuàng)造力。

Hinton 不同意：把遙遠(yuǎn)的事物聯(lián)系起來，本身就是創(chuàng)造。Dean 也認(rèn)同這一點(diǎn)，并指出這將是 AI 下個(gè)階段的關(guān)鍵應(yīng)用方向：讓 AI 在科學(xué)研究中發(fā)現(xiàn)跨領(lǐng)域的聯(lián)系，加速突破的發(fā)生。

這三道門檻分別卡在不同層面：能效是物理成本問題，記憶是架構(gòu)能力問題，創(chuàng)造是認(rèn)知邊界問題。

但它們不是孤立的：

• 能效不突破，長上下文訓(xùn)不起

• 長上下文做不到，深度聯(lián)想沒有基礎(chǔ)

• 聯(lián)想能力不行，AI 就永遠(yuǎn)只是個(gè)更快的搜索引擎

突破這些門檻，需要的不只是工程優(yōu)化，更是長周期的技術(shù)積累。

Dean 在對話中反復(fù)提到一個(gè)事實(shí)：Google 今天依賴的大部分技術(shù)，從互聯(lián)網(wǎng)協(xié)議到芯片架構(gòu)，本質(zhì)上都來自早年的學(xué)術(shù)研究。深度學(xué)習(xí)的爆發(fā)，不是因?yàn)槟骋惶焱蝗挥辛诵孪敕?，而是很?30 年前沒人重視的研究，一起開始發(fā)揮作用。。

AI 的未來不能只靠燒錢建數(shù)據(jù)中心，同樣需要對基礎(chǔ)研究的持續(xù)投入。

結(jié)語｜不是一瞬間成了，是很多事同時(shí)準(zhǔn)備好了

從臥室里的 GPU，到谷歌數(shù)萬顆 TPU 的算力網(wǎng)絡(luò)；從被拒稿的蒸餾論文，到今天壓縮部署的標(biāo)配；從研究型實(shí)驗(yàn)室，到能服務(wù) 10 億用戶的產(chǎn)品。

現(xiàn)代 AI 能成，不靠某個(gè)爆點(diǎn)，而是長期對準(zhǔn)了幾件關(guān)鍵事：算法能落地、算力能支撐、研究環(huán)境能留住人。

不是哪個(gè)時(shí)刻決定一切，而是很多件事情共同推動(dòng)，讓 AI 真正從想法變成了能用的產(chǎn)品。

Hinton 說，大模型的本質(zhì)，是在訓(xùn)練中把海量知識壓進(jìn)有限空間，而要做到這種壓縮，就得找到看似不相關(guān)的事物之間的共同規(guī)律。

Dean 則表示，AI 下一步要突破的，不是答案，而是理解的范圍。

真正重要的，不是模型的大小，而是能否把技術(shù)突破轉(zhuǎn)化為人人可用的產(chǎn)品。

識自AI

本文由AI深度研究院出品，內(nèi)容整理自Jeff Dean與Geoffrey Hinton在NeurIPS 2025的爐邊對話（由Radical Ventures主辦）等網(wǎng)上公開素材，屬評論分析性質(zhì)。內(nèi)容為觀點(diǎn)提煉與合理引述，未逐字復(fù)制原對話材料。未經(jīng)授權(quán)，不得轉(zhuǎn)載。

星標(biāo)公眾號， 點(diǎn)這里 1. 點(diǎn)擊右上角 2. 點(diǎn)擊"設(shè)為星標(biāo)" ← AI深度研究員 ? ← 設(shè)為星標(biāo)

參考資料：

https://www.youtube.com/watch?v=ue9MWfvMylE&t=1483s

https://www.youtube.com/watch?v=9u21oWjI7Xk

https://sdtechscene.org/event/jeff-dean-geoff-hinton-in-conversation-with-jordan-jacobs-of-radical-ventures/

https://www.linkedin.com/posts/radicalventures_the-next-episode-of-radical-talks-drops-this-activity-7406799924111220737-Fph0

https://x.com/JeffDean/status/1997125635626639556?referrer=grok-com

來源：官方媒體/網(wǎng)絡(luò)新聞

排版：Atlas

編輯：深思

主編: 圖靈