允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

2026年將至，ChatGPT發(fā)布三周年，但關(guān)于“AI瓶頸期”的焦慮正達(dá)到頂峰。

當(dāng)全行業(yè)都在討論如何通過(guò)量化、蒸餾來(lái)“省錢(qián)”時(shí)，新加坡國(guó)立大學(xué)校長(zhǎng)青年教授、潞晨科技創(chuàng)始人尤洋卻提出了一個(gè)更為本質(zhì)的拷問(wèn)：

如果給你300億美元預(yù)算，今天我們真的能訓(xùn)出比GPT-4強(qiáng)出幾個(gè)維度的模型嗎？

在《智能增長(zhǎng)的瓶頸》一文中，尤洋教授一針見(jiàn)血地指出：

• 當(dāng)前智能增長(zhǎng)的瓶頸，本質(zhì)上是我們現(xiàn)有的技術(shù)范式，已經(jīng)快要“消化”不動(dòng)持續(xù)增長(zhǎng)的算力了。

他提出了幾個(gè)顛覆常規(guī)認(rèn)知的硬核觀點(diǎn)：

• 智能的本質(zhì)是能源轉(zhuǎn)化：過(guò)去10年，AI的本質(zhì)是將電力通過(guò)計(jì)算轉(zhuǎn)化為可復(fù)用的智能，而轉(zhuǎn)化效率正面臨大考。
• Transformer的秘密：它之所以勝出，并非因?yàn)楦袢四X，而是因?yàn)樗且慌_(tái)“偽裝成神經(jīng)網(wǎng)絡(luò)的并行計(jì)算機(jī)”，完美契合了英偉達(dá)GPU的堆料邏輯。
• 效率不等于智能：Mamba等新架構(gòu)提升了吞吐量，但在“算力轉(zhuǎn)智能”的終極上限上，它們真的比Transformer更強(qiáng)嗎？
• 未來(lái)的出路：拋棄Adam優(yōu)化器？回歸高精度計(jì)算（FP32/64）？

從電影制作到地震時(shí)間預(yù)測(cè)，我們離真正的AGI還有多遠(yuǎn)？……

這篇深度長(zhǎng)文，或許能帶你穿透“降本增效”的迷霧，直達(dá)算力與智能最底層的邏輯。

一起來(lái)看。

智能的核心不是解釋?zhuān)穷A(yù)測(cè)

什么是智能？

尤洋沒(méi)有照搬任何形式化或哲學(xué)化的“智能定義”。

相反，他采用了一種非常工程化、面向能力評(píng)估的處理方式，通過(guò)一組可驗(yàn)證、可實(shí)踐的判斷標(biāo)準(zhǔn)來(lái)刻畫(huà)智能的邊界：

• 在關(guān)鍵人生決策上，是否愿意完全聽(tīng)從AI；
• 在高風(fēng)險(xiǎn)、高不確定性領(lǐng)域，是否敢讓AI替代專(zhuān)家；
• 在創(chuàng)作層面，是否已經(jīng)無(wú)法分辨作品是否由AI生成；

這些例子背后，指向的是同一個(gè)核心能力：即對(duì)未來(lái)狀態(tài)進(jìn)行預(yù)測(cè)，并為預(yù)測(cè)結(jié)果承擔(dān)實(shí)際后果的能力

這一鋒利的判斷，不僅解釋了為什么Next-Token Prediction能在過(guò)去幾年成為事實(shí)上的“智能發(fā)動(dòng)機(jī)”，也解釋了為何許多“在封閉評(píng)測(cè)中表現(xiàn)出色”的系統(tǒng)，一旦進(jìn)入真實(shí)世界就迅速暴露短板——

它們往往擅長(zhǎng)組織與解釋已有信息，卻難以在不確定環(huán)境中對(duì)未來(lái)做出穩(wěn)定、可執(zhí)行的判斷。

當(dāng)然，需要強(qiáng)調(diào)的是，將智能高度凝聚為“預(yù)測(cè)”，更像是在給智能劃定一個(gè)工程上可對(duì)齊算力投入的核心能力維度，而非窮盡智能的全部?jī)?nèi)涵。

這是一個(gè)足夠清晰也足夠有解釋力的硬核視角。而規(guī)劃、因果建模以及長(zhǎng)期一致性等能力，是否能夠完全被還原為預(yù)測(cè)問(wèn)題，仍然是一個(gè)開(kāi)放議題。

但當(dāng)我們把智能簡(jiǎn)化為預(yù)測(cè)能力時(shí)，下一步的問(wèn)題自然落到：算力是如何轉(zhuǎn)化為這種能力的？

預(yù)訓(xùn)練、SFT、RL之爭(zhēng)，本質(zhì)上是“算力分配”問(wèn)題

過(guò)去幾年，行業(yè)對(duì)訓(xùn)練范式的討論，常常被“方法論優(yōu)越感”主導(dǎo)；但如果把目標(biāo)限定為單位算力能換來(lái)多少智能，那么范式本身就不再神秘，而變成了一種算力使用策略。

不同于主流敘事，尤洋在文章中直接把預(yù)訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)三者拉到統(tǒng)一層面，即三者本質(zhì)上都是在計(jì)算梯度，更新參數(shù)。

文章指出，當(dāng)前模型的主要智能來(lái)源，依然是預(yù)訓(xùn)練階段——不是因?yàn)樗奥斆鳌?，而是因?yàn)樗?strong>消耗了最多的能源與計(jì)算

從智能增長(zhǎng)角度看，這三者參數(shù)更新發(fā)生的頻率與更新所消耗的算力規(guī)模確有不同，但是通過(guò)視角的轉(zhuǎn)換，智能增長(zhǎng)的討論就從方法論之爭(zhēng)，轉(zhuǎn)向了一個(gè)更樸素，也更殘酷的問(wèn)題——

在算力持續(xù)投入的前提下，我們是否還能穩(wěn)定地?fù)Q取能力增長(zhǎng)？

Transformer的勝出，不只是算法勝利

為了回答這個(gè)問(wèn)題，這篇文章回溯了過(guò)去十年大模型快速進(jìn)化的原因。尤洋指出，這一輪智能躍遷的成立，依賴(lài)于三件事情同時(shí)發(fā)生：

• 一是GPU體系在硬件層面持續(xù)提供指數(shù)級(jí)增長(zhǎng)的并行算力；
• 二是Transformer架構(gòu)在計(jì)算結(jié)構(gòu)上天然支持大規(guī)模并行，能夠充分“吃下”這些算力；
• 三是Next-Token Prediction這一訓(xùn)練目標(biāo)為模型提供了近乎無(wú)限、且高度統(tǒng)一的學(xué)習(xí)信號(hào)。

因此，Transformer的成功，并不僅僅是算法層面的勝利，更源于模型架構(gòu)與硬件體系高度匹配的系統(tǒng)性結(jié)果

在這三者共同作用下，算力增長(zhǎng)、模型規(guī)模擴(kuò)大與能力提升之間形成了一條相對(duì)穩(wěn)定的正反饋鏈路。

需要注意的是，這一范式的有效性，也在一定程度上受益于語(yǔ)言任務(wù)本身的結(jié)構(gòu)特性：語(yǔ)言高度符號(hào)化、序列化，且評(píng)測(cè)體系與訓(xùn)練目標(biāo)高度一致。

這使得算力增長(zhǎng)、模型規(guī)模擴(kuò)大與能力提升之間，在這一階段形成了一條相對(duì)穩(wěn)定的正反饋鏈路。

也正是在這一歷史條件下，從GPT-1、GPT-2到GPT-3，再到ChatGPT，智能水平得以沿著同一范式持續(xù)抬升。

這也自然引出了后文的核心問(wèn)題：

當(dāng)算力繼續(xù)增長(zhǎng)時(shí)，我們是否還擁有同樣可擴(kuò)展的范式？

真正的瓶頸，并不是算力停了，而是算力“吃不動(dòng)”了

尤洋在文中提出了一個(gè)非常具體、也非?？刹僮鞯臉?biāo)準(zhǔn)來(lái)判斷智能的瓶頸：

• 當(dāng)一次訓(xùn)練的FLOPS從10^n變成10^{n+3}時(shí)，我們是否還能穩(wěn)定地獲得顯著更強(qiáng)的模型？

如果答案開(kāi)始變得不確定，那么問(wèn)題就不在于“算力是否繼續(xù)增長(zhǎng)”，而在于：

• 現(xiàn)有范式對(duì)新增算力的吸收效率是否下降；
• 計(jì)算規(guī)模的擴(kuò)大，是否被通信、同步和系統(tǒng)開(kāi)銷(xiāo)所抵消。

這也是文章里反復(fù)強(qiáng)調(diào)FLOPS的原因：

Token數(shù)、參數(shù)量、推理速度，往往會(huì)混合效率與商業(yè)因素；而FLOPS才是最底層、也最難被包裝或美化的算力尺度

在這個(gè)意義上，所謂“瓶頸”，并不是紅利消失，而是算力增長(zhǎng)與智能增長(zhǎng)之間的映射關(guān)系開(kāi)始松動(dòng)

更值得一提的是，尤洋在文章中刻意把討論從“效率優(yōu)化”里拎出來(lái)，換了一個(gè)更接近一線大廠決策的場(chǎng)景：

假設(shè)今天Google拍給你一張“300億美元預(yù)算”的支票，給你半年DDL——在這種極限訓(xùn)練目標(biāo)下，你還會(huì)優(yōu)先選擇Mamba這類(lèi)“吞吐量更高”的架構(gòu)嗎？

未必。因?yàn)橥掏铝拷鉀Q的是“同等智能更便宜”，不自動(dòng)等價(jià)于“同等成本更聰明”。

真正的難點(diǎn)變成：我們到底有沒(méi)有一種擴(kuò)展性更強(qiáng)的架構(gòu)或Loss函數(shù)，能把新增算力更穩(wěn)定地“吃進(jìn)去”，并把它轉(zhuǎn)換成可兌現(xiàn)的能力增量？

那么如何能在單位時(shí)間內(nèi)吃下更多算力，并真正將它轉(zhuǎn)化為智能呢？

未來(lái)未定，問(wèn)題的答案可能在多個(gè)探索區(qū)間內(nèi)

在正式回答算力轉(zhuǎn)化智能的問(wèn)題之前，尤洋還對(duì)硬件與基礎(chǔ)設(shè)施層面進(jìn)行了深入的探討。

他根據(jù)自身多年的從業(yè)經(jīng)驗(yàn)得出，計(jì)算開(kāi)銷(xiāo)/通信開(kāi)銷(xiāo)的比值，必須維持或提升，這樣才能在繼續(xù)堆疊GPU的情況下，線性地?fù)Q來(lái)更多智能。

因此，未來(lái)AI基礎(chǔ)設(shè)施的核心目標(biāo)，應(yīng)該關(guān)注并行計(jì)算體系在軟硬件層面的整體擴(kuò)展性，而不僅僅是單點(diǎn)芯片性能。

在這一基礎(chǔ)上，尤洋最后提出了多個(gè)探索方向，比如更高精度、高階優(yōu)化器，更可擴(kuò)展的架構(gòu)或者Loss函數(shù)，更多epoch與更深度的超參數(shù)探索。

這些探索方向，都在試圖回答同一個(gè)命題——如何讓模型在“吃掉”萬(wàn)億級(jí)投入的同時(shí)，吐出等比例增強(qiáng)的智能？

對(duì)于智能的進(jìn)一步增長(zhǎng)而言，真正重要的，是在極端算力條件下持續(xù)變強(qiáng)的能力——這也意味著，預(yù)訓(xùn)練所能承載的智能增長(zhǎng)空間，可能還遠(yuǎn)未走到盡頭。

回到最初討論的問(wèn)題，算力到底還能不能繼續(xù)轉(zhuǎn)化為智能？

尤洋并未給出斷言，但邏輯已經(jīng)清晰：

• 只要我們還能找到更高效組織計(jì)算的方式，智能的上限就遠(yuǎn)未到來(lái)。

原文傳送門(mén)：

https://zhuanlan.zhihu.com/p/1989100535295538013