當(dāng)三年前ChatGPT展示于世人面前時，通用人工智能（AGI）這個詞流行開來，盡管這個詞來自近30年前美國國防科技中納米技術(shù)的一篇論文，并且由DeepMind在初創(chuàng)時期引入AI圈內(nèi)。

OpenAI一度遙遙領(lǐng)先，讓AGI與對擴(kuò)展定律（scaling law）的信仰綁定在一起，只要有更多數(shù)據(jù)、更多算力，就能訓(xùn)練出參數(shù)更大的模型，更多的智能就會涌現(xiàn)，就能實(shí)現(xiàn)AGI。這樣一個AGI的實(shí)現(xiàn)，將是一個奇點(diǎn)時刻。這是一種“舊金山共識”。

但AGI并沒有一個科學(xué)的定義和嚴(yán)格的標(biāo)準(zhǔn) ，目前主流的做法，是對其進(jìn)行自動駕駛式的分級劃分，它是一個L0-L5的進(jìn)程，到達(dá)終點(diǎn)時人類司機(jī)已經(jīng)多余，而且并不遙遠(yuǎn)。

（2023/11/9） 閱讀全文>

（2024/7/12） 閱讀全文>

2025即將過去，沒有AGI，也并非智能體之年。

大語言模型無法實(shí)現(xiàn)AGI，正在成為共識，楊立昆和李飛飛轉(zhuǎn)向物理世界，無論是叫世界模型還是叫空間智能。谷歌的Logan Kilpatrick認(rèn)為，AGI不會是一個單一強(qiáng)大的模型，而會是一個系統(tǒng)，甚至可能是一個現(xiàn)有的模型與其他系統(tǒng)組件整合起來的結(jié)果。

AGI可以實(shí)現(xiàn)嗎？現(xiàn)在一般把它定義為這樣一種能力：在認(rèn)知領(lǐng)域完成達(dá)到人類水平的有經(jīng)濟(jì)價值的任務(wù)。這是OpenAI的典型定義，它還寫入了與微軟的協(xié)議，因?yàn)橐坏┻_(dá)到AGI，它將解除微軟對其技術(shù)的獨(dú)家權(quán)利。而AGI的實(shí)現(xiàn)，將由一個專家小組來裁定。這樣AGI就聽起來已經(jīng)不那么神圣了。

人們越來越傾向于認(rèn)為AGI不僅僅是認(rèn)知能力，它還需要具備對物理世界的理解和交互能力。AI通用能力的提升，將會受到物理和經(jīng)驗(yàn)規(guī)律的影響和制約。AGI的實(shí)現(xiàn)，可能并非由單一強(qiáng)大模型實(shí)現(xiàn)，而是由AI的系統(tǒng)能力實(shí)現(xiàn)，甚至可能是AI普惠的一種結(jié)果。

我們編譯了這篇博客文章；它認(rèn)為，如果AGI不考慮物理和經(jīng)濟(jì)法則的限制，追求由單一強(qiáng)大模型實(shí)現(xiàn)，它將是沒有未來的。這篇文章當(dāng)然會觸及AGI的“舊金山共識”者的神經(jīng)，也引發(fā)了爭議。正文如下：

目錄

計(jì)算是物理的

線性進(jìn)步需要指數(shù)級資源

GPU 不再進(jìn)步

為什么單純擴(kuò)大規(guī)模還不夠

前沿 AI 與經(jīng)濟(jì)擴(kuò)散

AGI 永遠(yuǎn)不會發(fā)生，而超級智能是一種幻想

One More Thing

計(jì)算是物理的

關(guān)于各種觀念，一個關(guān)鍵問題是：它們（尤其是來自灣區(qū)的那些）往往只活在觀念空間里。大多數(shù)思考通用人工智能、超級智能、縮放規(guī)律和硬件改進(jìn)的人，都把這些概念當(dāng)成抽象的理念，好像可以像哲學(xué)思想實(shí)驗(yàn)?zāi)菢与S意討論。事實(shí)上，許多關(guān)于超級智能和通用人工智能的思考，都源自牛津式的哲學(xué)傳統(tǒng)。牛津是“有效利他主義”的發(fā)源地，和灣區(qū)的理性主義文化混在一起，導(dǎo)致我們在如何清晰思考某些問題上出現(xiàn)了很強(qiáng)的偏差。而這一切都建立在對 AI 與擴(kuò)展能力的一個根本性誤解之上：計(jì)算是物理的。

要進(jìn)行有效的計(jì)算，你必須平衡兩件事：一是把全局信息搬運(yùn)到某個局部鄰域中，二是把多份局部信息匯聚起來，把舊信息轉(zhuǎn)換為新信息。局部計(jì)算的復(fù)雜度幾乎是常數(shù)級的——隨著晶體管變小而大大加速——而信息的移動成本卻會隨到本地計(jì)算單元的距離按平方增長。內(nèi)存訪問雖然同樣受益于更小的晶體管，但由于內(nèi)存訪問模式具有平方級的特性，這種改進(jìn)很快就會變成次線性的。

這一點(diǎn)在緩存層級上最容易看出來。L1、L2和 L3 緩存在物理技術(shù)上是同一種東西，但在計(jì)算行為上卻截然不同。L2和L3的容量遠(yuǎn)大于 L1，但速度也更慢。這是因?yàn)樵谖锢砩?，L2和L3離計(jì)算核心更遠(yuǎn)，內(nèi)存訪問必須穿過更長的物理距離。

有兩個要點(diǎn)需要記住：第一，更大的緩存更慢。第二，隨著晶體管越做越小，計(jì)算本身越來越便宜，但相對來說，內(nèi)存卻越來越昂貴。芯片上用于存儲的硅面積占比不斷提高，直到今天，純粹用來計(jì)算的單元在面積上已經(jīng)微不足道，幾乎所有面積都被分配給了內(nèi)存。換句話說，如果你想在一塊芯片上做出10 exaflops的算力，這其實(shí)不難——但你根本沒法用內(nèi)存去“喂飽”這份算力，于是這些FLOPS其實(shí)是無用的（英偉達(dá)的營銷很擅長忽略這一點(diǎn)）。所有這些都說明，像Transformer這樣的 AI 架構(gòu)，本質(zhì)上是物理的。我們的架構(gòu)不是可以隨便設(shè)計(jì)、隨便拋來拋去的抽象概念，而是對信息處理單元的物理層優(yōu)化。

要有用地處理信息，你需要做兩件事：計(jì)算局部關(guān)聯(lián)（MLP），以及把更遠(yuǎn)處的關(guān)聯(lián)匯聚到局部鄰域中來（注意力）。因?yàn)橹挥芯植啃畔r，你頂多能區(qū)分一些彼此非常相近的信息，而把遠(yuǎn)處的信息匯聚過來，才能形成更復(fù)雜的關(guān)聯(lián)，用來對比或增強(qiáng)局部細(xì)節(jié)。Transformer 是物理效率最高的架構(gòu)之一，因?yàn)樗米詈唵蔚姆绞桨堰@種局部計(jì)算和全局信息匯聚結(jié)合在一起。通過進(jìn)一步研究，全局信息匯聚也許還能更高效，現(xiàn)在仍然有很多我認(rèn)為很有前景的工作在做這件事，但收益是遞減的——Transformer 這個架構(gòu)在物理意義上已經(jīng)接近最優(yōu)。

計(jì)算是物理的，這對生物系統(tǒng)同樣成立。所有動物的計(jì)算能力，都受限于它們在生態(tài)位中所能獲取的熱量。如果你知道一種靈長類動物的平均熱量攝入量，就可以在 99% 的精度范圍內(nèi)算出它大約有多少個神經(jīng)元。人類發(fā)明了烹飪，通過預(yù)消化大大增加了物理上可攝入的熱量。但我們也達(dá)到了智能的物理極限。女性懷孕時必須養(yǎng)活兩顆大腦，這在能量上代價極高，如果我們的腦再大一點(diǎn)，腸胃從物理上就無法動員足夠的宏量營養(yǎng)素讓兩者都存活。腦更大的話，我們將無法繁衍后代——不是因?yàn)楫a(chǎn)道太小，而是因?yàn)槲覀儫o法提供足夠的能量——這使得當(dāng)下人類的智能水平成為一個由于能量限制而無法跨越的物理邊界。

在數(shù)字計(jì)算上，我們也正逐漸逼近同樣的極限。

線性進(jìn)步需要指數(shù)級資源

在各個領(lǐng)域的進(jìn)步研究中，人們反復(fù)得出同一個結(jié)論：線性的進(jìn)步需要指數(shù)級的資源。什么意思？如果你想不斷改進(jìn)一個系統(tǒng)，讓它更精確，或提高效率，那么每前進(jìn)一步，你都需要投入比之前多得多的資源。這在各類學(xué)科與問題中都成立，其原因也非常明確。

這里涉及兩種現(xiàn)實(shí)：一種是物理現(xiàn)實(shí)，另一種是觀念空間中的現(xiàn)實(shí)。在物理世界里，要在時間和空間中積累資源以產(chǎn)生結(jié)果，出于補(bǔ)給上的原因，總的來說，在本地生產(chǎn)要想獲得線性的成果，就必須投入線性的資源。但由于物質(zhì)物理特性，物質(zhì)占據(jù)空間，這些資源的匯聚速度會越來越慢，受到空間或時間上的競爭限制。

在觀念空間里也存在類似的現(xiàn)象，但不那么顯而易見。如果兩個想法完全獨(dú)立，它們結(jié)合后的效果可能是其中任何一個的十倍。但如果想法之間相關(guān)，那么整體影響就會受到邊際遞減的限制——因?yàn)樗鼈冎g高度相關(guān)。如果一個想法建立在另一個之上，它所能帶來的提升總是有限的。在很多情況下，具有依賴關(guān)系的兩個想法，一個只是另一個的精煉版本。即使這種精煉非常有創(chuàng)造力，它帶來的也只是漸進(jìn)改善。在一個足夠大的領(lǐng)域中，即使人們試圖從事非常不同的想法，它們?nèi)匀粫c之前的想法強(qiáng)相關(guān)。例如，狀態(tài)模型和 Transformer 模型看似是非常不同的注意力機(jī)制方法，但它們關(guān)注的仍然是同一個問題。任何試圖以這些方式改動注意力機(jī)制的想法，所能獲得的改進(jìn)都是微小的。

這些關(guān)系在物理學(xué)中最為突出。曾經(jīng)有一段時間，個人就能在物理學(xué)上取得重大進(jìn)展——如今幾乎不可能了。

我曾與一位頂尖研究型大學(xué)的頂級理論物理學(xué)家交流過，他告訴我，如今物理學(xué)的理論研究，在某種意義上，要么是增量式精煉，要么是虛構(gòu)問題。觀念空間中的核心問題是：如果你的想法仍處于同一個子領(lǐng)域，那么基本不可能產(chǎn)生真正有意義的創(chuàng)新，因?yàn)閹缀跛兄匾狞c(diǎn)子都已經(jīng)被想過了。人們第一反應(yīng)可能是去尋找極具創(chuàng)造力的想法，但問題在于，這些想法仍然受制于該子領(lǐng)域的規(guī)則，而這些規(guī)則往往有充分的理由存在（參見研究生版萬有理論現(xiàn)象）。因此，理論物理學(xué)家實(shí)際上只能面對兩個選擇：繼續(xù)對現(xiàn)有想法做增量式精煉，但這樣不會產(chǎn)生重大影響；或者研究那些打破規(guī)則、非常有趣但對物理理論沒有明確貢獻(xiàn)的非傳統(tǒng)想法。

實(shí)驗(yàn)物理則展示了物理世界的限制。為了測試越來越基本的物理定律和粒子（也就是標(biāo)準(zhǔn)模型），實(shí)驗(yàn)的成本不斷飆升。標(biāo)準(zhǔn)模型并不完備，而我們不知道如何修補(bǔ)它。在大型強(qiáng)子對撞機(jī)中使用更高能量，只帶來了更多含糊的結(jié)果，并排除了更多理論。我們?nèi)匀徊涣私獍的芰亢桶滴镔|(zhì)，即便我們花費(fèi)數(shù)十億美元構(gòu)建越來越復(fù)雜的實(shí)驗(yàn)?，F(xiàn)實(shí)可能是：物理學(xué)的某些方面本質(zhì)上是不可知的，因?yàn)樗鼈冸[藏其后的復(fù)雜型，是在我們永遠(yuǎn)無法調(diào)動足夠資源去觸及的。

如果你想獲得線性的進(jìn)步，你就必須投入指數(shù)級的資源。

GPU不再進(jìn)步

我看到的最普遍的誤解之一，是人們以為硬件會不斷持續(xù)改進(jìn)。這是一個非常重要的誤解，它解釋了很多關(guān)于 AI 進(jìn)展的錯誤思考。GPU 的效率幾乎驅(qū)動了所有 AI 創(chuàng)新。AlexNet 之所以成為可能，是因?yàn)樗麄冮_發(fā)了最早的一批 CUDA 實(shí)現(xiàn)之一，使卷積運(yùn)算能夠在多塊互聯(lián) GPU 上執(zhí)行。之后的進(jìn)一步創(chuàng)新，大多來源于更好的 GPU 以及更多的 GPU。幾乎所有人都看到了這個模式 —— GPU 改進(jìn)，AI 性能提升 —— 因此很容易認(rèn)為 GPU 會繼續(xù)改進(jìn)，并持續(xù)提升 AI 的結(jié)果。每一代 GPU 都比上一代更好，認(rèn)為這種趨勢會停止似乎很愚蠢。但事實(shí)上，認(rèn)為 GPU 會繼續(xù)改進(jìn)才是愚蠢的。實(shí)際上，GPU 將不再出現(xiàn)有意義的改進(jìn)。我們基本上已經(jīng)見到了最后一代具有重大提升的 GPU。GPU 在單位成本性能上的極致大約在 2018 年就已經(jīng)達(dá)到 —— 之后我們添加的只是一些一次性的功能，而這些功能很快就被耗盡。

這些一次性功能中，第一個是 16 位精度，然后是 Tensor Core 或其等效功能，然后是高帶寬內(nèi)存（HBM），然后是 TMA（張量內(nèi)存加速器——譯者） 或類似機(jī)制，然后是 8 位精度，再然后是 4 位精度?，F(xiàn)在在物理層面和思想層面上，我們都已經(jīng)走到了盡頭。我在關(guān)于 k-bit 推理縮放定律的論文中展示了，哪些數(shù)據(jù)類型在給定的塊大小與計(jì)算安排下是最優(yōu)的。這些已經(jīng)被硬件制造商采用。進(jìn)一步的改進(jìn)不會帶來直接的提升，而只會帶來權(quán)衡：要么以較低的計(jì)算效率換取更好的內(nèi)存占用，要么以更高的內(nèi)存占用換取更高的計(jì)算吞吐。即使你能創(chuàng)新 —— 線性改進(jìn)需要指數(shù)級資源 —— 任何進(jìn)一步的提升都將微乎其微，不會帶來任何真正重要的進(jìn)展。

雖然 GPU 已無法實(shí)現(xiàn)有意義的提升，但機(jī)架級優(yōu)化依然至關(guān)重要。高效傳輸 KV-cache 是 AI 基礎(chǔ)設(shè)施中最重要的問題之一。不過，這個問題當(dāng)前的解決方案其實(shí)也相當(dāng)直接。像 OpenAI 這樣的公司會夸耀他們的 AI 基礎(chǔ)設(shè)施，但它其實(shí)相對容易設(shè)計(jì)，因?yàn)楸举|(zhì)上只有一種最優(yōu)設(shè)計(jì)方式。盡管實(shí)現(xiàn)起來很復(fù)雜，但主要需要清晰的思路以及大量艱苦、耗時的工程工作。從整體上看，這個系統(tǒng)設(shè)計(jì)并不特別新穎。OpenAI —— 或其他前沿實(shí)驗(yàn)室 —— 在推理與基礎(chǔ)設(shè)施棧方面并無根本優(yōu)勢。唯一能獲得優(yōu)勢的方式，是擁有稍微更好的機(jī)架級硬件優(yōu)化或數(shù)據(jù)中心級硬件優(yōu)化。但這些優(yōu)勢也會很快耗盡 —— 也許在 2026 年，也許在 2027 年。

為什么單純擴(kuò)大規(guī)模還不夠

在我的一條推文中，我談到 Gemini 可能意味著 AI 進(jìn)步出現(xiàn)平臺期——即我們可能不會再看到有意義的提升。許多人回應(yīng)說：“你太悲觀了。難道你沒看到 scaling （擴(kuò)大規(guī)模）有效嗎？” 這里的觀點(diǎn)更微妙一些，我想進(jìn)一步說明。

我相信 scaling laws（擴(kuò)展定律），也相信擴(kuò)大規(guī)模會提升模型性能，而像 Gemini 這樣的模型顯然是好模型。問題在于：為了獲得線性的改進(jìn)，以前我們依賴GPU 的指數(shù)級增長來抵消 scaling 所需的指數(shù)級資源。這現(xiàn)在已經(jīng)不再成立。換句話說，以往我們投入大致線性的成本，就能獲得線性的收益，但如今成本已經(jīng)變成指數(shù)級。這本身不是問題，但它設(shè)定了一個清晰的物理極限，而我們正快速接近這個極限。我們可能還有一年，也可能還有兩年的 scaling 余地，因?yàn)檫M(jìn)一步的提升將變得在物理層面不可行。2025 年的 scaling 改進(jìn)并不令人印象深刻。2026 和 2027 年的 scaling 最好能帶來更好的表現(xiàn)。

盡管 scaling 的成本呈指數(shù)級增長，目前的基礎(chǔ)設(shè)施擴(kuò)張還是合理的，尤其是在推理需求增長的帶動下，但這仍然形成了一種非常危險的平衡。最大的問題是：如果 scaling 不能帶來遠(yuǎn)大于研究/軟件創(chuàng)新的改進(jìn)，那么硬件就會從資產(chǎn)變成負(fù)債。

像月之暗面和智譜這樣的中型玩家表明，他們不需要太多資源也能達(dá)到前沿性能（我個人在寫代碼時更喜歡 Kimi K2-thinking，而不是 Sonnet 4.5）。如果這些公司能夠在超越規(guī)模的方向上創(chuàng)新，他們很可能造出最好的模型。即使他們?nèi)匀皇褂矛F(xiàn)有的基礎(chǔ)設(shè)施，他們也完全可以在推理階段切換到華為昇騰芯片，而這些芯片足以提供非常好的推理性能。

對規(guī)模化基礎(chǔ)設(shè)施的另一個重大威脅是：當(dāng)前大模型推理的效率強(qiáng)烈依賴于龐大的用戶規(guī)模，因?yàn)榫W(wǎng)絡(luò)擴(kuò)展效應(yīng)。問題在于，高效部署一個大模型需要一定數(shù)量的GPU，以便在計(jì)算、網(wǎng)絡(luò)通信以及 KV-cache 分片之間實(shí)現(xiàn)足夠的重疊。這類部署在規(guī)模足夠大時效率極高，但需要龐大的用戶群才能實(shí)現(xiàn)高利用率，從而體現(xiàn)成本效益。這就是為什么開放權(quán)重模型目前沒有產(chǎn)生預(yù)期影響，因?yàn)榇笠?guī)模部署的基礎(chǔ)設(shè)施成本必須依賴大量用戶才能攤平。然而，這個問題可以通過軟件來解決。

雖然 vLLM 和 SGLang 目前嘗試優(yōu)化前沿模型的部署效率，但它們在更小規(guī)模上無法提供同樣的效果。如果有比 vLLM/SGLang 更進(jìn)一步的推理?xiàng)＃藗兙湍芤耘c OpenAI 或 Anthropic 部署前沿模型相同的效率，來部署一個規(guī)模約 300B 參數(shù)的模型。如果小模型變得更強(qiáng)（我們已在 GLM 4.6 中看到了這一點(diǎn)），或者 AI 應(yīng)用變得更加專業(yè)化，那么前沿實(shí)驗(yàn)室的基礎(chǔ)設(shè)施優(yōu)勢可能會在一夜之間消失。軟件復(fù)雜性被消除，開源、開放權(quán)重的部署可能在計(jì)算效率和信息處理效率方面，都接近物理最優(yōu)。這對前沿公司而言是巨大的風(fēng)險。

在 scaling 放緩的背景下，以下三個因素的任何一個都可能迅速且顯著削弱 AI 基礎(chǔ)設(shè)施的價值：（1）研究/軟件創(chuàng)新，（2）強(qiáng)大的開放權(quán)重推理?xiàng)＃?）向其他硬件的遷移。

按照目前的趨勢，對前沿實(shí)驗(yàn)室來說，局勢并不樂觀。

前沿AI 與經(jīng)濟(jì)擴(kuò)散

美國和中國在 AI 上遵循兩種不同的路徑。美國相信“贏家通吃”的理念——誰構(gòu)建了超級智能，誰就贏。即便達(dá)不到超級智能或 AGI，只要你擁有最好的模型，幾乎所有人都會使用你的模型，而不是競爭對手的模型。其想法是：打造最大、最強(qiáng)的模型，人們自然會蜂擁而至。

中國的理念不同。他們認(rèn)為模型能力本身并沒有應(yīng)用重要。關(guān)鍵在于你如何使用 AI。衡量進(jìn)步的核心指標(biāo)，是 AI 在各領(lǐng)域的滲透程度以及它帶來的實(shí)用性。如果一個模型比另一個好，這并不意味著它就會被更廣泛采用。重要的是模型有用，并能以合理成本帶來生產(chǎn)率提升。如果當(dāng)前的方法比先前的方法更具生產(chǎn)力，它就會被采納。但為了略微的質(zhì)量提升進(jìn)行過度優(yōu)化，并不是很有效。在大多數(shù)情況下，選擇足夠好的方案反而帶來最高的生產(chǎn)率收益。

我認(rèn)為，很容易看出美國的理念短視且非常成問題——尤其是在模型能力增長放緩時。中國的理念則更具長期導(dǎo)向和實(shí)用性。

AI 的關(guān)鍵價值在于它有用，并能提升生產(chǎn)力。正因如此，它才是有益的。很明顯，與電腦或互聯(lián)網(wǎng)相似，AI 將會無處不在。而問題在于：如果 AI 僅被用于編碼和工程，那么其影響將非常有限。盡管許多經(jīng)濟(jì)活動依賴數(shù)字化程序，但這些程序本身也有收益遞減效應(yīng)，如果現(xiàn)有軟件已經(jīng)足夠好，再生產(chǎn)更多軟件不會帶來顯著改善（看看中國的 SaaS 失敗就知道了）。因此，廣泛的經(jīng)濟(jì)整合對于 AI 效能至關(guān)重要。

因此，為了提供真正的價值，AI 需要被用于能夠帶來新增益的方式，而不是僅僅改善已有的事物。這是一個困難的問題，但正確的答案是將 AI 融入一切領(lǐng)域，通過這種方式榨取非線性的改進(jìn)，觀察哪些有效、哪些無效，然后保留有效的部分。中國正在通過補(bǔ)貼使用 AI 應(yīng)用來推動技術(shù)采納。中國民眾對創(chuàng)新非常開放，起到了促進(jìn)作用。在中國，看到一位80歲的奶奶使用 AI 幫助日常生活并不稀奇。相反，美國押注于AGI和超級智能這樣的概念，而我認(rèn)為這些概念在根本上是有缺陷的，與未來的 AI 發(fā)展關(guān)系不大。你認(rèn)真思考下這些術(shù)語在物理現(xiàn)實(shí)中真正意味著什么時，這一點(diǎn)就會變得非常清晰。

AGI永遠(yuǎn)不會發(fā)生，而超級智能是一種幻想

我注意到一種模式：當(dāng)你問灣區(qū)的人 AGI 什么時候出現(xiàn)時，他們總是說再過幾年就會發(fā)生，而且會產(chǎn)生巨大的影響。但如果你問他們 AGI 實(shí)際上是什么，他們在定義中從不會包含任何物理任務(wù)，也不會考慮資源投入。

真正的 AGI——能夠完成所有人類能做的事情——必須能夠執(zhí)行物理任務(wù)，而物理任務(wù)構(gòu)成了規(guī)模最大的經(jīng)濟(jì)部門。簡而言之，AGI 應(yīng)當(dāng)包括能夠在物理世界中執(zhí)行具有經(jīng)濟(jì)意義工作的物理機(jī)器人或機(jī)器。雖然物理機(jī)器人在幫你把洗碗機(jī)里的碗盤取出來時可能很方便，但你不會看到它們替代工廠里的專用系統(tǒng)。工廠里的專用機(jī)器人過于高效、過于精確。中國已經(jīng)展示“黑燈工廠”——完全自動化的設(shè)施——是可能的。大多數(shù)機(jī)器人問題在可控環(huán)境下都是已解決問題。那些仍未解決的機(jī)器人問題，大多在經(jīng)濟(jì)上沒有意義。比如，把袖子縫到 T 恤上是一個沒有解決的機(jī)器人問題，但在大多數(shù)情境下，這個問題的經(jīng)濟(jì)意義并不大。家用機(jī)器人會很有趣，但如果我使用洗碗機(jī)只需要兩分鐘，我不確定是否需要機(jī)器人來做。而且雖說幾年后可能會出現(xiàn)能折疊衣物的機(jī)器人，但我寧愿自己花幾分鐘折疊——沒有褶皺——也不愿讓機(jī)器人做一種平庸的折疊。

機(jī)器人領(lǐng)域的主要問題是，其學(xué)習(xí)遵從的 scaling laws 與語言模型的 scaling laws 非常相似。問題在于，物理世界中的數(shù)據(jù)收集成本太高，而物理世界在細(xì)節(jié)上又過于復(fù)雜。機(jī)器人的影響將是有限的。工廠已經(jīng)自動化，而其他任務(wù)并不具備經(jīng)濟(jì)可行性。

超級智能的概念建立在一個錯誤的前提上。這個想法認(rèn)為，只要你擁有一種與人類一樣好，甚至更好的智能——換句話說，AGI——那么這種智能就能自我改進(jìn)，從而產(chǎn)生失控式增長。這一概念來自牛津的哲學(xué)家，他們將這些想法帶到了灣區(qū)。這是一個根本存在缺陷、對該領(lǐng)域有害的理念。主要缺陷在于，這個想法把智能當(dāng)成純粹的抽象概念，不與物理現(xiàn)實(shí)相聯(lián)系。要改進(jìn)任何系統(tǒng)，你都需要資源。即使超級智能比人類更有效地使用資源來改進(jìn)自身，它仍然會受到我之前提到的改進(jìn) scaling 限制——線性的改進(jìn)需要指數(shù)級的資源。雖然可以通過轉(zhuǎn)向更獨(dú)立的問題來避免收益遞減（就像給GPU添加一次性的新功能），但這些很快就會遇到自己的收益遞減。因此，超級智能更像是在填補(bǔ)能力上的空隙，而不是拓展能力的邊界。填補(bǔ)空隙可能有用，但不會產(chǎn)生失控效應(yīng)——它只會帶來漸進(jìn)式的改進(jìn)。

此外，那些認(rèn)為GPU會無限改進(jìn)的人，往往也是那些認(rèn)為超級智能會更快更好地如此改進(jìn)的人。但他們沒有意識到 GPU 已無法獲得有意義的改進(jìn)。我們只能等待更好的HBM技術(shù)來提升速度，以及通過 chiplet 和先進(jìn)封裝來改進(jìn)良率與成本，但僅此而已。機(jī)架級優(yōu)化可能會在 2026 或 2027 年觸及物理極限。超級智能不會加速HBM的研發(fā)、制造、測試和整合。Transformer 架構(gòu)在物理上已經(jīng)接近最優(yōu)。超級智能不可能對神經(jīng)網(wǎng)絡(luò)架構(gòu)做出有意義的改進(jìn)。高效的大規(guī)模推理部署在工程層面基本已是一個被解決的問題。它只需要一些仔細(xì)的工程工作和時間，而不是太多創(chuàng)造力，即可將性能逼近物理最優(yōu)。超級智能不會讓我們的推理?xiàng)Ｓ刑筇嵘?/p>

超級智能可能會幫助 AI 技術(shù)的經(jīng)濟(jì)擴(kuò)散，但最終，經(jīng)濟(jì)擴(kuò)散的限制因素是實(shí)施與采納，而不是能力。對我來說很明顯，任何將超級智能作為主要目標(biāo)的組織都會遭遇嚴(yán)重挑戰(zhàn)，并最終被那些提供經(jīng)濟(jì)擴(kuò)散的玩家取代。

總而言之，按照常見的理解，AGI 不會發(fā)生，因?yàn)樗雎粤擞?jì)算的物理約束、線性進(jìn)步的指數(shù)級成本，以及我們已經(jīng)遇到的根本限制。超級智能是一種幻想，因?yàn)樗僭O(shè)智能可以無限制地遞歸自我提升，卻無視所有系統(tǒng)都受物理與經(jīng)濟(jì)現(xiàn)實(shí)約束的事實(shí)。這些想法之所以存在，不是因?yàn)樗鼈冇性鷮?shí)的基礎(chǔ)，而是因?yàn)樗鼈冊谝粋€以信念而非嚴(yán)謹(jǐn)為獎勵的回聲室里，形成了吸引人的敘事。

AI 的未來將由經(jīng)濟(jì)擴(kuò)散、實(shí)際應(yīng)用以及在物理約束內(nèi)的漸進(jìn)式改進(jìn)所塑造——而不是由神話般的超級智能，或 AGI 的突然出現(xiàn)所決定。我們越早接受這一現(xiàn)實(shí)，就越能專注于構(gòu)建真正提升人類生產(chǎn)力與福祉的 AI 系統(tǒng)。

One More Thing

作者Tim Detttmers是艾倫研究所研究員，卡內(nèi)基梅隆大學(xué)助理教授。

Tim于華盛頓大學(xué)獲得博士學(xué)位，導(dǎo)師是Luke Zettlemoyer。Tim的核心研究目標(biāo)是讓人工智能變得觸手可及，使每個人都能探索AI、從中學(xué)習(xí)，并將其整合運(yùn)用到自身工作中。

Tim主要通過兩種方式實(shí)現(xiàn)這一目標(biāo)：(1)開發(fā)新一代人工智能方法與模型，尤其是智能體；(2) 通過其研究成果（QLoRA、LLM.int8()、k位推理擴(kuò)展定律、Petals、SWARM）以及開發(fā)易于使用的軟件工具（bitsandbytes），降低這些AI方法與模型的應(yīng)用門檻。

具體研究興趣包括：開源智能體，設(shè)備端專家混合系統(tǒng)，分層大語言模型架構(gòu)與部署，科學(xué)自動化（含醫(yī)療健康領(lǐng)域），人工智能驅(qū)動的自動化。

Tim所在的艾倫研究所主張發(fā)展開源人工智能。今年發(fā)布了一份研究報告，認(rèn)為中國開源模型已經(jīng)超過了美國，在科技圈和地緣政治圈中都引發(fā)了廣泛的影響。

（2025/8/18） 閱讀全文>