新智元報(bào)道

編輯：好困 桃子

【新智元導(dǎo)讀】終結(jié)Transformer的架構(gòu)即將誕生！奧特曼最新訪(fǎng)談豪言，下一代AI架構(gòu)徹底顛覆Transformer，LSTM的命運(yùn)或?qū)⒃俅紊涎荨?/strong>

Transformer的最大受益者，親手給它判了死刑！

這幾天，Sam Altman回到斯坦福，面對(duì)一群大二學(xué)弟學(xué)妹，扔出了一顆深水炸彈——

未來(lái)一定會(huì)誕生全新的底層架構(gòu)，性能躍升不亞于當(dāng)年Transformer對(duì)LSTM的降維打擊。

要知道，GPT帝國(guó)就建在Transformer上面。

ChatGPT、GPT-4、o1、Codex，全是這套架構(gòu)的果實(shí)。

而現(xiàn)在，摘果子的人親口說(shuō)：這棵樹(shù)的壽命快到頭了。

甚至，奧特曼直言不諱，我們所追求的AGI可能只是一次「熱身」（warm up）而已！

而下一代全新架構(gòu)突破已在路上——現(xiàn)有的高階LLM已具備足夠的認(rèn)知力，能夠作為人類(lèi)智力杠桿，親手推開(kāi)另一個(gè)技術(shù)范式的大門(mén)。

用AI找到下一個(gè)Transformer

人們都說(shuō)，暴力出奇跡，但暴力本身也有極限。

Transformer有一個(gè)天生的算力黑洞：文本長(zhǎng)度翻10倍，計(jì)算量翻100倍。

這就是為什么今天跑GPT-5.4級(jí)別的模型，燒錢(qián)速度是天文數(shù)字。

奧特曼顯然看到了這面墻。但他并不覺(jué)得沒(méi)路走了，恰恰相反，他覺(jué)得推翻這堵墻的工具已經(jīng)到手了。

訪(fǎng)談中有一句極其關(guān)鍵的話(huà)：現(xiàn)在的模型終于聰明到可以輔助人類(lèi)去做這種級(jí)別的科研了。

意思是，找到下一代架構(gòu)這件事本身，已經(jīng)可以讓AI來(lái)幫忙了。

用當(dāng)下的AI去發(fā)現(xiàn)能取代它的新架構(gòu)，邏輯鏈條很清楚：

模型越強(qiáng)→科研效率越高→新架構(gòu)被發(fā)現(xiàn)的概率越大→新架構(gòu)反過(guò)來(lái)讓模型更強(qiáng)。

一個(gè)自我加速的飛輪，就這樣形成了。

奧特曼之所以有底氣下這個(gè)判斷，跟一路走來(lái)對(duì)范式轉(zhuǎn)換的獨(dú)特嗅覺(jué)有關(guān)。

大一暑假，他跑去斯坦福的AI實(shí)驗(yàn)室打工，結(jié)論是「這些玩意兒根本沒(méi)戲」，然后就跑去搞別的創(chuàng)業(yè)了。

不過(guò)，對(duì)AI的關(guān)注卻從未間斷過(guò)。用奧特曼自己的話(huà)說(shuō)，這是一種「抬頭看全局」的習(xí)慣，別陷入管中窺豹。

2012年AlexNet橫空出世，他和大多數(shù)人一樣，覺(jué)得「挺酷的」，但沒(méi)往心里去。

接下來(lái)幾年，深度學(xué)習(xí)模型越做越大、越做越強(qiáng)，奧特曼一直在旁邊看著。直到某個(gè)臨界點(diǎn)，感覺(jué)徹底變了——這東西簡(jiǎn)直像一顆正在逼近的小行星，極其瘋狂，但整個(gè)世界居然沒(méi)幾個(gè)人當(dāng)回事。

于是2015年OpenAI成立。核心信念只有一條：把深度學(xué)習(xí)的規(guī)模往死里推，看看會(huì)發(fā)生什么。

但當(dāng)時(shí)說(shuō)要建AGI實(shí)驗(yàn)室，整個(gè)行業(yè)的老前輩都覺(jué)得他們瘋了，甚至直接說(shuō)他們是騙子。

不過(guò)結(jié)果大家都看到了。

GPT-2讓奧特曼第一次見(jiàn)到計(jì)算機(jī)做出了前所未有的事情，GPT-3驚艷了世界，GPT-4更上一層樓。當(dāng)你站在一個(gè)正確的范式上死磕，回報(bào)是指數(shù)級(jí)的。

現(xiàn)在，同樣的直覺(jué)被投射到了下一個(gè)范式上。

Transformer不是終點(diǎn)，就像LSTM不是終點(diǎn)。

奧特曼甚至給了具體建議：

如果現(xiàn)在是一個(gè)研究者，會(huì)死磕這個(gè)方向，去找「哪里能挖出核彈級(jí)突破」，而且會(huì)重度依賴(lài)大模型來(lái)做科研助手。

Greg公寓里的白板

一個(gè)改變世界的夜晚

這場(chǎng)訪(fǎng)談最好看的部分，是奧特曼對(duì)OpenAI草創(chuàng)期的回憶。

OpenAI第一天上班，大家聚在聯(lián)合創(chuàng)始人Greg Brockman的公寓里。

早上9點(diǎn)半、10點(diǎn)，八九個(gè)人陸陸續(xù)續(xù)到了，坐在沙發(fā)上，面面相覷。

然后有人開(kāi)口：「好吧，咱們干點(diǎn)啥？」

有人提議寫(xiě)幾篇論文。又有人說(shuō)得先弄塊白板。然后就有人直接在亞馬遜上下單，加急配送。

奧特曼說(shuō)當(dāng)時(shí)內(nèi)心一陣恐慌：這不行啊。這既不像正兒八經(jīng)的創(chuàng)業(yè)公司，也不像任何能成事兒的組織。

但他緊接著說(shuō)了一句非常奧特曼的話(huà)：在那種時(shí)刻，你只要深呼吸，相信如果身邊聚的都是最優(yōu)秀的人，事情總會(huì)迎刃而解。

他賭對(duì)了。

就在那第一周，后來(lái)成為OpenAI前四年核心理念的大部分點(diǎn)子，都被寫(xiě)在了那塊白板上。盡管當(dāng)時(shí)他們自己都覺(jué)得這些想法不靠譜。

他們一開(kāi)始?jí)焊鶝](méi)想過(guò)做產(chǎn)品。

奧特曼反復(fù)強(qiáng)調(diào)，他們以為自己就是個(gè)純研究實(shí)驗(yàn)室，發(fā)發(fā)論文就好了。

但后來(lái)兩件事變得越來(lái)越清晰：

• 第一，這條路蘊(yùn)含的經(jīng)濟(jì)價(jià)值遠(yuǎn)超想象；

• 第二，需要的資金不是幾十億，而是數(shù)以千億計(jì)。

而真正讓奧特曼建立起信仰的轉(zhuǎn)折點(diǎn)，是GPT-2。

他說(shuō)不記得GPT-2發(fā)布那天的具體日期了，但他永遠(yuǎn)記得第一次跟那個(gè)模型對(duì)話(huà)的那個(gè)夜晚。

它做出了我以前從未見(jiàn)過(guò)計(jì)算機(jī)能做出的事情。

那一刻他覺(jué)得，妥了，這就是了。

至于GPT-2為什么暫緩發(fā)布？奧特曼承認(rèn)，事后看來(lái)有些過(guò)度謹(jǐn)慎，但他覺(jué)得面對(duì)AI每一個(gè)新的能力臺(tái)階，稍微偏向謹(jǐn)慎一點(diǎn)沒(méi)壞處。

當(dāng)然也不能慫過(guò)頭。如果企業(yè)不以足夠快的速度擁抱AI，就會(huì)被完全自治的AI公司干掉，那才是真正的災(zāi)難。

斯坦福訪(fǎng)談全景

奧特曼的10個(gè)判斷

架構(gòu)預(yù)言和創(chuàng)業(yè)往事之外，奧特曼在這場(chǎng)訪(fǎng)談中還密集輸出了大量觀(guān)點(diǎn)，幾乎每一條都值得單獨(dú)拎出來(lái)聊。

1. AGI兩年內(nèi)降臨。

奧特曼直接告訴臺(tái)下的大二學(xué)生：

等你們畢業(yè)的時(shí)候，你們將踏入一個(gè)已經(jīng)有AGI的世界。

當(dāng)然，人類(lèi)的底層驅(qū)動(dòng)力不會(huì)變，你還是得搬家、找工作、考慮成家立業(yè)。

但科學(xué)研究將被高度自動(dòng)化，創(chuàng)辦初創(chuàng)公司和去大廠(chǎng)打工的意義都將被徹底改寫(xiě)。

2. 編程智能體是下一個(gè)ChatGPT時(shí)刻。

下一個(gè)引爆點(diǎn)是什么？奧特曼沒(méi)猶豫：編程AI智能體。

緊隨其后、但尚未完全引爆的，是AI在所有知識(shí)型工作中執(zhí)行任務(wù)的同等能力。

不過(guò)，距離這一天已經(jīng)不遠(yuǎn)了。

3. 一個(gè)人能干出一家中型公司的活兒。

未來(lái)會(huì)涌現(xiàn)大量一個(gè)人或六個(gè)合伙人的微型初創(chuàng)公司，影響力和營(yíng)收甚至能跟今天的中大型企業(yè)掰手腕。

奧特曼說(shuō)iPhone問(wèn)世算是上一次這種級(jí)別的機(jī)會(huì)，這一次更猛。

不僅能做以前不敢想的事，還能用極少的人力極快地把產(chǎn)品和公司建起來(lái)。

4.AICEO？不是不可能。

聊到AI對(duì)社會(huì)的影響，奧特曼說(shuō)了句耐人尋味的話(huà)：

他絕不會(huì)自欺欺人地認(rèn)為，不太遙遠(yuǎn)的未來(lái)不會(huì)出現(xiàn)一個(gè)比他更適合執(zhí)掌OpenAI的AI CEO。

如果有的公司或國(guó)家擁抱了AI而別人沒(méi)有，競(jìng)爭(zhēng)力差距將是碾壓級(jí)的。

這背后的政治、經(jīng)濟(jì)、社會(huì)沖擊，他坦言自己也還沒(méi)完全想明白。

5. 但別慌，人類(lèi)的適應(yīng)力被嚴(yán)重低估了。

奧特曼不是AI末日論者。

他反復(fù)強(qiáng)調(diào)一個(gè)觀(guān)點(diǎn)：AGI聽(tīng)起來(lái)像是要徹底顛覆社會(huì)，但身處其中的感覺(jué)不會(huì)像聽(tīng)上去那么驚悚，頂多頭幾天覺(jué)得有點(diǎn)懵。

人類(lèi)渴望對(duì)彼此有價(jià)值、渴望競(jìng)爭(zhēng)、渴望創(chuàng)造、渴望表達(dá)，這些底層驅(qū)動(dòng)力不會(huì)消失。

也許100年后的職業(yè)跟今天毫無(wú)相似之處，但人永遠(yuǎn)有事可做，也永遠(yuǎn)在意人與人之間的連接。

6. 別怕跟OpenAI競(jìng)爭(zhēng)。

有人問(wèn)，OpenAI變成終極巨頭怎么辦？

奧特曼的回答出乎意料地坦誠(chéng)：當(dāng)年所有人都說(shuō)不可能跟谷歌打，結(jié)果我們打出來(lái)了。

總有一天會(huì)有比OpenAI更大更成功的公司誕生，而他們絕對(duì)不會(huì)走一模一樣的路。

他甚至說(shuō)，谷歌當(dāng)初如果不那么「拉胯」，OpenAI根本不可能出頭。

大廠(chǎng)有大廠(chǎng)的通病。

7. 燒錢(qián)快，但不慌。

面對(duì)「OpenAI燒錢(qián)速度恐怖」的尖銳提問(wèn)，奧特曼很淡定：燒錢(qián)確實(shí)快，但如果今年砸10億是為了明年賺30億，世界上大把資本排隊(duì)想做這筆買(mǎi)賣(mài)。

8. 自研芯片是認(rèn)真的，蓋數(shù)據(jù)中心免談。

OpenAI有龐大的定制芯片計(jì)劃，對(duì)自家推理芯片極其興奮。

至于自建數(shù)據(jù)中心，用奧特曼原話(huà)說(shuō)就是：真的一萬(wàn)個(gè)不想干這苦力活。

被逼到那一步也會(huì)上，但最好是把服務(wù)器機(jī)架設(shè)計(jì)到極致，臟活累活讓別人干。

9. 社交產(chǎn)品要被撕開(kāi)一條口子了。

奧特曼覺(jué)得AI的機(jī)會(huì)遠(yuǎn)不止給現(xiàn)有軟件「塞個(gè)AI進(jìn)去」。

他舉了社交產(chǎn)品的例子：想象一堆AI智能體代表各自的用戶(hù)在虛擬空間自主聊天、交換信息，這才是底層邏輯的顛覆。

10. 知道很容易，做到更難了。

這是奧特曼博客第一篇文章里就寫(xiě)過(guò)的話(huà)。

AI時(shí)代還成立嗎？他說(shuō)比以前更成立了。

獲取知識(shí)越來(lái)越容易，做成事情雖然也變?nèi)菀琢?，但那是?duì)所有人而言的——你得跟全世界一起卷。

他說(shuō)他認(rèn)識(shí)的那些把AI工具玩得最溜的頂尖高手，都覺(jué)得自己的工作從來(lái)沒(méi)有比現(xiàn)在更難。

工具強(qiáng)到離譜，但用好它們以保持頂尖競(jìng)爭(zhēng)力也前所未有地艱難。

Sam，你真的快樂(lè)嗎？

訪(fǎng)談最后一個(gè)意外瞬間，是學(xué)生的靈魂拷問(wèn)。

要知道，這是一個(gè)每天早上8點(diǎn)以后人生就徹底失控的CEO。

先工作幾小時(shí)，陪孩子一小時(shí)，然后去公司，從那之后就是純粹的兵荒馬亂。

用他的話(huà)說(shuō)，沒(méi)有哪家公司像OpenAI這樣跑得這么快、內(nèi)部這么混亂、還死死頂在所有人槍口上。

但奧特曼說(shuō)，他現(xiàn)在是他認(rèn)識(shí)的人里最快樂(lè)的之一。

他分享了一個(gè)改變?nèi)松恼J(rèn)知轉(zhuǎn)變。

大多數(shù)人覺(jué)得糟糕經(jīng)歷的反面是美好經(jīng)歷，所以遇到壞事就痛苦。但他把問(wèn)題重構(gòu)了，糟糕經(jīng)歷的反面，其實(shí)是徹底失去體驗(yàn)的能力。

總有一天你連體驗(yàn)的資格都沒(méi)有了，到那時(shí)你甚至?xí)涯钅切┍慌暗娜兆印?/p>

后Transformer賽道

革命已經(jīng)開(kāi)始

奧特曼的預(yù)言不是空中樓閣。

「后Transformer」的競(jìng)賽早就打響了，進(jìn)展比大多數(shù)人想象的快得多。

最高調(diào)的挑戰(zhàn)者是Mamba。

Albert Gu和Tri Dao在2023年底提出的這一架構(gòu)，徹底繞開(kāi)了「注意力機(jī)制」，改用狀態(tài)空間模型（SSM）處理序列。

簡(jiǎn)單說(shuō)，Transformer讀一段話(huà)要讓每個(gè)詞跟其他所有詞「對(duì)視」一遍，Mamba只維護(hù)一個(gè)固定大小的記憶狀態(tài)，線(xiàn)性時(shí)間搞定，推理吞吐量直接快5倍。2026年初Mamba已進(jìn)化到第三代，論文被ICLR 2026接收。

產(chǎn)業(yè)界的動(dòng)作更能說(shuō)明問(wèn)題。

英偉達(dá)在2025年發(fā)布Nemotron-H系列，92%的注意力層被Mamba層替換，推理速度提升3倍，精度不降反升。

到2025年底，英偉達(dá)全線(xiàn)新模型（Nemotron 3 Nano/Super/Ultra）全部切換到Mamba-Transformer混合架構(gòu)。

AI21 Labs的Jamba、IBM的Bamba、微軟的Phi-4-mini-flash-reasoning、LSTM之父Sepp Hochreiter親自操刀的xLSTM，也紛紛加入混合陣營(yíng)。

更野的方向也有：Liquid AI搞出的液態(tài)神經(jīng)網(wǎng)絡(luò)（Liquid Neural Networks），靈感來(lái)自一條只有302個(gè)神經(jīng)元的線(xiàn)蟲(chóng)。

它用微分方程驅(qū)動(dòng)神經(jīng)元，推理時(shí)還能繼續(xù)學(xué)習(xí)、實(shí)時(shí)適應(yīng)環(huán)境變化，19個(gè)神經(jīng)元就能控制自動(dòng)駕駛。2026年1月發(fā)布的LFM2.5模型，用遠(yuǎn)小于Transformer的參數(shù)量跑出了驚人的性能。

下一次大遷徙，會(huì)誕生誰(shuí)？

回顧歷史，從LSTM到Transformer的每一次架構(gòu)級(jí)遷徙，都釋放了一個(gè)數(shù)量級(jí)以上的能力增長(zhǎng)，同時(shí)也誕生了定義時(shí)代的偉大公司。

上一次遷徙，誕生了OpenAI。下一次呢？

奧特曼自己都說(shuō)了：總有一天會(huì)有比OpenAI更大更成功的公司出現(xiàn)。

也許此刻，那個(gè)未來(lái)的創(chuàng)始人正坐在某個(gè)宿舍里，對(duì)著一塊亞馬遜加急配送的白板，寫(xiě)下第一個(gè)不靠譜的想法。

而他手里多了一個(gè)前所未有的利器——AI本身。

參考資料：

https://x.com/rohanpaul_ai/status/2033117083127644536?s=20

https://www.youtube.com/watch?v=FjlymGBt-vY