文章轉(zhuǎn)載于量子位
作者：鷺羽

我們正在經(jīng)歷一次靜悄悄、但本質(zhì)性的AI范式轉(zhuǎn)換。 它的意義不亞于Transformer本身。

過去一年里，關(guān)于AI發(fā)展，出現(xiàn)了兩種觀點的分化：

• 一邊是“AI增長放緩、模型到頂、預(yù)訓(xùn)練無用論”

• 另一邊則是隔三差五就來一次“AI大周”： GPT-5.1 、 Gemini 3 、 Grok 4.1 。

而Transformer作者之一、現(xiàn)任OpenAI研究科學(xué)家的?ukasz Kaiser最近接受采訪，給出了第一視角的解答。

信息量極大，包括AI的底層范式轉(zhuǎn)變、GPT-5.1的命名規(guī)則、未來AI的發(fā)展趨勢……以及Transformer誕生背后的二三事。

AI不是變慢了，而是換代了。 GPT-5.1不是簡單的小版本迭代，OpenAI內(nèi)部版本命名規(guī)則有所變化。 多模態(tài)推理將會成為下一個突破點。 AI不會讓人類完全失去工作。 家用機器人是繼ChatGPT后最可見的AI革命。

下面一起來康康詳細內(nèi)容：

1

AI發(fā)展沒有放緩，而是平穩(wěn)增長

過去一年里，有關(guān)“模型進展變緩”的聲音層出不窮，但?ukasz認為這種看法是錯誤的。

他給出的解釋也很直白：

從內(nèi)部視角看，AI的能力增長是一條非常平滑的指數(shù)曲線。

這類似于摩爾定律，幾十年來摩爾定律始終有效，甚至在GPU的推動下還在加速，歸根結(jié)底也是因為它歷經(jīng)了數(shù)代技術(shù)的迭代。

因此，AI從外部看，趨勢是平穩(wěn)的；而從內(nèi)部看，其進步也離不開新技術(shù)、計算機能力的提升和工程優(yōu)化的共同作用。

至于為什么會有人覺得“變慢了”，原因無它：AI的底層范式，已經(jīng)悄悄從預(yù)訓(xùn)練轉(zhuǎn)向推理模型。

這也是繼Transformer誕生后的又一次關(guān)鍵轉(zhuǎn)折。

如果把技術(shù)發(fā)展的過程描述為一條S型曲線（起步→快速增長→平穩(wěn)期），那么預(yù)訓(xùn)練就處于S曲線的上升后期，而推理模型仍處于初期。

不過這并不意味著預(yù)訓(xùn)練的Scaling Laws就失效了，它仍在發(fā)揮作用，只是和新的推理范式相比，需要投入更多的資金。

所以出于經(jīng)濟上的考量，業(yè)內(nèi)人士開始普遍將工作重心轉(zhuǎn)向更小也更便宜，但質(zhì)量相同的模型，所以這也是導(dǎo)致外界認為預(yù)訓(xùn)練已經(jīng)停止的原因之一。

那么回到推理模型上，由于該范式還處于新興階段，進步速度會相當(dāng)之快。

以ChatGPT為例，GPT-3.5會直接基于訓(xùn)練數(shù)據(jù)記憶給出答案，而不會借助任何外部工具和推理，反觀現(xiàn)在最新的ChatGPT會主動瀏覽網(wǎng)站、進行推理分析，再給出準確答案。

對于普通用戶來說，如果不仔細對比，可能會覺得二者差異不大，但實際上這背后是性能質(zhì)的飛躍。

又比如說Codex，程序員的工作方式已經(jīng)在近幾個月里轉(zhuǎn)變?yōu)?strong>“Codex先處理，然后人工微調(diào)”的模式，這種變化其實相當(dāng)之徹底，但如果不是專業(yè)從事編程工作，自然不會留意到這種根本性變革。

所以總的來說，這一切的變化都發(fā)生得太快，以至于讓人們還未曾察覺到其中的變化。

而推理模型的本質(zhì)其實也與基礎(chǔ)大模型類似，只是在給出最終答案前，會優(yōu)先進行思考，也就是所謂的思維鏈。

在思考過程中，模型被允許使用工具，例如瀏覽網(wǎng)頁，以給出更準確的答案。其推理過程也會被視為模型的一部分并接受訓(xùn)練。

相比于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)梯度下降訓(xùn)練，推理模型則更多使用的是強化學(xué)習(xí)。

具體來說，強化學(xué)習(xí)會通過獎勵機制推動模型獲取更好的答案，也需要研究人員提供更細致的數(shù)據(jù)準備，以完成強化學(xué)習(xí)的參數(shù)調(diào)整。

然后通過強化學(xué)習(xí)，模型就能學(xué)會對自身錯誤的糾正。

后續(xù)行業(yè)也會繼續(xù)轉(zhuǎn)向更復(fù)雜的強化學(xué)習(xí)，例如借助一個大模型來判斷答案的正確性或偏好度，或者融入更多的人類偏好。

總之，未來強化學(xué)習(xí)的應(yīng)用范圍會更加廣泛，不僅僅適用于特定領(lǐng)域，還能處理更多通用數(shù)據(jù)，比如說多模態(tài)推理，雖然最近Gemini已經(jīng)能夠在推理過程中生成圖像，但整體來說還處于剛剛起步的階段，相信在強化學(xué)習(xí)的幫助下會有進一步的提升。

1

GPT-5.1絕非表面上的小版本更新

關(guān)于最近發(fā)布的GPT-5.1，?ukasz也釋出了更多細節(jié)。

GPT-5.1看起來只是小版本更迭，實際從內(nèi)部來講，是一個巨大的穩(wěn)定性迭代。

首先回到最初的GPT-4到GPT-5，簡單來說，得益于強化學(xué)習(xí)和合成數(shù)據(jù)的應(yīng)用，GPT-5的推理能力明顯提升了。

而到GPT-5.1的改進，則更多集中在后訓(xùn)練階段，比如增加安全性、減少幻覺，以及添加了如書呆子、專業(yè)等多種風(fēng)格選擇。

版本的命名方式也不再與技術(shù)細節(jié)掛鉤，轉(zhuǎn)而以用戶體驗為導(dǎo)向，比如GPT-5是基礎(chǔ)能力較強的模型，GPT-5.1是能力更優(yōu)的版本，Mini是更小、更快、更廉價但性能稍弱的模型，推理模型則專注于復(fù)雜任務(wù)。

這種命名方式的轉(zhuǎn)變也為OpenAI內(nèi)部帶來了更多靈活性，現(xiàn)在強化學(xué)習(xí)、預(yù)訓(xùn)練、幻燈片優(yōu)化等多個項目并行工作，然后通過蒸餾技術(shù)就能將多項目成果整合到一個模型中。

這大大縮短了模型迭代時間，可以更好地滿足用戶體驗需求，所以GPT-5.1看似是小版本更新，實則背后是OpenAI基于用戶對其能力和目標預(yù)期做出的策略調(diào)整。

不過坦白地講，GPT-5.1在部分能力上仍然存在短板。

比如?ukasz用自己5歲的女兒舉了個例子——

GPT-5.1能夠游刃有余地解決奧林匹克競賽題，但在面對小學(xué)一年級的數(shù)奇偶數(shù)題目上卻錯誤百出。

該題目內(nèi)容是，圖中有兩組點，中間有一個共享點，問總點數(shù)是奇數(shù)還是偶數(shù)。

5歲的孩子能夠在10秒內(nèi)就算出答案（因為共享點的存在導(dǎo)致總點數(shù)為奇數(shù)），但無論GPT-5.1還是Gemini 3都會自動忽略這個共享點，誤判為偶數(shù)。

這主要還是因為模型缺乏足夠的多模態(tài)能力，也未能將一個問題的推理經(jīng)驗遷移到相似場景中，所以后續(xù)他們將會在訓(xùn)練中進一步強化多模態(tài)推理和上下文推理遷移能力。

1

從谷歌Transformer走向OpenAI

而作為Transformer的作者之一，?ukasz也在訪談中補充了很多誕生細節(jié)。

?ukasz自己原先是一名專注于理論計算機科學(xué)的學(xué)者，高中時就對數(shù)學(xué)和計算機充滿興趣，并在德國獲得了理論計算機科學(xué)與數(shù)學(xué)博士學(xué)位。

他一直對“思維是如何運作的”、“智能的本質(zhì)是什么”諸如此類的問題充滿好奇，也曾在法國獲得終身教職，從事邏輯和編程研究。

直到深度學(xué)習(xí)興起，他加入了谷歌。

先是成為了Ray Kurzweil團隊的一員，后轉(zhuǎn)至Google Brain，開始與Ilya Sutskever等人合作。

在開發(fā)Transformer的過程中，?ukasz主要負責(zé)編碼和系統(tǒng)工作，參與TensorFlow框架的開發(fā)。

不過有趣的是，據(jù)他回憶，Transformer論文的八位共同作者從未在同一個物理房間中共同出現(xiàn)過。

而雖然他們彼此之間素未謀面，但他們通過不同角度共同構(gòu)建了這個模型：

有人專注于注意力機制本身，有人研究如何通過前饋網(wǎng)絡(luò)存儲知識，還有人復(fù)雜解決工程實現(xiàn)問題，比如他自己。

從現(xiàn)在的角度看，Transformer毫無疑問是當(dāng)今AI架構(gòu)的里程碑，但在當(dāng)時，很多人對用同一個模型處理多個任務(wù)的想法并不理解，他們普遍認為不同任務(wù)就應(yīng)該分別訓(xùn)練不同的專有模型。

而他們八個人堅信自己的選擇，后來的事實也證實了他們的想法是正確的。

關(guān)于之所以離開谷歌，轉(zhuǎn)投OpenAI，其中一個原因還是因為llya。

llya在谷歌時期就是?ukasz的直系領(lǐng)導(dǎo)，在創(chuàng)辦OpenAI后也屢次邀請他加入。剛好這時，?ukasz也無法適應(yīng)Google Brain的團隊規(guī)模擴大以及遠程工作氛圍，于是一拍即合，來到了OpenAI。

OpenAI也沒有讓他失望，這里沒有嚴格的組織架構(gòu)，都是根據(jù)項目自發(fā)組隊，也會根據(jù)項目進展靈活調(diào)整，直到項目成熟才會逐步擴大團隊。

當(dāng)然不同項目之間也會存在資源競爭，畢竟OpenAI內(nèi)部GPU資源有限。

從技術(shù)層面看，預(yù)訓(xùn)練目前消耗的GPU資源最多，其次是強化學(xué)習(xí)和視頻模型，資源分配在很大程度上還是由技術(shù)需求決定。

所以競爭不可避免，?ukasz本人也不例外。

1

下一次突破來自多模態(tài)推理+具身智能

最后，?ukasz聊了聊他眼中的AI未來。

AI會改變工作，但不會讓工作消失。

因為從產(chǎn)品層面上看，即使AI自動化了絕大部分任務(wù)，但人類專家的需求仍然存在。

以翻譯行業(yè)為例，其實Transformer論文最初的應(yīng)用場景就是翻譯，現(xiàn)在的模型也能準確翻譯西班牙語、法語等語言，但對于報紙廣告乃至ChatGPT UI界面，仍然需要人類譯者進行二次審核。

這本質(zhì)上是信任問題，即使模型能力再強，對于一些高風(fēng)險、高關(guān)注度的場景，還是會傾向于依賴人類專家經(jīng)驗。

只是說，對于另外一些基礎(chǔ)工作，可替代性會變高，后續(xù)也會出現(xiàn)相應(yīng)的工作內(nèi)容變化，但歸根結(jié)底不會讓人類無事可做。

?ukasz還預(yù)計，家用機器人可能會成為“下一次更為直觀的AI革命”。

機器人技術(shù)的進展，取決于多模態(tài)能力和通用強化學(xué)習(xí)、通用推理的進步。一旦這些領(lǐng)域取得突破，機器人技術(shù)必將迎來爆發(fā)式增長。

目前已經(jīng)有很多硅谷公司在相繼推出智能手遙操作等硬件產(chǎn)品，硬件基礎(chǔ)也將迅速成熟，屆時將協(xié)同多模態(tài)和物理世界推理能力，實現(xiàn)家用機器人的能力躍遷。

這將會比ChatGPT更直觀、更易感知。

參考鏈接：
[1]https://www.youtube.com/watch?v=3K-R4yVjJfU&t=2637s

點個“愛心”，再走 吧