Ilya Sutskever 昨天接受了 Dwarkesh Patel 的播客采訪
這是他離開 OpenAI、創(chuàng)辦 SSI 之后，最深度的一次公開發(fā)言

為了方便大家路上聽，這里我做了一份中文配音版，使用了大橘子的 的 API

當然，如果你想看英文原版，可以訪問這個地址
https://www.dwarkesh.com/p/ilya-sutskever-2

核心判斷只有一個：
AI 行業(yè)正在從「擴展時代」回歸「研究時代」，從 Age of Scaling 到 Age of Research

2020 到 2025 年，大家發(fā)現(xiàn)只要把數(shù)據(jù)和算力堆上去，效果就變好，于是所有人都只做一個動作：加倍、再加倍

但現(xiàn)在，單純靠堆預訓練數(shù)據(jù)，已經(jīng)快到頭了
現(xiàn)在的問題不是「要擴大多少倍」，而是「要尋找新方法」

Ilya 與 Dwarkesh 的這次對話，信息密度極高 矛盾的現(xiàn)實：模型的"參差不齊"

Ilya 首先聊了一個讓所有人困惑的現(xiàn)象：
模型能力的參差不齊（Model Jaggedness）

你看那些評測數(shù)據(jù)，你會驚嘆：題這么難，但模型都能做對
但...現(xiàn)實中，好像沒起什么作用

所以...為啥呢？模型一方面能通過高難度測試，另一方面卻總是犯蠢

Ilya 舉了個例子：
你在 Vibe Coding 做開發(fā)，發(fā)現(xiàn)了一個 Bug，跟模型說請修一下

模型說：哎呀你說得太對了，我這就修
結(jié)果它引入了第二個 Bug

你告訴它這兒又有個新 Bug
它說：天哪我怎么能犯這種錯

然后它把第一個 Bug 又改回來了
你就看著它在這兩個 Bug 之間來回橫跳

Ilya 給了兩個解釋

第一個稍微異想天開一點：
強化學習雖然讓模型在某些方面變強了，但也讓它們變得有點"死腦筋"

第二個解釋可能更接近本質(zhì)：
應試教育

在做預訓練的時代，選數(shù)據(jù)不需要動腦子，答案是"我全都要"

但在做強化學習時，你需要精心挑選訓練環(huán)境

大家為了讓模型在發(fā)布時好看，為了讓評測分數(shù)漂亮，就專門針對評測標準去設計訓練環(huán)境
這就是 Reward Hacking——人類研究員在 hack 獎勵函數(shù)

（啊哈哈哈哈哈哈哈哈哈哈哈，笑死了，太真實了）

根本差距：泛化能力

為什么這些模型在泛化能力上，比人類差了十萬八千里？

Ilya 打了個比方
假設有兩個學生去搞算法競賽

學生 A 決定要成為最強選手，他練了一萬個小時，刷遍了所有的題，背下了所有的解題套路
他確實成了頂尖高手

學生 B 覺得這事挺有意思，大概只練了一百個小時，但他很有天賦，也考得不錯

在未來的職業(yè)生涯中，誰會發(fā)展得更好？
肯定是第二個

A 是模型，B 是人類

現(xiàn)在的 AI 模型就像是第一個學生，甚至更極端

我們?yōu)榱俗屗瞄L編程，就收集了世上所有的編程題，甚至還通過數(shù)據(jù)增強造出了更多題來訓練它

結(jié)果就是...
它確實把所有解題技巧都背下來了
智能都是刷出來的，一旦遇到?jīng)]見過的場景，它就很難舉一反三

這是當前模型最本質(zhì)的局限

Ilya 還提到一個神經(jīng)科學的案例
有個人腦部受損，掌管情感的區(qū)域壞了
他的智商沒變，說話依然流利，做邏輯題也沒問題
但他完全沒有情緒了

結(jié)果呢？
他變得完全無法做決定，選個襪子都要花幾個小時
這說明人類內(nèi)置的「情感」，其實是讓我們成為一個有效率的智能體的關鍵

在機器學習里對應的就是「價值函數(shù)」（Value Function）
現(xiàn)在的強化學習，只有在最后那一刻才告訴模型好壞

而價值函數(shù)能在中間過程就給反饋
就像下國際象棋，你丟了一個車，你不需要等到整盤棋下完才知道自己搞砸了

未來的 AI 訓練，一定會更多地依賴這種機制

"擴展"的終結(jié)

Ilya 把 AI 的發(fā)展史分成幾個階段

2012 到 2020 年，是「研究時代」
Age of Research
大家都在瞎折騰、試錯、找新點子

2020 到 2025 年，是「擴展時代」
Age of Scaling
大家突然發(fā)現(xiàn)只要把數(shù)據(jù)和算力堆上去，效果就變好
于是所有人都只做一個動作：加倍、再加倍

但現(xiàn)在，預訓練數(shù)據(jù)快到頭了

雖然大家開始堆強化學習的算力
但 Ilya 認為那個"無腦堆規(guī)模"的階段已經(jīng)過去了

我們正重返研究時代

從研究時代到擴展時代，再到新研究時代

他說了一句話：
世界上的公司比點子還要多得多....如果點子這么不值錢，那怎么沒見誰有點子呢？

這是在說，接下來拼的是想法，不是堆資源

重新定義 AGI

這里有個 Ilya 的重要觀點
大家對 AGI 的理解可能被帶偏了
我們總是把 AGI 想象成一個無所不知的神

但其實，人類并不是這樣的

人類是「持續(xù)學習者」（Continual Learners）
所以，真正的超級智能，可能并不是一個出廠時就精通世間萬物的成品
它更像是一個極其聰明的十五歲少年
基礎很好，求知欲極其旺盛，學習速度極快

你把它投放到社會中，讓它去學編程、去學醫(yī)、去學法律

它是在部署之后，通過在真實世界中不斷學習，才最終變成超級智能的

而現(xiàn)在，我們的模型只是預制菜

部署本身，將包含某種學習試錯期

這是一個過程，而不是你扔出一個成品

對齊的新思路

如果這東西真的這么強，我們該讓它以什么為目標？

Ilya 認為，我們真正應該追求的，是一個**關愛感知生命（Care about sentient life）**的 AI

注意，他說的是「感知生命」，不僅僅是人類

因為 AI 自己未來也會成為感知生命

如果它具備同理心，它能理解"痛苦"和"快樂"的含義，那么讓它去關愛其他生命，可能比單純給它設定"保護人類"這種硬性規(guī)則要更穩(wěn)健、更容易實現(xiàn)

這可能比只對齊「人類」更容易，也更魯棒

Ilya 還提到一個有意思的事情

進化很容易把「喜歡甜食」寫進基因，因為那只是對某種化學分子的反應

但是，進化是如何把「在乎別人的看法」、「追求社會地位」這種極其抽象、復雜的社會性欲望寫進我們的大腦的？

這需要調(diào)動大腦的大量區(qū)域來處理信息，而進化竟然做到了，而且做得非常穩(wěn)固

如果我們能搞清楚大自然是怎么把這些高層目標「硬編碼」進人類大腦的，或許對 AI 的對齊會有巨大的啟發(fā)

SSI 的定位

Ilya 對 SSI 的策略也有些松動

之前的想法是"閉關修煉，不問世事，直到神功大成再出山"

這種策略很有吸引力，因為它能讓你避開商業(yè)競爭的干擾

但現(xiàn)在他覺得，如果這東西真的像預期那么強大，那讓世界提前看到它、感受到它，其實是有好處的

為什么？

因為「超級智能」太難想象了

如果你只寫文章說 AI 未來會如何如何，大家看一眼就忘了

只有當人們親眼看到 AI 展現(xiàn)出某種力量時，不管是政府還是公眾，才會真正開始重視，才會去制定規(guī)則

專注的力量 vs 現(xiàn)實的引力

他說 SSI 是一家處于"研究時代"的公司

技術路線上，追求基于對"泛化"更深刻理解的、與眾不同的技術路徑

資源上，將所有資源投入研究，而非產(chǎn)品、銷售或推理服務

最終目標是創(chuàng)造第一個真正安全、對齊的超級智能

SSI 研究品味

最后聊到"研究品味"

Ilya 是公認的 AI 領域品味最好的人之一，從 AlexNet 到 GPT-3，他都押對了

他是怎么做到的？

他說這是一種審美

在思考 AI 應該是什么樣的時候，會去參考人類的大腦，但關鍵是要"正確地"參考

比如，神經(jīng)網(wǎng)絡的概念直接靈感來源于大腦神經(jīng)元——這很美，很簡潔，而且它是合理的

大腦通過神經(jīng)元連接的變化來學習，那 AI 也應該這樣

這種審美包含了一種對"美"和"簡潔"的追求

如果你看到一個方案特別丑陋、特別復雜，那它大概率是不對的

研究品味的三大支柱：美與簡潔、來自大腦的正確啟發(fā)、自上而下的信念

而且，你需要一種自上而下的信念（Top-down belief）

當你做實驗失敗的時候，數(shù)據(jù)告訴你"這路不通"

如果你只看數(shù)據(jù)，你可能就放棄了

但如果你心中有一個基于"美感"和"原理"的強大信念，你會覺得：不，這在邏輯上必須是行得通的，肯定是我哪里做錯了，或者是代碼有 Bug

正是這種信念，支撐著你熬過那些實驗失敗的時刻，直到你最終把它做出來

最后

回到 Ilya 在采訪開頭說了一句話：
你知道最瘋狂的是什么嗎？就是這一切竟然都是真的

這一切正在發(fā)生
但接下來怎么走，需要新的想法

AI 的下一紀元，始于思想