過年了！早起發(fā)現(xiàn) Dwarkesh Patel 新一期播客采到了 Ilya。

很久沒有在一期內(nèi)容里感受到這種 “被人類智慧安慰” 的體驗了。

全程非常 insightful，而且更重要的是，Ilya 對談的感覺，真的讓觀看采訪的過程無比享受。像一個古希臘哲學(xué)家，對世界的本質(zhì)有天生的好奇，對人又有一種特別真誠的關(guān)照。

這里給大家快速摘錄一些要點：

1. 關(guān)于時代的轉(zhuǎn)向

Ilya 給出了一個非常清晰的時間線劃分：

• 2012 - 2020 年是研究時代：大家都在嘗試不同的 AI 想法。

• 2020 - 2025 年是 Scaling 時代： 自從 GPT-3 出現(xiàn)后，Scaling 成了共識，并吸走了所有的注意力和資源。

• 2025 開始，Pre-training 的 scaling law 已經(jīng)失效了 (核心因為數(shù)據(jù)有限），所以，我們正在重新回到 “研究時代”。之后不會再比誰的 GPU 多，而是看誰能找到新的算法。

2. SSI 的規(guī)劃

Ilya 創(chuàng)辦的 SSI (Safe Superintelligence) 目前的計劃是 Straight shot——不發(fā)中間產(chǎn)品，直接憋大招做超級智能。

因為他感覺現(xiàn)在的 AI 公司為了市場份額，不得不陷入激烈的競爭，這迫使他們在這個過程中做了很多妥協(xié)。所以他不希望在中間過程受到市場干擾。

不過，這不意味著他會憋好幾年，然后突然扔出一個神一樣的 AI。

他對超級智能的定義更類似一個 “超級學(xué)習(xí)者”，也就是，在發(fā)布的那一刻，它可能更像是一個 “天才少年”。它會被投放到社會中，然后在各個崗位上快速實習(xí)、犯錯、進步。

Dwarkesh 問他 “這種能像人類一樣學(xué)習(xí)、進而變成超級智能的系統(tǒng)什么時候會出現(xiàn)？”，Ilya 一向很少給出具體的時間預(yù)測，不過這次，他出乎意料地給了一個窗口期 —— 5 到 20 年。

此外，外界對他一個常見的 challenge 是 SSI 只融了 30 億美金，可能比不過大廠。但 Ilya 算了一筆賬：大廠融的錢雖多，但大部分要用來服務(wù)用戶做推理、養(yǎng)龐大的工程和銷售團隊。SSI 的錢是實打?qū)嵢客度氲郊兇獾难芯繉嶒炛械模@在 Research 層面上其實非常能打。

3. 關(guān)于 Taste

Ilya 是公認(rèn)的 Research Taste 最好的科學(xué)家，Dwarkesh 問他到底是怎么做判斷的。

他分享了三個黃金標(biāo)準(zhǔn)：

• 生物學(xué)上的合理性：比如神經(jīng)元這個概念，雖然大腦很復(fù)雜，但 “大量神經(jīng)元連接” 這個結(jié)構(gòu)看起來是根本性的。

• 簡潔的美感：如果一個方案不夠簡潔、優(yōu)雅，那它大概率是錯的。

• Top-down 的信念：當(dāng)實驗數(shù)據(jù)和你預(yù)期不符時，如果你對自己的理論有基于第一性原理的信念感，你會繼續(xù)堅持堅持，相信只是代碼有 Bug。這是平庸研究者和頂級研究者的關(guān)鍵區(qū)別，因為這種信念支撐他度過了無數(shù)次失敗的實驗。

4. 關(guān)于 Value Function

Pre-training 的紅利吃完了，Ilya 認(rèn)為下一步的重點該是 Value Function (價值函數(shù))。

現(xiàn)在的 RL 還是很笨的。比如做一道長推理題，模型要等到最后一步做完了，才知道自己是對是錯。 但我們在下棋時丟了一個子，立刻就知道這局完了，而不需要等到整盤棋下完。

人類的學(xué)習(xí)過程一向主要來自與環(huán)境的互動和內(nèi)心的感覺，這是一種很高效的無監(jiān)督學(xué)習(xí)形式。

Ilya 認(rèn)為，未來的突破點在于讓模型也具備這種直覺性的中途判斷能力。如果攻克了這個學(xué)習(xí)機制，AI 的效率就會有質(zhì)的飛躍。

對此，Dwarkesh 質(zhì)疑說 “Value Function 可能很難學(xué)，因為推理的路徑太復(fù)雜、太寬廣”.

此時，Ilya 給出了一個非常 Ilya 式的回應(yīng):

“你聽起來像是對深度學(xué)習(xí)缺乏信仰”。

Ilya 自己非常篤信，只要信號存在，深度學(xué)習(xí)就能學(xué)到。雖然很難，但沒有什么是深度學(xué)習(xí)做不到的 (echo 前面頂尖 researcher 的信念感)。

但他也有半開玩笑地說：

“Unfortunately, we live in a world where not all ML ideas are discussed freely.”（好像在暗示他有想法但不能公開）

5. 關(guān)于 RL

1）Ilya 有一個非常反直覺的觀點：RL 可能是在弄傻模型。

他用了一個非常有美感的形容：預(yù)訓(xùn)練數(shù)據(jù)不僅僅是文字，它是“整個世界被人類投射到文本上的樣子”。預(yù)訓(xùn)練之所以強，是因為它試圖捕捉這個龐大的 “人類思想投影”。而目前的 RL 方法可能實際上是在 “Undoing the conceptual imprint of pre-training” (撤銷預(yù)訓(xùn)練的概念印記)。

這是為什么經(jīng)過重度 RL 對齊的模型往往顯得更笨或更缺乏創(chuàng)造力。RL 強行讓 AI 去討好人類的某個單一指標(biāo)，卻可能犧牲了它原本寬廣的通用智力。（這聽起來像極了應(yīng)試教育...）

2）RL 已經(jīng)比 Pre-training 更燒錢了

我們現(xiàn)在正處于一個很重要的轉(zhuǎn)向。過去幾年，大家以為最燒錢的是 Pre-training（預(yù)訓(xùn)練）。但 Ilya 透露，根據(jù)行業(yè)傳聞，現(xiàn)在花在 RL 上的算力已經(jīng)超過了預(yù)訓(xùn)練。

背后的原因是：RL 需要做非常長的 Rollouts，也就是不同的推演，這極其消耗算力，而每做一次推演獲得的有效學(xué)習(xí)信號卻很少。

(不過這種低效恰恰說明了 RL 還有巨大的優(yōu)化空間，下一步要想辦法設(shè)計出一種更高效的 Post-training 方法，比如更好的 Value Function）

6. 情緒 = 終極的 Value Function

為什么人類能在信息不全的情況下做出正確的常識性決策，而 AI 經(jīng)常一本正經(jīng)地胡說八道？

Ilya 提到了一個有趣的神經(jīng)科學(xué)案例：一個因腦損傷失去 “情緒” 的人，雖然智商沒變，但卻連 “今天穿什么襪子” 都要糾結(jié)幾個小時，完全無法做決策。

他認(rèn)為情緒就是人類進化出的最有效的 “壓縮算法”，幫我們快速剪枝，知道什么是重要的，什么無關(guān)緊要。

而現(xiàn)在的 AI 就像那個失去情緒的病人，它有邏輯，但缺乏那個指引它 “什么是對的” 的內(nèi)在羅盤。

這也許是通往 AGI 的最后一塊拼圖。

7. 同理心是理解世界的最佳捷徑

說回來，Ilya 最關(guān)心的還是安全和對齊。

而他目前想到的解法是：找到一種編碼機制，讓 AI 真正關(guān)愛有感知力的生命 (sentient Life)。

就像進化論在人類大腦中硬編碼了同理心一樣，我們需要找到一種方法，把這種對生命的關(guān)愛硬編碼進超級智能里，這比通過各種規(guī)則約束，強行讓 AI 聽人類的話更靠譜。

而且他真的相信我們有可能實現(xiàn)這一點。

他提到了兩點原因：

首先是一個極其硬核的、基于計算效率的理由。

我們之所以能理解別人的痛苦，是因為我們會用 “模擬自己” 的同一套神經(jīng)回路去 “模擬別人”。

對于大腦（或者未來的 AI）來說，這是一種最高效的建模方式。既然我已經(jīng)有一套代碼來理解 “我的痛苦”，直接復(fù)用這套代碼去理解 “你的痛苦” 是最省資源的。

也就是說，同理心可能是智能提升過程中的一種涌現(xiàn)屬性，因為它是理解世界的最佳捷徑。

那這就意味著，如果 AI 追求極致的預(yù)測效率和世界模型構(gòu)建，它可能會涌現(xiàn)出類似的 “移情” 機制。

第二個理由是，人類進化過程中有一個非常神奇的特質(zhì)，那就是我們進化出了一些很高級的獎勵函數(shù)，比如 “社會地位”。

可是，要知道，“食物好不好吃” 非常簡單，只要給大腦接一個味覺傳感器，設(shè)定化學(xué)反應(yīng)獎勵就行。但 “社會地位” 是一個極其抽象的概念，大腦需要處理無數(shù)信息才能理解?；虮旧聿恢悄?，它怎么知道如何連線神經(jīng)元，才能讓人類產(chǎn)生這種高級情感呢？

既然盲目的進化都能成功地把 “高級價值觀” 對齊給人類，那么我們設(shè)計超級智能時，一定也存在某種方法，能把 “關(guān)愛生命” 這種高級目標(biāo)硬編碼進 AI 的底層——即使我們現(xiàn)在還不知道具體原理。

8. 關(guān)于語言對思維的影響

Ilya 提出了一個很有趣的觀察：我們使用的語言，會反向塑造行業(yè)的研究方向。

比如，AGI 這個詞是為了反駁 Narrow AI（弱人工智能）而誕生的。但這導(dǎo)致大家有點過度追求一個全能的基礎(chǔ)模型，而忽略了真正的智能其實是動態(tài)的學(xué)習(xí)能力。

又比如，當(dāng) Scaling 這個詞出現(xiàn)后，它太有力了，以至于所有人都覺得 “只要把模型做大就好”，而很大程度上停止探索了其他的可能性。

(所以，警惕流行詞?。?/p>

9. 未來的市場格局

關(guān)于未來是不是只有一家公司壟斷 Superintelligence，Ilya 又給出了一個基于生物進化的判斷：不會，競爭喜歡專精（Competition loves specialization）。

即便 AI 再強，未來大概率也會出現(xiàn)分工。比如會有一家公司，不做別的，就專門做 “訴訟”。

很多公司在某個領(lǐng)域投入了巨大的算力和學(xué)習(xí)成本，形成了極高的壁壘，別的 AI 即使能去搶它的份額，從頭學(xué)一遍也不劃算。這會形成一種類似自然界的生態(tài)平衡。

(這對垂直行業(yè)創(chuàng)業(yè)者是很好的鼓勵，只要做得夠窄夠深，通用大模型就很難降維打擊。）

P.S. 采訪還有很多精彩內(nèi)容，推薦大家完整看一遍 Youtube 視頻采訪，可以點擊 “閱讀原文” 直接跳轉(zhuǎn) (友情提示，打開需要一點魔法)

42章經(jīng)

思考事物本質(zhì)