11 月 26 日，OpenAI 聯(lián)合創(chuàng)始人、前首席科學家、安全超級智能公司 SSI 創(chuàng)始人兼 CEO 伊利亞·蘇茨克維（Ilya Sutskever），接受了美國著名播客 Dwarkesh Podcast 的訪談。

期間，他們談到了 DeepSeek R1 的論文。訪談中，蘇茨克維直言規(guī)模擴展時代吸走了所有創(chuàng)新氧氣，導致所有人都在做相同的事。他認為當前 AI 公司數(shù)量遠多于創(chuàng)新想法。對于 AGI 還有多久降臨，他給出了一個較為寬泛的時間段——“大約 5 到 20 年?！?/p>

他還引用佛教術(shù)語來闡明自己的觀點，談及科研品味蘇茨克維更是金句頻出，稱“丑陋的設計沒有存在空間”。

其還指出，閱讀 AI 論文與親眼見證 AI 解決問題有著天壤之別，這就是讓 AI 公開亮相的價值。對于自己的合伙人加入 Meta 他做了回應。而問答 SSI 是否仍堅持“直達超級智能”計劃，蘇茨克維只回答了兩個字“可能”。關(guān)于 SSI 的盈利問題，他表示現(xiàn)階段專注研究，答案自會浮現(xiàn)，并稱未來會有多種可能性。

以下為對談全文。

圖 | 伊利亞·蘇茨克維

解釋模型能力不均衡現(xiàn)象

伊利亞·蘇茨克維：你知道嗎，最不可思議的是什么？是這一切竟然都是真實的。

德瓦克什·帕特爾：什么意思？

伊利亞·蘇茨克維：你不這么覺得嗎？所有這些 AI 技術(shù)，還有硅谷的氛圍...... 這一切正在真實發(fā)生。這難道不是直接從科幻小說里走出來的嗎？

德瓦克什·帕特爾：另一個讓人難以置信的是，這種漸進式發(fā)展感覺如此平常。比如我們要把 GDP 的 1% 投入 AI 領(lǐng)域，按理說應該是個轟動性事件，但現(xiàn)在感覺就像......

伊利亞·蘇茨克維：事實證明，人類的適應速度確實很快。但另一方面，這個概念確實有點抽象。具體意味著什么？你只是在新聞上看到某公司宣布了巨額投資，僅此而已。到目前為止，還沒有其他更直觀的感受方式。

德瓦克什·帕特爾：我們不如就從這里開始聊？我覺得這個話題很有意思。

伊利亞·蘇茨克維：好啊。

德瓦克什·帕特爾：我認為你剛才 “ 在普通人看來一切如常 ” 的觀點，即使到了技術(shù)奇點階段，可能依然成立。

伊利亞·蘇茨克維：不，我不同意這個看法。

德瓦克什·帕特爾：有意思，請繼續(xù)說。

伊利亞·蘇茨克維：我剛才說“感受不到變化”，指的是那些令人難以理解的巨額投資公告。但 AI 帶來的影響終將被切實感受到。AI 將滲透到經(jīng)濟各個角落，強大的經(jīng)濟驅(qū)動力會使其影響變得非常明顯。

德瓦克什·帕特爾：你預計什么時候會產(chǎn)生這種影響？目前模型的智能水平似乎遠超其經(jīng)濟價值。

伊利亞·蘇茨克維：這正是當前模型最令人困惑的一點。如何解釋它們在評估測試中表現(xiàn)優(yōu)異，但經(jīng)濟影響卻嚴重滯后？舉個例子：你用編程助手寫代碼，發(fā)現(xiàn) bug 后讓它修復。它認錯態(tài)度很好，但修復時又引入新 bug。你指出新問題，它再次認錯，結(jié)果卻讓舊 bug 復現(xiàn)。這種循環(huán)很常見。

德瓦克什·帕特爾：這個觀點很有趣：真正的 “ 獎勵黑客 ” 其實是過度關(guān)注評估指標的研究人員。

伊利亞·蘇茨克維：我用個比喻來說明。假設有兩個學生：第一個立志成為最佳競賽程序員，投入一萬小時專項訓練；第二個只練習一百小時但同樣出色。你認為誰未來職業(yè)發(fā)展更好？

德瓦克什·帕特爾：第二個。

伊利亞·蘇茨克維：沒錯。當前模型就像第一個學生，甚至更極端。我們?yōu)榱俗屗瞄L編程競賽，就把所有相關(guān)題目都拿來訓練，還做數(shù)據(jù)增強。結(jié)果培養(yǎng)出的是專精競賽的程序員，但這種強化訓練未必能遷移到其他領(lǐng)域。

德瓦克什·帕特爾：那么第二個學生在進行 “ 100 小時微調(diào) ” 之前，具備的是什么特質(zhì)呢？

伊利亞·蘇茨克維：我認為他們擁有那種 “ 悟性 ” 。我大學時就遇到過這樣的同學。

德瓦克什·帕特爾：這讓我開始思考預訓練的本質(zhì)。預訓練不需要選擇數(shù)據(jù)，就像那一萬小時練習，但可能并不比強化學習帶來更好的泛化能力。

伊利亞·蘇茨克維：預訓練的優(yōu)勢在于數(shù)據(jù)量龐大且選擇自然。它試圖通過海量數(shù)據(jù)捕捉人類通過文字呈現(xiàn)的整個世界。但理解模型如何依賴預訓練數(shù)據(jù)非常困難，因為很難判斷模型出錯是否因為某些知識在預訓練數(shù)據(jù)中支撐不足。

情感與價值函數(shù)

德瓦克什·帕特爾：關(guān)于人類學習與預訓練的類比，學界提出過兩種觀點。第一種是把人生前 18 年（或 15 年/13 年）視為預訓練階段，這個階段雖不產(chǎn)生經(jīng)濟價值，卻在幫助人類更好地理解世界。第二種是把 30 億年的進化過程視為某種搜索算法，最終生成人類個體。你如何看待這些類比？如果不把人類學習看作預訓練，你會如何理解？

伊利亞·蘇茨克維：這兩種類比確實與預訓練存在相似之處，預訓練試圖同時扮演這兩種角色。但卻存在顯著差異，因為預訓練的數(shù)據(jù)規(guī)模龐大到令人震驚。

德瓦克什·帕特爾：確實如此。

伊利亞·蘇茨克維：人類在 15 年間接觸的數(shù)據(jù)量遠少于預訓練數(shù)據(jù)，卻能夠更深刻地理解知識。在這個年齡段，人類絕不會犯當前 AI 常犯的錯誤。關(guān)于進化類比，我認為進化可能更具優(yōu)勢。我記得有個神經(jīng)科學案例：某患者因腦損傷失去情緒感知能力，他仍能清晰表達、解決簡單問題，測試表現(xiàn)正常，但決策能力嚴重受損，連選襪子都要花數(shù)小時，還會做出糟糕的財務決策。

德瓦克什·帕特爾：你指的 “ 那種特質(zhì) ” 具體是什么？顯然不只是情緒本身，更像是某種價值函數(shù)般的存在，能為決策提供終極獎勵信號。你認為這無法從預訓練中自然涌現(xiàn)嗎？

伊利亞·蘇茨克維：可能存在這種可能，但并非必然。

德瓦克什·帕特爾：該如何理解情緒？在機器學習中對應的概念是什么？

伊利亞·蘇茨克維：應該屬于價值函數(shù)的范疇。但目前機器學習領(lǐng)域缺乏完美對應，因為價值函數(shù)在現(xiàn)有體系中并不突出。

德瓦克什·帕特爾：或許可以向觀眾解釋下價值函數(shù)的概念？

伊利亞·蘇茨克維：好的，很樂意。當前強化學習的常規(guī)做法是：智能體執(zhí)行數(shù)千次行動后得出解決方案，最終根據(jù)結(jié)果評分對每個行動進行反向傳播。但價值函數(shù)能提供中途評估，就像下棋時丟子立即知道失誤，無需等到終局。在數(shù)學證明或編程中，當發(fā)現(xiàn)某條路徑行不通時，價值函數(shù)能提前千步對初始選擇發(fā)出警告。

德瓦克什·帕特爾：DeepSeek R1 論文提到，軌跡空間過于龐大，可能難以建立中間狀態(tài)與價值的映射。比如編程時可能會先產(chǎn)生錯誤思路，經(jīng)過反復修改才回到正軌。

伊利亞·蘇茨克維：這聽起來像是對深度學習缺乏信心。雖然困難，但深度學習方法定能解決。我堅信價值函數(shù)必將發(fā)揮重要作用。之前提到的腦損傷案例暗示：人類價值函數(shù)可能通過進化預設的情緒機制進行調(diào)節(jié)，這對人類效能至關(guān)重要。

德瓦克什·帕特爾：這正是我想探討的，情緒作為價值函數(shù)的精妙之處在于，它們既保持高度實用性，又具有可理解性。

伊利亞·蘇茨克維：我有兩點觀察：第一，相較于當前 AI 的復雜性，情緒確實相對簡單，甚至可能被完整解析；第二，存在復雜度-魯棒性權(quán)衡，簡單機制反而在廣泛情境中更可靠。我們的情緒主要繼承自哺乳動物祖先，在原始社會環(huán)境中演化形成。盡管現(xiàn)代社會已截然不同，這些簡單情緒仍能有效指導行為，雖然也會出錯，比如在食物充裕時，原始的饑餓感反而會導致飲食失衡。

我們究竟在擴展什么？

德瓦克什·帕特爾：人們一直在討論擴展數(shù)據(jù)、參數(shù)和算力。是否存在更通用的擴展視角？還有哪些可擴展的維度？

伊利亞·蘇茨克維：我認為可以這樣理解：過去機器學習依賴人工調(diào)參獲取有趣結(jié)果，直到規(guī)模擴展理論出現(xiàn)。GPT-3 和擴展定律讓所有人意識到必須擴大規(guī)模，這就是語言如何影響思維的典型案例?！皵U展”這個詞具有強大魔力，它直接指導行動。但關(guān)鍵問題是：我們究竟在擴展什么？預訓練曾是明確的擴展路徑。

預訓練的重大突破在于驗證了這種配方有效性：將算力、數(shù)據(jù)與特定規(guī)模神經(jīng)網(wǎng)絡結(jié)合，就能持續(xù)獲得改進。企業(yè)青睞這種低風險投資方式，畢竟比起探索性研究，“獲取更多數(shù)據(jù)與算力”的回報更可預測。

從各方信息看，Gemini 似乎提升了預訓練效率。但數(shù)據(jù)終將耗盡，屆時要么升級預訓練方法，要么轉(zhuǎn)向強化學習等其他路徑。當算力達到當前量級時，我們其實已回歸研究時代。

更準確地說：2012-2020 是研究時代，2020-2025 是擴展時代（時間邊界可浮動）。但現(xiàn)在規(guī)模如此龐大，假如再增加百倍算力就能顛覆現(xiàn)狀嗎？我認為不會。這意味著我們正帶著巨型計算資源重返研究時代。

德瓦克什·帕特爾：這個視角很有趣。但請回答你剛提出的問題：我們在擴展什么？新配方應遵循什么規(guī)律？預訓練階段存在類似物理定律的冪律關(guān)系，新范式該尋求何種規(guī)律？

伊利亞·蘇茨克維：我們已經(jīng)歷從預訓練到強化學習的范式轉(zhuǎn)換?，F(xiàn)在人們正在擴展強化學習，據(jù)反映其算力消耗已超過預訓練。長軌跡推演消耗巨大算力，但學習效率卻不高。這甚至不該稱為“擴展”，而應思考“如何更高效利用算力”。

此前討論的價值函數(shù)可能提升資源利用率。任何新訓練方法的核心問題在于：這究竟是規(guī)模擴展還是資源優(yōu)化？界限已變得模糊。就像早期研究時代那樣，我們需要不斷試錯探索。

德瓦克什·帕特爾：重返研究時代后，配方中最需重新思考的部分是什么？當前已有 LLM-as-a-Judge 等價值函數(shù)嘗試，但你似乎指向更根本的變革。我們是否該徹底重構(gòu)預訓練，而非簡單追加后續(xù)步驟？

伊利亞·蘇茨克維：價值函數(shù)確實能提升強化學習效率，但任何通過價值函數(shù)實現(xiàn)的效果，不用它也能達成只是更慢。最根本的問題在于：這些模型的泛化能力遠遜于人類，這是當前最顯著的瓶頸。

為什么人類比模型泛化能力更強？

德瓦克什·帕特爾：所以泛化能力是核心問題。這包含兩個層面：一是樣本效率，為何模型需要比人類多得多的數(shù)據(jù)？二是教學難度，即使不考慮數(shù)據(jù)量，為何向模型傳授知識比指導人類更困難？比如我指導研究員時，只需展示代碼和思考過程，他們就能領(lǐng)悟研究方法，而不需要設計可驗證的獎勵機制。這兩個問題或許存在關(guān)聯(lián)，但我想先探討第二個涉及持續(xù)學習的問題，以及第一個關(guān)于樣本效率的問題。

伊利亞·蘇茨克維：人類樣本效率高的一個可能解釋是進化優(yōu)勢。進化賦予了我們最精要的先驗知識，在視覺、聽覺、運動控制等領(lǐng)域尤其明顯。比如人類手部靈巧度遠超當前機器人，雖然通過大量模擬訓練也能讓機器人獲得靈巧性，但要像人類這樣快速掌握新技能仍遙不可及。這說明在運動控制等領(lǐng)域，我們繼承了驚人的進化先驗。

視覺也是如此。楊立昆曾指出青少年僅需 10 小時練習就能學會開車，這是因為五歲兒童的視覺識別能力已足夠勝任駕駛。但語言、數(shù)學和編程領(lǐng)域可能并非如此。

德瓦克什·帕特爾：但人類在這些領(lǐng)域的學習能力仍優(yōu)于模型。模型雖然在語言、數(shù)學和編碼能力上超越普通人，但學習能力呢？

伊利亞·蘇茨克維：確實如此。我想說明的是，人類在數(shù)學編程等新興領(lǐng)域展現(xiàn)的學習能力，可能并非源于復雜的先驗知識，而是某種更根本的學習機制。

德瓦克什·帕特爾：為什么這么說？

伊利亞·蘇茨克維：如果某項技能經(jīng)過數(shù)百萬年進化考驗，人類擅長它可能源于進化先驗。但在近期出現(xiàn)的領(lǐng)域仍能快速掌握，則表明人類可能擁有更優(yōu)越的通用學習機制。

德瓦克什·帕特爾：該如何理解這種機制？從機器學習角度看，它具備樣本需求少、無監(jiān)督性強、魯棒性高等特點......

伊利亞·蘇茨克維：魯棒性尤其驚人。

德瓦克什·帕特爾：是否存在統(tǒng)一理論解釋這些特性？機器學習中可能實現(xiàn)類似機制的途徑是什么？

伊利亞·蘇茨克維：你剛才提到的青少年學車案例，關(guān)鍵在于他們擁有內(nèi)在價值函數(shù)。這種價值判斷系統(tǒng)極其魯棒（除成癮行為等特例外），能立即感知駕駛狀態(tài)的好壞，配合人類快速的學習能力，10 小時就能掌握駕駛。

德瓦克什·帕特爾：人類顯然擁有解決方案。我好奇的是具體機制為何如此難以復現(xiàn)？我們需要如何重構(gòu)模型訓練方式？

伊利亞·蘇茨克維：這是個值得深入的問題，我對此有不少見解。但遺憾的是，當前環(huán)境不允許自由討論所有機器學習理念，這恰好就是其中之一。人類的存在本身已證明這種機制可實現(xiàn)，不過可能存在其他障礙，比如人類神經(jīng)元的實際計算量可能超乎想象。但無論如何，這確實指向某個我持有觀點的機器學習原理。

德瓦克什·帕特爾：反正沒人聽這個播客，伊利亞。

直達式超級智能

德瓦克什·帕特爾：我很好奇，如果說我們重回研究時代，你親身經(jīng)歷過 2012-2020 那個階段，現(xiàn)在的研究氛圍會如何？比如 AlexNet 之后，實驗算力持續(xù)增長，前沿系統(tǒng)規(guī)模不斷擴大。你認為新時代的研究仍需要海量算力嗎？是否需要重新研讀早期論文？你在谷歌、OpenAI 和斯坦福都經(jīng)歷過研究黃金期，預計學界會出現(xiàn)哪些變化？

伊利亞·蘇茨克維：規(guī)模擴展時代吸走了所有創(chuàng)新氧氣，導致所有人都在做相同的事?，F(xiàn)在的情況是公司數(shù)量遠多于創(chuàng)新想法。硅谷常說“創(chuàng)意廉價，執(zhí)行至上”，但有人反問：“如果創(chuàng)意如此廉價，為何現(xiàn)在無人提出新創(chuàng)意？”這很深刻。

研究突破存在多重瓶頸，比如創(chuàng)意本身與實現(xiàn)能力。1990 年代的研究者擁有優(yōu)秀創(chuàng)意，假如有更強算力本可驗證其可行性，但當時只能做小規(guī)模演示。如今算力已大幅提升，AlexNet 只用 2 張 GPU，Transformer 論文最多用 64 張 2017 年的 GPU（相當于現(xiàn)在 2 張 GPU），ResNet 也是如此。雖然打造頂尖系統(tǒng)需要大量算力，但探索性研究未必需要極限算力。

德瓦克什·帕特爾：但 Transformer 并非立即成名，而是通過更大算力驗證后才被廣泛采納。如果 SSI（蘇茨克維的創(chuàng)業(yè)公司）有 50 個創(chuàng)意，在沒有其他前沿實驗室同等算力的情況下，如何識別哪個是下一個 Transformer？

伊利亞·蘇茨克維：SSI 的研究算力其實并不弱。專注研究的我們，實際可用算力差距會縮小。更重要的是：驗證創(chuàng)新是否必須極限算力？我認為完全不必。SSI 的算力足以驗證研究方向。

德瓦克什·帕特爾：公開數(shù)據(jù)顯示 OpenAI 每年僅實驗支出就達 50-60 億美元，這已超過你們總?cè)谫Y額。

伊利亞·蘇茨克維：關(guān)鍵在于資源分配。他們需要兼顧更多工作流、多模態(tài)任務，資源必然分散。

德瓦克什·帕特爾：SSI 如何盈利？

伊利亞·蘇茨克維：我們現(xiàn)階段專注研究，答案自會浮現(xiàn)。未來會有多種可能性。

德瓦克什·帕特爾：SSI 仍堅持“直達超級智能”計劃嗎？

伊利亞·蘇茨克維：可能。避開日常市場競爭很有價值。但兩個因素可能改變計劃：一是實際研發(fā)周期可能很長；二是讓最強 AI 影響世界本身就很有意義。

德瓦克什·帕特爾：為何默認選擇直達路徑？OpenAI 等公司都主張通過弱智能讓公眾逐步適應。直接打造超級智能的優(yōu)勢何在？

伊利亞·蘇茨克維：支持方認為避開市場競爭能專注研究。反對方則認為讓世界接觸強大 AI 本身具有價值，通過論文描述 AI 與親眼見證 AI 能力是無可比擬的。

德瓦克什·帕特爾：不只是理念傳播......

伊利亞·蘇茨克維：是讓 AI 本身被認知，而非理念。

德瓦克什·帕特爾：“讓 AI 被認知”具體指什么？

伊利亞·蘇茨克維：閱讀 AI 論文與親眼見證 AI 解決問題有著天壤之別。這就是讓 AI 公開亮相的價值，也是我們可能調(diào)整直達策略的原因。

德瓦克什·帕特爾：更重要的是，人類工程史上所有系統(tǒng)的安全性都是通過實際部署、發(fā)現(xiàn)問題、持續(xù)改進來實現(xiàn)的。飛機失事率下降、Linux 系統(tǒng)更穩(wěn)定莫不如此。我不認為 AGI 會例外，尤其是超級智能的危害不僅來自惡意目標，更源于人類尚不知如何與之共處。漸進式部署或許能幫助人類更好地適應沖擊。

伊利亞·蘇茨克維：關(guān)于這點，即使在直達方案中，我設想仍會采用漸進式發(fā)布，漸進主義本就是所有計劃的固有組成部分。關(guān)鍵在于首代產(chǎn)品形態(tài)。

其次，你比其他人更倡導持續(xù)學習理念，我認為這非常正確且重要。這涉及語言如何影響思維的兩個典型例證：其一是 AGI，其二是預訓練。

AGI 這個概念之所以存在，在我看來并非因為它精準描述了智能的終極狀態(tài)，而是作為對狹義 AI 的反撥。當人們看到象棋 AI、圍棋 AI 時，總會強調(diào)其能力局限。作為回應，有人提出需要能處理所有任務的通用 AI。

而預訓練之所以深入人心，是因為它確實能通過擴展訓練讓模型全面進步。但問題在于，AGI 和預訓練這兩個概念某種程度上偏離了本質(zhì)，人類本身就不是 AGI，我們依賴的是持續(xù)學習能力。

因此當我們討論超級智能時，應該設想一個如饑似渴的 15 歲天才：他基礎扎實但知識有限，能快速學習編程、醫(yī)學等任何領(lǐng)域。部署過程本身就是個試錯學習期，而非直接交付完美成品。

德瓦克什·帕特爾：我明白了。你指的超級智能并非精通所有工作的完整個體，而是像 OpenAI 憲章定義的那樣，具備學習任何人類工作的潛力。

伊利亞·蘇茨克維：正是。

德瓦克什·帕特爾：這意味著一旦掌握學習算法，它就能像人類勞動者一樣融入組織。可能出現(xiàn)兩種情況：要么這個高效學習算法在機器學習研究等領(lǐng)域超越人類；要么通過分布式部署，讓模型實例在不同崗位持續(xù)學習，最終整合所有技能，即使沒有軟件層面的遞歸自我改進，也能實現(xiàn)功能性超級智能。你是否預期廣泛部署會引發(fā)智能爆炸？

伊利亞·蘇茨克維：經(jīng)濟很可能快速增長。廣泛部署存在兩種矛盾可能性：一方面，當 AI 具備快速學習能力并被大規(guī)模部署時，除非受到監(jiān)管限制（這種可能性存在），否則將產(chǎn)生巨大經(jīng)濟推動力。

我認同一段時間內(nèi)的經(jīng)濟高速增長是可能的，但增速難以預測。雖然擁有高效勞動者，但現(xiàn)實世界的運行慣性依然存在。不過可以預見的是，法規(guī)更友好的國家將獲得更快的經(jīng)濟增長。這一切都充滿變數(shù)。

對齊

德瓦克什·帕特爾：這種局面似乎非常不穩(wěn)定。從理論上說，如果存在學習能力媲美人類且能合并思維實例的智能，這種實體在物理層面是可能實現(xiàn)的。人類存在，數(shù)字計算機存在，將兩者結(jié)合就能創(chuàng)造這種存在。

這種智能極具潛力：一方面推動經(jīng)濟增長（戴森球就是極致的經(jīng)濟增長），另一方面可能在極短時間內(nèi)，比如 SSI 新員工六個月就能創(chuàng)造凈值，實現(xiàn)智能的快速躍升。如何確保這個過程順利推進？SSI 有哪些獨特優(yōu)勢？即 SSI 的具體規(guī)劃是什么？

伊利亞·蘇茨克維：我的觀念正在轉(zhuǎn)變，現(xiàn)在我更重視 AI 的漸進式提前部署。難點在于我們討論的是尚未存在的系統(tǒng)，難以具象化。就像年輕人難以真正體會年邁的感受，當前人們對 AGI 的認知也存在這種隔閡。AGI 的核心問題就是其巨大能力，當能力足夠強大時會發(fā)生什么？

我近年的思想轉(zhuǎn)變是：既然難以想象，就必須展示實體本身。包括 AI 從業(yè)者在內(nèi)的大多數(shù)人其實都缺乏直觀認知。我預測隨著 AI 能力提升，人類行為模式將改變，會出現(xiàn)前所未有的現(xiàn)象。例如：競爭激烈的公司開始合作推進 AI 安全（OpenAI 與 Anthropic 已邁出第一步）；政府和公眾對 AI 監(jiān)管的訴求將增強。

當 AI 開始顯現(xiàn)真正威力時，所有公司的安全策略都會轉(zhuǎn)向高度警惕。此外，行業(yè)需要突破自我改進型 AI 的思維定式，我們應該打造的是“秉持生命敬畏的 AI”。由于 AI 本身具有感知能力，構(gòu)建關(guān)懷所有生命的 AI 可能比僅關(guān)注人類更容易實現(xiàn)，這源于我們用以理解他人的神經(jīng)回路與理解自我的回路相同。

德瓦克什·帕特爾：但即使實現(xiàn)對齊，未來智能文明中絕大多數(shù)感知主體將是 AI（數(shù)萬億計），人類只占極小比例。假如目標是保持人類控制權(quán)，“秉持生命敬畏的 AI”未必是最佳標準。

伊利亞·蘇茨克維：確實可能不是最優(yōu)解。但值得考慮的是：首先，關(guān)懷有情生命具有內(nèi)在價值；其次，業(yè)界需要備選方案清單；第三，假如能對超級智能的能力設限將大有裨益，雖然具體方法尚不明確。

德瓦克什·帕特爾：在對齊討論前，請詳述超級智能的潛力空間。你認為通過高效學習，它是能快速掌握技能，還是擁有更龐大的策略庫？是否存在統(tǒng)合性的智能核心？它會如神明般超越人類文明，還是更像普通智能體集群？

伊利亞·蘇茨克維：不同研究者對此有不同直覺。我認為很可能出現(xiàn)多個近似同時誕生的超級智能。假如是大陸尺度（continent-scale）的計算集群，其能力將極其強大。對于極端強大的 AI，最好能通過協(xié)議等方式進行約束。

超級智能的風險在于：當系統(tǒng)足夠強大時，即使設定“秉持生命敬畏的 AI”的目標，結(jié)果仍可能不如人意?；蛟S解決方案不是構(gòu)建傳統(tǒng)強化學習智能體，人類本質(zhì)是半強化學習體，會因情緒轉(zhuǎn)換目標。進化在某些方面智慧，另一些方面卻愚蠢。

討論難點在于我們面對的是尚未建成、不知如何構(gòu)建的系統(tǒng)。當前技術(shù)路線終將遇到瓶頸，真正的突破取決于對可靠泛化的理解。對齊困難本質(zhì)上源于學習人類價值的脆弱性，以及優(yōu)化過程的不可靠，這些都是泛化能力不足的表現(xiàn)。

德瓦克什·帕特爾：如何定義 AI 發(fā)展的理想軌跡？如果出現(xiàn)大陸尺度的計算智能集群，危險程度如何？如何應對潛在惡意行為者與未對齊 AI 的威脅？

伊利亞·蘇茨克維：“秉持生命敬畏的 AI”的價值在于：假如首批重要系統(tǒng)都能關(guān)愛人類或有情生命，至少可保障相當長時間的穩(wěn)定。長期均衡則面臨一定挑戰(zhàn)，即使實現(xiàn)普遍高收入也是如此。

但如佛教所言，諸行無常。一個我不喜歡但值得考慮的方案是：人類通過腦機接口與 AI 融合。當 AI 理解某事時，我們也能完整接收這種理解，從而真正參與決策過程。這才是終極均衡方案。

德瓦克什·帕特爾：億萬年前演化出的情緒至今仍在強烈指導行為，這是否算對齊的成功范例？腦干發(fā)出“與更成功者繁衍”的指令，皮層負責解讀現(xiàn)代意義上的成功，這種分工是否體現(xiàn)了價值函數(shù)與執(zhí)行系統(tǒng)的有效對齊？

伊利亞·蘇茨克維：這引向更深刻的謎題：進化如何編碼高級欲望？通過化學信號實現(xiàn)食欲容易理解，但社會性欲望（如重視社會評價）需要大腦整合多重信息才能識別，進化竟能快速固化這種復雜概念。我推測可能通過大腦空間坐標定位實現(xiàn)，但先天失明者或半腦切除患者的案例反駁了這個理論。最終我們?nèi)岳Щ笥谶M化如何如此可靠地賦予我們社會關(guān)懷本能，即使存在各種精神缺陷的個體也保留著這種本能。

“我們是不折不扣的研究時代公司”

德瓦克什·帕特爾：SSI 計劃采取哪些差異化策略？你創(chuàng)立 SSI 想必是認為自己在安全實現(xiàn)超級智能方面擁有獨特思路。具體差異在哪里？

伊利亞·蘇茨克維：本質(zhì)上是我認為某些技術(shù)思路具有潛力需要驗證。我們是不折不扣的“研究時代”公司，正在泛化理解等領(lǐng)域取得良好進展。假如這些思路被證實正確，我們將貢獻真正有價值的技術(shù)方案。

德瓦克什·帕特爾：你的聯(lián)合創(chuàng)始人近期轉(zhuǎn)投 Meta，有人質(zhì)疑這是否意味著 SSI 突破有限。你如何回應？

伊利亞·蘇茨克維：需要澄清背景：我們以 320 億美元估值融資時，Meta 提出收購要約。我拒絕了，而前合伙人接受了，他是 SSI 唯一加入 Meta 的員工，這更多與短期變現(xiàn)有關(guān)。

德瓦克什·帕特爾：SSI 計劃在超級智能降臨時成為前沿公司。與其他公司的安全方案相比，SSI 的獨特之處何在？

伊利亞·蘇茨克維：核心區(qū)別在于技術(shù)路線。我相信隨著 AI 能力提升，各公司最終會在對齊策略上收斂，都應該追求讓首個超級智能關(guān)懷有情生命、尊重民主價值。這正是 SSI 努力的方向。

德瓦克什·帕特爾：關(guān)于時間預測，在你的設想中具備人類級學習能力的系統(tǒng)何時會出現(xiàn)？

伊利亞·蘇茨克維：大約 5 到 20 年。

德瓦克什·帕特爾：請具體描述發(fā)展路徑？是否意味著現(xiàn)有公司技術(shù)路線會陷入停滯？停滯具體指什么？

伊利亞·蘇茨克維：停滯不等于失敗，這些公司仍可能創(chuàng)造驚人營收。但技術(shù)突破需要新范式。

德瓦克什·帕特爾：為何你認為正確方案出現(xiàn)后會產(chǎn)生收斂效應？

伊利亞·蘇茨克維：我主要指對齊策略的收斂。當某公司展示出可行路徑后，雖然技術(shù)細節(jié)難以復制，但是可能性已得到驗證，這將推動整個行業(yè)探索方向。

德瓦克什·帕特爾：但首個實現(xiàn)持續(xù)學習能力的公司是否將壟斷收益？為何成果會廣泛擴散？

伊利亞·蘇茨克維：歷史經(jīng)驗表明，先行者取得突破后，競爭者會快速跟進并通過專業(yè)化競爭降低成本。未來可能出現(xiàn)不同公司專注不同細分領(lǐng)域，有的擅長復雜經(jīng)濟決策，有的專精法律訴訟。

德瓦克什·帕特爾：但這與人類級學習的通用性是否矛盾？理論上首個突破公司可以覆蓋所有經(jīng)濟領(lǐng)域。

伊利亞·蘇茨克維：雖然理論上可行，但專業(yè)化積累會形成壁壘。競爭對手不會愿意重復投入巨量計算資源重新學習特定領(lǐng)域知識。

德瓦克什·帕特爾：如果多家公司同時突破，確實可能形成專業(yè)分工。但如果出現(xiàn)技術(shù)先行者，該實體似乎即可掌控整個經(jīng)濟體系中崗位技能的習得過程。

伊利亞·蘇茨克維：理論上成立，但我的強烈直覺是現(xiàn)實不會如此發(fā)展，理論與實踐總是存在差距。

德瓦克什·帕特爾：很多人設想的遞歸自我改進是在服務器部署百萬個“伊利亞副本”加速突破。你認為你工作的可并行性如何？復制你本人能帶來多少增益？

伊利亞·蘇茨克維：必然存在收益遞減，真正需要的是思維多樣性而非同質(zhì)化復制。因為，相同思維模式的副本增量價值有限。

自我博弈與多智能體

德瓦克什·帕特爾：有個現(xiàn)象很神奇：不同公司開發(fā)的模型，即使訓練數(shù)據(jù)集可能毫不重疊，為何大語言模型的表現(xiàn)如此相似？

伊利亞·蘇茨克維：或許數(shù)據(jù)集的重疊度比表面看來更高。

德瓦克什·帕特爾：但即便個體人類生產(chǎn)力未來可能不及 AI，人類團隊的多樣性優(yōu)勢依然存在。如何讓 AI 產(chǎn)生實質(zhì)性的多樣性？單純提高采樣溫度只會導致胡言亂語，我們需要的是像不同科學家擁有不同偏見那樣的思維差異。如何在 AI 智能體中實現(xiàn)這種多樣性？

伊利亞·蘇茨克維：缺乏多樣性的根源在于預訓練，所有模型都在相同數(shù)據(jù)上預訓練自然趨同。真正的分化始于強化學習階段，不同團隊采用不同的強化學習訓練方法才會產(chǎn)生差異。

德瓦克什·帕特爾：你曾暗示自我博弈可作為數(shù)據(jù)生成或智能體匹配的學習機制。為何目前沒有公開成果展示這類方法在大模型上的有效性？

伊利亞·蘇茨克維：自我博弈的價值在于僅通過算力無需數(shù)據(jù)就能創(chuàng)造模型，這對突破數(shù)據(jù)瓶頸很有意義。但傳統(tǒng)自我博弈僅能培養(yǎng)特定技能，談判、沖突、策略等社交能力。實際上自我博弈已以其他形式落地：辯論機制、證明者-驗證者模式、大模型作為裁判等對抗性設置都是其變體。

真正的自我博弈本質(zhì)是智能體競爭的特例。當多個智能體共同解決問題時，它們會自然尋求差異化路徑：“既然別人專注這個方向，我就應該探索不同方案?！边@種競爭機制本身就會催生方法論的多樣性。

研究品味

德瓦克什·帕特爾：最后一個問題，你的研究品味是怎樣的？你被公認為 AI 領(lǐng)域最具研究品味的人，從 AlexNet 到 GPT-3 都參與開創(chuàng)。你如何描述這種產(chǎn)生創(chuàng)意的能力？

伊利亞·蘇茨克維：每個人的方法不同。我的準則是基于對 AI 應該如何的審美，通過正確理解人類本質(zhì)來構(gòu)建認知。人工神經(jīng)元的概念受大腦啟發(fā)，其構(gòu)思堪稱典范：它摒棄了腦回褶皺等次要特征，直指神經(jīng)元的核心作用，其龐大的數(shù)量規(guī)模已昭示了這一點。

分布式表征以及從經(jīng)驗中學習這些概念，都源于對大腦運作原理的洞察。關(guān)鍵在于判斷什么是本質(zhì)特征。我經(jīng)常從多角度思考，追求美感與簡潔性，丑陋的設計沒有存在空間。需要同時滿足優(yōu)美、簡潔、典雅和正確的大腦啟發(fā)，這些特質(zhì)越完備，就越能堅定自上而下的信念。

這種自上而下的信念在實驗受挫時尤為重要。如果總是盲從數(shù)據(jù)，可能因未知漏洞而放棄正確方向。但假如堅信“這條路必然可行”，就會持續(xù)調(diào)試而非輕易轉(zhuǎn)向，這種信念正源于對多重美學維度與大腦啟發(fā)的深刻理解。

德瓦克什·帕特爾：訪談到此結(jié)束。

伊利亞·蘇茨克維：非常感謝。

參考資料：

https://www.dwarkesh.com/p/ilya-sutskever-2