智東西
編譯 陳駿達
編輯 Panken

智東西1月23日消息，昨天，由知名媒體人和作家Ashlee Vance主辦的Core Memory播客，發(fā)布了對OpenAI前研究副總裁Jerry Tworek的深度專訪。今年1月初決定離開的OpenAI的Tworek分享了一個關(guān)鍵洞察：隨著競爭加劇與組織急速膨脹，OpenAI正逐漸陷入一種難以再承擔(dān)真正高風(fēng)險研究的結(jié)構(gòu)性困境，一些前沿創(chuàng)新的研究方向，已經(jīng)難以在OpenAI內(nèi)部推進。

在正式進入訪談內(nèi)容前，我們有必要了解下Tworek的傳奇履歷。Tworek是OpenAI元老級成員，2019年便加入該公司。他是OpenAI推理模型o1、o3背后的關(guān)鍵人物，將強化學(xué)習(xí)做到了極致，也讓強化學(xué)習(xí)、推理模型真正進入了主流視野。此外，Tworek還在編程和Agent領(lǐng)域頗有建樹。

今年1月7日，Tworek在X平臺上分享了自己離職的消息，評論區(qū)涌入了諸多OpenAI大佬，言語間滿是不舍之情。

這場訪談長達70分鐘，實錄近2萬字，智東西梳理出Tworek分享的八大關(guān)鍵洞察：

1、OpenAI的創(chuàng)新困境：成本、增長壓力等多重因素影響了OpenAI對風(fēng)險的“胃口”，同時該公司尚未找到良好的跨團隊的研究協(xié)作模式。

2、谷歌崛起：與其說是谷歌“回歸”，不如說是OpenAI自己犯了錯誤，沒能充分把握住自己的領(lǐng)先優(yōu)勢。OpenAI本應(yīng)該持續(xù)領(lǐng)先。

3、行業(yè)弊?。?/strong>5家頭部AI公司路徑完全趨同，研究員想在主流機器學(xué)習(xí)范式之外做點不同的事情，幾乎找不到合適的地方，這令人沮喪。

4、人才爭奪戰(zhàn)：人才爭奪戰(zhàn)已演變成一場肥皂劇，有些人頻繁地更換工作，而真正投入到工作的時間不多。

5、創(chuàng)新引擎：明星AI研究員并不是驅(qū)動創(chuàng)新的核心因素，公司本身能否打造個人責(zé)任感強、允許探索和做大事的環(huán)境，可能更為關(guān)鍵。

6、什么阻礙了創(chuàng)新：阻礙AI Lab研究的因素不是算力短缺，而是缺乏專注。對OpenAI來說，“集中力量辦大事”已經(jīng)變得有些困難。

7、AGI時間表：目前AGI仍然缺失關(guān)鍵拼圖，架構(gòu)創(chuàng)新與持續(xù)學(xué)習(xí)是兩大重要方向，但AGI將會在2029年左右實現(xiàn)。

8、強化學(xué)習(xí)的回歸：科學(xué)史已經(jīng)反復(fù)證明，好的想法往往會卷土重來，判斷一個想法是否重要并不難，難的是判斷它什么時候會變得重要。

以下是訪談內(nèi)容的完整編譯：

一、競爭激烈、組織膨脹，OpenAI的創(chuàng)新困境

主持人：你的離職聲明寫得很好，充滿感情。你在OpenAI經(jīng)歷了非常重要的一段時間，見證了巨大的變化。那種感覺怎么樣？

Jerry Tworek：在OpenAI的每一年，都是一家完全不同的公司。公司本身的高速成長，以及整個AI世界的變化。

這種經(jīng)歷我覺得在人類歷史上都很少見。我很慶幸自己能親身經(jīng)歷這一切。正如我之前說的，每一個階段都完全不同。

主持人：OpenAI在2019年時大概只有30個人？現(xiàn)在已經(jīng)是幾千人了吧？

Jerry Tworek：說實話，很難統(tǒng)計清楚。全球多地辦公室，遍布世界各地?，F(xiàn)在幾乎找不到?jīng)]聽說過OpenAI的人了。而我剛加入的時候，只是幾個小團隊，各自做著自己的研究項目。

但有一件事始終沒變——OpenAI的野心。從一開始就瞄準AGI，想真正改變世界，并且?guī)碚娴挠绊?。而通過ChatGPT，把智能和實用性真正分發(fā)給了全球用戶，我覺得這是一件非常了不起的事情。

主持人：所以你發(fā)了那條推文之后，是不是全球所有基礎(chǔ)模型實驗室都來找你了？

Jerry Tworek：確實有很多。我現(xiàn)在也在思考下一步該做什么。在這個行業(yè)這么多年，我已經(jīng)認識了很多人。我并不急著做決定。

我已經(jīng)連續(xù)高強度工作很多年了，甚至沒太多時間好好和人聊天?，F(xiàn)在正好可以慢下來，想一想：接下來的七年，我想怎么度過。但確實，我正在和很多人交流。

主持人：你在推文里提到，你想做一些在OpenAI沒法做的研究。能具體說說嗎？

Jerry Tworek：當前，在全球范圍內(nèi)爭奪“最佳AI模型”的競爭異常激烈且嚴苛。想要保持競爭力，公司在運營的多個層面都面臨著極大的挑戰(zhàn)。

其中一個核心問題在于風(fēng)險承擔(dān)的意愿：從避免落后的角度出發(fā)，公司自然會被迫思考，究竟愿意承擔(dān)多大的風(fēng)險。無論是用戶增長指標，還是持續(xù)支付高昂的GPU成本，現(xiàn)實都極其殘酷。

也正因如此，持續(xù)展示實力、不斷推出最強模型，對所有人而言都變得至關(guān)重要。這是當下幾乎所有主要AI公司共同面臨的處境，而這種壓力無疑會影響一家機構(gòu)對風(fēng)險的“胃口”。

另一組同樣難以權(quán)衡的因素來自組織結(jié)構(gòu)。公司有其組織架構(gòu)圖，而組織架構(gòu)往往在很大程度上決定了你能夠開展什么樣的研究：每個團隊都需要明確的身份認同、研究邊界以及其專注解決的問題集合。

跨組織的研究往往異常困難，而如何在大規(guī)模條件下高效地組織研究，這個問題可能還沒有被真正解決。

研究本身偏好活力，甚至可以說偏好某種程度的混亂；而大型組織卻需要秩序、結(jié)構(gòu)與清晰的分工。這正是為什么“你最終交付的是你的組織架構(gòu)圖”這一說法如此流行：研究工作往往會演變成那些最適合現(xiàn)有人員配置的項目。

我也正是在這種背景下意識到，有一些我真正想做的研究方向，并不是OpenAI當前的組織架構(gòu)所能支持的。

二、Transformer肯定不是最終形態(tài)，有很多路徑尚未得到系統(tǒng)性實踐

主持人：我曾在播客里和Mark Chen（OpenAI首席研究官）聊過這個問題——幾乎所有人都在向他（以及Jakub，OpenAI首席科學(xué)家）提出自己的想法。OpenAI的確有一個優(yōu)良傳統(tǒng)：愿意承擔(dān)風(fēng)險，愿意去做一些其他實驗室不敢做的事情。

但現(xiàn)實是，無論聚集了多少聰明人，資源已相當可觀，這終究是一家資源有限的公司。它必須做出重大的取舍：哪些方向值得投入，哪些現(xiàn)在還無法承擔(dān)成本。

而真正足夠新穎的路徑，往往恰恰是那種讓人猶豫的方向——我們不知道現(xiàn)在該不該走，也不知道錢包是否負擔(dān)得起。

Jerry Tworek：關(guān)于Ilya提出的“研究時代”這一概念，我不確定它是否像他所描述的那樣非此即彼，但我確信，在AI和機器學(xué)習(xí)領(lǐng)域，仍然存在大量尚未被充分探索的可能性。

六年前，我們選定了Transformer架構(gòu)，此后人們不斷對其進行Scaling，并且效果顯著。路徑非常清晰：每個季度訓(xùn)練更大的模型，使用更多計算資源和數(shù)據(jù)，而進步似乎從未真正停滯。

但問題在于：這就是全部了嗎？這是最終形態(tài)嗎？我相當確定不是。模型仍然可以通過多種方式改進，而其中許多路徑至今尚未被系統(tǒng)性地實踐。

正如你提到的，我曾在推理和強化學(xué)習(xí)擴展方面投入大量工作。在那之前，整個領(lǐng)域幾乎把所有賭注都押在了Transformer預(yù)訓(xùn)練的Scaling上。

這種方式確實有效：每一次預(yù)訓(xùn)練都可以打造出更強的模型，其能力都會全面提升，各項評測指標也隨之改善。因此，人們很容易得出結(jié)論：只要不斷擴展預(yù)訓(xùn)練，模型就會持續(xù)變好。

但后來，一些研究者開始相信，我們能做的不止于此。他們嘗試證明：如果在語言模型之上，以與預(yù)訓(xùn)練相當?shù)挠嬎阋?guī)模去擴展強化學(xué)習(xí)，就能教會模型一些僅靠預(yù)訓(xùn)練永遠無法獲得的能力。

正是由于這種探索，我們今天才擁有了這些能夠自動化復(fù)雜任務(wù)、顯著降低計算與數(shù)據(jù)需求的智能體系統(tǒng)。一旦發(fā)現(xiàn)新的擴展路徑，就能解鎖全新的能力，而如果只沿著預(yù)訓(xùn)練的擴展定律前進，這些能力可能需要極其漫長的時間才能出現(xiàn)。

在我看來，自GPT-4發(fā)布以來，推理模型代表了一次真正重大的能力躍遷。而我也堅信，類似這樣的突破并非孤例。研究者不應(yīng)只滿足于漸進式改進，更應(yīng)持續(xù)思考如何從根本上改變游戲規(guī)則。

三、頭部AI玩家路徑趨同，這是件令人遺憾的事兒

主持人：去年在NeurIPS上，Ilya提到“我們正在耗盡數(shù)據(jù)”，暗示預(yù)訓(xùn)練終將觸及瓶頸。

Jerry Tworek：我并不認為這意味著預(yù)訓(xùn)練即將終結(jié)，它仍然在持續(xù)改進，也依然有許多優(yōu)化空間。但預(yù)訓(xùn)練并不是提升模型能力的唯一方式，而且在很多情況下，它提升得非常緩慢。其他方法，或許能更快地推動能力躍遷。

主持人：硅谷長期存在一種有趣的現(xiàn)象：科技公司往往會提出一些在外界看來怪異、甚至離經(jīng)叛道的想法，而正是這些想法催生了真正顛覆性的創(chuàng)新。

但一旦某條路徑被證明是成功的，局面就會迅速反轉(zhuǎn)，形成強烈的共識，所有人開始沿著同一方向競賽。

這正是我們當前所處的階段。模型競賽已經(jīng)持續(xù)了兩三年，幾乎所有主要實驗室都在做同一件事。你認為這是個問題嗎？

Jerry Tworek：我對此感到相當、相當遺憾，幾乎所有公司都在做和OpenAI一樣的事兒。OpenAI無疑取得了巨大成功，做對了更多事兒，引領(lǐng)了擴展Transformer的范式，也證明了大規(guī)模模型能夠為世界創(chuàng)造真實而廣泛的價值。

但如今，有多少公司在做著幾乎一模一樣的事情？競爭當然有其價值，但我們現(xiàn)在大概有五家嚴肅的AI公司，使用幾乎相同的技術(shù)配方，在同一技術(shù)基礎(chǔ)上構(gòu)建略有差異的產(chǎn)品。

也許這是正確的路徑，但我仍然希望看到更多多樣性，模型之間真正的差異，而不僅是微小的調(diào)優(yōu)。

如果你觀察當下最頂級的模型，很少有人能真正分辨它們之間的不同?；蛟S我們應(yīng)該進行更多盲測：讓用戶與不同模型對話，看看他們是否能分辨出差異。

我懷疑99.9%的用戶做不到。這些模型在體驗上極其相似，即便它們來自不同團隊、采用了略有不同的技術(shù)選擇。在這樣的環(huán)境中，真正的探索在哪里？真正的創(chuàng)新，以及與他人區(qū)分開來的能力，又在哪里？

四、與OpenAI已出現(xiàn)實質(zhì)性分歧，分開比勉強合作更健康

主持人：我問一個有些尖銳的問題：你在OpenAI內(nèi)外都被視為傳奇人物，參與的項目成功率極高。如果連你這樣的人，都覺得自己真正想做的事情在公司內(nèi)部難以推進——無論公司是否明確反對，這種阻力本身就已經(jīng)存在。

對于一家最初以研究實驗室起家的公司而言，這是否是一個值得警惕的信號？

Jerry Tworek：我的看法是，有時候人們會成長到某個階段，需要與過去分道揚鑣。對一家公司及其成員來說，就目標和前進方向達成一致極其重要。

而在某個時刻，我意識到自己對未來研究路線的看法，與OpenAI所選擇的方向在某種實質(zhì)性層面上出現(xiàn)了分歧。在這種情況下，分開也許比勉強合作要更健康。

正因如此，我也認為，如果不同公司能夠真正專注于不同的事情，行業(yè)會因此變得更好。專注對一家公司而言至關(guān)重要，而OpenAI很可能正在做所有正確的事情。

也許只是我懷抱了一些不切實際的夢想。我是一個相對樂觀的人，我相信世界上始終還有很多不同的事情可以去做，這在原則上完全是可能的。

關(guān)鍵在于專注，把真正核心的事情做到極致。事實上，很多事情、很多公司，只有做到這一點，才能生存下來并進入下一個階段。

在一個理想的世界里，應(yīng)該存在大量做著不同事情的公司。尤其是對研究人員而言，他們很難在一個自己并不真正相信的研究方向上長期投入。他們理應(yīng)能夠找到一個地方，在那里從事自己最篤信的研究，并讓時間來檢驗其價值。

也正因為如此，我對如今幾乎所有公司都在做同樣的事情感到有些難過?，F(xiàn)實是，如果你想在主流機器學(xué)習(xí)范式之外做點不同的事情，幾乎找不到合適的地方。這可能是目前讓我最沮喪的一點。

主持人：當你開始認真思考“下一步要做什么”時，這種同質(zhì)化的問題會變得尤為明顯。如果所有實驗室都在做同樣的事，你自然也不會覺得自己只是換一家大實驗室就能獲得真正不同的空間。

Jerry Tworek：我確實在思考人生的下一個階段，但如果世界上能有更多選擇，讓人可以稍微偏離主流，去做一些不那么熱門、但可能同樣重要的事情，那會讓我更開心，也更容易做出決定。

主持人：這就引出了一個問題：我們到底需要什么，才能真正偏離主流？

一個投入了如此多資金和資源、又處在聚光燈下的公司，會本能地害怕承擔(dān)風(fēng)險。但問題在于，這些風(fēng)險也許恰恰是必要的。那么，究竟需要改變什么？這種狀況未來會不會發(fā)生改變？

Jerry Tworek：有趣的是，我個人其實非常喜歡冒險，別人也常這樣形容我。冒險本身是一件好事。

但當風(fēng)險和巨額資金綁定在一起時，愿意、也有能力承擔(dān)這種風(fēng)險的人就會變得極其稀少。風(fēng)險承受能力是一種高度個人化、極其獨特的特質(zhì)。我與很多人共事過，深切體會到這一點。

我真心認為，人們本該更愿意承擔(dān)風(fēng)險，去嘗試更多不同的事情。尤其是研究人員這一群體——如今AI領(lǐng)域的薪酬水平已經(jīng)相當夸張了，而這反而可能帶來一種副作用：人們變得不愿意失去工作，不愿意經(jīng)歷糟糕的績效周期。于是，他們更傾向于追逐短期回報。

很多研究人員本身非常聰明、也很有想法，只是整個系統(tǒng)的激勵機制過于短視?？汕∏∈茄芯咳藛T，才最應(yīng)該被鼓勵去冒險、去做大膽的嘗試——因為真正的進步，正是這樣產(chǎn)生的。

五、算力門檻正阻礙創(chuàng)新，“探索與利用”的權(quán)衡是關(guān)鍵問題

主持人：當然，我們也看到了一些例子。比如游戲教父John Carmack，他去了達拉斯的“洞穴”，一度幾乎是獨自工作，現(xiàn)在可能也只有極少數(shù)員工。Carmack說過：“也許我未必能做出真正不同的東西，但至少應(yīng)該有人在認真嘗試一條完全不同的路徑?！?/p>

我也和Ilya聊過，不過我并不清楚他具體在研究什么。所以我無法判斷，他的工作是在延續(xù)過去的方向，還是某種更加激進的嘗試。但可以肯定的是，如果他不認為那是一條不同的道路，就不會去籌集那么多資金來做這件事。楊立昆顯然也有與主流不同的理念。

這正是讓我覺得這個領(lǐng)域非常有趣的地方。AI在某種意義上是一個非常古老的領(lǐng)域，可以追溯到幾十年前；但當下這套主流范式，其實是相對較新的。當我和研究人員交流時，他們?nèi)匀粫f：“只要把主要論文都讀一遍，很快就能跟上進度?！?/p>

可我時常會想，會不會有某個人，突然帶著一個極其激進、全新的想法出現(xiàn)，徹底推動整個領(lǐng)域向前？如今這件事似乎變得更難了，因為你可能需要一個州那么大的數(shù)據(jù)中心來支撐實驗。

Jerry Tworek：這是一個巨大的資源門檻，也確實讓問題變得更加棘手。但這同樣是一個值得認真思考、試圖解決的問題。

世界上有大量學(xué)術(shù)研究在進行，許多學(xué)生在做各種各樣的探索，但其中絕大多數(shù)都嚴重缺乏資源。結(jié)果是，許多原本可能很有潛力的研究，最終不了了之，因為真正關(guān)鍵的研究往往需要大規(guī)模實驗。

也正因如此，我對當下的一個趨勢感到非常欣慰：確實有相當多的資金開始流向那些支持新穎、激進想法的嘗試。像Carmack、Ilya、楊立昆這樣的人，正是當下應(yīng)該存在、也應(yīng)該被資助的對象。

顯然，并不是所有嘗試都會成功，但其中一些一定會——世界上的創(chuàng)新正是以這種方式發(fā)生的。

在強化學(xué)習(xí)領(lǐng)域，“探索與利用”的權(quán)衡早已是一個經(jīng)典概念。即便是我們在優(yōu)化智能體時，也始終面臨這個問題：是選擇那些已被驗證有效、成功路徑明確的策略，還是嘗試全新的方法，用不同的方式解決舊問題？

這是一個艱難但無法回避的權(quán)衡。當我們思考智能體該如何行動時，也許同樣應(yīng)該反思我們自己是如何做選擇的。

主持人：至于那個由頂尖AI研究者組成的小圈子，人們是否真的清楚Carmack在做什么？

Jerry Tworek：說實話，我并不完全清楚。我的印象是，他正在大力押注于通過鼠標和鍵盤，在電子游戲中進行端到端的強化學(xué)習(xí)。如果我沒記錯的話，大致是這樣。

而這恰恰讓我覺得非常有意思。長期以來，我一直認為電子游戲是訓(xùn)練智能的絕佳環(huán)境之一。游戲是為人類大腦設(shè)計的，要讓人類覺得有趣，它們?nèi)诤狭斯适隆?quán)力幻想、解謎和問題解決，必須持續(xù)保持新鮮感，不能變得重復(fù)。

從某種意義上說，電子游戲是為人類認知量身定制的學(xué)習(xí)環(huán)境，而問題解決這樣的能力，正是我們希望智能體具備的能力。

但我們至今還沒有真正聰明的模型，能夠在這種高頻、多模態(tài)的環(huán)境中穩(wěn)定運行。這也許暴露了某些架構(gòu)層面的限制。但我依然認為，在電子游戲上訓(xùn)練AI，是一件非常有前景的事情。

強化學(xué)習(xí)之父Richard Sutton過去做過大量相關(guān)工作，不僅是電子游戲，還有撲克等復(fù)雜博弈。我曾去過他的實驗室。當然，他當年的游戲環(huán)境，比我們后來在OpenAI讓模型玩Dota時要簡單得多。DeepMind CEO Demis Hassabis也一直在堅持類似的想法。

六、好的想法，往往會卷土重來

主持人：有趣的是，這些思路曾一度被認為“過時”。在ChatGPT時代，它們看起來不像是主流方向。

Jerry Tworek：科學(xué)史反復(fù)告訴我們：好的想法往往會卷土重來。判斷一個想法是否重要并不難，難的是判斷它什么時候會變得重要。

七年前我剛加入OpenAI時，基于游戲的強化學(xué)習(xí)是絕對的熱點。我們解決了Dota、《星際爭霸》。當時DeepMind的AlphaGo更是一個里程碑。

但這些模型有一個非常明顯的問題：它們幾乎沒有世界知識。它們只是在從零開始學(xué)習(xí)如何玩某一個游戲，而并不真正理解我們的世界。

顯然，這不是正確的路徑。模型首先需要對現(xiàn)實世界形成高層次的理解，而不僅僅是對像素作出反應(yīng)。從零開始的強化學(xué)習(xí)，更像是一種“蜥蜴腦”或“猴腦”的學(xué)習(xí)方式。我們真正希望的是讓模型具備更抽象的概念結(jié)構(gòu)。

而經(jīng)過多年大規(guī)模預(yù)訓(xùn)練，我們終于獲得了對世界極其豐富、穩(wěn)固的表征?，F(xiàn)在，是時候在此基礎(chǔ)上重新引入強化學(xué)習(xí)了。推理模型的真正魔力，正是在于：它們在一個強大的世界表征之上，通過強化學(xué)習(xí)構(gòu)建能力層級。這才是未來的方向。

主持人：至于世界模型，谷歌做過相關(guān)探索，楊立昆和李飛飛的研究在某種程度上也指向這一方向。我們作為嬰兒并不是生活在黑箱中，而是通過不斷試探來理解世界。所以，將世界模型與強化學(xué)習(xí)結(jié)合，在我看來是非常合理的。

Jerry Tworek：這個想法顯然是正確的。真正有趣的地方在于，我們?nèi)绾螌⑹澜缒Ｐ偷谋碚鳂?gòu)建與強化學(xué)習(xí)結(jié)合起來。強化學(xué)習(xí)用于教會模型各種技能，而這些技能正是模型在現(xiàn)實世界中運作所必需的——它賦予模型實現(xiàn)自身目標的能力。

然而，要想實現(xiàn)目標，模型首先必須理解自己所處的世界；只有在具備這種理解之后，它才能形成有效的計劃與策略。這正是為什么世界模型與強化學(xué)習(xí)必須協(xié)同發(fā)展的原因。一旦有人能夠在一個訓(xùn)練良好的世界模型之上成功地進行強化學(xué)習(xí)，那將會是一個極其令人振奮、具有里程碑意義的時刻。

七、架構(gòu)創(chuàng)新與持續(xù)學(xué)習(xí)是兩大方向，AGI仍然缺失關(guān)鍵拼圖

主持人：你現(xiàn)在對什么最感興趣？

Jerry Tworek：總體上，我認為簡單地去重復(fù)實驗室里已經(jīng)在做的事情，其實意義不大。在現(xiàn)有的范式和設(shè)置中，仍然有很多可以調(diào)整、可以改進的地方，但有兩個方向，我覺得要么被明顯低估了，要么至少沒有得到足夠的資源去真正推進。

第一個方向是架構(gòu)層面的創(chuàng)新。我們在Transformer架構(gòu)上多少有些過于固步自封了。它無疑是一個偉大的架構(gòu)，也已經(jīng)被極其深入地探索過。

人們在對Transformer進行局部改進、試圖通過一些小的結(jié)構(gòu)調(diào)整來進一步提升它時，確實遇到了不少困難，當然，也有一些相當成功的嘗試——比如稀疏性顯然就非常成功，各種降低注意力機制計算成本的方法也取得了不錯的效果。

但問題是：Transformer會是機器學(xué)習(xí)的終極架構(gòu)嗎？顯然不會。盡管Transformer的提出者們做了極其出色的工作，幾乎定義了接下來十年機器學(xué)習(xí)的發(fā)展格局，但事情遠不止于此。

一定還存在其他訓(xùn)練大模型的方法——它們可能看起來有點像Transformer，也可能完全不像。這是一個非常值得投入精力去探索的問題。如果沒有人去做這件事，那我會很樂意自己試一試。

第二個方向是一個更熱門的話題，但我并不認為目前有人真正把它做好了，那就是持續(xù)學(xué)習(xí)，以及如何真正地、徹底地將test time與train time融合在一起。

對人類而言，這種方式再自然不過了：我們并不存在一個明確分離的“學(xué)習(xí)模式”和“回答模式”，一切都是在持續(xù)不斷地同時發(fā)生的。我們的模型也應(yīng)該更接近這種運作方式。

這很可能是我們在實現(xiàn)AGI之前，仍然缺失的幾個關(guān)鍵能力要素之一。如果模型無法從它們所接觸到的數(shù)據(jù)中持續(xù)學(xué)習(xí)，那么無論它們在其他方面多么強大，依然會給人一種受限、甚至有些“愚鈍”的感覺。

主持人：說到AGI，我們上次聊天時我提到過，相比一兩年前，現(xiàn)在我已經(jīng)不太常聽到關(guān)于時間線的討論了。甚至連關(guān)于AGI本身的討論似乎也減少了。所以我其實挺好奇的。

你稱自己對AI持謹慎樂觀的態(tài)度。那么在你看來，我們現(xiàn)在處在AGI時間線的哪個位置？

Jerry Tworek：是的，我個人的看法其實也略有更新。我一直認為，擴大強化學(xué)習(xí)的規(guī)模是實現(xiàn)AGI的必要組成部分。大約在一年前或一年半前，我?guī)缀鯃孕牛灰覀儼涯Ｐ偷膹娀瘜W(xué)習(xí)規(guī)模做大，它就會成為AGI。

而現(xiàn)在，我不得不稍微修正這一觀點。不過有些東西，只有在真正進入下一個階段之后你才能看清。我們也必須承認，今天的模型在非常非常多的方面已經(jīng)做得相當出色了。

它們在編程方面所能做到的事情，對我來說尤其震撼——因為寫代碼本身就是我最喜歡的事情之一。你現(xiàn)在可以非常、非?？斓赝瓿纱罅抗ぷ?。

對十年前的一些人來說，如果你向他們展示我們今天所擁有的能力，他們可能已經(jīng)會把這稱作AGI了。所以，談?wù)揂GI已經(jīng)不再像過去那樣離譜或瘋狂。

但至少按照我自己的定義，當前的模型仍然不能算是AGI，因為持續(xù)學(xué)習(xí)還沒有以任何實質(zhì)性的方式與我們的模型真正整合在一起。同時，從模型目前的狀態(tài)來看，甚至在多模態(tài)感知這樣的能力上也仍有明顯缺失。

如果模型看不到外部世界，或者無法觀看視頻并對其進行良好的理解，那么即便它們在文本理解和編程方面非常出色，我們真的能稱它們?yōu)锳GI嗎？

因此，要真正實現(xiàn)構(gòu)建AGI這一文明級別的里程碑，還有許多我稱之為“必要步驟”的問題需要解決。

一段時間我曾想過，如果我們真的非常努力，如果所有事情都做得非常好，也許2026年至少會成為我們在真正優(yōu)秀的持續(xù)學(xué)習(xí)和真正通用的強化學(xué)習(xí)方面取得突破的一年。

我的時間線判斷依然是有些浮動的。但與此同時，AI領(lǐng)域的發(fā)展速度確實非常快。投資每年都在不斷增長，越來越多的人進入AI領(lǐng)域，這擴大了人才儲備，也增加了我們能夠探索的想法數(shù)量。

所以我并不認為這個想法完全荒誕或不切實際。也許會更早一些，也許會稍晚一些——可能是26年，也可能是27年、28年，甚至29年。我不認為會比這再晚太多。

當然，還有大量工作要做，但確實有很多人正在為實現(xiàn)AGI而努力。

八、我們正處在變革時代，保持擔(dān)憂和謹慎有必要

主持人：如果我的記憶沒錯的話，在“Strawberry”項目出現(xiàn)之前，你是不是在研究Q*項目？那時候有很多風(fēng)聲，大家都在談?wù)揑lya看到了Q*，知道AGI已經(jīng)來了，這把所有人都嚇壞了。

我的意思是，聽你剛才這么說，反而讓人覺得有點好笑。因為這確實是一件非常棘手的事情：這些系統(tǒng)能做到一些極其令人印象深刻的事，于是我們就會變得異常興奮。然后時間過去，

你知道，就像現(xiàn)在的“Strawberry”項目一樣——它確實令人難以置信，幾乎改變了整個領(lǐng)域，但我并不覺得我第一次使用它的時候被“嚇到了”。

Jerry Tworek：我明白你的意思。這是人類心理中非常有趣的一部分，在某種程度上也反映了我們與技術(shù)互動的方式。

對我來說，強化學(xué)習(xí)Scale up的效果仍然非常顯著，而且隨著時間推移，我們會看到更多這樣的成果。尤其是在編程領(lǐng)域，這將以許多不同的方式影響我們的生活。

今天，進行任何大規(guī)模編程項目的體驗，與一年前相比幾乎是天壤之別。我們會在各種各樣的事情中看到這些變化。當我和我的團隊，以及OpenAI的許多人，在兩年前第一次看到Q*開始顯現(xiàn)出有效跡象時，

你坐在一個房間里，目睹一項具有實質(zhì)性意義的新技術(shù)。如果你在那一刻沒有感到哪怕一點點害怕、一點點擔(dān)憂，沒有對“我們正在做這件事會帶來什么后果”產(chǎn)生一絲疑慮，那么我會認為你對自己的工作不夠負責(zé)。

我覺得每一位AI研究人員都應(yīng)該問自己：如果我正在做的事情是全新的，具備前所未有的能力，那么它會給世界帶來什么影響？事實上，很多研究人員確實在這樣思考。有時候，人們也確實會不小心走得快了一兩步。

到目前為止，AI還沒有對世界造成任何真正的傷害。盡管像“阿諛奉承”這樣的問題或許可以爭論一下，其他問題至少據(jù)我們所知還沒有。

但即便如此，我仍然認為，在向世界發(fā)布任何新技術(shù)時，保持擔(dān)憂和謹慎是一種非常好的、也非常健康的反應(yīng)。

我們正處在一個變革的時代，一個許多新事物不斷向世界擴散的時代。它們會產(chǎn)生許多影響，影響人們?nèi)绾味冗^一生，影響人們?nèi)绾慰创约?、看待他人，影響人際關(guān)系，也影響國際關(guān)系，還會影響GDP和生產(chǎn)力。

有時候，有人寫下一行代碼，所引發(fā)的連鎖反應(yīng)卻會像瀑布一樣，貫穿這一切。而其中所承載的責(zé)任，是相當沉重的。

主持人：這些想法確實都很有道理，其實我之前也一直在反復(fù)思考這些問題。我們此前大概也零星討論過一些。只是那段時間里，隨著所謂的“OpenAI政變”事件逐漸浮出水面，我總會下意識地試著設(shè)身處地為你著想。

但在這樣一個關(guān)鍵的時刻，一個本應(yīng)被認真理解的創(chuàng)造物，卻率先成為人們迷戀、投射與爭奪的對象，這本身難道不會讓人感到一種微妙的怪異嗎？

而與此同時，我看到你所創(chuàng)造的東西被推到聚光燈下，在尚未真正被理解之前，就被媒體反復(fù)談?wù)?，又被卷入一場近乎肥皂劇式的紛爭之中。我一時間甚至不知道該用什么詞來形容這種感覺——說“好笑”似乎并不完全貼切。

Jerry Tworek：很難將科技世界、概念世界、人類情感、人類生活、人類之間的共同點以及分歧彼此分離開來。我們生活在這樣一個世界：AI領(lǐng)域的重要參與者之間，存在著極其復(fù)雜、跨越多個層面的關(guān)系網(wǎng)絡(luò)。

要真正理清這一切，歷史學(xué)家恐怕需要花費很多年，甚至幾十年，才能弄清這里究竟發(fā)生了什么，真實情況到底是什么。

說實話，即便是我自己，現(xiàn)在對“OpenAI政變”期間發(fā)生的一切，也只保留著非常零碎的記憶。每當有新的證詞出現(xiàn)，每當新的文件被披露，我們都會了解到一些此前未知的事實。將來肯定會有人把所有真相拼湊出來，但世界本身就是復(fù)雜的。

或許我們確實需要一種更健康的方式來討論技術(shù)，找到一個合適的討論平臺，讓這些分歧在某種程度上得到解決。但我們生活在一個沒有完美解決方案的世界，也沒有完美的討論方式。

九、分歧不可避免，只能依靠想法、信念與夢想

主持人：你也不認為X平臺是一個理想的媒介？

Jerry Tworek：我個人其實很喜歡在X上發(fā)帖，喜歡和研究社區(qū)、和身邊所有人分享想法，但X平臺也并不是一個完全嚴肅的地方。所以很多時候，討論總是介于玩笑和認真之間。

那么，什么才是正確的解決方案呢？當一個人擔(dān)心某項技術(shù)過于危險，主張應(yīng)當停止研究，而另一個人卻認為它或許應(yīng)當繼續(xù)推進，因為它能夠擴展人類的能力。第一個人又進一步認為，這甚至不是一條正確的研究路徑，我們理應(yīng)轉(zhuǎn)向完全不同的方向。

在技術(shù)進步與科研探索的領(lǐng)域中，這樣的分歧幾乎不可避免，而一切又都籠罩在未知之中。沒有人真正知道未來會走向何方。我們所能依靠的，只有想法、信念與夢想。在這種根本性的不可確定性里，我們?nèi)匀槐仨毨^續(xù)生活、繼續(xù)選擇，并且往往不得不在許多關(guān)鍵問題上，以某種方式學(xué)會求同存異。

主持人：是的，考慮到當時媒體對Q*的高度關(guān)注，諸如“伊利亞看到了什么”之類的敘事，相關(guān)的炒作確實過于密集了，而且?guī)缀跏且辉陆又辉虏粩嗌墶Ｎ覍Υ瞬⒎菦]有意識到，只是仍然感到有些困惑。

我之所以好奇，是因為我們中的許多人在推特上都非常活躍，也都在不同程度上參與、放大，甚至推動了這種討論和想象。那么，從你的角度來看，你如何看待這種持續(xù)升溫的炒作？你是否也覺得，它或許需要稍微降溫一些了？我個人認為，我們確實應(yīng)該大幅降溫。

Jerry Tworek：但與此同時，如果有人在七年前告訴你，OpenAI會成為一家萬億美元級別的公司，會建設(shè)史上最大規(guī)模的數(shù)據(jù)中心，擁有全球最大的網(wǎng)絡(luò)產(chǎn)品之一，所有人都會時刻談?wù)揂I。你當時一定會覺得那些人瘋了。這聽起來本身就像是炒作。

我其實認為，在很多方面，炒作背后是有實質(zhì)內(nèi)容的。有時它會過頭，有時又不夠，但AI確實很重要，也確實需要被討論。我想現(xiàn)在已經(jīng)沒有人會認為AI是一個不重要的話題了。

幾年前的情況肯定不同，當時確實有很多人認為AI不重要。但現(xiàn)在已經(jīng)很清楚了，AI可能是這個世界上最重要的話題之一，值得我們持續(xù)討論和深入思考。

進展會有多快？哪些路徑是正確的？它到底有多安全，或者多危險？這些問題當然可以存在分歧和爭論，但AI已經(jīng)深度地融入了這個世界，而且只會變得越來越強。

十、有些人頻繁跳槽，做的實事并不多

主持人：完全同意。但如果暫時把技術(shù)本身放在一邊，我的意思是，我報道過Meta的挖角狂潮。這件事已經(jīng)變成了一場肥皂劇、一檔真人秀，而不再只是關(guān)于硬核科學(xué)的問題。你已經(jīng)在這個領(lǐng)域工作了這么久。我只是好奇，我們是不是已經(jīng)越界，進入了真人秀的范疇？

Jerry Tworek：但問題是，究竟是誰在制造這場肥皂劇呢？肯定不是我。

主持人：我的年齡足以讓我親歷互聯(lián)網(wǎng)泡沫，以及更早幾個技術(shù)周期。而這一次的感覺，確實更像一場肥皂劇。即便回想當年的生產(chǎn)力軟件大戰(zhàn)，事情也并非如此。

很大一部分原因在于，今天的利害關(guān)系實在過于巨大。牽涉的資金規(guī)模、研究人員在各個實驗室之間的流動，再加上一連串高度戲劇化的事件，這些因素疊加在一起，讓整個局勢長期處于緊繃狀態(tài)。

從一開始我就有一種強烈的感覺：舊金山仿佛為自己創(chuàng)造了一個獨立的世界。與其說這是泡沫，不如說是我們彼此不斷說服自己，這就是終局，賭注巨大，這是一場競賽，既可能極其精彩，也可能極其糟糕。一切都高度緊張，也因此帶來了額外的心理負擔(dān)。

所以我確實覺得，這一次很不一樣?；ヂ?lián)網(wǎng)泡沫時期，一切源于一個簡單而天真的念頭：這太酷了，世界上所有的信息都觸手可及，人可以彼此連接。公司是后來才出現(xiàn)的，金錢競爭更是逐漸浮現(xiàn)的結(jié)果。而現(xiàn)在卻仿佛從一開始，整個世界的重量就壓在了這件事情上。

老實說，我不知道你們是怎么撐過來的。我看到無論是OpenAI、Anthropic還是其他實驗室，都在拼命工作、彼此競爭，而賭注又如此之高。連續(xù)七八年處在這樣的狀態(tài)里，任何人都會被消耗。我完全理解，為什么你會想停下來休息一段時間。

這不僅是體力上的消耗，更是心理上的磨損。因為一旦你真正接受了這種設(shè)定，它本身就會不斷侵蝕你。

Jerry Tworek：確實，這一切都會帶來心理上的損耗。不過我可以告訴你，曾經(jīng)有一位在應(yīng)對壓力方面比我經(jīng)驗豐富得多的人對我說過一句話：每經(jīng)歷一次高壓時刻，就像是做了一次俯臥撐，你對壓力的承受能力都會稍微增強一點。

坦率地說這七年的工作確實鍛煉了我極強的心理與情感韌性。至少我真切地感覺到，自己能夠屏蔽掉大量噪音和無謂的干擾，在無論發(fā)生什么情況時，都盡量保持穩(wěn)定和堅定，不管是公司瀕臨崩潰、研究人員頻繁流動，還是項目被不斷重新分配。

總會有一些事情發(fā)生。我也聽到有人把人才挖角比作體育隊的轉(zhuǎn)會。體育聯(lián)盟之所以能相對有序地運作，在于它們有清晰的角色分工，以及明確的轉(zhuǎn)會規(guī)則，何時可以流動，何時不能流動。遺憾的是，加州法律在這方面幾乎沒有真正的限制。

我確實認為，如果能在這方面建立一些規(guī)則，或許會是一件好事。因為在這個行業(yè)里，確實存在這樣一種現(xiàn)象：有些人頻繁地更換工作，而真正投入到工作的時間，反而顯得更少。這種情況正在發(fā)生，而且并不罕見。

主持人：那么，給AI領(lǐng)域加上工資帽怎么樣？

Jerry Tworek：確實有些人在頻繁跳槽，也有些人仍然在堅持工作，努力把前沿繼續(xù)向前推進。不過，AI 毫無疑問已經(jīng)是一門大生意了。

主持人：前兩天我還在和同事聊，我們需要列一份名單，上面包括所有在前沿AI機構(gòu)工作過的人，還要標注他們在每一個地方待了多久。肯定至少有不少人完成了“灣區(qū)大滿貫”，每家都呆過。

十一、揭秘OpenAI內(nèi)部“波蘭黑手黨”：勤奮是項重要品質(zhì)

主持人：我們能聊聊“波蘭黑手黨”嗎？當我剛開始寫這本關(guān)于OpenAI的書的時候，大概是2018年左右，那時整個公司里大約只有三十個人。這個最初的群體中，有相當一部分來自波蘭，數(shù)量多得出人意料。他們幾乎都是數(shù)學(xué)天才，有些人從小就彼此認識，有些則并非如此。

不過，這確實在某種程度上反映了蘇聯(lián)教育體系在數(shù)學(xué)人才培養(yǎng)方面的卓越之處，或者也可能只是因為，只要有一個人先去了OpenAI，大家彼此認識，就陸續(xù)跟著去了。

Jerry Tworek：就我個人而言，在最終加入OpenAI之前，我完全不認識那里任何一個人，來到OpenAI純屬機緣巧合。

但在OpenAI的早期階段，波蘭人的比例確實非常高。我并不認為這種趨勢能夠長期持續(xù)。現(xiàn)在，波蘭裔員工的絕對人數(shù)比早期更多了，但考慮到公司規(guī)模擴大了上百倍，這個比例其實已經(jīng)不算高了。

不過，我們的教育系統(tǒng)確實有點東西。不過我沒有親身經(jīng)歷過其他教育體系，所以也無法真正判斷波蘭教育體系是否真的如此出色。

波蘭確實擁有很多杰出的人才。而我非常欣賞波蘭的一點，就是波蘭人非常勤奮。其實隨著時間推移，尤其是在許多發(fā)達國家，勤奮工作似乎越來越不被重視。生活變得更安逸了，人們有更多其他事情可以關(guān)注和優(yōu)先考慮，這本身也很正常。但波蘭人確實非?？粗厍趭^。

在我出生之前，波蘭還是一個共產(chǎn)主義國家。就在我出生的那一年，國家轉(zhuǎn)型為自由市場經(jīng)濟。這個過程相當殘酷，但社會擁抱了這種變化，努力摸索如何變得更具創(chuàng)業(yè)精神，如何為自己的未來奮斗，如何實現(xiàn)經(jīng)濟繁榮。而事實證明，這是成功的。

我是一個移居海外的人，如今并不住在波蘭。但每次回去，大概一年一兩次吧，我都能清楚地看到國家在持續(xù)建設(shè)和發(fā)展。我看到它變得更好、更美麗、更繁榮。這真的是一個了不起的故事。

主持人：你在當?shù)厮闶莻€名人嗎？我總覺得，波蘭政府可能在想：該死，我們本來可以把這件事做成的。我們當初應(yīng)該把這些人都留下來。我去年去了波蘭，我知道他們已經(jīng)意識到這一點了。幾乎每個人都會問：你認識Wojciech（OpenAI聯(lián)合創(chuàng)始人之一，也是少數(shù)仍在OpenAI工作的早期OpenAI成員）嗎？

Jerry Tworek：Wojciech真的是一個了不起的人，非常友善。不過硅谷也是完全獨一無二的，雄心、規(guī)模以及活力，這并不是在世界任何地方都能輕易實現(xiàn)的。但我可以向你保證，波蘭人非常勤奮，而且能夠識破“忽悠”。這一點，在生活中真的能讓你走得很遠。

十二、谷歌的回歸背后，是OpenAI在犯錯

主持人：你對谷歌的回歸，或者說重新崛起感到驚訝嗎？看起來他們做對了很多事情，你們一直都認為他們最終能理清思路，然后迎頭趕上嗎？還是說，這其實是個意外？

Jerry Tworek：我個人認為，與其說是谷歌的“回歸”，不如說是OpenAI自己犯了一些錯誤。盡管OpenAI做對了很多事情，但即便在理想環(huán)境下，它也犯過幾次錯，執(zhí)行速度比本可以做到的要慢。

如果你是一家領(lǐng)先的公司，并且擁有OpenAI所具備的全部優(yōu)勢，那么你理應(yīng)始終保持領(lǐng)先。但如果你在這個過程中做出了錯誤決策，而別人做出了正確決策，那么別人就會趕上來。

谷歌確實做對了很多事情，他們在硬件、人才等方面擁有巨大的結(jié)構(gòu)性優(yōu)勢。當OpenAI剛起步時，谷歌在幾乎所有機器學(xué)習(xí)與研究方向上都是明顯的第一名。

OpenAI能夠脫穎而出，主要源于對某一特定方向、特定路徑的堅定研究信念。而世界花了極其漫長的時間，才意識到這是一個很好的信念、一個很好的方向。

即便在GPT-2、GPT-3、GPT-3.5被訓(xùn)練出來的時候，也并沒有太多人真正放在心上。你去NeurIPS和研究人員交流，大家會覺得OpenAI挺酷，但其他實驗室往往會說：嗯，我們遲早也能復(fù)現(xiàn)。那些大語言模型挺有意思，但也就那樣。

只有當OpenAI開始通過ChatGPT真正賺錢時，其他公司才突然意識到：哦，這東西現(xiàn)在能盈利了，我們真的需要做這件事了。

這給了OpenAI一個極其漫長的時間窗口，從構(gòu)建技術(shù)到實現(xiàn)商業(yè)化，而其他人直到后來才意識到“我們真的、真的需要做了”。谷歌也是從那時起才開始認真對待大語言模型的訓(xùn)練。

而由于OpenAI沒能充分把握住自己的領(lǐng)先優(yōu)勢，谷歌如今在模型能力和訓(xùn)練方面已經(jīng)非常、非常接近了。對谷歌來說，這是件好事，我會給他們送上祝賀，因為他們扭轉(zhuǎn)了局面、并且執(zhí)行得非常出色。

主持人：有哪些失誤？我記得當時我報道你們推出搜索功能時，外界的說法是：OpenAI推出搜索，谷歌要完了。我當時就想，我并不確定會是這樣。那么，具體的失誤是什么呢？

Jerry Tworek：我不太想深入討論內(nèi)部決策的細節(jié)，哪些是對的，哪些是錯的。但我再強調(diào)一次：在理想的執(zhí)行情況下，如果你一開始就領(lǐng)先，你本應(yīng)保持領(lǐng)先。

十三、OpenAI需要加快進度，Anthropic令人欽佩

主持人：看起來你認為OpenAI存在一些技術(shù)層面的失誤，同時公司內(nèi)部的一些戲劇性事件在某些階段拖慢了進度。我和足夠多的OpenAI內(nèi)部人士聊過，他們一直在思考公司該如何繼續(xù)向前。然后在某個階段，一批關(guān)鍵人物離開了。但聽起來，你剛才更多是在談技術(shù)層面的問題。

Jerry Tworek：這些事情有時是相關(guān)的。從技術(shù)上講，我并不認為人員流動本身是一個嚴重問題。在任何公司，人來人往都應(yīng)該是正常的現(xiàn)象。但有時，人員離開確實是問題的征兆。

但如果公司有人說：“有人在做錯誤的事情，我們不再相信這家公司了，我們應(yīng)該離開”，那可能確實說明存在更深層次的問題。不過，正如我之前所說，有些事情的進展速度顯然是可以更快的。

主持人：正如你所說，各大實驗室在總體方向上做的是類似的事情。那么Meta在某種程度上算是后來者。雖然他們早就涉足AI，但現(xiàn)在看起來，他們是想用不同方式來做這件事，同時從其他公司挖人。

我不太清楚Meta具體在做什么，但給我的感覺是，他們并不是要走出一條真正不同的道路，而是想走同一條路。這在我看來是一個根本性的問題。你來得晚了一點，卻在做和別人一樣的事情，結(jié)果可能不會太好。你覺得他們真的有不同的方法嗎？

Jerry Tworek：我對他們的策略并不是特別熟悉，所以無法確定。但從外部來看，我覺得他們意識到了一點：在當前的AI世界里，你可以用兩種方式來思考你想做什么。

一種是，我們想打造一個在某些方面明顯優(yōu)于他人的模型；另一種是，我想打造一個和別人同樣優(yōu)秀的模型，但以不同的方式去使用它，或者圍繞它構(gòu)建不同的產(chǎn)品。

就我對Meta的理解而言，這家公司關(guān)注的是連接人、建立關(guān)系、打造體驗，無論是元宇宙、社交網(wǎng)絡(luò)，還是其他形式的體驗。我再強調(diào)一次，這只是我的推測，但我認為他們的思路是，利用行業(yè)已經(jīng)理解并掌握的AI技術(shù)和Transformer，來嘗試構(gòu)建這些體驗。

從一家極其盈利、擁有全球最大社交網(wǎng)絡(luò)的公司角度來看，這可能是一種相當不錯的策略。

主持人：我們剛剛談到了谷歌的回歸。在OpenAI與其他公司的持續(xù)競爭中，有沒有某個AI Lab給留下了特別深刻的印象？

Jerry Tworek：我得說，這是最近才發(fā)生的變化，但在過去一年里，我對Anthropic的欽佩程度確實大幅上升。我從來都不是特別關(guān)注模型“個性”的那種人。雖然我聽說Claude的個性不錯，也許吧。

但他們在編程模型和編程智能體方面所做的事情，他們圍繞這些成果建立的品牌以及他們所擁有的大量開發(fā)者，這些絕對是令人震驚的成就。

Anthropic起步更晚，計算資源受限，團隊規(guī)模也更小，在獲取優(yōu)質(zhì)算力和硬件方面遇到了許多困難，但他們依然成功構(gòu)建了卓越的產(chǎn)品。這些產(chǎn)品正在改變?nèi)藗冮_發(fā)軟件的方式，并且據(jù)我所知，顯著提升了企業(yè)生產(chǎn)力。祝賀他們。

主持人：他們似乎正處在一個高光時刻。我認識的每一個人都在談?wù)揅laude Code，但我確實不知道，他們是如何做出一個如此出色、像ChatGPT一樣被廣泛喜愛的Claude Code的。似乎很多實驗室確實在借鑒這個工具，還有些實驗室被斷供了。

Jerry Tworek：是的。在OpenAI，我們也在開發(fā)Codex，這是我們自己的編程工具，它也挺不錯的。有意思的是，我自己其實并沒有怎么用過Claude Code。畢竟我當時受雇于OpenAI，所以沒怎么用過。

所以我真的說不太準。但我覺得Codex不是一個壞產(chǎn)品。只不過，從Twitter上的情緒來看，Claude確實深受全球開發(fā)者的喜愛。

十四、AI圈缺乏專注度已成普遍問題，OpenAI很難“集中力量辦大事”

主持人：根據(jù)我們之前的對話，你似乎在智識層面上對科學(xué)懷有濃厚興趣。你關(guān)于推理的研究，源自你想創(chuàng)造“AI科學(xué)家”的長期愿景。當我看到你宣布離開的那條推文時，我就在想，你究竟是會繼續(xù)留在這場以基礎(chǔ)模型為中心的競賽中，還是會走一條不同的道路。我感覺你可能會進入生物技術(shù)領(lǐng)域，或類似的方向，以一種相當不同的方式去追求這個目標。

Jerry Tworek：如果我能克隆自己，去做多種不同的事情，我真的很想那樣做。但長話短說，在某些時刻我醒來，會意識到自己對一生中所取得的成就感到相當滿足，也感到自豪。

但我現(xiàn)在真正想做的，是押注一兩個重大的研究方向，并竭盡全力讓它們成功。我認為人們應(yīng)該愿意承擔(dān)風(fēng)險。我是那種愿意嘗試瘋狂想法、擁有極高風(fēng)險承受能力的人之一。我覺得我應(yīng)該把這種能力用在一些有益的事情上。

主持人：把你腦海中的想法真正落地，需要多長時間？這是一個一年的項目嗎？還是你所說的“高風(fēng)險”，需要投入四五年的人生，去追逐一個可能并不比現(xiàn)有技術(shù)更好的東西？

Jerry Tworek：我絕對愿意投入大量時間。同時，我也認為人們應(yīng)該快速執(zhí)行，做事慢并不是值得驕傲的理由。為了在研究項目上執(zhí)行得好，我希望能盡快做好。

但真正重要的部分，還是我之前提到的：專注和信念。如果你同時做很多不同的事情，就會分散你的注意力，分散你的資源。盡管AI Lab經(jīng)常說他們受限于計算資源，因此研究變慢了，這也確實是重要的影響因素之一。但很多時候，更常見、更普遍的問題，其實是缺乏專注力。畢竟，你每天能分配的注意力是有限的。

我經(jīng)常告訴我合作的研究人員：減少實驗次數(shù)，但要對每一次實驗思考得更深入。因為有時候，即便只是花時間，比如幾個小時，不運行任何程序，僅僅更仔細地分析實驗數(shù)據(jù)，相比于運行更多實驗，反而更容易帶來突破。

主持人：像OpenAI這樣擁有大量計算資源的機構(gòu)，其實只是把資源分散在了太多項目上。實際上，如果把這些資源集中到更少的項目中，算力本身是完全足夠的。

Jerry Tworek：這又回到了風(fēng)險承擔(dān)和信念的問題。如果你同時做三個項目，其中一個成功了，另外兩個可能被放棄。如果三個都成功了，那當然非常棒，但如果你只做一個項目，會推進得快得多，因為你可以更加專注，信念也更加堅定。

當然，如果項目最后失敗了，麻煩就大了，但如果成功了，就可能擁有世界上最好的模型。

對OpenAI來說，目前要讓整個公司集中力量去做一些全新的、完全不同的事情，是有點困難的。要讓我們完全不在乎Gemini下個季度會不會有更好的模型，也非常難做到。

這樣的事情絕對需要一種特定類型的人，只有這種人才愿意去承擔(dān)風(fēng)險。這正是關(guān)鍵所在。

主持人：我知道你不能談?wù)撃切┧^的“秘密配方”。但我還是很好奇，OpenAI正在朝哪個方向發(fā)展？或者至少，從宏觀上看，他們把資源投向了哪里？最近OpenAI給ChatGPT加廣告的消息刷爆了全網(wǎng)。

Jerry Tworek：我不應(yīng)該、也不能談?wù)揙penAI的任何計劃。

主持人：你覺得，在這些模型公司中，會不會有哪一家有勇氣像OpenAI一樣加入廣告？也許“勇氣”這個詞并不準確，因為不放廣告可能本身就是一個糟糕的決定。廣告變現(xiàn)是不是不可避免的？

Jerry Tworek：這是一個商業(yè)策略問題，而我的工作是訓(xùn)練模型。

十五、OpenAI真正擅長的是“1到100”，驅(qū)動創(chuàng)新的是“運作方式”

主持人：我并不是想為難你，只是在進行了這次完整的對話之后，我仍然在試圖理清一些想法。當你談到你想要追求的新方向時，你確實需要一定的“馬力”。你會自己進行嘗試，還是必須身處一個擁有足夠“能量”的地方，才能進行你想做的研究？

Jerry Tworek：這是我目前正在努力理解的首要問題。每一項AI研究仍然需要GPU，需要算力，我需要考慮什么才是最好的方式。

主持人：這是波蘭的機會。他們需要給你一個國家級數(shù)據(jù)中心。

Jerry Tworek：這個主意或許不錯。我還在逐漸理清自己的速錄，我知道自己想做哪些類型的研究，也在不斷嘗試弄清楚，什么才是實現(xiàn)它們的最佳路徑。

我不止一次聽別人說，你離職后比以前快樂多了。我從一個現(xiàn)在自己創(chuàng)業(yè)的人那里聽說，在OpenAI工作比創(chuàng)業(yè)壓力還要更大，這讓我非常震驚。OpenAI確實是一個相當有壓力的地方。

主持人：最后一個問題，除了大家追逐的東西過于相似之外，你有沒有觀察到AI領(lǐng)域內(nèi)其他的重大錯誤？

Jerry Tworek：我不認為存在什么巨大的錯誤。因為要讓所有人都犯下同一個巨大錯誤，其實很難。我覺得這里只有一個真正的問題：如何在探索和延續(xù)原有技術(shù)路線之間取得平衡？

主持人：我剛才那個問題可能問得不太好，我更想問的是，在研究界中，是否存在一些你認為被低估了、沒有得到世界足夠關(guān)注的想法？

Jerry Tworek：說實話，這樣的想法有很多，但它們最需要的，其實只是多一點關(guān)注、多一點計算資源，以及多一點為之奮斗的精神。

我覺得有一點比較獨特：很多研究人員喜歡做從0到1的工作。很多學(xué)術(shù)研究正是如此，創(chuàng)造出一些全新的想法，證明它在某種程度上是可行的，然后就把它發(fā)表出來。

而我認為，我和我在OpenAI的團隊真正擅長的，以及我覺得我們做得非常出色的一點，是把研究從1推進到100，也就是采納那些不同的、我們以前沒有做過、但已經(jīng)初步被驗證的想法，并找出如何讓它們在大規(guī)模訓(xùn)練前沿模型時，可靠地工作，同時還要整合許多其他相關(guān)因素。

這正是大量學(xué)術(shù)研究所欠缺的東西。概念驗證當然很酷，但要用某種特定技術(shù)訓(xùn)練出世界上最有能力的模型之一，需要做大量非常具體、細致的工作。如果方法不對，可能需要數(shù)年時間，但如果你有合適的算法，知道如何引入這些東西，可能只需要幾個月。這正是我未來想多多嘗試的事情。

主持人：當我們談到OpenAI的一些人員離職時，你曾說，公司應(yīng)該能夠承受這些損失。但AI領(lǐng)域在某種程度上似乎一直是由“明星”驅(qū)動的，比如Alec Radford這樣的明星人物。挖人的行為也是持續(xù)不斷。

從這些實驗室的行為來看，顯然這些公司認為AI一個由研究明星驅(qū)動的領(lǐng)域。我很好奇你的看法。你剛才似乎對這個問題有些猶豫。行業(yè)中既有整個學(xué)界、整個領(lǐng)域長期積累的工作，也有一些關(guān)鍵時刻和重大的突破來自極少數(shù)個人。

Jerry Tworek：這是一個相當復(fù)雜的話題，但我覺得兩件事可以同時成立。很多時候，就像你在OpenAI看到的那樣，確實是極少數(shù)個人產(chǎn)生了超乎尋常的影響，推動了一系列完全開創(chuàng)性的成果，并將其擴散到整個行業(yè)。我一次又一次地看到這種情況發(fā)生。

但與此同時，每當我看到人們換公司時，我很少看到這對原公司造成真正重大的影響。公司本身的特質(zhì)，或者說一種近乎“運作方式”的東西，才是真正的研究引擎，而不是某一個特定研究員是否還在這里。

我也觀察到，那些在公司之間跳槽的研究員，往往在新環(huán)境中并沒有那么高效。即使他們過去常常做出偉大的工作，來到新地方后，也可能變得有些分心，需要時間適應(yīng)環(huán)境，或者暫時沒有特別新鮮的想法。

當然，在這個領(lǐng)域的經(jīng)驗肯定能帶來一些優(yōu)勢，但更重要的是，創(chuàng)造一種個人責(zé)任感強、允許探索、能夠賦能人們?nèi)プ龃笫碌姆諊?/p>

而且，無論是這批人，還是另一批人，都完全有可能組建出許多能夠做出偉大成果的團隊。我并不認為某個特定的人是不可替代的。在我看來，良好的研究結(jié)構(gòu)、良好的研究文化、良好的協(xié)作方式，遠比某個具體的人是否在你的團隊中重要得多。