"發(fā)ChatGPT只是為了看看能不能收集一些真實的用戶數(shù)據(jù)。我們預期可能一開始有1萬2萬用戶，然后慢慢跌回去，5天之后沒人了就關(guān)掉。"

這是翁家翌在一期播客里說的。
他是誰？從GPT-3.5、GPT-4、GPT-4o到GPT-5，每一個OpenAI大模型發(fā)布，貢獻者名單里都有他的名字。他在OpenAI內(nèi)部搭建了整個后訓練階段的強化學習基礎設施——簡單說，就是讓GPT從"會說話"變成"聰明好用"的那套系統(tǒng)。

2022年11月30日，ChatGPT上線。

結(jié)果不是慢慢跌回去，是指數(shù)增長，服務器被打爆好幾次。

"我當時在歐洲開會，發(fā)現(xiàn)周圍所有人都在討論ChatGPT。"

但他自己一開始并不覺得這東西有多厲害。

"我第一次用可能會覺得，哦，這是個會說話的模型，也就這樣吧。用了幾次發(fā)現(xiàn)能幫我解決一點代碼問題，但也不能幫我解決那么多。"

因為他提前接觸了，有個循序漸進的過程，所以不覺得它多突然。但對外面的人來說，這是一個巨大的沖擊。

"這是我沒想到的。"

現(xiàn)在回頭看，ChatGPT的成功有很大的偶然性。如果當時真的沒人用，可能就關(guān)掉了。

這期播客兩個多小時，我從頭看到尾。翁家翌講了很多OpenAI內(nèi)部的事情，有些挺顛覆認知的。

GPT-4的強化學習是比GPT-3.5先調(diào)通的。

"3.5當時用的是舊的基礎設施，新的是2022年8月剛好。我先在新的上面調(diào)通了第一版PPO，用的是GPT-4。"

所以技術(shù)時間線和產(chǎn)品發(fā)布時間線是兩回事。外面的人以為3.5先做出來，4是升級版。實際上后訓練這塊，4先跑通的。

OpenAI的模型為什么比別人強？有什么黑魔法嗎？

"沒有黑魔法。每家的基礎設施都有不同程度的bug，誰修bug越多，誰的模型訓得就越好。"

他甚至說："算法連改都不用改，把bug全修了就很好。"

這話聽起來有點反直覺。大家總覺得OpenAI一定有什么秘密武器，什么獨家算法。結(jié)果核心競爭力是"修bug修得多"。

怎么知道訓出來的模型是好的？有什么客觀指標嗎？

"沒有。最后就是你真的拉下來看一看，跟它交互幾次，多找?guī)讉€人來投票。"

就這么樸素。

2024年，DeepSeek崛起，OpenAI內(nèi)部緊張了一波。

但緊張的原因不是很多人以為的"榜單被超了"。

"我們很長時間以來都沒有為了刷榜做什么事情。我們真正在意的是迭代速度。DeepSeek聲稱他們的迭代速度非常快，這個引起了很多人的警覺。"

在這個行業(yè)，迭代速度就是生死線。單位時間內(nèi)能跑多少次實驗、能驗證多少個idea，決定了你能走多遠。

"內(nèi)部的迭代速度其實相比于一些小團隊是有點慢的。組織大了就是這樣。"

OpenAI從翁家翌入職時的280人，漲到了現(xiàn)在的3000多人。組織大了，context sharing就難了，代碼庫開始臃腫，迭代速度自然會掉下來。

他還提到一個細節(jié)：DeepSeek出來之后，John Schulman（OpenAI聯(lián)合創(chuàng)始人，PPO算法發(fā)明者）問過他，要不要把強化學習的基礎設施開源。

"我當時覺得不太好吧，為了公司的考量。但他確實問了我這個事。"

那這個人是怎么進OpenAI的？

說出來可能會讓一些人感到安慰：他不是傳統(tǒng)意義上的天才。

NOI（全國信息學奧林匹克競賽）拿的是銅牌，福建省隊倒數(shù)第一，其他人全是銀牌以上。高考面臨兩個選擇：簽上海交大本一線錄取，穩(wěn)了；或者簽清華降60分，但萬一發(fā)揮失常呢？

他選了清華。

"當時對這種不確定性非常害怕，但想了想，我應該也沒那么差吧。"

后來申請美國讀博，圖靈獎得主Yoshua Bengio的推薦信，結(jié)果PhD全拒，只拿到CMU的碩士。

"當時還是有點失望的。整個清華內(nèi)部的氛圍就是PhD比master好，這個鄙視鏈你身在其中很難擺脫。"

但他很快想通了。

"如果你想進工業(yè)界，那讀PhD就是浪費生命。"

他有一套自己的評價體系。

導師跟他說過：計算機系的評價標準有三個——論文、比賽、GitHub star三位數(shù)以上。

"這給了我一個完全不一樣的想法。我可以在開源社區(qū)搞一些事情，讓自己跟別人不一樣。而不是花很多時間去刷GPA。"

GPA他怎么處理的？

"最低限度投入。算一下期末考之前已經(jīng)多少分了，夠用就行，多一分都不想花時間。"

他在清華干了一件讓學長學姐不太高興的事：把自己收集到的所有作業(yè)、資料、上古材料，全部在GitHub上開源了。

"你現(xiàn)在隨便抓個計算機系的學弟問，認不認識翁家翌，應該認識。因為大家都看我的作業(yè)活的。"

為什么要這么做？

"我覺得應該打破信息差。信息差在清華是個很有用的東西，但我覺得每個人都應該平等地擁有這個信息。"

大二他進了朱軍老師的實驗室做強化學習。第一個項目是用神經(jīng)網(wǎng)絡通關(guān)一個90年代的射擊游戲Doom，拿了比賽冠軍。

但他不享受做研究的過程。

"環(huán)境太單一了，你要瘋狂overfit。用各種技巧防止訓練崩了，即使沒崩你也不知道怎么調(diào)參才能調(diào)對。這個比CV難十倍一百倍，全是玄學。"

他發(fā)現(xiàn)自己對調(diào)參這件事有生理上的排斥。但他擅長另一件事：寫代碼、重構(gòu)代碼、讓代碼更好用。

"我就想，與其自己去卷這些調(diào)參的事，不如造一套工具，讓想卷的人更方便地卷。"

2020年疫情期間，他在家花兩周時間寫了一個開源的強化學習框架叫天授（Tianshou）。

為什么只要兩周？

"如果你把抽象搞對的話，一個算法可能就20行代碼不到。"

他看過當時最流行的RLlib，幾十萬行代碼，太復雜了。所以他推倒重來，自己從頭寫。

"代碼最重要的是一致性。如果從頭到尾都是一個人寫的，那肯定是一致的。"

同期他還做了一個簽證查詢網(wǎng)站叫退學online。疫情期間美國領(lǐng)事館開開關(guān)關(guān)，留學生需要實時知道哪里能約到簽證。他自己有這個需求，就順手寫了個爬蟲開源出去。后來點擊量超過1000萬。

這兩個項目都不是為了發(fā)論文、不是為了申請。

"我想做一些能夠產(chǎn)生影響力的事情，哪怕虧錢也行。"

2022年找工作的時候，他手上有幾個offer：幻方（后來的DeepSeek）、OpenAI、英偉達。

他選了OpenAI。當時ChatGPT還沒發(fā)布，OpenAI在很多人眼里只是一個做強化學習研究的實驗室。

面試他的是John Schulman。

"他說我的GitHub非常漂亮。"

最后一輪面試，Schulman出了一道很開放的題，給三個小時。翁家翌兩個小時就做完了。

"這道題他只給兩個人測過，一個是我，另一個是后來做Codex的那個人。我們都通過了。"

他后來總結(jié)了一句話：

"教一個researcher如何做好engineering，要遠比教一個engineer如何做好research來的難。"

現(xiàn)在的AI行業(yè)，idea不值錢。值錢的是單位時間內(nèi)你能驗證多少個idea、能正確地迭代多少次。這取決于工程能力。

"你找個有研究直覺的人討論一下，idea就出來了。但你能不能把基礎設施搭對、能不能快速迭代，這個是稀缺的。"

播客里還聊到一個問題：OpenAI做的東西，外面的人能復刻嗎？

"你可以這么認為。其實就是把最簡單的東西做好就好了，沒有什么黑魔法。"

他甚至說：OpenAI現(xiàn)在沒有誰是不可替代的。

"一個健康的組織是所有人都可以替代的。你只要能夠持續(xù)培養(yǎng)新人，有造血能力，讓組織正常運轉(zhuǎn)就可以了。"

走了很多人？沒關(guān)系，可以再培養(yǎng)。

"哪怕雖然走了很多人，但是還是可以花一些時間精力，然后再培養(yǎng)一波新人，持續(xù)的造血，相當于干細胞一樣。"

訪談最后，主持人問他怎么定義AGI。

"OpenAI內(nèi)部有個笑話，你抓15個人，可能有20種定義AGI的方法。"

他自己的定義是：如果能完成80-90%他認為有意義的任務，那就是AGI了。

"目前還沒有。我還是不放心讓它直接改我的代碼。"

但他很確定AGI會來。

"AGI是板上釘釘?shù)氖铝恕?

他還講了一個內(nèi)部故事：o1模型剛出來的時候，內(nèi)部很多人都覺得"我的工作要被取代了"。

"我們甚至想說，那就寫一堆屎山吧，反正以后AI會幫我們清理。"

結(jié)果呢？

"一兩年過去了，屎山還在。每個人都會過度反應，覺得技術(shù)來了我們要怎么怎么樣，但實際上它是一個很慢很慢的循序漸進的過程。"

主持人最后讓他留一段話。

他說：

"我曾經(jīng)想通了我想要什么，但現(xiàn)在又想不通了。這個問題值得一生去思考。"

一個95后，站在AI風暴的中心，相信AGI即將到來，但說自己"又想不通了"。

這可能是最真實的狀態(tài)。

視頻來源：WhynotTV Podcast

B站：https://www.bilibili.com/video/BV1darmBcE4A/

YouTube：https://www.youtube.com/watch?v=I0DrcsDf3Os