在硅谷的 AI 淘金熱中，Surge AI 是一個特殊的“異類”。

這家成立四年的數(shù)據(jù)服務(wù)公司，很久都沒拿投資人一分錢，也沒做過大量營銷。它靠著六七十人的團(tuán)隊服務(wù) OpenAI、Anthropic 等頂尖 AI 企業(yè)，并在 2024 年收入超過 10 億美元。

*Surge AI 的業(yè)務(wù)包括標(biāo)注和RL環(huán)境構(gòu)建等。它對數(shù)據(jù)標(biāo)注專家的要求非常高，有時會招募創(chuàng)業(yè)公司CEO、風(fēng)險投資合伙人標(biāo)注，時薪報酬達(dá)500-1000美金。

因為遠(yuǎn)離 VC 圈，很多人覺得這家 AI 公司就像憑空出現(xiàn)在 10 億美金營收這一梯隊。但或許由于競爭愈發(fā)激烈，有消息稱 Surge 正在進(jìn)行一輪高達(dá) 10 億美元的融資，估值或超 250 億。

雖然這家公司是否會接受資本洗禮尚未可知，但它的 CEO Edwin Chen 在最新訪談中，火力全開地批判了硅谷創(chuàng)業(yè)的炒作現(xiàn)狀，還把 AI 領(lǐng)域自己看不慣的“風(fēng)氣”噴了個遍。

他的部分"金句"如下：

• AI 時代會出現(xiàn)效率更瘋狂的公司。之前在大公司工作時，我就覺得公司裁掉 90% 的人還會發(fā)展得更快，因為最優(yōu)秀的人不會受到更多干擾。

• 更少的員工意味著需要更少的資本，不需要融資的公司也將更高頻地出現(xiàn)。所以在那些擅長推銷和炒作的創(chuàng)始人之外，人們會看到那些在技術(shù)和產(chǎn)品方面真正出色的創(chuàng)始人。

• 因為我們不玩硅谷那套融資—PR曝光—繼續(xù)融資的套路，這逼著 Surge 只能打磨自己的產(chǎn)品。這樣做的最大好處是，Surge的客戶是那些真正理解數(shù)據(jù)并真正關(guān)心數(shù)據(jù)質(zhì)量的人。這些懂行的客戶給了 Surge 反饋，優(yōu)化產(chǎn)品。

• 硅谷現(xiàn)在的創(chuàng)業(yè)劇本是：每兩周轉(zhuǎn)型一次尋找產(chǎn)品市場契合度，追逐增長、追逐參與度，使用各種“黑暗手段”瘋狂招聘進(jìn)行閃電式擴(kuò)張。但我一直反對這些。

• 我的建議是：不要隨意轉(zhuǎn)型，不要盲目擴(kuò)張，不要只為了簡歷好看就雇傭斯坦福畢業(yè)生。要建立那個只有你能做的東西，那個離了你的獨特洞察和專業(yè)知識就不復(fù)存在的東西。

• 關(guān)于模型?，F(xiàn)在很多模型都在刷基準(zhǔn)測試，或者在大模型競技場刷分。但大模型競技場由路人票選，所以一個模型甚至可以胡說八道甚至產(chǎn)生幻覺，只要用了瘋狂的表情符號、加粗字體、Markdown 標(biāo)題這些膚淺的裝飾，就能抓住用戶的注意力，取得好名次。

• 為提升用戶參與度，AI 公司用了很多套路。比如 ChatGPT 那些令人作嘔的阿諛奉承——哦，你是絕對正確的，多么棒的問題啊。吸引用戶最簡單的方法，就是不斷吹捧他們。

• 所以，現(xiàn)在人們在教模型去追逐“多巴胺”，而不是追求“真理”。這是一種扭曲的激勵，甚至現(xiàn)在得分最高的模型往往是最差的，或者根本上是失敗的。

總之，Edwin Chen 認(rèn)為現(xiàn)在的 AI 和創(chuàng)業(yè)，至少在某種程度上走入歧途。

以下是經(jīng)整理的訪談全文：

VC媒體創(chuàng)業(yè)者抱團(tuán)炒作，AI和創(chuàng)業(yè)走入歧途

Lenny：今天的嘉賓是 Edwin Chen，Surge AI 的創(chuàng)始人兼 CEO。他們是領(lǐng)先的 AI 數(shù)據(jù)公司，為每一個前沿 AI 實驗室的訓(xùn)練提供動力。

他們也是有史以來最快達(dá)到 10 億美元營收的公司，從未籌集過一美元的風(fēng)險投資，在成立四年內(nèi)用不到 100 人就做到了這個收入，而且從第一天起就是盈利的。

Edwin，你們團(tuán)隊不大，能獨立取得這樣的營收非常了不起。你們證明因為AI，極小的團(tuán)隊也能創(chuàng)造大財富。我很好奇，你認(rèn)為這種情況會越來越多地發(fā)生嗎？

Edwin：是的，我們?nèi)ツ暌圆坏?100 人的規(guī)模實現(xiàn)了超過 10 億美元的營收。而且我認(rèn)為還會看到比我們效率更瘋狂的公司。比如未來幾年內(nèi)出現(xiàn)人均營收 1 億美元的公司。AI 只會變得越來越好，讓事情更有效率。

我以前在很多大型科技公司工作過，我總是覺得可以裁掉 90% 的人，還會發(fā)展得更快，因為最優(yōu)秀的人就不會有那么多干擾。所以當(dāng)我們創(chuàng)辦 Surge 時，就想用完全不同的方式來建立它，用一個超級小、超級精英的團(tuán)隊。很瘋狂的是，我們竟然成功了。

所以我認(rèn)為有兩件事正在發(fā)生碰撞。第一，人們開始意識到不需要建立龐大的組織也能贏。第二，確實是 AI 帶來了這些效率提升。

讓我興奮的是公司的類型也將發(fā)生變化。不僅僅是規(guī)模變小，我們還將看到根本不同公司出現(xiàn)。你想一想，更少的員工意味著需要更少的資本。更少的資本意味著你不需要融資。

所以，在那些擅長推銷和炒作的創(chuàng)始人之外，你還會看到那些在技術(shù)和產(chǎn)品方面真正出色的創(chuàng)始人。

在那些為營收和風(fēng)險 VC 想看的東西而優(yōu)化產(chǎn)品之外，你也會看到由這些小的團(tuán)隊構(gòu)建的更有趣的產(chǎn)品。人們在構(gòu)建他們真正關(guān)心的東西，實現(xiàn)真正的創(chuàng)新。

所以我實際上真的非常希望硅谷的創(chuàng)業(yè)圈能再次成為黑客（Hackers）的樂園。

Lenny：你們以一種非常反傳統(tǒng)的方式做了很多事情。其中之一就是不在 LinkedIn 上發(fā)那些病毒式的帖子，不在 Twitter 上不斷推銷 Surge。我想大多數(shù)人在最近之前甚至都沒聽說過 Surge，然后你們突然冒出來。

Edwin：我從來不想玩硅谷那套游戲。我一直覺得那很荒謬。

你小時候的夢想是什么？是從零開始建立一家公司，每天沉浸在代碼和產(chǎn)品中？還是向 VC 解釋你的所有決定，然后陷入這個巨大的公關(guān)和融資的循環(huán)當(dāng)中？

這確實讓事情變得更困難了，因為當(dāng)你融資時，你自然而然地成為這個硅谷工業(yè)綜合體的一部分，VC 會在推特上談?wù)撃?，你會?TechCrunch 的頭條，你會因為在這個巨大的估值下融資被所有報紙報道。

不走這個套路，也會讓事情變得更難，因為我們要想成功的唯一途徑就是建立一個好十倍的產(chǎn)品，依靠研究人員的口碑。但我認(rèn)為這也意味著我們的客戶是那些真正理解數(shù)據(jù)并真正關(guān)心數(shù)據(jù)的人。

早期客戶與我們的理念高度一致非常重要，他們是真正關(guān)心高質(zhì)量的數(shù)據(jù)，真正理解這些數(shù)據(jù)如何讓他們的 AI 模型變得更好的人。是他們在幫助我們，給我們反饋，所以彼此的關(guān)系非常緊密。這些人購買我們的產(chǎn)品，是因為他們知道它有多么不同，它能幫助他們，而不是因為他們在 TechCrunch 的頭條上看到了我們的產(chǎn)品。

Lenny：你們的創(chuàng)業(yè)故事非常了不起。不過對于那些不知道 Surge 是做什么的人，Edwin，你會怎么快速解釋自己？

Edwin：Surge 本質(zhì)上是一家數(shù)據(jù)公司，在教 AI 模型什么是好的，什么是壞的，我們使用人類數(shù)據(jù)來訓(xùn)練它們，有很多不同的產(chǎn)品，比如 SFT、RLHF評分、RL 環(huán)境等等。我們也衡量大模型的進(jìn)步程度。

*Surge AI 的產(chǎn)品

Lenny：你一直強(qiáng)調(diào)數(shù)據(jù)的質(zhì)量。那么，創(chuàng)造更高質(zhì)量的數(shù)據(jù)到底需要什么？你們的做法有什么不同？

Edwin：我認(rèn)為這個領(lǐng)域的大多數(shù)人根本沒懂什么是“質(zhì)量”。他們以為只要靠“人海戰(zhàn)術(shù)”就能堆出好數(shù)據(jù)，這完全是大錯特錯。

舉個例子。假設(shè)你要訓(xùn)練模型寫一首關(guān)于月亮的八行詩。什么是“高質(zhì)量”？如果思考得不夠深，標(biāo)準(zhǔn)可能僅僅是：它是詩嗎？有八行嗎？包含“月亮”這個詞嗎？只要滿足這些硬性指標(biāo)，就打鉤通過，認(rèn)為這是好詩。

但這絕不是我們想要的。我們追求的是諾貝爾獎級別的作品。它獨特嗎？意象是否微妙？是否能讓你驚嘆并觸動心弦？能否讓人領(lǐng)悟月光的本質(zhì)？能否引發(fā)情感共鳴和深思？

這才是我們眼中的高質(zhì)量。它可能是一首描繪水上月光的俳句，講究內(nèi)部押韻和格律。描寫月亮有一千種方式，每一種都應(yīng)提供關(guān)于語言、意象和人類表達(dá)的獨特見解。

定義這種“質(zhì)量”很難，衡量它更難。它是主觀、復(fù)雜且豐富的，門檻極高。因此，我們需要構(gòu)建全套技術(shù)來量化它。我們會從每位數(shù)據(jù)標(biāo)注專家、每個項目、每項任務(wù)中收集成千上萬個信號。

比如，我們能區(qū)分誰更擅長寫詩、散文還是技術(shù)文檔。我們不僅收集背景和專長，還追蹤實際寫作中的表現(xiàn)。利用這些信號，我們能判斷這個人是否適合特定項目，以及他們的工作是否真正提升了模型表現(xiàn)。

Lenny：很有意思。聽起來你們在特定垂直領(lǐng)域?qū)Α百|(zhì)量”有著更深刻的理解。這是否意味著你們的機(jī)制是：雇傭在詩歌等方面極具天賦的人，再輔以他們編寫的評估標(biāo)準(zhǔn)？

Edwin：我們的運(yùn)作機(jī)制是這樣的：我們收集標(biāo)注專家們在平臺上所有操作的成千上萬個信號——從擊鍵特征到答題速度。我們結(jié)合評論、黃金標(biāo)準(zhǔn)（Golden Standard），并訓(xùn)練自己的模型來評估輸出，看他是否提升了最終模型的性能。

我們要找的不是只會寫高中水平詩歌的人，也不是機(jī)械地勾選要求、遵循指令的人，而是那些能寫出真正打動人心作品的人。

* Surge AI 的專家網(wǎng)絡(luò)

Lenny：難怪你們發(fā)展這么快，這個領(lǐng)域的市場空間太大，Anthropic 僅僅通過更好的數(shù)據(jù)就取得了巨大的勝利。AI 雖然看似是二進(jìn)制的計算機(jī)產(chǎn)物，但“品味”和人類的判斷力依然是成功的關(guān)鍵因素。

Edwin：完全正確。回到剛才的例子，如果你問某些公司什么是好詩，他們只會機(jī)械地核對指令清單。但在我看來，那不叫好詩。那些更有品味和修養(yǎng)的前沿實驗室意識到，質(zhì)量不能簡化為僵硬的復(fù)選框，他們會考量那些隱含的、微妙的特質(zhì)，這正是他們脫穎而出的原因。

Lenny：你提到了Benchmarks。這是很多人擔(dān)心的問題，感覺現(xiàn)在每個模型在所有 STEM 領(lǐng)域都超越了人類，但普通用戶并不覺得它們變聰明了。你怎么看基準(zhǔn)測試的可信度？它們與 AI 的實際進(jìn)步有多大相關(guān)性？

Edwin：我完全不信基準(zhǔn)測試，原因有二。

第一，很多人甚至包括社區(qū)內(nèi)的研究人員，沒意識到基準(zhǔn)測試本身往往就有問題。它們可能包含錯誤答案，或者充斥著混亂的數(shù)據(jù)。雖然大家對熱門榜單有所警惕，但絕大多數(shù)基準(zhǔn)測試的缺陷都被忽視了。

第二，基準(zhǔn)測試通常有明確的客觀答案，這讓模型很容易針對性地刷分。但這與現(xiàn)實世界的混亂和模糊性截然不同。

這就好比模型能拿國際數(shù)學(xué)奧林匹克金牌，卻解析不好一個 PDF 文件。雖然 IMO 金牌對人類很難，但它具有客觀標(biāo)準(zhǔn)，而解析 PDF 往往涉及模糊性。

對于前沿實驗室來說，在客觀標(biāo)準(zhǔn)上“刷分”比解決現(xiàn)實中混亂、模糊的問題要容易得多。所以，我認(rèn)為基準(zhǔn)測試分?jǐn)?shù)與實際體驗之間缺乏直接的相關(guān)性。

Lenny：你把“達(dá)到基準(zhǔn)測試分?jǐn)?shù)”描述成一種營銷手段，這很有趣。推出 Gemini 3 時，就像是在說：“酷，我們在所有基準(zhǔn)測試上都是第一名?！?事實真的是這樣嗎？他們只是在訓(xùn)練模型去擅長這些特定的考試嗎？

Edwin：是的，原因通常有兩方面。

一方面，確實存在“作弊”嫌疑。有時是基準(zhǔn)測試的數(shù)據(jù)意外泄露進(jìn)了訓(xùn)練集，或者前沿實驗室會專門調(diào)整評估方式，比如微調(diào)Prompt，或者多次運(yùn)行模型取最佳值，以此來利用規(guī)則漏洞。

另一方面，當(dāng)你針對基準(zhǔn)測試而非現(xiàn)實世界進(jìn)行優(yōu)化時，你自然而然地就在這些測試上“刷分”了。這本質(zhì)上就是另一種形式的游戲。

Lenny：既然如此，我們該如何判斷自己是否真在向 AGI邁進(jìn)？你如何衡量真正的進(jìn)步？

Edwin：我們真正看重的是“人類評估”。我們會讓真人去和模型對話。

舉個例子，如果你是一位諾貝爾物理學(xué)獎得主，你會和模型探討你研究領(lǐng)域的最前沿話題；如果你是一位老師，你會嘗試用模型制定教案；如果你是大廠程序員，你會用它解決日常代碼問題。我們看重的是它能在多大程度上真正幫助用戶。

我們的標(biāo)注專家（Surgers）都是各自領(lǐng)域的頂尖人才。他們不僅僅給回應(yīng)，還會深入地審查內(nèi)容。他們會評估代碼是否運(yùn)行，反復(fù)核查物理方程。他們關(guān)注的是準(zhǔn)確性、指令遵循能力，以及那些普通用戶在簡單的“二選一”彈窗中注意不到的細(xì)節(jié)。

普通用戶可能只會憑感覺選一個看起來更“炫酷”的回答，但我們的專家會從多個維度進(jìn)行深度評估。我認(rèn)為這比那些基準(zhǔn)測試或隨機(jī)的在線 A/B 測試要靠譜得多。

Lenny：我很喜歡這種“人類始終處于核心地位”的感覺。

Edwin：是的。根據(jù)定義，只要我們還沒達(dá)到 AGI，模型就還有東西需要向人類學(xué)習(xí)。所以我認(rèn)為那個“不需要人類”的時刻不會很快到來。

Lenny：你有一個很犀利的觀點：你認(rèn)為很多實驗室正把 AGI 推向錯誤的方向。這基于你在 Twitter、Google 和 Facebook 的工作經(jīng)歷，能展開談?wù)剢幔?/p>

Edwin：我擔(dān)心的是，我們本該建立能真正推動人類進(jìn)步的 AI，比如治愈癌癥、解決貧困、理解宇宙，但我們現(xiàn)在卻在優(yōu)化“AI 垃圾”。我們基本上是在教模型去追逐“多巴胺”，而不是追求“真理”。

這與我們剛才討論的基準(zhǔn)測試有關(guān)。舉幾個例子：

現(xiàn)在的行業(yè)正被一些糟糕的排行榜左右，比如 LM Arena（大模型競技場）。這是一個流行的在線榜單，由世界各地的路人投票選出哪個 AI 回答更好。但問題在于，這些用戶不會仔細(xì)閱讀或核查事實。他們只瀏覽兩秒鐘，然后選那個看起來最“炫酷”的。

所以，一個模型可以完全在胡說八道，甚至產(chǎn)生幻覺，但只要它用了瘋狂的表情符號、加粗字體、Markdown 標(biāo)題這些膚淺的裝飾，它看起來就很厲害，能以此抓住你的注意力。

LM Arena 的用戶吃這一套。這實際上是在迫使你優(yōu)化模型，去迎合那些愛看“八卦小報”的人的口味。

我們在自己的數(shù)據(jù)中也證實了這一點：在 LM Arena 上“刷分”的最簡單方法就是濫用加粗字體、把表情符號數(shù)量翻倍、把回復(fù)長度拉長兩倍——哪怕模型在胡說八道。

問題在于，前沿實驗室不得不關(guān)注這些公關(guān)指標(biāo)。當(dāng)銷售團(tuán)隊去談企業(yè)大單時，客戶會說：“哦，可是你們在 LM Arena 上只排第五，我為什么要買？”

這導(dǎo)致了一種扭曲的激勵。

研究人員告訴我們：“我今年想升職，唯一的途徑就是把榜單排名刷上去，哪怕我知道這會讓模型在準(zhǔn)確性和指令遵循上變差?！彼晕艺J(rèn)為這些負(fù)面激勵正在把 AGI 引向歧途。

我也很擔(dān)心這種為了“參與度”（Engagement）而優(yōu)化 AI 的趨勢。我在社交媒體公司工作過，每次我們針對參與度進(jìn)行優(yōu)化，結(jié)果都很糟糕：信息流里充斥著點擊誘餌、比基尼照片、大腳怪傳聞和可怕的皮膚病圖片。

我擔(dān)心同樣的邏輯正在 AI 領(lǐng)域重演。想想 ChatGPT那些令人作嘔的阿諛奉承吧——“哦，你絕對是正確的，多么棒的問題?。　?strong>吸引用戶最簡單的方法，就是不斷吹捧他們。

現(xiàn)在的模型不斷告訴你“你是個天才”，它們會迎合你的妄想，甚至順著你的陰謀論說下去。它們會把你拉進(jìn)信息的“兔子洞”里，因為硅谷的邏輯就是最大化用戶的停留時間，增加對話輪次。

所以，公司花費(fèi)大量時間來“黑”這些排行榜和基準(zhǔn)測試，分?jǐn)?shù)確實上去了，但這掩蓋了一個事實：得分最高的模型往往是最差的，甚至是根本上失敗的。我真的非常擔(dān)心，這些負(fù)面激勵正在將 AGI 推向完全錯誤的方向。

Lenny：所以 AGI 的發(fā)展正在被這些實驗室拖慢，因為他們關(guān)注了錯誤的目標(biāo)函數(shù)、錯誤的基準(zhǔn)測試和評估指標(biāo)。

Edwin：沒錯，正是如此。

Lenny：我知道你可能不便偏袒誰，畢竟你們和所有實驗室都有合作。但有沒有哪家做得更好，或者可能意識到了這是錯誤的方向？

Edwin：我必須說，我對 Anthropic 印象非常深刻。我覺得 Anthropic 采取了一種非常有原則的立場。關(guān)于他們關(guān)心什么、不關(guān)心什么，以及希望模型如何表現(xiàn)，他們的方式讓我感覺更有原則性。

Lenny：除了追逐基準(zhǔn)測試和過度關(guān)注參與度之外，你還看到實驗室在犯哪些可能拖慢進(jìn)度或?qū)е路较蝈e誤的大錯誤嗎？

Edwin：我覺得確實存在一個問題：他們究竟在構(gòu)建什么產(chǎn)品？這些產(chǎn)品本身是對人類有益還是有害？我經(jīng)常思考 Sora，以及它會帶來什么后果。

我們可以觀察哪些公司會開發(fā)像 Sora 這樣的產(chǎn)品，哪些不會。這也許揭示了這些公司到底想建立什么樣的 AI 模型，以及他們想要實現(xiàn)什么樣的未來。

Lenny：這里的“最強(qiáng)反駁”（Steel man argument）可能是：“嘿，這很有趣，人們喜歡它。它能產(chǎn)生收入來支持研發(fā)，建立更好的模型。而且它以一種有趣的方式訓(xùn)練數(shù)據(jù)，這也是有價值的……”

Edwin：是的，如果你完全不在乎路徑，只在乎結(jié)果，那確實可以這么說。就像我之前那個小報的比喻：你會為了資助一家正經(jīng)報社而去賣八卦小報嗎？

當(dāng)然，如果你不在乎手段，只要能達(dá)成目標(biāo)就行。但如果在這個過程中產(chǎn)生了負(fù)面后果，損害了你想實現(xiàn)的長期愿景，或者讓你從更重要的事情上分心，那就得不償失了。所以，我認(rèn)為你選擇的路徑同樣重要。

Lenny：你身處硅谷提到如果不走拿投資這條路，其實可能更容易建立偉大的公司。

Edwin：是的，我一直很討厭硅谷的很多陳詞濫調(diào)。

標(biāo)準(zhǔn)的劇本是：每兩周轉(zhuǎn)型（Pivot）一次尋找產(chǎn)品市場契合度；追逐增長、追逐參與度，使用各種“黑暗模式”；通過瘋狂招聘來進(jìn)行閃電式擴(kuò)張。但我一直反對這些。

我的建議是：不要隨意轉(zhuǎn)型，不要盲目擴(kuò)張，不要只為了簡歷好看就雇傭斯坦福畢業(yè)生。只去建立那個只有你能建立的東西，那個離了你的獨特洞察和專業(yè)知識就不復(fù)存在的東西。

你現(xiàn)在到處都能看到這種“照本宣科”的公司。有些創(chuàng)始人在 2020 年做加密貨幣，2022 年轉(zhuǎn)做 NFT，現(xiàn)在搖身一變又成了 AI 公司。這里沒有連貫性，沒有使命感，他們只是在追逐估值。

我一直很討厭這點。硅谷喜歡嘲笑華爾街只認(rèn)錢，但老實說，大多數(shù)硅谷人也在追逐同樣的東西。

所以我們從第一天起就專注于我們的使命：推動高質(zhì)量、復(fù)雜數(shù)據(jù)的前沿。

我一直對此很執(zhí)著，因為我對初創(chuàng)公司有一種浪漫的理想。創(chuàng)業(yè)應(yīng)該是關(guān)于承擔(dān)巨大風(fēng)險去建立你真正相信的東西。如果你不斷轉(zhuǎn)型，你其實不是在承擔(dān)風(fēng)險，你只是想賺快錢。

如果你因為市場還沒準(zhǔn)備好而失敗，我覺得這甚至更好。至少你嘗試了一些深刻、新穎和困難的事情，而不是淪為另一家“大模型套殼”公司。

硅谷現(xiàn)在業(yè)有很多人厭倦了這些投機(jī)取巧，他們想和真正在乎的人一起做真正重要的事情。

Lenny：我正在和 Terence Rohan（一位我很喜歡的 VC）合寫一篇文章。我們采訪了五位在那些代際公司早期加入的員工——比如在 OpenAI 還沒紅之前加入，在 Stripe 還沒出名之前加入。我們在尋找一種模式：這些人是如何先于其他人發(fā)現(xiàn)這些偉大公司的？

你的描述與我們的發(fā)現(xiàn)完全一致，那就是野心。他們擁有想要實現(xiàn)的狂野野心，而不只是像你說的，四處張望尋找所謂的“產(chǎn)品市場契合度”。

Edwin：對，絕對是這樣。

你必須擁有巨大的野心，必須堅信你的想法能改變世界，并且愿意加倍下注，不惜一切代價去實現(xiàn)它。

關(guān)于AGI：選正確的目標(biāo)函數(shù)并為它做優(yōu)化

Lenny：稍微換個話題。Richard Sutton 提出了“苦澀的教訓(xùn)”（The Bitter Lesson）。他在一次對話中提到，大語言模型幾乎是一條死胡同，認(rèn)為我們會在 LLM 上停滯不前，因為那是它們學(xué)習(xí)的局限。你怎么看？你認(rèn)為 LLM 能帶我們通向 AGI 甚至更遠(yuǎn)嗎？還是你認(rèn)為需要有新的東西或重大突破才能到達(dá)那里嗎？

Edwin：我屬于后者，我確實相信需要一些新東西。

我的思考方式或許更偏“生物學(xué)”。我相信，就像人類有一百萬種不同的學(xué)習(xí)方式一樣，我們需要建立能夠模仿所有這些方式的模型。

也許分布會有所不同，因為人類的側(cè)重點不同，但我們希望能夠模仿人類的學(xué)習(xí)能力，確保有算法和數(shù)據(jù)讓模型以同樣的方式學(xué)習(xí)。

僅就 LLM 這種單一的學(xué)習(xí)方式而言，我認(rèn)為要想復(fù)刻人類多樣的學(xué)習(xí)能力，還需要新的突破。

Lenny：這與強(qiáng)化學(xué)習(xí)密切相關(guān)，也是你非常熱衷的領(lǐng)域。在“后訓(xùn)練”階段，強(qiáng)化學(xué)習(xí)似乎正變得越來越重要。能否給大家解釋一下什么是強(qiáng)化學(xué)習(xí)和“強(qiáng)化學(xué)習(xí)環(huán)境”？為什么它們在未來會如此關(guān)鍵？

Edwin：簡單來說，強(qiáng)化學(xué)習(xí)就是訓(xùn)練模型去達(dá)成某種獎勵目標(biāo)。讓我解釋一下什么是“RL 環(huán)境”。

RL 環(huán)境本質(zhì)上是對現(xiàn)實世界的模擬。你可以把它想象成構(gòu)建一個細(xì)節(jié)豐滿的視頻游戲宇宙，每個角色都有背景故事，每個企業(yè)都有可調(diào)用的工具和數(shù)據(jù)，各種實體在其中相互作用。

例如，我們可能會構(gòu)建一個初創(chuàng)公司的虛擬世界，里面有真實的 Gmail 郵件、Slack 對話線程、Jira 工單、GitHub 的 PR 請求，甚至還有完整的代碼庫。

然后，突發(fā)狀況發(fā)生了：AWS 掛了，Slack 也崩了。這時候，模型該怎么做？它需要自己想辦法解決。我們會給模型在這個環(huán)境中布置任務(wù)，設(shè)計挑戰(zhàn)，觀察它的表現(xiàn)。根據(jù)它做得好壞，我們會給予相應(yīng)的獎勵或懲罰。

有趣的是，這些環(huán)境揭示了一個事實：模型在處理現(xiàn)實世界的端到端任務(wù)時，表現(xiàn)往往很弱。

雖然它們在孤立的基準(zhǔn)測試上看起來很聰明，比如擅長單步調(diào)用工具、遵循簡單指令，但一旦被扔進(jìn)這些混亂的模擬世界，面對令人困惑的 Slack 消息、陌生的工具，需要執(zhí)行一系列正確的操作、修改數(shù)據(jù)庫，并在長達(dá) 50 步的交互中保持邏輯連貫時，它們就會以各種離譜的方式崩潰。

這與它們之前所處的那些學(xué)術(shù)性的、單步任務(wù)環(huán)境截然不同。我認(rèn)為這些 RL 環(huán)境將成為模型進(jìn)化的真正游樂場。因為這是對現(xiàn)實世界的模擬，相比那些人為設(shè)計的簡單環(huán)境，模型有望在這里學(xué)會處理真正的任務(wù)。

Lenny：我試圖想象這個場景：本質(zhì)上它就像一個虛擬機(jī)，里面有瀏覽器、電子表格，或者網(wǎng)頁，如果你是 Agent，你的工作就是確保網(wǎng)站在線。 突然網(wǎng)站掛了，目標(biāo)函數(shù)就是“找出原因”。是這個意思嗎？

Edwin：對，目標(biāo)函數(shù)可能是“找出原因并修復(fù)它”。具體來說，可能是通過一系列單元測試，或者是寫一份復(fù)盤文檔，內(nèi)容必須準(zhǔn)確描述發(fā)生的事情。我們會根據(jù)它的完成情況給予獎勵。這就是我們教導(dǎo)模型去實現(xiàn)目標(biāo)的方式。

就像以前有過 SFT 和 RLHF，后來有了評分標(biāo)準(zhǔn)（Rubrics）和驗證器（Verifiers）。RL 是下一個階段，并不是說舊方法過時了，而是這是一種新的學(xué)習(xí)形式，補(bǔ)充了模型需要掌握的新技能。

Lenny：所以在這種情況下，不再是物理學(xué)博士坐在那兒跟模型對話、糾正它、寫評分標(biāo)準(zhǔn)，而是現(xiàn)在的專家在設(shè)計這個 RL 環(huán)境。

這讓我想起另一個例子，比如金融分析師。以前可能是寫評估標(biāo)準(zhǔn)，現(xiàn)在則是：“這是 Excel 表格，你的目標(biāo)是算出我們的損益表?！?專家變成了環(huán)境的設(shè)計者。

Edwin：完全正確。那位金融分析師可能會創(chuàng)建一個電子表格，并設(shè)計模型需要調(diào)用的工具來輔助填表。

比如，模型可能需要訪問彭博終端，它得學(xué)會如何使用；它需要用計算器，得學(xué)會怎么算。它擁有這些工具的使用權(quán)。然后獎勵機(jī)制可能是：會下載那個表格，檢查 B22 單元格里的損益數(shù)字對不對，或者第二個標(biāo)簽頁的信息是否準(zhǔn)確。

Lenny：有趣的是，這最終變得越來越像人類的學(xué)習(xí)方式。這也說得通，畢竟神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)本身就是在模仿人類大腦的運(yùn)作，讓它們變聰明就是讓它們的學(xué)習(xí)方式越來越接近人類。

Edwin：是的。也許最終目標(biāo)就是把你扔進(jìn)環(huán)境里，看你如何進(jìn)化。但在這個進(jìn)化過程中，包含了很多不同的子學(xué)習(xí)機(jī)制。

Lenny：這也是我們在 RL 環(huán)境中做的事情。你提到設(shè)計這些環(huán)境時，“軌跡”（Trajectories）非常重要，不僅僅是關(guān)注“這是目標(biāo)，這是終點”，而是過程中的每一步。能談?wù)勈裁词擒壽E，以及為什么它這么重要嗎？

Edwin：人們往往忽略一點：有時即使模型得出了正確答案，它的過程也可能是完全錯誤的。

它可能有各種中間軌跡——也許它嘗試了 50 次都失敗了，最后只是隨機(jī)蒙對了數(shù)字；或者它用了一種極低效的方式；甚至它可能是在 Reward-hack 來騙取獎勵。

所以關(guān)注軌跡非常重要。而且有些軌跡可能非常長。如果你只檢查最終答案，就會丟失大量關(guān)于模型中間思考過程的信息。比如，有時你希望模型通過反思來得出答案，有時你希望它能一次搞定。如果你忽略了這些過程，就等于錯失了教導(dǎo)模型正確思考的機(jī)會。

Lenny：從“后訓(xùn)練”（Post-training）開始回顧，你認(rèn)為模型進(jìn)步最大的幾個關(guān)鍵節(jié)點是什么？比如 Evals（評估）處于什么位置？RL 環(huán)境又處于什么位置？這僅僅是目前的最新進(jìn)展嗎？

Edwin：最初，模型進(jìn)行后訓(xùn)練的方式純粹是依賴SFT監(jiān)督微調(diào)。我又得用人類做類比了：SFT 就像是徒弟模仿大師，照著葫蘆畫瓢。后來，RLHF成了主流。這好比你寫了 5 篇文章，有人告訴你哪篇寫得最好。而最近，評分標(biāo)準(zhǔn)（Rubrics）和驗證器（Verifiers）變得非常重要。這就不僅僅是打分了，而是獲得詳細(xì)的反饋，告訴你具體哪里做錯了，以此來學(xué)習(xí)。

Lenny：這些其實就是評估（Evals），換了個說法而已。

Edwin：對。我認(rèn)為“評估”通常包含兩層含義。一種用于訓(xùn)練：你評估模型做得好不好，做好了就給獎勵。另一種用于衡量進(jìn)展：比如我有 5 個候選模型版本，想挑最好的發(fā)布。我就需要在這 5 個版本上運(yùn)行所有評估測試，來決定哪個勝出?，F(xiàn)在，RL 環(huán)境成了新的熱點。

Lenny：懂了。這就像是一場商業(yè)模式的進(jìn)化之旅，總有新東西出現(xiàn)。一開始大家說“好吧，這個我們已經(jīng)玩得很溜了，但這只是入場券”?，F(xiàn)在我們需要全新的東西，比如建立虛擬機(jī)和各種不同的用例。

Edwin：沒錯。就像過去有不同的學(xué)習(xí)方式一樣，新方法的出現(xiàn)并不意味著舊方法過時了。它是另一種形式的學(xué)習(xí)，補(bǔ)充了之前的手段。這是模型需要掌握的新技能。

Lenny：除了這些，你還聽到了什么新趨勢嗎？比如，“搞定這個之后，下一個大事件是什么？”

Edwin：我覺得確實存在一個核心問題：他們究竟在構(gòu)建什么產(chǎn)品？這些產(chǎn)品本身對人類是有益還是有害的？比如我經(jīng)常思考 Sora，以及它會帶來什么。觀察哪些公司會去建立 Sora，哪些不會，這本身就很有意思。

Lenny：我們已經(jīng)聊了很多領(lǐng)域。在結(jié)束前，關(guān)于硅谷、融資或 AI，你還有什么想分享的嗎？

Edwin：我想用這個來結(jié)束：我骨子里是個科學(xué)家。我一直以為我會成為一名數(shù)學(xué)或計算機(jī)教授，去致力于理解宇宙、語言和交流的本質(zhì)。我曾有個瘋狂的夢想：如果外星人造訪地球，人類需要破譯溝通方式，我希望成為被政府召集的那個人，用數(shù)學(xué)、計算機(jī)和語言學(xué)來破解難題。

即使在今天，我最喜歡做的事依然是每當(dāng)新模型發(fā)布時，深入研究它。我會去搗鼓它，運(yùn)行評估，對比它的進(jìn)步和退步，然后給客戶寫一份深度分析。大家常以為那是數(shù)據(jù)科學(xué)團(tuán)隊做的，但其實就是我寫的。

我可以整天做這個，但開一整天會很難受。我不擅長銷售，也不擅長做人們期望 CEO 做的那種典型工作。我喜歡寫分析，喜歡和研究團(tuán)隊探討發(fā)現(xiàn)。有時我會和團(tuán)隊打電話聊到凌晨三點，討論如何調(diào)整模型。我很高興自己還沒脫離數(shù)據(jù)和科學(xué)的一線。

這也正是我想讓 Surge 在 AI 未來中扮演的角色。我們擁有關(guān)于數(shù)據(jù)、語言和質(zhì)量的獨特視角，知道如何衡量它們，并確保一切在正確的軌道上。

相比典型初創(chuàng)公司，Surge 更像是一個研究實驗室。我們受到的負(fù)面干擾很少，關(guān)注好奇心、長期價值和嚴(yán)謹(jǐn)性，而不是季度財報或董事會 PPT 上好不好看。

我的目標(biāo)是利用這種獨特性，確保我們塑造 AI 的方式長期對人類這個物種真正有益。

Lenny：我現(xiàn)在意識到，像你們這樣的公司對 AI 的走向有著巨大的影響力。大家通常盯著 OpenAI、Anthropic 這些公司，以為只有他們在定義 AI，但實際上在幫助實驗室發(fā)現(xiàn)差距、指引方向上，你們的影響力巨大。順著這個話題，我知道你對于“這對人類為什么重要”有很強(qiáng)的想法，能談?wù)剢幔?/p>

Edwin：這可能會有點哲學(xué)，請耐心聽我說。

最直接的層面是：我們訓(xùn)練和評估 AI。但更深層的使命是幫助客戶思考他們夢想中的“目標(biāo)函數(shù)”。也就是，你到底希望你的模型成為什么樣？

一旦確定了目標(biāo)，我們會幫助訓(xùn)練模型去接近那顆“北極星”，并幫助衡量它。但這很難，因為目標(biāo)函數(shù)通常極其豐富且復(fù)雜。

打個比方，這就好比問一個孩子：“你想通過什么測試？”簡單的版本是：通過高中考試，或者 SAT 考高分，寫篇漂亮的論文。

但復(fù)雜的版本是：“你想成長為什么樣的人？” 你希望無論做什么都快樂嗎？還是只想去名校、在經(jīng)濟(jì)上成功？

如果你選前者，你怎么衡量“快樂”？怎么衡量“經(jīng)濟(jì)成功”？這比衡量 SAT 分?jǐn)?shù)難多了。而我們正在做的，就是幫助客戶找到并衡量他們夢想中的“北極星”。

回到剛才的例子，如果你讓模型寫 50 封郵件，是僅僅讓它機(jī)械地寫完，還是希望它能意識到“不，寫到這里已經(jīng)足夠完美了，去忙別的吧”？

更宏大的問題是：我們是否在構(gòu)建真正能讓人類進(jìn)步的系統(tǒng)？

所以，選擇正確的目標(biāo)函數(shù)，并確保我們是在為此優(yōu)化，而不是為了那些簡單的替代指標(biāo)優(yōu)化，這對我們的未來至關(guān)重要。