作者：MD

出品：明亮公司

近日，美國紅點(diǎn)創(chuàng)投兩位合伙人Jacob Effron（中）、Patrick Achase（左）在播客“非監(jiān)督學(xué)習(xí)“中與AI招聘平臺Mercor的創(chuàng)始人、CEO Brendan Foody（右）展開了一場對談。除了Mercor的核心業(yè)務(wù)AI招聘的變化之外，三人也一同探討了未來AI與人類未來在工作領(lǐng)域的關(guān)系。

Mercor由Brendan Foody在內(nèi)的三位21歲的Thiel Fellows在2023年創(chuàng)立。今年2月，公司宣布完成1億美元B輪融資，估值20億美元。該輪融資由Felicis領(lǐng)投，Benchmark、General Catalyst和DST Global等投資機(jī)構(gòu)跟投。Mercor通過AI技術(shù)自動化簡歷篩選、候選人匹配、AI面試和薪酬管理，旨在提升招聘效率并減少人為偏見。

在訪談中，Brendan Foody提到，目前Mercor實(shí)際上已經(jīng)進(jìn)入AI模型的評估和數(shù)據(jù)標(biāo)注領(lǐng)域。隨著AI模型能力的提升，大量復(fù)雜的問題已經(jīng)無法通過模型本身或普通常識來得到驗(yàn)證，因此模型的開發(fā)者需要借助專業(yè)領(lǐng)域的高知人才，但往往這類工作并非長期職位，與“專家網(wǎng)絡(luò)”蕾絲，因此通過其平臺為大量AI實(shí)驗(yàn)室找到該領(lǐng)域的人才也就“順理成章”，F(xiàn)oody指出，“數(shù)據(jù)標(biāo)注市場正從大規(guī)模、低門檻的眾包轉(zhuǎn)向高質(zhì)量、專家型標(biāo)注”。

而在其核心業(yè)務(wù)“AI招聘領(lǐng)域”， Brendan Foody認(rèn)為，AI在通過文本進(jìn)行人才評估方面已接近甚至超越人類，尤其是在簡歷篩選、面試文字分析等場景，但在多模態(tài)任務(wù)（如情感和氛圍判斷）方面，AI尚有不足。

其中，Brendan Foody還提到了一個觀點(diǎn)：隨著未來招聘和人才評估將越來越依賴豐富的上下文數(shù)據(jù)，反饋機(jī)制和數(shù)據(jù)輸入的完整性將直接影響模型（評估）效果。比如，如果雇傭一個投資人，將其在播客中的觀點(diǎn)、平日會議記錄等數(shù)據(jù)輸入模型形成上下文，將無疑更有利于模型判斷這一候選人的認(rèn)知、能力和求職偏好。而在傳統(tǒng)的招聘中，這類數(shù)據(jù)的評估要么被完全忽視，要么需要耗費(fèi)大量的精力，而AI實(shí)現(xiàn)的成本更低、效率更高。

因此，AI和人類的分工可能會變?yōu)?，AI將很快主導(dǎo)人才評估環(huán)節(jié)，提高效率和準(zhǔn)確率——人類則更多參與到“推銷”環(huán)節(jié)，如溝通崗位氛圍、激勵等，提升候選人體驗(yàn)。

“我看到的趨勢是，未來人類會專注于創(chuàng)造評測，讓模型能學(xué)會還不會做的事，而不是反復(fù)做同一個任務(wù)” Brendan Foody說。

以下為「明亮公司」編譯的訪談?wù)模ㄓ袆h節(jié)）：

Jacob：Brendan Foody是Mercor的聯(lián)合創(chuàng)始人兼CEO，這是一家為AI-Native勞動力市場搭建基礎(chǔ)設(shè)施的公司。Mercor平臺已經(jīng)被用于數(shù)據(jù)標(biāo)注、人才篩選、績效預(yù)測，以及評估人類和AI候選人。這是一家非常有趣的公司，處于招聘評估和改進(jìn)基礎(chǔ)模型的交叉點(diǎn)。

Brandon的團(tuán)隊(duì)最近融資一億美元，他們正在與一些最先進(jìn)的AI公司合作。我們今天的對話涉及很多有意思的話題，包括未來人類在勞動力中的角色。我們討論了哪些類型的數(shù)據(jù)標(biāo)注對模型改進(jìn)最重要，Brandon回顧了Mercor的快速崛起及他做出的一些關(guān)鍵決策，我們還談到了AI在招聘流程中哪些地方有效、哪些地方無效。總之，這是一次非常有趣的對話，我相信你們會喜歡。Brendan Foody，感謝你參加我們的播客。

Brendan：非常感謝邀請。我是你的忠實(shí)粉絲，非常興奮。

Jacob：很高興你能來。我想我們可以自上而下開始，對于我們的聽眾來說，我希望你能為大家梳理一下現(xiàn)在我們處在什么階段？AI評估人才的現(xiàn)狀如何？哪些有效，哪些無效？現(xiàn)在的進(jìn)展如何？

Brendan：我對它的表現(xiàn)感到驚訝。我認(rèn)為，只要是人類能夠通過文本評估的內(nèi)容，模型幾乎都已經(jīng)接近超越人類了，無論是面試的文字記錄、書面評估，還是簡歷上的信號。這其實(shí)是一個很有趣的二元對立，因?yàn)檫@些技術(shù)實(shí)際上在經(jīng)濟(jì)中分布得很少。所以這里有很大的空白地帶，這也是我們非常興奮想要去開發(fā)和建設(shè)的事情之一。

Jacob：有沒有哪些事情在推理模型出現(xiàn)之前是行不通的？比如說過去六個月，這些模型變得更好了，有哪些終于開始奏效了？

Brendan：是的，我記得在GPT-4發(fā)布時，我們構(gòu)建了第一個AI面試官的原型，結(jié)果什么都不行。模型每兩三個問題就會出現(xiàn)幻覺等各種問題。這一路走來，真的是順風(fēng)順?biāo)?。我認(rèn)為推理模型的出現(xiàn)顯然讓模型在知識方面提升很大，尤其是在處理大量上下文、判斷重點(diǎn)、關(guān)注焦點(diǎn)等方面變得更強(qiáng)大。

不過，模型在多模態(tài)任務(wù)上仍然沒那么強(qiáng)，因?yàn)檫^去實(shí)驗(yàn)室對此關(guān)注不多，而且用強(qiáng)化學(xué)習(xí)做這類事更難，但我們對這方面的進(jìn)展也很期待。

Jacob：你最期待模型什么時候能實(shí)現(xiàn)哪些里程碑功能？

Brendan：有一些事情，比如人類擅長做的事情，比如判斷“氛圍”（Vibe）——我是否愿意和這個人共事，這個人是否有激情、是否真誠，這些模型很難做到。即使對最優(yōu)秀的人類來說也很難，更別說模型了。所以我很期待這方面的突破，也在為此開發(fā)評估工具。但每當(dāng)我閱讀模型的推理鏈，試圖解讀我們評測的內(nèi)容時，我總覺得模型比我們團(tuán)隊(duì)里負(fù)責(zé)創(chuàng)建評測的研究員要理性得多。

所以模型進(jìn)步真的非?？?，大家都能看到它們在代碼領(lǐng)域的表現(xiàn)，但我們其實(shí)還只是剛剛起步，很多其他領(lǐng)域也在以驚人的速度起飛。

Jacob：你們做的很大一部分其實(shí)就是為人類設(shè)計評估，看他們能否勝任工作。現(xiàn)在很多人在做AI員工，比如說讓AI代理完成員工的任務(wù)，你們在這方面有參與嗎？

Brendan：當(dāng)然，我們在這方面做了很多。簡單介紹一下公司的背景，我們創(chuàng)辦公司的原因是覺得全世界有很多有才華的人沒有獲得機(jī)會，主要原因是勞動力市場高度分散。比如遠(yuǎn)程工作的候選人只申請了很少的職位，而舊金山的公司只考慮極少數(shù)人選，因?yàn)樗麄円謩咏鉀Q匹配問題。通過應(yīng)用大模型，我們可以解決這個匹配問題，建立一個全球統(tǒng)一的勞動力市場，每個候選人都可以申請，每家公司都可以雇傭。但后來我們發(fā)現(xiàn)，隨著新型知識工作崗位的出現(xiàn)，對人力的需求激增，尤其是評估大模型的人才需求。所以現(xiàn)在我們?yōu)轫敿堿I實(shí)驗(yàn)室招聘各種專家。這些實(shí)驗(yàn)室使用我們的技術(shù)來輔助，不僅是為評估專家創(chuàng)建評測，也為模型和你提到的那些AI代理創(chuàng)建評測。

Patrick：對我們的聽眾來說，Mercor也有很多AI用于篩選候選人、處理簡歷等場景。你能介紹一下你們有哪些AI用例嗎？你們現(xiàn)在用的技術(shù)棧是什么樣的？

Brendan：一個很好的方法就是把人類手動做的所有事情都創(chuàng)建評測，然后看我們能否自動化。比如人如何評閱簡歷、面試、排序和決定錄用誰。我們把所有流程自動化，比如評測我們解析簡歷的準(zhǔn)確性、評分簡歷各部分的準(zhǔn)確性、面試提問的準(zhǔn)確性、面試評估的準(zhǔn)確性，然后把這些全部輸入模型上下文，再結(jié)合推薦信等其他數(shù)據(jù)，最終做出錄用預(yù)測。

Patrick：主要是用現(xiàn)成的模型，你們負(fù)責(zé)評測和上下文設(shè)計嗎？

Brendan：是的，基礎(chǔ)任務(wù)用很多現(xiàn)成模型，但在最難的候選人最終評估環(huán)節(jié)，我們會做后訓(xùn)練。我們會從客戶的數(shù)據(jù)中學(xué)習(xí)，比如哪些人表現(xiàn)好，原因是什么，從這些信號中學(xué)習(xí)，做出更好的未來招聘預(yù)測。

Patrick：你們學(xué)到過哪些讓人意外的信號？比如AI發(fā)現(xiàn)了什么是你們?nèi)祟悰]想到的？

Brendan：有很多這樣的例子。我認(rèn)為AI的一個關(guān)鍵優(yōu)勢是能更深入地分析候選人的所有細(xì)節(jié)，發(fā)現(xiàn)人類有時會忽略的小信號，而人類因?yàn)椤胺諊袛唷笨赡茉缇蜎Q定了。比如簡歷里如果有人表現(xiàn)出對某個領(lǐng)域極大的興趣，純粹是出于興趣而不是工作需要，這會成為一個信號。或者有人曾在目標(biāo)國家留學(xué)，可能溝通更順暢，更適合團(tuán)隊(duì)環(huán)境。這些小細(xì)節(jié)因項(xiàng)目和客戶而異。

Patrick：你覺得有哪些事情是一定需要人做的？你剛才提到多模態(tài)任務(wù)，但你怎么看AI和人類面試官的協(xié)作？未來會不會全是AI評估？

Brendan：簡單來說，招聘過程分為評估和推銷。評估環(huán)節(jié)很快就會變得非常強(qiáng)大，大家會發(fā)現(xiàn)AI的推薦明顯更準(zhǔn)，大家會更愿意相信AI的結(jié)果。人類則會繼續(xù)在推銷環(huán)節(jié)發(fā)揮很大作用，比如讓候選人了解團(tuán)隊(duì)、崗位、氛圍等。AI讓招聘經(jīng)理和HR只需專注于真正想要的人選，而不用浪費(fèi)時間面試不合適的人選。這樣能讓他們更好地幫助候選人了解崗位、團(tuán)隊(duì)和激勵點(diǎn)。

Patrick：你覺得大家會不會開始“刷分”——有意迎合評測信號？你們遇到過嗎？比如大家都說自己去目標(biāo)國家留學(xué)過。

Jacob：大家都說自己去目標(biāo)國家留學(xué)過。

Patrick：對，比如都說自己在招聘地留學(xué)過。

Brendan：是的，所以有時候我們要對信號保密。我們和所有大型招聘流程一樣，經(jīng)常遇到這種情況。關(guān)鍵是確保評測足夠動態(tài)，比如經(jīng)常更換問題，或者針對候選人背景問很深入的問題。因?yàn)槟Ｐ湍転槊嬖囎龃罅繙?zhǔn)備，人才評估的深度和廣度前所未有。

比如我第一次面試高管候選人，可能只看幾分鐘LinkedIn和一些筆記，但如果我能聽他們上過的播客，讀他們寫的博客或論文，再針對這些提問，深度和細(xì)節(jié)就完全不同。

Jacob：你們的模型很擅長預(yù)測候選人表現(xiàn)，這個過程需要可解釋性嗎？還是說模型黑箱給出結(jié)論就可以？

Brendan：我認(rèn)為可解釋性很重要，有兩個原因。第一是讓客戶理解和信任模型的結(jié)論，建立信任和推理鏈。第二是確保模型選人是基于正確的理由。所以可解釋性很有價值。

但我認(rèn)為最終的經(jīng)濟(jì)形態(tài)可能就是API式的，人們需要完成工作，或者需要一定的人類參與，然后只要一個置信區(qū)間預(yù)測這個人能否勝任，整個流程里人類的中介作用會大大減少。

Jacob：這算是通往那個目標(biāo)的信任里程碑，很有道理。目前數(shù)據(jù)標(biāo)注環(huán)節(jié)有明確的反饋回路，比如多個人標(biāo)注同一份數(shù)據(jù)。你怎么看把這種方法應(yīng)用到更模糊的人類工作領(lǐng)域的挑戰(zhàn)？也許你得等15年才能獲得反饋。

Patrick：比如VC（笑）。

Brendan：我的一個看法是，如果有100個人做同樣的工作，很容易給他們排名。但如果100個人做的工作都不一樣，比如創(chuàng)始人，每個人的工作都很有差異，就很難找到共性，難以判斷哪些行為或信息和結(jié)果有關(guān)。因?yàn)樽兞刻嗔恕Ｋ詫τ诖笠?guī)模同質(zhì)崗位，比如招20個客戶經(jīng)理，模型可以從中學(xué)習(xí)信號并優(yōu)化。但對于復(fù)雜崗位，比如我們在評估一批Thiel Fellows（蒂爾獎學(xué)金項(xiàng)目），這種情況就更具挑戰(zhàn)性，更依賴模型的推理能力。

Jacob：有哪些具體挑戰(zhàn)？

Brendan：主要挑戰(zhàn)是很多信息沒進(jìn)到模型上下文里，模型無法學(xué)習(xí)，人們也經(jīng)常忘記補(bǔ)充信息。比如我聽朋友說某公司產(chǎn)品很好，這種信息沒被輸入模型。確保所有推薦信、人與人之間的細(xì)節(jié)都被輸入，是主要難題。我們發(fā)現(xiàn)，其實(shí)只要把必要數(shù)據(jù)輸入模型上下文，就解決了大部分問題。

Jacob：也許未來我們每個人的智能眼鏡都在錄音，隨時把信息輸入模型。

Brendan：對。

Jacob：會不會變成橋水基金那樣的程度？

Brendan：也許是。但很多公司會排斥這種做法，出于法律和合規(guī)原因也不愿意。但我認(rèn)為會有更好的流程，讓模型能更好地獲取上下文。比如AI做離職面談，采訪經(jīng)理和團(tuán)隊(duì)成員，了解更多細(xì)節(jié)。人們腦子里有很多細(xì)節(jié)信息，我們只需要把這些信息輸入模型，就能做出超越人類的預(yù)測。

Patrick：現(xiàn)在越來越多創(chuàng)始人和各種人都會帶AI參加會議，所以很多會議和交流都會被錄音，供AI學(xué)習(xí)。非常有趣。

Jacob：我們可以把自己的會議轉(zhuǎn)錄拿來給AI給我們打分排名。

Patrick：哈哈！

Jacob：前提是我能排在前面。

Patrick：你怎么看現(xiàn)在的數(shù)據(jù)標(biāo)注市場？不同玩家如何區(qū)分？Scale AI似乎遙遙領(lǐng)先，但現(xiàn)在又有很多新玩家，你怎么看這個格局？

Brendan：我認(rèn)為大多數(shù)人不了解數(shù)據(jù)標(biāo)注和評估市場的關(guān)鍵變化。市場和兩年前完全不同。以前模型不夠好，很容易被難倒，經(jīng)常出錯。高中生或大學(xué)生就能做很多標(biāo)注或評測，通過眾包方式做大規(guī)模數(shù)據(jù)收集，比如SFT（監(jiān)督微調(diào)）、RHF（人類反饋強(qiáng)化學(xué)習(xí)），選擇不同的偏好選項(xiàng)。

但隨著模型變得很強(qiáng)，眾包模式失效了，因?yàn)槟阈枰哔|(zhì)量人才直接和研究員配合，幫助他們理解模型表現(xiàn)好或不好的原因，設(shè)計復(fù)雜數(shù)據(jù)來難倒模型，反映現(xiàn)實(shí)世界要自動化的難題。我們的平臺正好能快速招到這些高質(zhì)量人才。

這讓我們迅速發(fā)展，與大實(shí)驗(yàn)室合作。我認(rèn)為這個趨勢會繼續(xù)。那些還停留在大規(guī)模眾包的公司會遇到很多麻煩，新的玩家會聚焦高質(zhì)量人才，繼續(xù)搶占市場份額。

Patrick：你覺得數(shù)據(jù)標(biāo)注流程里對人類的需求會一直存在嗎？模型越來越強(qiáng)，甚至能訓(xùn)練小模型，你怎么看未來的演變？

Brendan：我的看法是，只要經(jīng)濟(jì)中還有人類能做、模型還不會做的事情，我們就需要創(chuàng)造或模擬環(huán)境讓模型去學(xué)習(xí)。所以有些領(lǐng)域會很快被攻克，比如數(shù)學(xué)或代碼，數(shù)據(jù)量小且易驗(yàn)證，模型很快能解決。但有些領(lǐng)域很開放，比如評估好創(chuàng)始人，或者很多知識型工作，本質(zhì)上是開放性難題，難以驗(yàn)證什么是好，需要把人類的理解輸入模型。這就是為什么我預(yù)計人類數(shù)據(jù)（注：human data，通常指直接從人類或關(guān)于人類收集的數(shù)據(jù)）和評估市場會有數(shù)量級增長。

Jacob：如果我理解沒錯，你們最初的“套利點(diǎn)”和公司靈感就是全球各地有優(yōu)秀的程序員，但他們無法獲得某些工作的機(jī)會，這對編程數(shù)據(jù)來說非常重要。你們顯然已經(jīng)擴(kuò)展到其他領(lǐng)域，比如編程本身是個完美的強(qiáng)化學(xué)習(xí)和評估用例，你們在進(jìn)入這些更模糊的領(lǐng)域、招聘相關(guān)人才時，有哪些需要改變或改進(jìn)的地方？

Brendan：我認(rèn)為，借鑒人類手動做事的啟發(fā)式方法是很好的做法。例如，如果你想自動化顧問的工作，怎么評估顧問？那就給他們案例研究，也許是和他們背景相關(guān)的案例。

Jacob：你們團(tuán)隊(duì)的人可能都很擅長評估程序員，但如果要讓醫(yī)生加入平臺，你們怎么知道該用什么啟發(fā)式來評估醫(yī)生？

Brendan：你提到的這個點(diǎn)很有意思，就是當(dāng)進(jìn)入超出機(jī)器學(xué)習(xí)團(tuán)隊(duì)能力范圍的領(lǐng)域時，就需要專家。我們需要醫(yī)生來幫助我們設(shè)計醫(yī)生的評估和評測標(biāo)準(zhǔn)，其他領(lǐng)域也一樣。同樣，這也是研究員需要做的事情。比如做看高中物理題還容易判斷哪個答案對，但如果是博士級化學(xué)題，研究員沒有相關(guān)學(xué)歷就很難理解和改進(jìn)評測。所以這也是你之前問的評估大變化之一——無論是評估人才還是研究員評估模型，都將變成更協(xié)作的過程，需要和專家一起合作，幫助模型進(jìn)步。

Jacob：我聽你說過，這種短期數(shù)據(jù)標(biāo)注合同工作其實(shí)是你們最初市場的完美切入點(diǎn)，需求巨大，是通往端到端勞動力市場的楔子。你能聊聊公司實(shí)現(xiàn)這個愿景的路徑和階段性目標(biāo)嗎？

Brendan：我寫過一份“秘密大師計劃”有講到這個。我的看法是，市場網(wǎng)絡(luò)效應(yīng)很強(qiáng)，這讓它既有護(hù)城河也很難建立。所以現(xiàn)在我們非常專注于抓住巨大的需求，擴(kuò)大網(wǎng)絡(luò)效應(yīng)，發(fā)展市場。

與此同時，我們也看到很多大科技公司客戶需要大量合同工，比如上百個數(shù)據(jù)科學(xué)家、軟件工程師等，雖然這些崗位和人類數(shù)據(jù)沒直接關(guān)系，但本質(zhì)上需求類似，只是更傳統(tǒng)的市場，以前是和埃森哲、德勤等公司競爭。我們會把這作為第二重點(diǎn)，然后擴(kuò)展到全職招聘。但其實(shí)我們公司早期做的就是幫朋友和自己招合同工，很多后來轉(zhuǎn)正了。

所以這些業(yè)務(wù)是連續(xù)的，有很多共性。所有公司都想要更多候選人、更快招聘速度、更高的勝任信心。我們只要不斷衡量并提升這些指標(biāo)，就能服務(wù)好公司發(fā)展的每個階段。

Jacob：有沒有哪一刻讓你們決定要轉(zhuǎn)向人類數(shù)據(jù)領(lǐng)域，覺得機(jī)會特別明顯？

Brendan：有，我還在大學(xué)時就遇到了。公司背景是我和合伙人14歲時在高中認(rèn)識，大家18歲一起創(chuàng)業(yè)，他們贏了很多比賽，我沒他們厲害，但一直在創(chuàng)業(yè)。后來我們開始在印度招聘國際人才，比如和IIT Code Club合作，發(fā)現(xiàn)有很多聰明人找不到工作，我們覺得可以雇他們做項(xiàng)目，朋友們也愿意付錢讓我們幫忙招聘。我們就這樣賺取小額服務(wù)費(fèi)，把公司做到一百萬美元營收，扣除工資后還賺了8萬美金。

我很自豪，但父母還是不滿意。直到我們?nèi)谫Y了，他們才滿意?；氐侥愕膯栴}，2023年8月，有客戶把我們介紹給x.ai的聯(lián)合創(chuàng)始人，那時他們還在特斯拉辦公室。他說Mercor有印度的超級工程師，擅長數(shù)學(xué)和編程。第二天x.ai的創(chuàng)始人就和我們通話，非常興奮。兩天后我們就進(jìn)了特斯拉辦公室，見了x.ai幾乎全部創(chuàng)始團(tuán)隊(duì)，除了Elon，就在他們和Elon開會前。我們還在上大學(xué)，簡直不可思議。我們都在想，他們?yōu)槭裁催@么想要我們的產(chǎn)品？因?yàn)槭袌鲎兓?，沒人意識到?，F(xiàn)在我們做大了，占了關(guān)鍵市場份額，才開始公開講這些。但他們那時還沒準(zhǔn)備好用人類數(shù)據(jù)，大概六個月后我們才和前沿實(shí)驗(yàn)室合作，把業(yè)務(wù)做大。

Jacob：看到了浪潮來襲。

Brendan：是的，我發(fā)現(xiàn)很多創(chuàng)始人在找PMF時太過強(qiáng)求，其實(shí)應(yīng)該觀察市場信號，哪里有金礦就去挖。如果最初銷售都很難做成，后面規(guī)?；瘯y。要找到最痛點(diǎn)、最有錢的客戶，他們愿意為解決問題付出一切，然后全力以赴。

Jacob：你們現(xiàn)在已經(jīng)超越了編程，比如醫(yī)生這個例子讓我想到，其實(shí)評估好醫(yī)生的標(biāo)準(zhǔn)最終會被模型公司用來訓(xùn)練模型，判斷醫(yī)生的推理過程對不對。你們在和客戶合作時具體做什么？

Brendan：人類現(xiàn)在比AI強(qiáng)的一個關(guān)鍵點(diǎn)是能不斷學(xué)習(xí)和進(jìn)步。我們會尋找這些代理信號，比如候選人會問正確的問題，思考方式對，背景里有高績效環(huán)境的經(jīng)歷，這些都能幫助他們發(fā)現(xiàn)模型的漏洞、提升模型能力。

Jacob：你們現(xiàn)在自己也用自家產(chǎn)品嗎？具體怎么用在招聘上？

Brendan：當(dāng)然，除了高管崗位，其他崗位我們都用。高管崗位我們也掛了職位，但大多還是我先面試，主要是為了推銷崗位而不是篩選。我們的AI面試非常有效，很多時候是最有預(yù)測力的信號。很多人低估了招聘過程中的“氛圍判斷”偏見，人總覺得自己判斷準(zhǔn)。

Jacob：招聘其實(shí)是最早的“氛圍”行業(yè)。

Patrick：VC們肯定沒有這種偏見。

Brendan：所以我們要用業(yè)績數(shù)據(jù)來做決策。比如我們招聘戰(zhàn)略項(xiàng)目負(fù)責(zé)人，以前是人類做案例分析，現(xiàn)在全部用AI面試，最終轉(zhuǎn)正率還提高了。AI面試能讓比較更客觀、標(biāo)準(zhǔn)化，不用不同面試官各自為政。

Patrick：評測環(huán)節(jié)你們是自己找人做，還是用市場上的人？內(nèi)部做得多嗎？

Brendan：我們會用市場上的人來做自己的評測流程，和客戶流程類似。當(dāng)然研究員還是要參與，分析模型出錯原因、完善錯誤分類、優(yōu)化后訓(xùn)練數(shù)據(jù)，流程和用人都一樣。

Jacob：你們提到用多模態(tài)能力判斷激情等特質(zhì)，對未來的視頻、音頻等有何考慮？

Brendan：我常想強(qiáng)化學(xué)習(xí)（RL）在提升視頻理解能力上的作用。RL擅長搜索問題，而視頻信息量巨大，所以模型處理起來困難。我們要思考如何在多模態(tài)上下文里找到關(guān)鍵信號，比如候選人是否很激動、是否作弊等。我們要創(chuàng)造合適的數(shù)據(jù)，讓模型關(guān)注這些信號，前沿實(shí)驗(yàn)室也在做底層能力提升。

Jacob：就像你說的，短短幾年，標(biāo)注市場變化巨大。你覺得兩年后會怎樣？這塊業(yè)務(wù)還會存在嗎？還是只剩下專家？

Brendan：我認(rèn)為會是很重要的一塊。我們創(chuàng)業(yè)的初衷就是聚合勞動力，讓勞動力配置更高效。關(guān)鍵在于判斷五年后人類在經(jīng)濟(jì)中的角色。

我看到的趨勢是，未來人類會專注于創(chuàng)造評測，讓模型能學(xué)會還不會做的事，而不是反復(fù)做同一個任務(wù)。所以我高度看好知識型工作向評測轉(zhuǎn)型，可能形式會更動態(tài)，比如和AI面試官對話解決問題。我認(rèn)為這是經(jīng)濟(jì)的重要組成部分，但大多數(shù)人還沒意識到，因?yàn)榇蠹野阉蚐FT、RHF市場混淆了，而這兩類數(shù)據(jù)的價值正在下降，預(yù)算也在減少。

Patrick：你覺得未來哪些技能最值得培養(yǎng)？如果你建議在校生應(yīng)該學(xué)什么，你會怎么說？

Brendan：我一定會建議大家追求快速學(xué)習(xí)能力，因?yàn)樽兓炝恕：芏囝I(lǐng)域，人們以為模型很久都做不好，結(jié)果很快就突破了。要多和AI協(xié)作。我們市場上的人常說，他們喜歡能整天和模型打交道，思考模型做不到什么、缺了什么。這些經(jīng)驗(yàn)?zāi)軒退麄冊趯?shí)際工作中判斷哪些環(huán)節(jié)用AI更高效。所以要盡量多用模型，熟悉它們在本領(lǐng)域的優(yōu)缺點(diǎn)。這很有幫助，但很難說一定要做軟件工程師還是別的什么。

Jacob：很有意思，未來我們可能都要花大量時間訓(xùn)練模型。硬技能有對錯，但主觀領(lǐng)域幾乎無限。也許以后我們還能給自己專屬模型打工掙錢。

Brendan：完全同意。我還建議大家關(guān)注需求彈性大的領(lǐng)域。比如軟件開發(fā)，經(jīng)濟(jì)里有100倍、1000倍的需求，哪怕不是1000倍新Web應(yīng)用，也有大量功能迭代、排序算法優(yōu)化等。相比之下，會計師等需求就很固定。所以要盡量去需求會大幅增長、能提升總生產(chǎn)力的領(lǐng)域，這樣更保險。

Patrick：你說得很對。我前幾天和一個創(chuàng)始人聊天，他說，大家都在說軟件工程師會被淘汰，但其實(shí)我真的很需要更多的軟件工程師。

Brendan：我也很興奮。如果我們的軟件工程師生產(chǎn)力提高十倍，我們可能會雇更多的軟件工程師。所以需求和價格的關(guān)系總是很有意思。

Jacob：你們創(chuàng)業(yè)之初，應(yīng)該也有誘惑去做招聘協(xié)作工具或者為中介機(jī)構(gòu)做軟件吧？你們?yōu)槭裁礇Q定做端到端的服務(wù)？這個決定是一開始就確定的嗎？

Brendan：一開始我們有很多第一性原理的思考，反而有優(yōu)勢，因?yàn)槲覀儧]見過傳統(tǒng)做法。我們知道朋友們想解決的問題就是想找到靠譜的軟件工程師，所以我們就把所有環(huán)節(jié)都包辦了。但現(xiàn)在回頭看，我覺得越來越多公司會走向端到端，因?yàn)闆]必要為一個未來可能消失的崗位開發(fā)協(xié)作工具，更合理的是把整套流程自動化，讓它能從反饋中學(xué)習(xí)和優(yōu)化。

Jacob：確實(shí)，尤其你們做的數(shù)據(jù)勞動力市場，正好適合在AI能力還不成熟時做端到端。如果沒有這個市場，你們可能也會先做協(xié)作工具。

Brendan：對，比如全職招聘，客戶肯定希望員工在自己名下。所以我們很幸運(yùn)，公司的運(yùn)營模式和市場需求轉(zhuǎn)變高度契合。

Jacob：一開始你們是幫朋友找合同工，最初你是不是覺得這是個副業(yè)，后來才變成主業(yè)？什么時候讓你下定決心全職創(chuàng)業(yè)？

Brendan：其實(shí)我高中就一直創(chuàng)業(yè)，公司做得還不錯，所以我本來不想上大學(xué)，和父母說了他們也不高興，后來為了安撫他們還是申請了大學(xué)，但我一直說自己會退學(xué)，他們也不信，覺得既然我答應(yīng)上學(xué)就不會退學(xué)。但我每學(xué)期都和他們說同樣的話，最后真的退學(xué)了，也沒提前打招呼，因?yàn)槲乙呀?jīng)說了兩年了。

Patrick：我早就知道你會退學(xué)。

Brendan：對我來說，我很清楚自己想創(chuàng)業(yè)，想做有影響力的事情，而不是上那些感覺沒用的課。我其實(shí)一直在尋找值得投入的事情。我的合伙人最初也是當(dāng)副業(yè)做，想拿到足夠證據(jù)說服父母退學(xué)。他們父母的要求是必須融資成功，哪怕公司已經(jīng)有百萬美金營收和利潤也不行，必須拿到種子輪投資。所以家長才是VC們的“金主”——只有融資成功才算有“可信度”。

Jacob：沒錯，沒有家長就沒有VC。

Brendan：這就是“權(quán)威背書”。

Patrick：說到融資，你們之前（注：今年2月）剛完成一億美元的B輪融資，恭喜！這筆錢會怎么用？你們是怎么判斷何時該融資的？

Brendan：其實(shí)我們唯一主動去融資的就是種子輪，為了說服父母退學(xué)。A輪和B輪都是被投資人“搶投”的。我們的想法是保持稀釋率在5%左右，建立“彈藥庫”，用來投入產(chǎn)品研發(fā)，比如推薦激勵、創(chuàng)新的消費(fèi)級產(chǎn)品，擴(kuò)大市場供給端，也會投入更多后訓(xùn)練數(shù)據(jù)，提升模型表現(xiàn)預(yù)測能力。我們ML團(tuán)隊(duì)最大的瓶頸其實(shí)就是做更多評測和訓(xùn)練環(huán)境，這也正好和我們的主營業(yè)務(wù)吻合。

Jacob：你們的客戶群有很多基礎(chǔ)模型公司，你怎么看這個領(lǐng)域的未來？有人說會只剩兩三家巨頭，你覺得最后會有多少玩家？他們會怎么差異化？

Brendan：這是個好問題。我堅(jiān)信OpenAI現(xiàn)在和未來都會是產(chǎn)品公司，而不是API公司。很多API能力會大宗商品化，關(guān)鍵是怎么和客戶場景深度集成，這才是定價權(quán)的來源。但市場足夠大，每家都能在細(xì)分領(lǐng)域吸收大量價值。哪怕有實(shí)驗(yàn)室專注做對沖基金，也能賺巨額利潤。大家喜歡用經(jīng)驗(yàn)主義說這些公司估值虛高，但如果你從“自動化知識型工作”這個第一性原理出發(fā)，這些頂級團(tuán)隊(duì)一定能做出偉大的公司。

Jacob：現(xiàn)在模型跨領(lǐng)域泛化很強(qiáng)，所以感覺贏家通吃，還是會有細(xì)分領(lǐng)域的佼佼者？你舉的對沖基金例子很有意思，說明應(yīng)用層還有很多空間。

Brendan：對，聚焦很有價值。我覺得做通用API不是好生意，最終只會剩下一家。更多價值會在應(yīng)用層，每個垂直領(lǐng)域和客戶場景都需要深度定制。

Jacob：你覺得這些定制模型會需要很多復(fù)雜的標(biāo)注嗎？

Brendan：肯定會。比如每個交易公司都能針對自己獨(dú)特的交易分析做評測，判斷哪些結(jié)論準(zhǔn)確，哪些不準(zhǔn)，能否轉(zhuǎn)化為盈利。如果有一流的后訓(xùn)練團(tuán)隊(duì)專門優(yōu)化交易分析，比人類交易員更快，那機(jī)會大得驚人。

Jacob：感覺有些交易公司最優(yōu)策略應(yīng)該是暫停交易，花九個月專注后訓(xùn)練模型。

Brendan：我其實(shí)很驚訝，很多交易公司在后訓(xùn)練上的投入比想象中少，可能是地理原因——他們主要在紐約，實(shí)驗(yàn)室和研究員都在舊金山，而且頂級研究員更想做AI，不愿意只為賺錢。但我相信他們會大舉投資，和前沿實(shí)驗(yàn)室形成九位數(shù)、十位數(shù)的合作，定制自己的應(yīng)用。

Jacob：你現(xiàn)在在AI領(lǐng)域最大的未知是什么？如果能知道答案，對公司運(yùn)營會有什么影響？

Brendan：還是你剛才說的，人類五年、十年后會做什么。這是個極難的問題，也是公司使命的一部分。我們有各種直覺，但世界變化太快。很多工作會被自動化，我們需要更好地理解未來人類的新機(jī)會和經(jīng)濟(jì)角色，這很重要。

Jacob：你覺得政策層面還有哪些事可以做？其他機(jī)構(gòu)應(yīng)該扮演什么角色？

Brendan：當(dāng)然。很多監(jiān)管者關(guān)注的事情其實(shí)離老百姓很遠(yuǎn)。我覺得未來兩三年大家會真正擔(dān)心的是，AI模型在很多工作上比人厲害多了，我們要想辦法讓人類融入經(jīng)濟(jì)，這一定會發(fā)生。這不是那種小概率、大影響的風(fēng)險，是必然趨勢。所以監(jiān)管者應(yīng)該更主動地規(guī)劃未來，管理公眾預(yù)期，告訴大家?guī)啄旰笫澜鐣兂墒裁礃印?/p>

Jacob：確實(shí)，現(xiàn)在連再培訓(xùn)什么都還說不清。

Brendan：沒錯。但我希望這方面能有更多討論，更多關(guān)注下一代工作的形態(tài)，也給學(xué)生和求職者更多指引。

Jacob：我們喜歡在采訪最后做一輪快問快答，問些寬泛的問題，想聽聽你的簡短看法。你覺得AI領(lǐng)域有什么被高估、又有什么被低估了？

Brendan：好問題。我覺得評測（E-vals）被嚴(yán)重低估了。雖然現(xiàn)在已經(jīng)很火，但我認(rèn)為還是被低估了很多。

Jacob：人類能力的最后堡壘。

Brendan：我覺得被高估的是SFT、RHF這類傳統(tǒng)數(shù)據(jù)。有公司在這上面花了幾十億美元，其實(shí)根本沒必要，花費(fèi)應(yīng)該減少一個數(shù)量級，這個趨勢會變。

Patrick：過去一年你在AI領(lǐng)域有什么觀點(diǎn)發(fā)生了變化？

Brendan：有意思。我對自動化軟件工程的時間線預(yù)期大幅提前了。以前我對研究員說的“AI能寫出比人類更高命中率的PR”的時間表還持懷疑態(tài)度，現(xiàn)在我覺得今年晚些時候、明年上半年就會實(shí)現(xiàn)，這會非?？帷?/p>

Jacob：是啊。其實(shí)兩年前，如果說AI能有現(xiàn)在的能力，大家都會覺得要改變世界了，但真的實(shí)現(xiàn)后，反而沒那么震撼。你覺得這會不會導(dǎo)致軟件工程就業(yè)出現(xiàn)大規(guī)模變化，還是只是10%~20%的變化？

Brendan：關(guān)鍵還是我們之前說的“需求彈性”。短期內(nèi)我不擔(dān)心工程師失業(yè)，因?yàn)楣ぞ咦屗麄兏咝?，反而會有更多軟件要寫。但崗位性質(zhì)肯定會變，懂產(chǎn)品、懂模型短板的人會更有比較優(yōu)勢。

Patrick：除了你們公司，你最看好哪家AI創(chuàng)業(yè)公司？

Brendan：我很看好OpenAI的代碼能力，雖然這個答案不夠“逆風(fēng)”。我也覺得未來會有大量定制智能體，有一家在法國的公司還在隱身狀態(tài)，我很感興趣。

Jacob：那你肯定不能在播客里說，等錄完我們再逼你透露（笑）。