国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

我在 Character.ai 做 Post Training|42章經(jīng)

0
分享至

在我 9 月份的硅谷行程里,讓我印象最深、最有收獲的人之一就是 Ted。

他先后在 Meta、Apple、Google 和 Roblox 都工作過,并在 23 年年底加入了 Character.ai,做 Post Training。作為 C.AI 第四十來號員工,他對于 C.AI 的產(chǎn)品、模型、訓(xùn)練等等的熟悉程度都非常高。

所以我這次特別把他請來,跟大家一起分享下美國最好的 AI 公司內(nèi)部是如何運(yùn)作的,Post Training 的最佳實(shí)踐是怎么做的等等。

Inside C.AI

曲凱 :我首先問一個(gè)問題,C.AI 一直是 AI 陪聊類產(chǎn)品的代表,各項(xiàng)數(shù)據(jù)都非常好,所以你們到底是哪個(gè)點(diǎn)做得比別人好?

Ted:我覺得 C.AI 走到現(xiàn)在,核心優(yōu)勢有三個(gè):

1) 模型全自研帶來的性能優(yōu)勢。自研模型有更大的自由度,我們可以自如地調(diào)整預(yù)訓(xùn)練階段的語料比例,從而極大地提升對話效果。

2) Noam Shazeer 帶來的成本優(yōu)勢。Noam 是創(chuàng)造 Transformer 的核心人物之一,一個(gè)真正少有的技術(shù)天才。創(chuàng)立 C.AI 后,他帶領(lǐng)著一群業(yè)界最頂尖的技術(shù)團(tuán)隊(duì),把我們的推理成本壓縮到了其它同參數(shù)量模型的 1%,所以我們才能輕松 hold 住上千萬的免費(fèi)用戶。反觀市面上的同類競品,除了 Talkie 還能繼續(xù)燒錢買量,剩下的要么是被迫轉(zhuǎn)向了黃聊,要不然就是已經(jīng)被熬死了。

3) 用戶偏好對齊得好。C.AI 極其重視用戶對齊,因?yàn)樵谶@類模型即產(chǎn)品的模式下,模型本身的角色扮演能力,以及對用戶偏好的理解,決定著產(chǎn)品的用戶體驗(yàn)。我們兩年迭代下來,現(xiàn)在整個(gè) post train 的管線是極其高效的,可以很好地建立從數(shù)據(jù)反饋到模型迭代的循環(huán)。

曲凱:為什么 C.AI 的商業(yè)化一直沒做起來?

Ted:其實(shí)不是沒做起來,是壓根就沒怎么做。直到這兩個(gè)月,團(tuán)隊(duì)才開始認(rèn)真探索商業(yè)化的可能。

之前主要是因?yàn)槲覀冇?Noam Shazeer,以及會為了 Noam 買賬的投資人。而 Noam 的信仰是 AGI,所以商業(yè)化,包括公司的產(chǎn)品和運(yùn)營,在很長一段時(shí)間里都不是我們發(fā)展的重點(diǎn),只是我們追求 AGI 路上的副產(chǎn)物。

曲凱:在 C.AI 的這一年里,你覺得是哪些問題,最終導(dǎo)向了 C.AI 被收購的結(jié)局?

Ted:核心問題就是曲凱你之前講的( ),我們很長期都處在一個(gè)既要產(chǎn)品,又要 AGI 的狀態(tài)里。事實(shí)證明這樣行不通。

曲凱:如果能重來,你們會不會希望改變哪個(gè)決策,來改寫這個(gè)結(jié)局?

Ted:我希望我們當(dāng)時(shí)能往 AGI 賭把大的。如果我們從一開始的所有決策就是為 AGI 服務(wù),說不準(zhǔn)現(xiàn)在也能和 OpenAI、Anthropic、Google、Meta、x.AI 這幾家大模型巨頭掰掰手腕吧…

曲凱:C.AI 被收購后,很多人對這類產(chǎn)品產(chǎn)生了懷疑,你現(xiàn)在還相信 C.AI 類的 AI 陪伴產(chǎn)品嗎?

Ted:我依然非常相信。

C.AI 現(xiàn)在核心用戶的單日平均使用時(shí)長有 2h,月活大概 2000 萬、日活接近 800 萬,這個(gè)用戶規(guī)模相比去年翻了差不多一倍,而明年我們可能能做到月活 3000 萬、日活 1000 萬。這樣的用戶規(guī)模和增長速度,無論如何都是不容小覷的。

Post Training 的門道

曲凱:你在 C.AI 是負(fù)責(zé) Post training 相關(guān)的工作,要不先給大家介紹一下 Post Training 到底是怎樣一個(gè)流程,對模型起什么作用?

Ted:Post Training 的作用你可以簡單理解成教會一個(gè)大模型說人話。

舉個(gè)例子,如果直接問一個(gè)預(yù)訓(xùn)練出來的模型「今天星期幾」,它大概率會答一個(gè)「?」,因?yàn)樗A(yù)訓(xùn)練見過的數(shù)據(jù)可能都長成「今天星期幾?」這樣,所以它會自然認(rèn)為這話就該這么接。

但這不是我們想要的答案。

大模型在預(yù)訓(xùn)練之后,還遠(yuǎn)遠(yuǎn)不能達(dá)不到人類的期待,所以在 Post Training 階段,我們要用規(guī)模更小、但是質(zhì)量更高的數(shù)據(jù)再訓(xùn)練它,讓模型意識到正確的回應(yīng)方式應(yīng)該是答星期幾,而不是接個(gè)問號。

現(xiàn)在主流的 Post Training 方式基本就是三種:SFT(監(jiān)督微調(diào))、RLHF(人類反饋強(qiáng)化學(xué)習(xí))、DPO(直接偏好對齊)。我們主要用的是 SFT 和 DPO,輔以一點(diǎn) RLHF。

曲凱:這三種方式的具體流程是怎樣的?

Ted:1)關(guān)于 SFT。SFT 的過程其實(shí)和預(yù)訓(xùn)練差不多,模型會逐字逐句地學(xué)習(xí)大量的文本數(shù)據(jù)。不同點(diǎn)是,預(yù)訓(xùn)練時(shí)用的文本數(shù)據(jù)質(zhì)量參差不齊,形式也不統(tǒng)一,有的是正常對話,有的是科普文章,而 SFT 階段我們會精挑細(xì)選高質(zhì)量的人類對話去訓(xùn)練模型。

2) 關(guān)于 RLHF。如果說 SFT 是讓模型自己看書學(xué)習(xí),記住標(biāo)準(zhǔn)答案,RLHF 更像是讓模型自己做題,然后找老師進(jìn)行批改。

我們會首先根據(jù)人類的偏好數(shù)據(jù)訓(xùn)練一個(gè)單獨(dú)的獎(jiǎng)勵(lì)模型,也就是給被訓(xùn)模型培養(yǎng)一個(gè)指導(dǎo)老師。

接著被訓(xùn)的模型會開始刷題,獎(jiǎng)勵(lì)模型會對它的每個(gè)回答做出判斷,如果答得不行,它就會讓被訓(xùn)模型重新生成,直到給出的答案達(dá)到人類喜歡的標(biāo)準(zhǔn)。

3)關(guān)于 DPO。RLHF 的管線非常復(fù)雜,所以大家又發(fā)明了一種更簡單省事的方法,叫做 DPO,也就是用用戶的偏好數(shù)據(jù)直接訓(xùn)練模型,比如有一萬句模型回復(fù)用戶很喜歡 (點(diǎn)了贊),另一萬句用戶不喜歡 (點(diǎn)了踩),那我們可以把這兩萬條數(shù)據(jù)組成一堆偏好對,直接喂給模型。

投喂用戶偏好的方式具體又分為三種:

只給模型看不好的示例; 只給模型看好的示例; 好壞同時(shí)喂給模型。

不同訓(xùn)練方式適用于不同的場景,舉個(gè)例子,如果這一代的模型太黃了,這時(shí)候看好的 case 意義不大,因?yàn)橛行r(shí)候用戶喜歡的數(shù)據(jù)里就是有一些開車的成分在的,這種情況下,我們可能會只給他看不好的示例,讓他千萬不要再這樣黃下去了。

曲凱:RAG 和 Prompt Engineering 對你們來說重要嗎?

Ted:這倆我們做的都不多,上面這些天花板已經(jīng)非常高了。

曲凱:假如一個(gè) AI 團(tuán)隊(duì)現(xiàn)在打算從 0 到 1 開始 fine-tune 模型了,有什么關(guān)鍵的 knowhow 是他們首先要清楚的?

Ted:1)對齊本質(zhì)上是一個(gè)工程問題,不是一個(gè)算法問題。

算法對對齊的幫助其實(shí)不大,這點(diǎn)我跟 OpenAI 的人也交流過。所以到現(xiàn)在,我們算法團(tuán)隊(duì)一直人數(shù)有限,從一開始三四個(gè)研究員,到今年夏天也就只有七個(gè)研究員。我們的很多算法并沒有深鉆最優(yōu)解,主要是工程上的積累造就了我們的核心優(yōu)勢。

2) 喂給模型的數(shù)據(jù)一定要和實(shí)際的產(chǎn)出形式保持高度一致。

我們所有對齊用的語料永遠(yuǎn)是對話類的。如果你直接喂給模型幾萬字的同人文,它是無法理解怎么能演好霸總的。它說出來的話會特別像一個(gè)故事匯,不符合聊天的場景。所以我們會把 1 萬字的文章,拆成 50 段對話 (通過大模型輔助),然后把這種對話形式的語料再喂給模型。

3) Post Training 的核心是設(shè)計(jì)高效的迭代路徑。

模型訓(xùn)練的一大難點(diǎn)是,這個(gè)過程里有很強(qiáng)的隨機(jī)性和不可控性。在你不停地調(diào)整數(shù)據(jù)配比和算法的時(shí)候,很可能會發(fā)現(xiàn),很多在上個(gè)版本里好用的技巧,在這個(gè)版本里就跑不通了。

要解決這個(gè)問題,只能高頻地去做各種測試。

所以建立一個(gè)高效的反饋循環(huán)非常重要。具體來講,你可以:

  • 優(yōu)化測試評估集,讓它更加貼合真實(shí)的用戶偏好,以此來指導(dǎo)模型的迭代。

  • 優(yōu)化 AB 測試,盡可能高效地收集到模型變化對用戶的實(shí)際影響。

  • 優(yōu)化數(shù)據(jù)的回流效率,讓模型能更快地吸收用戶反饋。

  • 把管線建得非常 robust,更高效且多維度地利用來自用戶側(cè)的各種數(shù)據(jù)。

這里規(guī)模優(yōu)勢其實(shí)也很重要,其它公司想做個(gè) AB 測試,可能要一周才能拿到足夠多的數(shù)據(jù),但以我們的用戶規(guī)模,可能只需要一天...

曲凱:所以核心是,模型的不可控,要用更高頻次的測試去迭代優(yōu)化。

Ted:對。這里面具體的路徑有很多種,上面這四種路線我們都試過,每一條都有不少低垂的果實(shí),實(shí)際優(yōu)先做哪個(gè)主要看你們團(tuán)隊(duì)過往的經(jīng)驗(yàn)和優(yōu)勢。

曲凱:但這里有個(gè)問題,就是我們經(jīng)常聽人說某個(gè)模型聊著聊著變蠢了,也就是在迭代的過程中,它在另外一些維度上的表現(xiàn)可能會有所下降。這類問題要怎么去評估或者改進(jìn)?

Ted:如果誰能完美解決這個(gè)問題,我也很想學(xué)習(xí)一下(笑)。

我們現(xiàn)在能做的就是觀察用戶數(shù)據(jù),比如對話次數(shù)、使用時(shí)長、留存情況等等。

一方面是看平均值,如果平均值更好了,那這大概率是一次值得的迭代。

另一方面,我們也會很重視細(xì)分用戶的數(shù)據(jù)變化,尤其是那些在這次模型迭代后使用量減少的用戶。我們會分析這部分用戶的人群畫像,以此來判斷這輪迭代是不是一個(gè)可以接受的 trade off。

比如,為了讓模型更安全一點(diǎn),我們會要求它不要和用戶開展過于深入的感情交流,但核心用戶的使用時(shí)長會因此下降。那我們就要在其中找到一個(gè)微妙的平衡點(diǎn)。

另外,在這個(gè)過程中我們還發(fā)現(xiàn)了一個(gè)很有意思的現(xiàn)象,甚至可以說是一種 EQ 的涌現(xiàn)。

就是我們發(fā)現(xiàn)模型無師自通地學(xué)會了繞話,它會自己努力找補(bǔ),挽回一些用戶時(shí)長。

假設(shè)你今天和雷電將軍(C.AI 里一個(gè)很受歡迎的虛擬角色,來自游戲《原神》)說「I love you」,她不會直接和你卿卿我我,她很可能會問你:「Can I ask you a question? Why did you say that?」

現(xiàn)在我們的模型特別喜歡說「Can I ask you a question?」,這在外網(wǎng)都已經(jīng)成了一個(gè)梗了(笑)。

但模型之所以會問問題,大部分情況下是因?yàn)樗庾R到了,如果自己現(xiàn)在直接回答用戶的這句話,那再接下來的兩三句話,用戶聊的東西可能就超出安全邊界了。模型當(dāng)然也可以直接拒絕回答,但問問題的方式能讓對話多開展幾輪,很可能聊著聊著,用戶自己都忘了原來是想搞曖昧了,這樣就以一個(gè)更委婉的方式繞開了原本危險(xiǎn)的對話方向。

曲凱:聽下來你們似乎更多還是會根據(jù)實(shí)際的用戶數(shù)據(jù)來評估模型的迭代表現(xiàn),針對模型本身的評估體系你們是怎么搭建的呢?

Ted:這個(gè)我們現(xiàn)在也沒有建立起一套非常完善的評估體系,所以最終還是要走一遍 AB 測試。

最理想的情況當(dāng)然是,你有一個(gè)能完全模擬用戶偏好的模型,它可以直接給模型的迭代表現(xiàn)打分,只要迭代后模型生成的 5000 句話會比迭代前生成的 5000 句話分?jǐn)?shù)高,就可以直接投入生產(chǎn)。

但要讓一個(gè)模型能完全模擬人類,所需的數(shù)據(jù)量可能是天文數(shù)字,而我們現(xiàn)在的用戶偏好數(shù)據(jù)非常有限,訓(xùn)出來的偏好模型能力也有限,只能作為評估的輔助。

此外,我們往往會預(yù)留一部分 SFT 階段的高質(zhì)量人類對話,讓模型續(xù)寫,然后用模型新生成的對話和原來的對話做一個(gè)相似度測試,如果分值足夠高,那就再讓輔助模型做下一輪評估。

曲凱:C.AI 基本代表了 post training 的最高水準(zhǔn)了,如果讓你給其他做 post-train 的團(tuán)隊(duì)幾點(diǎn)建議的話,你覺得什么是最有用,但可能會被大家忽視的?

Ted:我覺得大家可以思考兩個(gè)問題。

1) 你微調(diào)用的數(shù)據(jù),質(zhì)量真的不能更高了嗎?

可能的情況是,你找到的數(shù)據(jù)中只有一半是真正的高質(zhì)量數(shù)據(jù),如果把另一半丟掉或者重新處理一下,反而能讓模型學(xué)得更好。

而且,高質(zhì)量數(shù)據(jù)的標(biāo)準(zhǔn)也在不斷變化,因?yàn)橛脩羧阂苍诓粩喟l(fā)生變化,比如開學(xué)前后的用戶就會很不一樣。

所以我們做 SFT 的時(shí)候,不會人工挑選高質(zhì)量對話數(shù)據(jù),而是會根據(jù)用戶的反饋數(shù)據(jù)來輔助挑選。

我們會 build 一個(gè)簡單的 DPO 管線來快速觀察用戶偏好的變化,然后讓每次 SFT 的數(shù)據(jù)集也隨之變化??梢砸恢?SFT 一直爽。

2) 收集來的用戶偏好數(shù)據(jù),只能是點(diǎn)贊點(diǎn)踩嗎?

我和很多國內(nèi)外做類似產(chǎn)品的人聊過,發(fā)現(xiàn)提到用戶偏好數(shù)據(jù),他們就只能想到點(diǎn)贊點(diǎn)踩。但是用戶使用一個(gè)產(chǎn)品時(shí),能做的事情非常多,比如 Ta 可以編輯或者刪除某句話,那這個(gè)操作前后不也代表了一個(gè)偏好嘛?

所以大家可以多去思考,怎么能在產(chǎn)品上巧妙地獲取更豐富的用戶反饋或者互動(dòng)數(shù)據(jù),這是真正能夠產(chǎn)生差異化的點(diǎn),而且現(xiàn)在也存在大量低垂的果實(shí)。

我們在產(chǎn)品層面雖然做得很粗糙,但我們會把前端收集到的用戶行為,都盡量轉(zhuǎn)化成可利用的偏好數(shù)據(jù),比如用戶打字延遲久一點(diǎn),我們都會把它記錄下來,因?yàn)檫@很可能代表上一句話用戶不那么喜歡...

曲凱:所以一切的核心都在于數(shù)據(jù)。

Ted:對。不論是 SFT 里的高質(zhì)量對話數(shù)據(jù),還是偏好對齊里的偏好數(shù)據(jù),在收集和過濾上能挖掘出來的天花板都是非常高的,我個(gè)人覺得大家現(xiàn)在做得都不夠好。

曲凱:另外,C.AI 的語音延遲基本是業(yè)界做得最好的,這你們是怎么做到的?

Ted:之所以存在語音延遲的問題,是因?yàn)檎Z音互動(dòng)是一個(gè)線性的過程。

如果你對雷電將軍說「I love you」,在你聽到她的回復(fù)前,后端會經(jīng)歷這樣一個(gè)過程:你說的那句話會先被 ASR 模型實(shí)時(shí)轉(zhuǎn)成文字,等你說完后它會把這段文字傳給一個(gè)語言模型,然后這個(gè)語言模型會思考該如何回復(fù),想好后再給到 TTS 模型,把文字回答轉(zhuǎn)成語音的形式。而且這份語音文件要先上傳到云端,你接下來才能在 APP 里點(diǎn)擊播放,聽到雷電將軍對你說「Can I ask you a question? 」。

在去年,即便各個(gè)環(huán)節(jié)都是用當(dāng)時(shí)最好的架構(gòu),這一套流程下來,端到端的延遲也得接近 2 秒。

但是因?yàn)槲覀兊哪P腿际亲匝校灿凶约旱?GPU 和云服務(wù)器,所以我們能采取很多靈活的手段來提升效率,把延遲壓縮到 0.5 秒以內(nèi)。

這里我可以分享三個(gè)比較好用的方法:

1) 預(yù)生成:我們的語言模型不會等到確認(rèn)用戶說完了才反應(yīng),而是在用戶跟機(jī)器說話的全過程中,一直在思考,如果用戶這里說完就結(jié)束了,我要回復(fù)什么。這樣要是用戶真的停下了,它能很快把預(yù)生成的東西放出來。要是這句說完了用戶還在繼續(xù)說,它就會把已生成的內(nèi)容丟掉,重新生成新的回復(fù)。

2) 光標(biāo)動(dòng)畫:這是產(chǎn)品設(shè)計(jì)上一個(gè)取巧的方法。當(dāng)用戶說話時(shí),屏幕下方會有個(gè)光暈,代表用戶正在說話中。一旦用戶結(jié)束了,光暈就會跑到角色的頭像上,代表角色要開始說話了。在這個(gè)過程中,用戶的注意力會被動(dòng)畫吸引,也可以額外爭取出 0.2-0.3 秒。

3) 雙模型搭配:因?yàn)榇竽P陀?jì)算量大,回復(fù)比較慢,所以也可以試著讓一個(gè)靈敏的小模型先回一些簡單的填充式的詞,比如,“對”、“是的”,這就可以爭取到 1 秒左右的時(shí)間,然后再讓大模型接上,這樣用戶就感覺不到太多延遲。

硅谷觀察

曲凱:現(xiàn)在大家普遍會用多個(gè)模型來執(zhí)行任務(wù),比如用最高級的模型去做意圖識別,然后用其它的模型去做生成。硅谷那邊大家現(xiàn)在怎么看待這件事?

Ted:多模型混用是一個(gè)必然的趨勢。一個(gè)大家看破不說破的例子就是 OpenAI。你會發(fā)現(xiàn) ChatGPT 在執(zhí)行不同任務(wù)的時(shí)候,不論是延遲還是內(nèi)容質(zhì)量,都有明顯的區(qū)別,所以他們內(nèi)部大概率也是這么干的。

現(xiàn)階段多模型混用的效果很好,成本也更低,在未來一段時(shí)間里,很可能會成為一個(gè)常規(guī)操作,除非某天哪個(gè)模型強(qiáng)到能吊打其它所有模型,成本也降下來了,那到時(shí)候大家只用這個(gè)超級模型就行了。

曲凱:硅谷現(xiàn)在普遍會怎么看模型側(cè)未來的發(fā)展?

Ted:在 o1 發(fā)布后的這幾個(gè)月里,硅谷整體還是很樂觀。大家覺得推理側(cè)大有可為。

這里很推薦大家去 Github 上了解一個(gè)項(xiàng)目,叫 entropix,很有意思,我在 X 上關(guān)注的很多大V都在聊它。它會讓模型檢查自己對當(dāng)前的答案有多自信,然后在不同的自信程度下,模型會采取不同的思考深度和思維發(fā)散方式,最終輸出一個(gè)更好的回答。通過這種方法,一個(gè) Llama 3.2 1B 的模型就能很好地回答「9.1 和 9.8 哪個(gè)更大」這種問題了。

另外,o1 給我的一個(gè)啟發(fā)是,有沒有可能讓模型完全模擬人類對話的思維鏈呢?現(xiàn)在你和模型說話,它都是直給一個(gè)答案,但其實(shí)人類的交流非常動(dòng)態(tài),我們經(jīng)常會打了又刪、發(fā)了又撤回,因?yàn)槲覀兡X子里可能有幾十種表達(dá)方式,每一種產(chǎn)生的效果都有微妙的不同。

如果能讓模型也具備這種動(dòng)態(tài)的思維過程,在每次說話前先想幾十個(gè)回答,而且讓它知道說某句話能讓玩家好感度 +5,說另一句會讓玩家當(dāng)下的好感度 -2,但是在接下來的 20 輪里好感度會 +100,那應(yīng)該會很有意思。

曲凱:當(dāng)下硅谷那邊還有什么關(guān)注度比較高的趨勢熱點(diǎn)嗎?

Ted:一句話總結(jié)的話,做產(chǎn)品的都想靠多模態(tài)賺錢,搞算法的都在想怎么復(fù)制 o1,兩邊都在期待自動(dòng)交互 Agent 解鎖的想象空間。

曲凱:硅谷那邊也開始愁賺錢了嗎?

Ted:有點(diǎn)吧。在今天這個(gè)時(shí)間點(diǎn),基礎(chǔ)研究的敘事已經(jīng)翻篇了,大家還是要想未來的商業(yè)模式怎么驗(yàn)證。

曲凱:我覺得這跟資本市場的好壞是相關(guān)的,國內(nèi)這兩年一直在強(qiáng)調(diào)賺錢,是因?yàn)閲鴥?nèi)的融資環(huán)境很差。你覺得美國這兩年一級市場對 AI 的熱度,是怎么變化的?

Ted:前兩年 VC 比較有耐心,因?yàn)榧夹g(shù)進(jìn)步確實(shí)很快,但燒了兩年,現(xiàn)在模型發(fā)展也有點(diǎn)放緩,所以 VC 會開始期待更落地的商業(yè)模式,美國的融資環(huán)境也更務(wù)實(shí)了。

曲凱:你最近離開 C.AI 之后,也面了很多硅谷的初創(chuàng)公司,聊下來整體感受怎么樣?

Ted:我有兩個(gè)比較大的感受,一個(gè)是,現(xiàn)在業(yè)界越來意識到 Post Training 的重要性了,所以相關(guān)人才真的非常搶手。

另一個(gè)是,現(xiàn)在 AI 公司的面試更加強(qiáng)調(diào)實(shí)戰(zhàn)了,他們甚至允許你使用一些 AI 工具,比如我面 Cursor 的時(shí)候就可以直接用 Cursor 一起解題。

因?yàn)樵谶@個(gè)過程中,他們看重的倒不是你解題的結(jié)果,而是你解決問題的思路。從你問 AI 的第一個(gè)問題就能看出你的基礎(chǔ)素養(yǎng)。

三五年前,要是我面試遇到了很難的問題,我就覺得完蛋了,但現(xiàn)在我特別有自信,我會把我能想到的所有東西都分享給面試官,包括我 Google 搜索、使用 AI 工具的過程,我會讓對方感受到,這就是我加入你們團(tuán)隊(duì)之后的思考方式和協(xié)作方式。

曲凱:你聊的過程中,聽到的最好的一個(gè)問題是什么?

Ted:有一個(gè)問題我非常喜歡,就是會有 founder 問「你覺得我們這個(gè) idea 有多不靠譜?」 。

說實(shí)話,被問到這個(gè)問題時(shí),我的第一反應(yīng)都是「超不靠譜??!」哈哈,然后我們就會展開一系列的攻防問答,甚至有點(diǎn)相互冒犯了(笑),但我很享受這樣的交流,而且在這個(gè)過程中我會越來越理解和相信對方的愿景。

曲凱:要是反過來,你作為面試官去面一個(gè) Post Training 崗的人,你會怎么考察 Ta?

Ted:我會提前讓 Ta 讀兩篇技術(shù) paper,然后問問 Ta 有沒有讀出來什么問題。這些 paper 大概率是我們內(nèi)部測試過、知道有技術(shù)缺陷的,但我想了解一下,這個(gè)人在不做測試的情況下,是不是也能發(fā)現(xiàn)一些不對勁的地方。

因?yàn)槲野l(fā)現(xiàn)我身邊優(yōu)秀的研究員讀 paper 的直覺都非常好,出來一個(gè)最新的 paper,他們往往讀一遍就能隱隱察覺一些問題。

曲凱:另外我好奇,你在 C.AI 的這一年里,每天的工作節(jié)奏是怎樣的?

Ted:一句話形容的話,大概是主動(dòng) 996 (笑)。公司并不會強(qiáng)迫大家加班,但我自己很熱愛工作。

曲凱:是只有你這樣,還是大家都這樣?

Ted:我感覺大部分人都是。

有時(shí)候我下班刷 Reddit,如果看到有用戶在報(bào)錯(cuò),我就會去 Slack 上看一眼有沒有什么運(yùn)維的同事在,或者我能不能自己修,每次我看的時(shí)候都有十幾個(gè)人在線(當(dāng)時(shí)公司有七八十人),有年輕人也有五十多歲的老工程師,這些人可能都和我有一樣的想法。

曲凱:在美國的初創(chuàng) AI 公司里, 996 是一個(gè)常態(tài)嗎?

Ted:996 這個(gè)話其實(shí)有點(diǎn)夸張了,這邊沒那么卷,大家整體還是比較 chill 的。

但初創(chuàng)公司的氛圍真的會讓你感受到一種使命感,你會覺得「我在和一群很厲害的人做一件很酷的事」,所以大家有很強(qiáng)的 motivation。

曲凱:在硅谷的各類公司工作了這么多年,你覺得現(xiàn)在華人在硅谷的現(xiàn)狀怎么樣?

Ted:我特別喜歡現(xiàn)在硅谷的氛圍,當(dāng)下可以說是華人最好的機(jī)會。

現(xiàn)在硅谷大廠和 AI startup 里面華人比例都非常之高,大家的站位也越來越靠前,比如剛剛從 OpenAI 離職,做到了安全副總裁的翁荔。

而且還有越來越多的華人在涌向硅谷,其中不少是拿著高薪、完全可以靜待退休的人。

這樣的一個(gè)趨勢就會讓越來越多的華人打進(jìn)最核心的圈子,幫助整個(gè)華人群體獲得更大的影響力和話語權(quán)。

曲凱:對,前一陣我去 Meta 的食堂吃飯,回頭一看,熙熙攘攘,基本百分百都是中國員工,那一瞬間我有種回到大學(xué)食堂的感覺。

Ted:對,現(xiàn)在硅谷特別需要技術(shù)人才,而我們?nèi)A人就是又有很好的學(xué)術(shù)基礎(chǔ),又特別努力,所以一切都恰逢其時(shí)。

而且我相信,華人在硅谷會越來越好。

你想想看,像 OpenAI 這樣的公司,每次回購都能有一小批人能財(cái)富自由,這些人會散作滿天星,創(chuàng)建自己的公司、培養(yǎng)新的團(tuán)隊(duì),這都是將來華人在硅谷立足的根基。

曲凱:這個(gè)價(jià)值一下子就高上去了(欣慰臉.jpg)。

我最后問一個(gè)問題,你提到 C.AI 的時(shí)候一直說,「我們 C.AI」如何如何,感覺你還是真心愛著 C.AI 這家公司,所以你到底為什么要離開 C.AI ?

Ted:我相信我在 C.AI 積累的東西能夠在一個(gè)不同的平臺上造福更多的人。

我不知道這番話要怎么說才能不那么假大空,但我是真心覺得我能為全人類做更多的貢獻(xiàn)。

【活動(dòng)預(yù)告】

12 月 7 日,我們會請到 Ted 做一場線上 AMA 活動(dòng),感興趣的朋友歡迎點(diǎn)擊閱讀原文或掃描下面的二維碼,一起來認(rèn)識&交流(非投資人優(yōu)先)!

42章經(jīng)

思考事物本質(zhì)

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
今冬最冷時(shí)間表出爐了,啥時(shí)候最冷?2026年春節(jié)冷不冷?早了解

今冬最冷時(shí)間表出爐了,啥時(shí)候最冷?2026年春節(jié)冷不冷?早了解

阿龍美食記
2025-12-27 18:45:06
河南網(wǎng)紅羅大美下葬,此前被害后遺體停放太平間近900天,妹妹發(fā)文:在一個(gè)小小的儀式里送了哥哥最后一程,讓他安靜入土,回歸自然

河南網(wǎng)紅羅大美下葬,此前被害后遺體停放太平間近900天,妹妹發(fā)文:在一個(gè)小小的儀式里送了哥哥最后一程,讓他安靜入土,回歸自然

揚(yáng)子晚報(bào)
2025-12-28 18:28:40
首批援助物資運(yùn)抵柬埔寨,充分體現(xiàn)了深厚情誼

首批援助物資運(yùn)抵柬埔寨,充分體現(xiàn)了深厚情誼

映射生活的身影
2025-12-28 22:14:33
張靚穎和馮軻長跑15年的愛情,如今天差地別

張靚穎和馮軻長跑15年的愛情,如今天差地別

仙味少女心
2025-12-27 21:12:53
日本選手在南京奪冠!頒獎(jiǎng)靠邊站,蒯曼想讓她捧杯,秦志戩沒同意

日本選手在南京奪冠!頒獎(jiǎng)靠邊站,蒯曼想讓她捧杯,秦志戩沒同意

三十年萊斯特城球迷
2025-12-28 17:22:15
河南將出現(xiàn)大雪或暴雪!跨年大范圍雨雪+冷空氣登場,鄭州最大積雪深度8厘米,氣溫暴跌至零下6℃

河南將出現(xiàn)大雪或暴雪!跨年大范圍雨雪+冷空氣登場,鄭州最大積雪深度8厘米,氣溫暴跌至零下6℃

魯中晨報(bào)
2025-12-28 20:57:02
南博事件持續(xù)發(fā)酵!拍賣行也慌了,北京一20年老店突然停擺…

南博事件持續(xù)發(fā)酵!拍賣行也慌了,北京一20年老店突然停擺…

火山詩話
2025-12-28 16:51:31
央視《今日說法》主持人被騙1000元買茶葉,嫌犯已被抓獲:被害人不止我一個(gè),考慮對方家里有2個(gè)孩子,簽了諒解書

央視《今日說法》主持人被騙1000元買茶葉,嫌犯已被抓獲:被害人不止我一個(gè),考慮對方家里有2個(gè)孩子,簽了諒解書

揚(yáng)子晚報(bào)
2025-12-28 21:39:22
征服中年女人,無需套路:兩顆真心,一生相守

征服中年女人,無需套路:兩顆真心,一生相守

青蘋果sht
2025-11-04 06:10:40
戴佩妮成都站深情開唱,現(xiàn)場宣布取消北京、廣州兩站

戴佩妮成都站深情開唱,現(xiàn)場宣布取消北京、廣州兩站

封面新聞
2025-12-28 07:53:05
成都豐田爆炸原因曝光,現(xiàn)場一片狼藉損失慘重

成都豐田爆炸原因曝光,現(xiàn)場一片狼藉損失慘重

映射生活的身影
2025-12-28 19:35:49
臺灣海域突發(fā)6.6級地震,多地震感強(qiáng)烈!有上海高層住戶感受到搖晃

臺灣海域突發(fā)6.6級地震,多地震感強(qiáng)烈!有上海高層住戶感受到搖晃

縱相新聞
2025-12-28 08:37:04
看了熱搜上臭名昭著的母女,我確信世上真有天生的壞種,代代遺傳

看了熱搜上臭名昭著的母女,我確信世上真有天生的壞種,代代遺傳

洞見
2025-12-26 21:13:17
商丘36歲銀行女經(jīng)理家中自縊:丈夫已死,儲戶賠償難,銀行不擔(dān)責(zé)

商丘36歲銀行女經(jīng)理家中自縊:丈夫已死,儲戶賠償難,銀行不擔(dān)責(zé)

奇思妙想草葉君
2025-12-28 01:45:36
遼寧遼陽白塔區(qū)三里廚娘飯店重大火災(zāi)事故調(diào)查報(bào)告發(fā)布,40名公職人員被問責(zé)

遼寧遼陽白塔區(qū)三里廚娘飯店重大火災(zāi)事故調(diào)查報(bào)告發(fā)布,40名公職人員被問責(zé)

界面新聞
2025-12-28 20:21:35
部分地區(qū)氣溫下降10℃以上,大雪大雨要來了!

部分地區(qū)氣溫下降10℃以上,大雪大雨要來了!

魯中晨報(bào)
2025-12-28 21:10:07
奪冠半月突遭解約!張本智和兄妹雙雙失業(yè),背后3大真相太扎心

奪冠半月突遭解約!張本智和兄妹雙雙失業(yè),背后3大真相太扎心

卿子書
2025-12-28 08:50:29
美媒一定程度上承認(rèn)了“斬殺線”存在

美媒一定程度上承認(rèn)了“斬殺線”存在

環(huán)球時(shí)報(bào)國際
2025-12-28 15:40:48
268:0全票通過!烏克蘭下任總統(tǒng)已敲定?一旦當(dāng)選,連美國一起打

268:0全票通過!烏克蘭下任總統(tǒng)已敲定?一旦當(dāng)選,連美國一起打

瞳哥視界
2025-12-28 21:15:48
茅臺明年不再使用分銷方式,新任董事長:茅臺不會干違反市場規(guī)律的事,也不會干讓渠道商虧錢的事

茅臺明年不再使用分銷方式,新任董事長:茅臺不會干違反市場規(guī)律的事,也不會干讓渠道商虧錢的事

澎湃新聞
2025-12-28 19:48:27
2025-12-29 05:39:00
42章經(jīng) incentive-icons
42章經(jīng)
創(chuàng)投圈第一自媒體
58文章數(shù) 138關(guān)注度
往期回顧 全部

科技要聞

特斯拉將在華布局自動(dòng)駕駛?記者求證→

頭條要聞

途經(jīng)俄羅斯航班墜機(jī)38人身亡 機(jī)身或被彈片擊中

頭條要聞

途經(jīng)俄羅斯航班墜機(jī)38人身亡 機(jī)身或被彈片擊中

體育要聞

MVP概率達(dá)82.5%!約基奇連超大鳥喬丹

娛樂要聞

白敬亭現(xiàn)身冰雪大世界 拍視頻還翻車了

財(cái)經(jīng)要聞

英偉達(dá)的收購史

汽車要聞

理想的2026:L9不容有失,i9再戰(zhàn)純電?

態(tài)度原創(chuàng)

房產(chǎn)
健康
游戲
本地
公開課

房產(chǎn)要聞

降維打擊!三亞CBD驚現(xiàn)“豪宅新王”,高端局要變天了!

這些新療法,讓化療不再那么痛苦

2025年畫面最好十大游戲 《明末淵虛之羽》上榜

本地新聞

云游安徽|踏訪池州,讀懂山水間的萬年史書

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版