• 克雷西 聽雨 發(fā)自 凹非寺
  量子位 | 公眾號 QbitAI

DeepSeek，又有核心工程師流入江湖——

郭達(dá)雅，V2、V3、R1等一系列模型的核心作者，被曝離職。

這位被導(dǎo)師寄予厚望成為“中山大學(xué)雷軍”的技術(shù)天才，在學(xué)術(shù)與競賽領(lǐng)域有著近乎傳奇的履歷。

他自述在入學(xué)博士后的第三天便完成了畢業(yè)所需的論文發(fā)表要求，展現(xiàn)出驚人的科研效率。

他還多次在騰訊廣告算法大賽中蟬聯(lián)冠軍，并在ATEC科技精英賽和微信大數(shù)據(jù)挑戰(zhàn)賽中斬獲頭籌。被調(diào)侃還沒畢業(yè)就有著百萬獎(jiǎng)金。

而且新時(shí)代的工程師，甚至還出現(xiàn)過綜藝?yán)铩?/p>

在真人秀《燃燒吧！天才程序員》中，他作為僅有的兩名SSS級“巨佬”選手，在60小時(shí)的極限挑戰(zhàn)中展現(xiàn)了頂尖的編碼實(shí)力……

消息傳到外網(wǎng)，也引發(fā)了很多網(wǎng)友的關(guān)注，有人表示，希望這不會(huì)給DeepSeek-V4帶來影響。

畢竟，郭達(dá)雅從博士畢業(yè)后入職DeepSeek開始，就參與了Coder、Math等專項(xiàng)模型，以及從V2、V3到R1的完整研發(fā)鏈條，還都是核心作者。

所以郭達(dá)雅，究竟是哪一種天才少年？

DeepSeek多款模型核心作者

郭達(dá)雅于2023年博士畢業(yè)后加入DeepSeek，專注代碼智能和大語言模型推理。

促使他加入DeepSeek的原因很簡單：有一位師姐在DeepSeek工作，和他聊起公司追求AGI的愿景，這與他的價(jià)值觀比較吻合。

• 當(dāng)時(shí)，我的一位師姐在 DeepSeek工作，她找到了我，跟我聊了DeepSeek的愿景——追求AGI，推動(dòng)人類社會(huì)的加速發(fā)展。這跟我的價(jià)值觀是相合的。
  同時(shí)，DeepSeek有比較多的資源投入研發(fā)，領(lǐng)導(dǎo)層也希望打造一個(gè)有創(chuàng)新氛圍和自由的公司。我有這樣的熱情去做這件事，我也想追求這樣的工作環(huán)境。最終，我選擇加入了DeepSeek。

目前，郭達(dá)雅的個(gè)人主頁還沒有更新，仍然顯示為DeepSeek研究員。

DeepSeek的一系列模型，包括V2、V3和R1，還有Math、Coder、Prover和V2-Prover，郭達(dá)雅全都是核心貢獻(xiàn)者。

按時(shí)間順序梳理，第一條是2024年1月的代碼大模型DeepSeek-Coder。

這個(gè)項(xiàng)目推出了從1.3B到33B的一系列開源代碼模型，在多項(xiàng)基準(zhǔn)上做到了當(dāng)時(shí)的開源代碼模型SOTA。

第二項(xiàng)成果關(guān)于數(shù)學(xué)推理，也就是2024年2月的DeepSeek-Math。

它以DeepSeek-Coder-Base-v1.5 7B為基礎(chǔ)，針對數(shù)學(xué)能力進(jìn)行了繼續(xù)訓(xùn)練，額外使用了120B數(shù)學(xué)相關(guān)token。

更關(guān)鍵的是，DeepSeek-Math的論文中提出了GRPO這個(gè)新型強(qiáng)化學(xué)習(xí)方法，后來成為了R1推理的關(guān)鍵。

緊接著是形式化證明，2024年5月，DeepSeek發(fā)布了DeepSeek-Prover。

這個(gè)項(xiàng)目面向Lean 4定理證明，核心方法是大規(guī)模合成formal proof數(shù)據(jù)，并在此基礎(chǔ)上微調(diào)DeepSeek-Math 7B。

結(jié)果，模型在Lean 4 miniF2F上whole-proof generation準(zhǔn)確率達(dá)到 46.3%（64 samples），累計(jì)到52%，高于GPT-4的23.0%；在FIMO基準(zhǔn)上證明了148題中的5題，而GPT-4得分為0。

這項(xiàng)成果說明，DeepSeek的模型不只能完成一般數(shù)學(xué)推理，還延伸到了更硬核的形式化推理方向。

還有我們更熟悉的V2、V3和R1，在這個(gè)研發(fā)過程中，DeepSeek證明了不依賴人工標(biāo)注的推理軌跡，僅通過純強(qiáng)化學(xué)習(xí)，也能把大模型的推理能力激發(fā)出來，并自然涌現(xiàn)出自反思、驗(yàn)證、動(dòng)態(tài)策略調(diào)整等行為模式。

DeepSeek-R1的相關(guān)論文，后來還登上了Nature封面，該論文披露，R1的訓(xùn)練成本僅約29.4萬美元（折合人民幣約208萬）。

總之，任職期間，郭達(dá)雅并不只是參與單點(diǎn)項(xiàng)目，而是參與了貫穿DeepSeek一整段主線的研發(fā)過程

而在這一系列的成功背后，有他從中學(xué)時(shí)期便已經(jīng)產(chǎn)生的對計(jì)算機(jī)、對編程的深厚興趣。

“希望他成為中山大學(xué)的雷軍”

郭達(dá)雅曾就讀于珠海一中，從中學(xué)時(shí)期便展現(xiàn)出對計(jì)算機(jī)科學(xué)的濃厚興趣。

在接受珠海一中的訪談時(shí)，郭達(dá)雅表示，自己選擇計(jì)算機(jī)專業(yè)是興趣使然，并且這種興趣正是產(chǎn)生于中學(xué)期間。

• 興趣是我選擇計(jì)算機(jī)專業(yè)并取得如今成就的重要因素，而這一興趣的萌芽正源自珠海一中。
  回想高中時(shí)光，學(xué)校豐富的實(shí)踐活動(dòng)和課程不僅拓寬了我的視野，也讓我在信息課上第一次接觸到計(jì)算機(jī)編程。
  最初的我對編程一無所知，但很快便被其嚴(yán)謹(jǐn)?shù)倪壿嬓院蜔o限的創(chuàng)造力深深吸引。
  通過編寫簡單的代碼，我不僅感受到算法的精妙，還體會(huì)到數(shù)學(xué)在實(shí)際應(yīng)用中的強(qiáng)大作用。
  這段經(jīng)歷讓我對計(jì)算機(jī)科學(xué)產(chǎn)生了濃厚興趣，也讓我在高考結(jié)束后毫不猶豫地選擇了計(jì)算機(jī)專業(yè)。

2014年，郭達(dá)雅被中山大學(xué)計(jì)算機(jī)學(xué)院錄取，隨后留在中大繼續(xù)直博深造。

大四時(shí)，他入選中山大學(xué)與微軟亞洲研究院聯(lián)合培養(yǎng)博士生項(xiàng)目，師從印鑒教授和周明博士，研究方向是自然語言處理。周明則后來在大模型浪潮中，創(chuàng)辦了瀾舟科技。

京東探索研究院副院長、階躍星辰Tech Fellow段楠的博士生導(dǎo)師也是周明，兩人算是師出同門。

而郭達(dá)雅在中山大學(xué)對他進(jìn)行的采訪中表示，自己在剛?cè)雽W(xué)的第三天，就完成了中大博士畢業(yè)的論文發(fā)表要求。

讀博期間，郭達(dá)雅的實(shí)習(xí)是在聯(lián)培單位MSRA完成的。

其間，郭達(dá)雅完成了CodeBert以及GraphCodeBert的研究，分別發(fā)表在EMNLP 2020 Findings和ICLR 2021上。

CodeBert開發(fā)了一個(gè)雙模態(tài)預(yù)訓(xùn)練模型，首次實(shí)現(xiàn)了自然語言（NL）和編程語言（PL）的雙模態(tài)預(yù)訓(xùn)練，填補(bǔ)了此前沒有模型能同時(shí)處理NL和PL混合輸入的空白。

而GraphCodeBert則在此基礎(chǔ)上，首次將代碼的數(shù)據(jù)流結(jié)構(gòu)納入預(yù)訓(xùn)練，讓模型對代碼的理解更深入。

畢業(yè)時(shí)，郭達(dá)雅的博士論文《基于預(yù)訓(xùn)練的程序理解與生成》，獲評2023年中山大學(xué)優(yōu)秀博士學(xué)位論文。

這篇論文主要以程序理解與生成為研究課題，并針對該領(lǐng)域現(xiàn)有研究工作在數(shù)據(jù)與模型方面存在的問題，提出了基于代碼預(yù)訓(xùn)練的方法和模型，目的是利用人工智能技術(shù)提高軟件開發(fā)的效率。

從會(huì)議到博士論文，再到DeepSeek期間的工作，郭達(dá)雅的工作幾乎是一直圍繞著Coding展開，這也增加了曝料中他離職后負(fù)責(zé)Coding這一說法的可信度。

DeepSeek-V3發(fā)布后，他的導(dǎo)師印鑒教授，還特別寄語，希望他能成為“中山大學(xué)的雷軍”

截至目前，郭達(dá)雅已在NeurIPS、ACL、EMNLP等國際頂級AI會(huì)議發(fā)表論文十余篇，谷歌學(xué)術(shù)引用量超1300次。

此外，在數(shù)據(jù)挖掘競賽方面，郭達(dá)雅也長期活躍于一線賽場：

2021、2022年，他連續(xù)兩年拿下螞蟻集團(tuán)主辦的ATEC科技精英賽冠軍；

2022年微信大數(shù)據(jù)挑戰(zhàn)賽，3200支隊(duì)伍同臺(tái)競技，他帶隊(duì)奪冠，成功將30萬大獎(jiǎng)收入囊中。

而郭達(dá)雅最具代表性的戰(zhàn)績，是在騰訊廣告算法大賽中連續(xù)奪冠

作為DYG戰(zhàn)隊(duì)核心成員，他在2019年獲得冠軍，并于2020年實(shí)現(xiàn)衛(wèi)冕，利用BERT算法拿下50萬元大獎(jiǎng)；2021年又成功奪冠。

也算是騰訊廣告算法大賽名人堂選手了。

One More Thing

有意思的是，學(xué)術(shù)和競賽全面開花的郭達(dá)雅，還有不太“科研”的一面——上綜藝

在以程序員為主題的綜藝真人秀《燃燒吧！天才程序員》中，郭達(dá)雅和另外15名選手一起展開了60小時(shí)的代碼極限挑戰(zhàn)。

節(jié)目組把選手分成了S、SS、SSS三個(gè)級別，SSS級的“巨佬”只有2名，郭達(dá)雅就是其中之一。

郭達(dá)雅一出場便引人矚目，“巨佬來了”“神一樣的存在”。

不僅強(qiáng)，而且頭發(fā)還挺茂密。

但現(xiàn)在，秦失其鹿，天下共逐之…

誰又能得到郭達(dá)雅呢？

[1]https://www.reddit.com/r/LocalLLaMA/comments/1rzu7rc/deepseek_core_researcher_daya_guo_rumored_to_have/
[2]https://guoday.github.io/
[3]https://mp.weixin.qq.com/s/bYztba9PwPHePhwufd4L7Q
[4]https://sai.sysu.edu.cn/node/545