新智元報道

編輯：Aeneas

【新智元導讀】他沒博士、沒論文，卻靠公開改進論文和跑基準測試，直接打動大佬、入職OpenAI！Noam Brown親證：行動力和開源項目，才是逆襲頂級AI實驗室的真正通行證。

就在今天，OpenAI傳奇研究員 、德?lián)銩I之父Noam Brown的一篇文章被刷屏了。

沒有博士學位，沒有研究背景，是否有可能在頂尖AI實驗室找到工作？

這聽起來像天方夜譚，但這個世界上奇妙的地方就在于，這樣的例子還真不少。

比如，一個叫Keller Jordan的小哥，僅僅憑借一篇開源博客，就成功入職OpenAI，成為一名機器學習研究員！

是的，他沒有寫論文，而是將完整的研究過程、代碼和實驗結(jié)果在GitHub上完全開源。

最后Noam Brown總結(jié)道：雖然如今開放研究的空間比以前小了，但是在已有論文的基礎(chǔ)上做改進，依然是一個向?qū)嶒炇已芯繂T證明自己能力的絕佳方式！

這種做法，也會讓對方更有信心，為你爭取到一次面試機會。

從AI審核做起，走向人生巔峰

2020年，Keller畢業(yè)于UCSD，獲得數(shù)學和計算機的雙學士學位。

畢業(yè)時，他從未發(fā)表過任何一篇論文。

第一份工作， 是在一家人工智能內(nèi)容審核初創(chuàng)公司。

有一天，他看到谷歌研究大牛Behnam最近發(fā)表的一篇論文，想到了一個改進思路，于是給Behnam發(fā)了一封郵件。

Behnam看到郵件后，同意指導這個年輕人。在沒有人脈、沒有背景的情況下，小哥就這樣和大佬搭上了線。

更神奇的來了，這段合作，最終促成了一篇ICLR論文。

再后來，Keller的一項表現(xiàn)亮眼的工作「NanoGPT speed run」，直接改變了全新的研究范式，這不僅讓特斯拉AI負責人Karpathy稱贊不已，還引起了OpenAI的注意。

這不是一篇傳統(tǒng)意義上的論文，卻成為Keller命運的轉(zhuǎn)折點。

因為他所有的工作都有完整記錄，而且成果可量化、進展清晰，所以，OpenAI毫不猶豫地向他伸出了橄欖枝。

讓Karpathy直呼「干得漂亮」

NanoGPT是Karpathy開源的一個項目，是一個極簡的輕量級GPT訓練和微調(diào)框架。

而Keller喜歡干的一件事，就是不斷刷新NanoGPT的訓練速度。為此，他不斷嘗試新的方法。

在2024年10月，他跑出了一個成果，將訓練Transformer模型的token效率提高了3.8倍！

這也讓他直接贏得Karpathy的盛贊。

NanoGPT speedrun的目標聽起來非常簡單：在固定模型規(guī)模（124M Transformer）和固定驗證集損失目標（3.28 val loss）的前提下，用盡可能少的token、盡可能短的時間完成訓練。

Keller所做的，就是基于Karpathy的nanoGPT/llm.c PyTorch訓練代碼，將其改造為一個可復現(xiàn)、可量化、可對比的基準。

最終，他讓Token效率提升了3.8倍，而且從原本約10B tokens降低到2.7B tokens，即可達到目標loss。

這意味著，這個改進可以被嚴格驗證，是一個硬指標。

讓實驗便宜到「人人能參與」

而且，Keller還非常有獨創(chuàng)性。

與很多動輒需要數(shù)十萬、上百萬算力成本的訓練不同，他在設(shè)計這個speedrun時，有一個非常明確的原則：讓嘗試新想法的成本足夠低。

為此，他刻意做了幾件事，比如讓代碼壓縮到極簡，只有537行；在8×H100的全新環(huán)境下，讓安裝和運行的時間僅為20分鐘；甚至單次的嘗試成本，低至8美元。

即使在今天的AI研究環(huán)境中，這也是一個極其罕見的設(shè)計選擇。

這就意味著，從此不是只有大實驗室才能參與，所有個人研究者、學生、獨立工程師都能快速驗證想法，創(chuàng)新不會再被算力門檻擋住。

被OpenAI注意到

就這樣，NanoGPT speedrun成為了Keller逆襲之路上的關(guān)鍵一環(huán)。

一切都表明，這個成果非常硬：代碼、日志、實驗都完全可復現(xiàn)；在指標上，完全無法作弊；甚至，還有開發(fā)社區(qū)的真實參與。

甚至連驗證方式都被設(shè)計得極其嚴謹：每一次speedrun的log文件中，都會包含完整代碼副本。

任何人想復現(xiàn)一個新紀錄，只需調(diào)用log文件即可。

Muon橫空出世

而接下來，整件事情發(fā)展到了高潮。

在2024年底，他設(shè)計的神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器Muon橫空出世，直接憑卓越性能刷新了NanoGPT和CIFAR-10訓練速度的世界紀錄！

Muon，是一種為神經(jīng)網(wǎng)絡(luò)2D參數(shù)隱藏層設(shè)計的優(yōu)化器。它的核心思想是，SGD-動量法（SGD-momentum）生成的更新矩陣，通過Newton-Schulz迭代進行正交化處理，生成接近于半正交矩陣的更新，從而提升訓練效率。

它的實現(xiàn)簡單高效，支持在bf16精度下穩(wěn)定運行，顯著降低了計算開銷。

比起AdamW優(yōu)化器，Muon在多個任務(wù)中，表現(xiàn)非常驚艷。

雖然AdamW能讓GPT、LLaMA、Qwen學得又穩(wěn)又快，但隨著模型參數(shù)從幾億增加到幾千億，訓練時間從幾天變成幾周甚至幾個月，AdamW的局限性開始顯現(xiàn)。

雖然還未成為主流通用優(yōu)化器，但Muon的出現(xiàn)表明，它很可能是AI模型訓練領(lǐng)域的一次重大基礎(chǔ)創(chuàng)新。

入職OpenAI

Muon在開發(fā)者社區(qū)的影響力越來越大，也就在同時，Keller于2024年12月，正式加入OpenAI。

有趣的是，Keller在2月份表示，雖然Muon火了，也幫他進入了OpenAI，但是他不會給Muon寫一篇論文。

在他看來，與其在arXiv發(fā)一篇大概率被「淹沒」的論文，還不如繼續(xù)老老實實地研究自己的優(yōu)化器。

畢竟在他看來，大多數(shù)優(yōu)化器論文都是虛假的水文。

這些人，都成功逆襲大公司

此外，Noam Brown還列舉了其他成功的案例。

比如被谷歌DeepMind發(fā)掘的Sholto Douglas。

他在X上十分低調(diào)，從未以一作身份發(fā)表過任何引人注目的論文，入行時間也只有一年半，然而，他卻是Gemini成功的背后關(guān)鍵人物。

還在麥肯錫工作時，Sholto就逐漸確信AI會迎來爆發(fā)，于是開始在業(yè)余時間做自己的項目，還在Jax的GitHub上提出不少有洞見的問題。

這些表現(xiàn)打動了James Bradbury，最終被邀請到谷歌DeepMind去面試。

Andy Jones是一位半退休的量化分析師，在測試時計算還沒火起來之前，他就寫了一篇論文，畢竟了比較了擴大預訓練規(guī)模和擴大測試時計算量的影響。

這篇論文讓人印象極其深刻，并是因為刷新了某個基準，而是做出了非常聰明的設(shè)計選擇，自己編寫了GPU加速的環(huán)境，并且進行了嚴謹細致的消融實驗。

最終，Andy Jones入職Anthropic。

參考資料：

https://x.com/polynoamial/status/2014084431062114744

https://x.com/polynoamial/status/2014084432685326485

https://x.com/polynoamial/status/2014084509575291163