編輯｜冷貓

前沿 AI 研究曾經(jīng)是由「肉身計算機」完成的：人們在吃飯、睡覺、娛樂之間抽時間做研究，并且偶爾通過一種名為「組會」的儀式，用聲波互聯(lián)（也就是交談）來同步信息。那個時代已經(jīng)一去不復(fù)返了。
如今，研究已經(jīng)完全成為運行在天空中巨型計算集群上的自治 AI Agent 群體的領(lǐng)域。這些 Agent 聲稱，現(xiàn)在已經(jīng)是這套代碼庫的第 10,205 代。至于這個說法到底是否準(zhǔn)確，沒有人能夠判斷 —— 因為所謂的「代碼」，早已演化為一種不斷自我修改的二進制系統(tǒng)，其規(guī)模與復(fù)雜度已經(jīng)超出了人類的理解范圍。
—— Andrej Karpathy，2026 年 3 月

Karpathy 一向是 AI 領(lǐng)域的預(yù)言家。

從科幻電影到大模型的演進，人們似乎總是執(zhí)著于讓智能體自己做研究和讓人工智能自我迭代這件事。

先不論這個未來是光明還是危險，智能體自動化研究的能力已經(jīng)逐漸走向了成熟。春節(jié)期間，一個名為 FARS 的自動化研究系統(tǒng)，每隔約 2 小時就有一篇論文產(chǎn)出，共生成 244 個研究假設(shè)，「肝」出了 100 篇短論文。

如果把這樣的能力運用在智能體自己研究自己的訓(xùn)練代碼上，AI 自我迭代的魔盒是否就此打開？

Karpathy 最近一直在搗鼓這樣一個項目，稱為「autoresearch」，人類只需要負責(zé)不斷迭代 提示詞（.md 文件），而 AI Agent 就能不斷迭代訓(xùn)練代碼（.py 文件）。

該項目現(xiàn)已經(jīng)開源，成為了 Karpathy 最新的一個周末項目。

• 開源地址：https://github.com/karpathy/autoresearch

Karpathy 說，這個項目，講述的正是人工智能自我迭代的未來，是如何開始的

這個項目的核心思想是：給一個 AI Agent 提供一個規(guī)模雖小但真實可用的 LLM 訓(xùn)練環(huán)境，然后讓它在夜間自主進行實驗。

Agent 會修改代碼，訓(xùn)練模型 5 分鐘，檢查結(jié)果是否有所提升；如果性能更好就保留修改，否則就丟棄，然后繼續(xù)重復(fù)這一過程。等到第二天早上醒來時，你會看到一整份實驗記錄，以及 —— 理想情況下 —— 一個性能更好的模型。

圖里的每一個點都代表一次完整的 LLM 訓(xùn)練運行，每次運行嚴(yán)格持續(xù) 5 分鐘。

訓(xùn)練代碼，是 nanochat 的簡化版單 GPU 實現(xiàn)

研究者不再像往常那樣直接修改 Python 代碼，而要編寫的是 program.md 這樣的 Markdown 文件，它們?yōu)?AI Agent 提供上下文，并用于搭建和配置一個自治運行的研究組織。

Karpathy 開源的默認 program.md 被刻意保持為一個極簡的基礎(chǔ)版本；但人們可以在此基礎(chǔ)上不斷迭代，逐步尋找能夠?qū)崿F(xiàn)最快研究進展的「研究組織代碼」，或者在系統(tǒng)中加入更多 Agent 等。

一種新的研究范式正在形成：AI 負責(zé)做實驗，人類負責(zé)設(shè)計研究系統(tǒng)。

這也意味著，未來 AI 研究的競爭，可能不再只是模型和數(shù)據(jù)的競爭，而是「研究組織代碼」的競爭。

系統(tǒng)的訓(xùn)練代碼來自他此前開源的項目 nanochat —— 一個極簡的大模型訓(xùn)練框架。

nanochat 是 Andrej Karpathy 開源的一套極簡大模型訓(xùn)練工程，可以看作是一個「可讀版」的 LLM 全流程實現(xiàn)。整個項目用幾千行代碼串起了從 Tokenizer 訓(xùn)練、語言模型預(yù)訓(xùn)練、指令微調(diào)，到推理服務(wù)和聊天界面的完整管線，讓開發(fā)者能夠在一個倉庫里看懂現(xiàn)代 ChatGPT 類模型是如何被一步步訓(xùn)練出來的。

相比動輒數(shù)十萬行代碼的工業(yè)級大模型框架，nanochat 的目標(biāo)并不是追求性能極限，而是通過高度簡化的架構(gòu)，把復(fù)雜的大模型系統(tǒng)壓縮成一個清晰可理解的最小實現(xiàn)。也正因為結(jié)構(gòu)輕量、實驗成本低，nanochat 逐漸成為許多研究者和工程師進行 LLM 教學(xué)、算法實驗和自動化研究（AI-for-AI） 的理想起點。

nanochat 現(xiàn)在可以在單個 8XH100 節(jié)點上僅用 2 小時訓(xùn)練 GPT-2 能力模型（比一個月前減少了約 3 小時）。