Andrej Karpathy最近把自家"煉丹爐"的圖紙公開了。這套叫autoresearch的系統(tǒng)，能讓Claude Code自己跑實(shí)驗(yàn)、改參數(shù)、迭代模型，全程不需要人盯著。跑上幾天，出來的模型比原來強(qiáng)一截。

這事讓我挺坐不住的。我不訓(xùn)大模型，但天天用Claude Code寫代碼。為了讓代碼質(zhì)量穩(wěn)一點(diǎn)、風(fēng)格統(tǒng)一一點(diǎn)，我搞了一堆技能文件、記憶庫、子代理，像個(gè)給AI套上馬鞍的馴馬師。但說實(shí)話，這套"馬鞍"靠拍腦袋評估——感覺有用就留著，代碼評審出問題再修。

Karpathy這套玩法，等于給AI配了個(gè)實(shí)驗(yàn)室。能不能借過來，讓我的代碼生成流程也搞上科學(xué)實(shí)驗(yàn)？

從煉丹到寫代碼：同一套骨架

先拆解Karpathy的原版設(shè)計(jì)。核心就一條：用可重復(fù)的實(shí)驗(yàn)驅(qū)動(dòng)迭代。你定好指標(biāo)，AI改方案，跑實(shí)驗(yàn)，指標(biāo)漲了留下，跌了滾蛋。循環(huán)往復(fù)，直到撞上天花板。

這套邏輯搬到寫代碼上，理論上完全走得通。一個(gè)典型的開發(fā)流程是：接需求→探查→規(guī)劃→執(zhí)行→評審。把"評審"換成自動(dòng)化測試，整個(gè)鏈條就能閉環(huán)。

但有個(gè)前提被很多人忽略：實(shí)驗(yàn)必須是確定性的。同樣的輸入，跑十遍得出十個(gè)結(jié)果，這套系統(tǒng)就崩了。代碼生成比模型訓(xùn)練更難控制——同樣的prompt，溫度參數(shù)稍變，輸出可能天差地別。

我設(shè)計(jì)的測試框架長這樣：給定一個(gè)任務(wù)描述，AI生成代碼，和人工寫的參考實(shí)現(xiàn)做對比。評分用二進(jìn)制，過或不過，不搞模糊地帶。

三個(gè)核心指標(biāo)盯死：

功能正確性——代碼跑不跑得通，輸出對不對；

風(fēng)格合規(guī)性——有沒有按項(xiàng)目規(guī)范來，命名、結(jié)構(gòu)、注釋全算；

可維護(hù)性——復(fù)雜度、耦合度、測試覆蓋率，硬數(shù)字說話。

每個(gè)指標(biāo)單獨(dú)過線，才算這一代"存活"。

無狀態(tài)循環(huán)：每一代都是白紙

Karpathy的原版有個(gè)設(shè)計(jì)我特別喜歡：每次迭代完全無狀態(tài)。系統(tǒng)不記"上一代為什么這么改"，只保留當(dāng)前最優(yōu)版本和實(shí)驗(yàn)記錄。

這對寫代碼意味著什么？你的"技能文件"——那些告訴AI怎么規(guī)劃、怎么評審的prompt——可以被大膽重寫。只要實(shí)驗(yàn)通過，面目全非也沒關(guān)系。

我畫了個(gè)循環(huán)圖：

初始化→生成候選技能→跑測試集→算指標(biāo)→全過就替換當(dāng)前最優(yōu)→否則丟棄→下一輪。

和遺傳算法有點(diǎn)像，但選擇壓力更直接：不是"適應(yīng)度排序"，是"全過才晉級"。

這里藏著個(gè)反直覺的點(diǎn)：人工覺得好的改動(dòng)，實(shí)驗(yàn)可能證偽；AI瞎試的改動(dòng)，可能意外通關(guān)。人的直覺在局部優(yōu)化上還行，全局搜索基本抓瞎。

有個(gè)例子。我手動(dòng)調(diào)prompt時(shí)，總覺得"讓AI先寫測試再寫實(shí)現(xiàn)"能提升質(zhì)量。但小規(guī)模實(shí)驗(yàn)里，這條規(guī)則對通過率的影響是負(fù)的——可能是測試寫太死，實(shí)現(xiàn)被捆住了手腳。要沒實(shí)驗(yàn)數(shù)據(jù)，這條"最佳實(shí)踐"可能就埋進(jìn)技能文件里傳家了。

落地前的三道坎

圖紙畫完，真開工才發(fā)現(xiàn)坑不少。

第一，測試集從哪來。Karpathy訓(xùn)模型，數(shù)據(jù)管道是現(xiàn)成的。寫代碼的測試集得自己攢：真實(shí)任務(wù)、參考實(shí)現(xiàn)、驗(yàn)收標(biāo)準(zhǔn)，全是體力活。攢少了覆蓋不夠，攢多了維護(hù)爆炸。

第二，指標(biāo)怎么量化。"風(fēng)格合規(guī)"聽著簡單，落地要拆成可執(zhí)行的lint規(guī)則、AST檢查、甚至AI打分。不同項(xiàng)目規(guī)范不同，技能文件得能感知上下文。

第三，時(shí)間和錢。Karpathy的煉丹爐跑幾天幾夜，燒的是GPU。Claude Code按token計(jì)費(fèi)，跑一輪實(shí)驗(yàn)可能幾百次API調(diào)用。優(yōu)化循環(huán)本身需要優(yōu)化——比如先在小模型上篩方案，大模型做最終驗(yàn)證。

還有個(gè)更深層的問題：這套系統(tǒng)優(yōu)化的是"通過測試"，不是"寫出好代碼"。測試集覆蓋不到的角落，AI可能學(xué)會(huì)鉆空子。就像學(xué)生刷題刷出高分，真功夫未必長進(jìn)。

我目前的妥協(xié)是測試集里混"隱藏題"——不告訴AI評分標(biāo)準(zhǔn)，只看結(jié)果。以及定期人工抽檢，把漏網(wǎng)之魚補(bǔ)進(jìn)測試集。

從個(gè)人工具到團(tuán)隊(duì)基建

如果這套跑通，想象空間不止于個(gè)人效率。

團(tuán)隊(duì)里每個(gè)項(xiàng)目的代碼規(guī)范、評審習(xí)慣、技術(shù)債分布，都可以被編碼成測試集。新成員不用背文檔，AI自動(dòng)對齊風(fēng)格。老項(xiàng)目的隱性知識，被顯式固化成可執(zhí)行的指標(biāo)。

更激進(jìn)一點(diǎn)：不同業(yè)務(wù)線的技能文件可以雜交。支付團(tuán)隊(duì)的嚴(yán)謹(jǐn)+增長團(tuán)隊(duì)的敏捷，實(shí)驗(yàn)說了算，不用開會(huì)扯皮。

Karpathy的原話是：「讓模型基于實(shí)驗(yàn)結(jié)果自主改進(jìn)訓(xùn)練流程」。我把主語換成"代碼生成流程"，骨架完全適用。

當(dāng)然，現(xiàn)在還是"如果"。我剛把測試框架的腳手架搭完，第一批實(shí)驗(yàn)還沒跑完。指標(biāo)波動(dòng)大不大、收斂要多少輪、有沒有明顯的局部最優(yōu)陷阱——全是未知數(shù)。

有個(gè)細(xì)節(jié)挺有意思。我最初想把"人類評審時(shí)間"也納進(jìn)指標(biāo)，畢竟代碼最終給人看。但發(fā)現(xiàn)這個(gè)變量太噪：同一段代碼，早上審和晚上審，過不過可能全憑審的人心情。最后砍掉了，只留機(jī)器可量化的硬指標(biāo)。

也許這就是自動(dòng)化改進(jìn)的代價(jià)：你必須先放棄一些"人味"，換取可重復(fù)性。等系統(tǒng)跑穩(wěn)了，再想辦法把"人味"加回去。

你寫過最長的一套prompt有多少字？有沒有試過讓AI自己改自己——不是調(diào)語氣，是改結(jié)構(gòu)、換策略、甚至推翻重來？