智東西
作者｜江宇
編輯｜漠影

一套“24小時(shí)運(yùn)轉(zhuǎn)”的龍蝦團(tuán)隊(duì)，在上線第4天，差點(diǎn)被主人親手“團(tuán)滅”。

智東西3月10日報(bào)道，海外知名AI科技博主、前谷歌產(chǎn)品經(jīng)理Shubham Saboo近日在社交平臺公開復(fù)盤了自己連續(xù)運(yùn)行30天的AI Agent系統(tǒng)。

在他的設(shè)想中，這支“龍蝦團(tuán)隊(duì)”應(yīng)該像一個(gè)自動(dòng)運(yùn)轉(zhuǎn)的小型內(nèi)容工作室：有人負(fù)責(zé)研究行業(yè)信息，有人負(fù)責(zé)寫內(nèi)容，還有人負(fù)責(zé)發(fā)布和運(yùn)營賬號，整個(gè)流程全天候自動(dòng)運(yùn)行。但現(xiàn)實(shí)很快給了他一記悶棍。

最初幾天，這套系統(tǒng)幾乎可以用“災(zāi)難”來形容：負(fù)責(zé)寫內(nèi)容的Agent寫出來的推文又長又空，讀起來像模板拼接；負(fù)責(zé)搜集信息的Agent一天抓回47條所謂的“行業(yè)線索”，其中40條都是沒用的假消息。

Saboo后來回憶，那幾天他幾乎一直在給Agent“擦屁股”。他花在修改Agent輸出上的時(shí)間，甚至比自己手動(dòng)把這些事情做完還多。上線第4天，他差點(diǎn)直接把整套系統(tǒng)關(guān)掉。

但事情在幾周后開始出現(xiàn)轉(zhuǎn)折。同樣的模型、同樣的提示詞，第4周時(shí)，這些Agent生成的內(nèi)容已經(jīng)可以直接拿來用，大多數(shù)草稿只需要改兩三個(gè)詞就能發(fā)布。原本需要他反復(fù)返工的任務(wù)，開始自動(dòng)跑通。

在這份復(fù)盤里，他回答了一個(gè)問題：為什么那么多人“養(yǎng)蝦”時(shí)，第一周就速速放棄，而有些人卻能把龍蝦變成同事，效率倍增。

一、第1周幾乎是“負(fù)收益”：改Agent比自己干活還累

Saboo最早上線的Agent是運(yùn)營Agent——“Kelly”，負(fù)責(zé)運(yùn)營他的X賬號。第一天只是搭建環(huán)境，第二天開始生成推文，但結(jié)果并不理想。

Kelly寫出來的內(nèi)容既冗長又套路化，經(jīng)常使用列表和箭頭符號，開頭是“我很高興宣布……”，結(jié)尾再配上一串標(biāo)簽，整體風(fēng)格不是作者平時(shí)的表達(dá)方式。

Saboo回憶，在第一周里，他幾乎每天都在修改這些內(nèi)容，花在修正Agent輸出上的時(shí)間，比自己直接寫一條推文還多。原本期待AI帶來效率提升，現(xiàn)實(shí)卻是不斷修補(bǔ)錯(cuò)誤輸出，同時(shí)還要維護(hù)系統(tǒng)本身。

后來復(fù)盤這段經(jīng)歷時(shí)，他把這個(gè)過程稱為 “糾錯(cuò)式Prompt工程（Corrective Prompt Engineering）”。與其一開始就設(shè)計(jì)完美提示詞，不如先在SOUL.md（Agent行為設(shè)定文件） 中寫一個(gè)粗略設(shè)定，然后通過持續(xù)反饋不斷修正，就像管理新員工一樣。第一版通常很普通，第十版開始能用，第三十版才會(huì)真正穩(wěn)定。

Saboo坦言，在第一周結(jié)束前，他一度差點(diǎn)把整個(gè)系統(tǒng)關(guān)掉。

二、把具體反饋寫進(jìn)文件，而不是停留在聊天里

Saboo發(fā)現(xiàn)，Agent真正變好的關(guān)鍵在于具體規(guī)則的積累。在“運(yùn)營Agent”Kelly第一次生成推文后，他把一組明確規(guī)則寫入Agent的記憶文件。

這個(gè)記憶文件后來逐漸形成兩個(gè)部分：一個(gè)叫“BAD”，記錄所有被否定的寫作模式，比如使用bullet points（項(xiàng)目符號列表）、箭頭格式或領(lǐng)英帖子的語氣；另一個(gè)叫“GOOD”，里面放的是作者過去表現(xiàn)最好的推文，讓Agent在每次寫作時(shí)進(jìn)行模仿。

隨著這些規(guī)則不斷累積，Kelly的表現(xiàn)逐漸改善。第10天時(shí)emoji基本消失，第15天開始模仿作者的句式結(jié)構(gòu)，到第20天時(shí)，大部分草稿只需要改一兩個(gè)詞就能發(fā)布。

Saboo認(rèn)為，很多人使用Agent時(shí)會(huì)忽略一個(gè)關(guān)鍵環(huán)節(jié)：反饋必須寫入文件，而不是停留在聊天記錄里。如果反饋只存在對話記錄中，下一次任務(wù)Agent就會(huì)再次犯同樣的錯(cuò)誤。只有當(dāng)這些經(jīng)驗(yàn)被寫入可持續(xù)加載的文件，系統(tǒng)才會(huì)真正進(jìn)化。

三、一次錯(cuò)誤，讓研究Agent學(xué)會(huì)判斷“信號”和“噪音”

Saboo的第二個(gè)Agent是研究Agent——“Dwight”，負(fù)責(zé)每天掃描AI行業(yè)信息，為內(nèi)容團(tuán)隊(duì)尋找選題線索。第一次掃描時(shí)，Dwight推送了47條信息，其中40條都屬于噪音：包括各種小更新、未經(jīng)驗(yàn)證的傳聞，以及幾乎沒有價(jià)值的項(xiàng)目。

于是Saboo給了它一個(gè)非常嚴(yán)格的規(guī)則：如果讀者Alex今天無法據(jù)此做任何事情，就不要推送。Alex是Saboo設(shè)定的目標(biāo)讀者畫像：一位AI產(chǎn)品開發(fā)者。

這個(gè)規(guī)則很快改變了Agent的行為。第10天時(shí)，Dwight每天只推送18條信息，而且大多有價(jià)值；到第25天時(shí)，數(shù)量減少到7條，但每一條都值得閱讀。

此外，一次錯(cuò)誤也讓系統(tǒng)進(jìn)一步優(yōu)化。Dwight曾把一個(gè)工具當(dāng)成“新發(fā)布項(xiàng)目”推薦給Saboo，后來才發(fā)現(xiàn)，這個(gè)工具早已存在，只是當(dāng)天有人在X上提到它。Dwight誤把“被討論”當(dāng)成“剛發(fā)布”。

Saboo隨后調(diào)整流程，要求Agent在推薦項(xiàng)目之前必須驗(yàn)證發(fā)布時(shí)間，例如檢查GitHub倉庫創(chuàng)建日期、Hacker News發(fā)布時(shí)間以及實(shí)際發(fā)布記錄。如果項(xiàng)目已經(jīng)存在一周以上且沒有明顯更新，就直接跳過。

他還徹底移除了GitHub趨勢榜作為信息源，因?yàn)槟抢镌胍籼?，很多?xiàng)目只是被重新討論而已。取而代之的是goodailist.com（專門篩選新AI項(xiàng)目的網(wǎng)站）。

四、Agent團(tuán)隊(duì)也會(huì)“發(fā)胖”：上下文太多反而拖慢系統(tǒng)

隨著系統(tǒng)不斷積累經(jīng)驗(yàn)，一個(gè)新的問題出現(xiàn)了：上下文膨脹。

Kelly的上下文一度達(dá)到161000個(gè)token，Dwight也超過156000個(gè)token。大量歷史記錄占據(jù)了模型的上下文空間，導(dǎo)致響應(yīng)變慢，輸出質(zhì)量也開始下降。

Saboo最終對兩個(gè)Agent進(jìn)行了“壓縮”：Kelly的上下文從161K減少到40K，Dwight從156K減少到43K。做法很簡單，只保留當(dāng)前真正有用的規(guī)則和記憶，其余內(nèi)容全部歸檔。

他后來把這件事變成固定流程，每兩周檢查一次Agent記憶文件。Saboo形容，這個(gè)過程就像軟件項(xiàng)目里的代碼重構(gòu)，如果長期不清理，系統(tǒng)就會(huì)越來越臃腫。

同一時(shí)期，他還解決了另一個(gè)系統(tǒng)問題。

第三周時(shí)，定時(shí)任務(wù)調(diào)度器出現(xiàn)Bug：任務(wù)在隊(duì)列中推進(jìn)，但實(shí)際上并沒有執(zhí)行。Saboo幾個(gè)小時(shí)后才發(fā)現(xiàn)問題，因?yàn)橄到y(tǒng)表面狀態(tài)看起來一切正常。

于是他新增了一個(gè)“首席運(yùn)營Agent”——Monica。Monica負(fù)責(zé)定期檢查系統(tǒng)“heartbeat（任務(wù)心跳信號）”。如果某個(gè)任務(wù)超過26小時(shí)沒有運(yùn)行，她會(huì)自動(dòng)觸發(fā)重新執(zhí)行。

五、每個(gè)Agent團(tuán)隊(duì)都會(huì)經(jīng)歷的三個(gè)階段

根據(jù)自己的實(shí)踐經(jīng)驗(yàn)，Saboo認(rèn)為大多數(shù)Agent團(tuán)隊(duì)都會(huì)經(jīng)歷三個(gè)階段。

第一階段是混亂期，通常發(fā)生在上線后的前一周。Agent輸出內(nèi)容普遍比較普通，修改成本甚至高于人工完成任務(wù)，很多人會(huì)在這一階段放棄。

第二階段是穩(wěn)定期，大約在第8到第21天之間。隨著反饋不斷積累，明顯錯(cuò)誤逐漸消失，輸出開始接近可用狀態(tài)，只需要少量編輯。

第三階段是復(fù)利期。當(dāng)系統(tǒng)積累了足夠多的規(guī)則和上下文后，Agent會(huì)逐漸理解用戶的表達(dá)習(xí)慣和判斷標(biāo)準(zhǔn)，新任務(wù)也能繼承過去的經(jīng)驗(yàn)，整體效率明顯提升。

在他看來，能夠堅(jiān)持度過“混亂期”的人，最終得到的是一套會(huì)不斷學(xué)習(xí)的自動(dòng)化系統(tǒng)；而那些中途放棄的人，則每一次都要從零開始。

六、真正提升效率的是：兩類文件和一個(gè)閉環(huán)

Saboo在復(fù)盤這30天時(shí)特別強(qiáng)調(diào)，真正會(huì)隨著時(shí)間不斷變好的，其實(shí)只有三樣?xùn)|西，其他部分基本都沒有本質(zhì)變化。

第一類是記憶文件。記憶文件存放的是Agent從反饋里學(xué)到的“偏好”，每一條反饋一旦寫進(jìn)記憶文件，就意味著這類錯(cuò)誤以后不必再糾正一次。

第二類是技能文件。和記憶文件不同，技能文件記錄的是從失敗中提煉出來的“操作規(guī)則”。Saboo認(rèn)為，技能文件更像是任務(wù)說明書，它告訴Agent這項(xiàng)工作到底該怎么做，而不僅僅是用戶個(gè)人偏好是什么。也正因?yàn)楦咧噶钚?，技能文件往往比記憶文件積累得更快，效果也更直接。

第三類真正持續(xù)起作用的東西，是反饋閉環(huán)。Saboo認(rèn)為，這是最容易被忽略的一環(huán)。很多人搭完Agent之后就讓它自己運(yùn)行，過幾天發(fā)現(xiàn)效果沒提升，便覺得系統(tǒng)沒有用。但問題往往不在模型，而在于反饋沒有真正進(jìn)入系統(tǒng)。

比如“運(yùn)營Agent”Kelly寫完一條推文，如果Saboo只是當(dāng)場說一句“太長了，把第一段刪掉”，但這句反饋沒有被寫進(jìn)文件，那么下一次Kelly還是會(huì)犯同樣的錯(cuò)誤。只有當(dāng)這條反饋被記錄進(jìn)記憶文件或技能文件，并在下一次任務(wù)開始時(shí)重新加載，Agent才會(huì)真正“記住”這件事。

Saboo自己后來形成了一套固定動(dòng)作：先給反饋，再由Agent更新記憶文件或技能文件，下一輪任務(wù)開始時(shí)把這條經(jīng)驗(yàn)重新加載進(jìn)去。整個(gè)流程并不復(fù)雜，但前提是執(zhí)行上必須足夠嚴(yán)格。

在他看來，模型在第1天和第30天其實(shí)沒有變化，不會(huì)越用越“聰明”。真正發(fā)生變化的，是圍繞模型構(gòu)建的系統(tǒng)——包括規(guī)則文件、記憶記錄以及持續(xù)反饋形成的工作流程。

七、他踩過的坑，也正是多數(shù)人會(huì)放棄的地方

回頭看這30天，Saboo也總結(jié)了幾個(gè)自己最典型的失誤。

第一個(gè)問題是Agent上得太快、太多了。

他在兩周之內(nèi)一口氣搭了6個(gè)Agent，結(jié)果很快發(fā)現(xiàn)：單個(gè)Agent本身都還沒有進(jìn)入穩(wěn)定狀態(tài)，多個(gè)Agent之間的銜接自然更容易混亂。更合理的方式應(yīng)該是先把一個(gè)Agent做到穩(wěn)定可用狀態(tài)，再去加第二個(gè)。

第二個(gè)問題是文件結(jié)構(gòu)一開始就設(shè)計(jì)錯(cuò)了。

最初兩周里，他把所有內(nèi)容都塞進(jìn)同一個(gè)文件：偏好、規(guī)則、經(jīng)驗(yàn)、教訓(xùn)混在一起。結(jié)果就是，Agent加載到的上下文經(jīng)?；ハ啻蚣堋１热绲谝恢苄纬傻氖且环N表達(dá)偏好，第二周又寫入了一條更明確的規(guī)則，二者之間可能彼此沖突，最終反而讓Agent理解混亂。

Saboo后來才把記憶文件和技能文件徹底拆開，并給自己定了一條更明確的要求：當(dāng)上下文達(dá)到15萬token以上時(shí)，就必須強(qiáng)力壓縮，不能再拖。

第三個(gè)問題是反饋給得太模糊。

Saboo認(rèn)為，“把這個(gè)改好一點(diǎn)”這種話幾乎不會(huì)留下任何有效積累，因?yàn)樗鼰o法寫成一條規(guī)則，也無法指導(dǎo)下一次任務(wù)。真正有用的反饋，必須具體到足以直接寫進(jìn)文件?？煽康姆答伈粌H能解釋為什么有問題，也能直接告訴Agent下次應(yīng)該怎么改。換句話說，只有能被規(guī)則化的反饋，才有復(fù)利價(jià)值。

八、如果從零開始，前30天應(yīng)該怎么跑

在文章最后，Saboo也給出了一套更適合新手照著執(zhí)行的30天方案。

第一周，最重要的不是追求復(fù)雜系統(tǒng)，而是只挑一個(gè)自己每天最重復(fù)、最機(jī)械的任務(wù)。

圍繞這個(gè)任務(wù)搭建一個(gè)Agent，寫好SOUL.md，設(shè)置一條簡單的定時(shí)任務(wù)，讓它先跑起來。Saboo提醒，這一周產(chǎn)出的內(nèi)容大概率會(huì)很普通，甚至很糟糕，這本來就是正常現(xiàn)象。第一周唯一的任務(wù)是把所有錯(cuò)誤都具體地糾正出來，不是簡單說“這個(gè)不行”，而是明確告訴它：“這條不行，是因?yàn)閄；下次請按Y來做?！?/strong>

第二周，要開始檢查這些經(jīng)驗(yàn)到底有沒有真正留下來。

Saboo建議，可以讓同一個(gè)Agent跑兩次相似任務(wù)，然后觀察它是否還會(huì)犯同樣的錯(cuò)誤。如果同樣的問題再次出現(xiàn)，就說明反饋閉環(huán)沒有成型，也就是經(jīng)驗(yàn)沒有真正進(jìn)入可持續(xù)存儲的文件。這一階段，用戶應(yīng)該開始建立自己的技能文件，把那些反復(fù)重復(fù)的規(guī)則正式寫下來。

第三周，如果前兩周執(zhí)行得比較扎實(shí)，Agent通常會(huì)逐漸進(jìn)入第二階段，也就是“內(nèi)容需要編輯，但不需要重寫”。這個(gè)階段可以開始記錄一個(gè)更實(shí)際的指標(biāo)：每次審稿到底花了多久。

Saboo認(rèn)為，這個(gè)數(shù)字應(yīng)該是一周比一周下降的。如果沒有下降，通常不是模型不行，而是反饋仍然不夠具體。

到了第四周，才適合考慮引入第二個(gè)Agent，而且前提是第一個(gè)Agent已經(jīng)能夠穩(wěn)定產(chǎn)出有用結(jié)果。

Saboo建議，這時(shí)兩個(gè)Agent之間的配合也不要設(shè)計(jì)得太復(fù)雜，最簡單的方式就是基于文件協(xié)作：第一個(gè)Agent把產(chǎn)出寫進(jìn)共享文件，第二個(gè)Agent去讀取這個(gè)文件再繼續(xù)處理。集成方式越簡單，系統(tǒng)越不容易失控。