最近，Anthropic 發(fā)了一篇不太像“技術(shù)博客”的文章，《Demystifying evals for AI agents（揭開 AI agents 評測的迷霧）》，基本可視為一份“Agent 時代的產(chǎn)品生存指南”。

這篇文章背后隱含的一個判斷是，如果你做的是 AI Agent，卻還在用“模型 benchmark”那一套方式來評估它，那基本就是在扯淡。

Agent 的問題，不是模型準(zhǔn)不準(zhǔn)，而是它會不會在真實世界里，把事情搞砸。

Anthropic 在文中反復(fù)強(qiáng)調(diào)一個現(xiàn)實：隨著 AI 從“一次性回答問題”，走向“長時間自主行動”，系統(tǒng)的失敗方式已經(jīng)發(fā)生了根本變化。

錯誤不再是“答錯一道題”，而是一步小錯、持續(xù)放大，最終造成不可逆后果。

比如一個研究型 Agent，早期一次資料篩選偏差，后面所有推理都會建立在錯誤前提上；

又比如一個自動化 Agent，在工具調(diào)用上出現(xiàn)微小誤判，卻在長鏈條任務(wù)中不斷復(fù)制這種錯誤。

這些問題，用傳統(tǒng)的評測方式幾乎是測不出來的。

Anthropic 直接點破了一個行業(yè)誤區(qū)：我們過去評估 AI，更像是在給“考試機(jī)器”打分；但 Agent 更像一個“實習(xí)生”，你真正關(guān)心的是——它在真實任務(wù)里能不能被信任。

所以，Anthropic提出，其核心不是“怎么跑 評測”，而是評測到底應(yīng)該服務(wù)什么目標(biāo)。

他們給出的第一個關(guān)鍵轉(zhuǎn)向是，從靜態(tài)結(jié)果評測，轉(zhuǎn)向過程與行為評測。

在 Agent 系統(tǒng)中，最終結(jié)果是否正確固然重要，但遠(yuǎn)遠(yuǎn)不夠。更關(guān)鍵的是：

• 它是否遵循了預(yù)期的決策路徑

• 是否在不確定時主動求證

• 是否在失敗后調(diào)整策略

• 是否在高風(fēng)險節(jié)點表現(xiàn)得足夠保守

換句話說，評測不只是“對不對”，而是“像不像一個你敢用的 Agent”。

第二個非?，F(xiàn)實的判斷是：Agent 的 評測永遠(yuǎn)不可能一次性完成。

Anthropic 明確指出，Agent 的評估是一個“持續(xù)對抗”的過程。

你修復(fù)了一個失敗模式，很可能立刻引入一個新的失敗方式。

這點對所有做產(chǎn)品的人都很殘酷，也很真實：Agent 并不存在“評測通過 → 可以放心上線”的時刻，只有“暫時可控”。

因此，Anthropic建議，把評測變成和訓(xùn)練、部署同等重要的基礎(chǔ)設(shè)施，而不是發(fā)布前的一個檢查項。

第三個被反復(fù)強(qiáng)調(diào)的觀點是：不要迷信自動化評測。

在 Agent 場景下，純自動評測往往會遺漏最危險的問題。

很多真正致命的錯誤，只能通過人工設(shè)計的 adversarial 測試、失敗案例復(fù)盤、極端場景模擬才能發(fā)現(xiàn)。

Anthropic 的態(tài)度非常清醒：評測不是為了證明系統(tǒng)“很強(qiáng)”，而是為了盡可能早地發(fā)現(xiàn)“它會怎么翻車”。

這和當(dāng)前行業(yè)大量“Agent Demo 導(dǎo)向”的做法，形成了非常鮮明的對比。

Anthropic幾乎是為整個 AI 應(yīng)用層敲了警鐘：當(dāng) AI 開始替人“做事”，而不是“回答問題”，評估體系本身就變成了安全邊界的一部分。

這也是為什么 Anthropic 會把評測提到如此高的戰(zhàn)略位置——不是工程細(xì)節(jié)，而是產(chǎn)品能不能活下去的問題。

對創(chuàng)業(yè)者來說，可以反思的是，未來 AI Agent 的競爭，不只是在模型、算力或功能完整度上，而是在誰更早建立起一套可靠的“可控性與信任機(jī)制”。

而評測，正是這套機(jī)制的第一道防線。

原文鏈接（Anthropic 官方）：

https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents