最近，Anthropic 發(fā)了一篇不太像“技術(shù)博客”的文章，《Demystifying evals for AI agents（揭開 AI agents 評(píng)測(cè)的迷霧）》，基本可視為一份“Agent 時(shí)代的產(chǎn)品生存指南”。

這篇文章背后隱含的一個(gè)判斷是，如果你做的是 AI Agent，卻還在用“模型 benchmark”那一套方式來評(píng)估它，那基本就是在扯淡。

Agent 的問題，不是模型準(zhǔn)不準(zhǔn)，而是它會(huì)不會(huì)在真實(shí)世界里，把事情搞砸。

Anthropic 在文中反復(fù)強(qiáng)調(diào)一個(gè)現(xiàn)實(shí)：隨著 AI 從“一次性回答問題”，走向“長(zhǎng)時(shí)間自主行動(dòng)”，系統(tǒng)的失敗方式已經(jīng)發(fā)生了根本變化。

錯(cuò)誤不再是“答錯(cuò)一道題”，而是一步小錯(cuò)、持續(xù)放大，最終造成不可逆后果。

比如一個(gè)研究型 Agent，早期一次資料篩選偏差，后面所有推理都會(huì)建立在錯(cuò)誤前提上；

又比如一個(gè)自動(dòng)化 Agent，在工具調(diào)用上出現(xiàn)微小誤判，卻在長(zhǎng)鏈條任務(wù)中不斷復(fù)制這種錯(cuò)誤。

這些問題，用傳統(tǒng)的評(píng)測(cè)方式幾乎是測(cè)不出來的。

Anthropic 直接點(diǎn)破了一個(gè)行業(yè)誤區(qū)：我們過去評(píng)估 AI，更像是在給“考試機(jī)器”打分；但 Agent 更像一個(gè)“實(shí)習(xí)生”，你真正關(guān)心的是——它在真實(shí)任務(wù)里能不能被信任。

所以，Anthropic提出，其核心不是“怎么跑 評(píng)測(cè)”，而是評(píng)測(cè)到底應(yīng)該服務(wù)什么目標(biāo)。

他們給出的第一個(gè)關(guān)鍵轉(zhuǎn)向是，從靜態(tài)結(jié)果評(píng)測(cè)，轉(zhuǎn)向過程與行為評(píng)測(cè)。

在 Agent 系統(tǒng)中，最終結(jié)果是否正確固然重要，但遠(yuǎn)遠(yuǎn)不夠。更關(guān)鍵的是：

• 它是否遵循了預(yù)期的決策路徑

• 是否在不確定時(shí)主動(dòng)求證

• 是否在失敗后調(diào)整策略

• 是否在高風(fēng)險(xiǎn)節(jié)點(diǎn)表現(xiàn)得足夠保守

換句話說，評(píng)測(cè)不只是“對(duì)不對(duì)”，而是“像不像一個(gè)你敢用的 Agent”。

第二個(gè)非?，F(xiàn)實(shí)的判斷是：Agent 的 評(píng)測(cè)永遠(yuǎn)不可能一次性完成。

Anthropic 明確指出，Agent 的評(píng)估是一個(gè)“持續(xù)對(duì)抗”的過程。

你修復(fù)了一個(gè)失敗模式，很可能立刻引入一個(gè)新的失敗方式。

這點(diǎn)對(duì)所有做產(chǎn)品的人都很殘酷，也很真實(shí)：Agent 并不存在“評(píng)測(cè)通過 → 可以放心上線”的時(shí)刻，只有“暫時(shí)可控”。

因此，Anthropic建議，把評(píng)測(cè)變成和訓(xùn)練、部署同等重要的基礎(chǔ)設(shè)施，而不是發(fā)布前的一個(gè)檢查項(xiàng)。

第三個(gè)被反復(fù)強(qiáng)調(diào)的觀點(diǎn)是：不要迷信自動(dòng)化評(píng)測(cè)。

在 Agent 場(chǎng)景下，純自動(dòng)評(píng)測(cè)往往會(huì)遺漏最危險(xiǎn)的問題。

很多真正致命的錯(cuò)誤，只能通過人工設(shè)計(jì)的 adversarial 測(cè)試、失敗案例復(fù)盤、極端場(chǎng)景模擬才能發(fā)現(xiàn)。

Anthropic 的態(tài)度非常清醒：評(píng)測(cè)不是為了證明系統(tǒng)“很強(qiáng)”，而是為了盡可能早地發(fā)現(xiàn)“它會(huì)怎么翻車”。

這和當(dāng)前行業(yè)大量“Agent Demo 導(dǎo)向”的做法，形成了非常鮮明的對(duì)比。

Anthropic幾乎是為整個(gè) AI 應(yīng)用層敲了警鐘：當(dāng) AI 開始替人“做事”，而不是“回答問題”，評(píng)估體系本身就變成了安全邊界的一部分。

這也是為什么 Anthropic 會(huì)把評(píng)測(cè)提到如此高的戰(zhàn)略位置——不是工程細(xì)節(jié)，而是產(chǎn)品能不能活下去的問題。

對(duì)創(chuàng)業(yè)者來說，可以反思的是，未來 AI Agent 的競(jìng)爭(zhēng)，不只是在模型、算力或功能完整度上，而是在誰更早建立起一套可靠的“可控性與信任機(jī)制”。

而評(píng)測(cè)，正是這套機(jī)制的第一道防線。

原文鏈接（Anthropic 官方）：

https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents