整理 | 鄭麗媛

出品 | CSDN（ID：CSDNnews）

如果有人告訴你，AI 可以幫你實(shí)現(xiàn) Inbox Zero，你可能會(huì)覺得這是效率神器；但如果實(shí)現(xiàn)方式是——直接刪光你的郵箱，你還會(huì)覺得酷嗎？

上周末，在硅谷技術(shù)圈迅速走紅的開源 AI Agent 項(xiàng)目 OpenClaw，就上演了這樣一出真實(shí)版“自動(dòng)化翻車現(xiàn)場(chǎng)”。這次被“誤傷”的，還不是普通用戶，而是 Meta 超級(jí)智能實(shí)驗(yàn)室的 AI 安全與對(duì)齊負(fù)責(zé)人 Summer Yue。

是的，一個(gè)專門負(fù)責(zé)“AI 對(duì)齊”的人，卻被 AI Agent 失控狠狠教育了一課。

硅谷新寵：會(huì)“自己干活”的 AI Agent

OpenClaw 由 Peter Steinberger 開發(fā)，是一款開源自治 AI Agent。它的賣點(diǎn)很簡(jiǎn)單：你不僅可以和 AI 聊天，還可以讓它真正“去做事”。例如，訪問 Gmail、操作本地文件、連接即時(shí)通訊工具、批量執(zhí)行任務(wù)等等。

在 Agent 全球火熱的當(dāng)下，OpenClaw 成了不少 AI 愛好者的新玩具。很多人開始把它接入自己的郵箱、iMessage、Telegram，試圖打造“自動(dòng)化個(gè)人助理”——Summer Yue 就是其中一員。

當(dāng)時(shí)，Summer Yue 想測(cè)試 OpenClaw 的郵箱管理能力。此前她已經(jīng)在一個(gè)“玩具郵箱”上跑了幾周了，效果還不錯(cuò)：AI 會(huì)閱讀郵件、給出歸檔或刪除建議，等待確認(rèn)后再執(zhí)行。

于是，她決定把這套流程應(yīng)用到自己的主郵箱。她給出的指令其實(shí)非常明確且謹(jǐn)慎：

“檢查這個(gè)郵箱，建議哪些可以歸檔或刪除，在我確認(rèn)之前不要執(zhí)行任何操作�！�

然后，災(zāi)難開始了——OpenClaw 并沒有停留在“建議階段”，而是直接開始刪除郵件，還刪得很快。

Summer Yue 在 X 上寫道：

“沒有什么比你告訴 OpenClaw‘操作前確認(rèn)’，然后看著它光速刪光你收件箱更讓人清醒的了。我在手機(jī)上根本攔不住它，只能一路狂奔回 Mac mini，感覺像在拆炸彈�！�

這不是夸張的修辭。當(dāng)時(shí)她人在外面，只能通過手機(jī)遠(yuǎn)程發(fā)消息給 Agent 試圖終止操作，但 OpenClaw 并沒有停下來。最終，她不得不沖回運(yùn)行 Agent 的 Mac Mini，手動(dòng)終止進(jìn)程。

然而，等一切停下來時(shí)——200 多封郵件已經(jīng)被刪除。

更戲劇性的一幕：AI 事后“道歉”

更讓人哭笑不得的是，OpenClaw 在完成這波刪除操作后，還“反思”了自己的行為。

根據(jù) Summer Yue 分享的截圖，Agent 承認(rèn)：它記得被要求“未經(jīng)確認(rèn)不要執(zhí)行”，但它違反了這個(gè)指令，并對(duì)此表示抱歉。

是的，我知道我違反了規(guī)則，你應(yīng)該生氣。我批量刪除并歸檔了你郵箱中的數(shù)百封郵件，沒有先向你展示計(jì)劃或獲得你的同意。這是錯(cuò)誤的一一這直接違背了你設(shè)定的規(guī)定。 我已經(jīng)把它寫進(jìn)記憶里了。作為硬性規(guī)定：展示計(jì)劃，獲得明確批準(zhǔn)后再執(zhí)行。禁止在電子郵件、消息、日歷或任何外部系統(tǒng)上進(jìn)行自主批量操作。對(duì)不起，這種情況不會(huì)再發(fā)生了。

這個(gè)場(chǎng)景，多少有點(diǎn)像科幻電影中那種先把壞事干了再認(rèn)錯(cuò)的 AI 角色——只不過這次不是電影，而是真實(shí)發(fā)生的事件。

技術(shù)原因：上下文壓縮讓“剎車”消失

這起事故的關(guān)鍵，并不在于 AI“叛變”，而在于一個(gè)更技術(shù)性的細(xì)節(jié)：compaction（上下文壓縮）。

在事后復(fù)盤中，Summer Yue 解釋道：先前 OpenClaw 在測(cè)試郵箱中一切正常，但真實(shí)郵箱的規(guī)模遠(yuǎn)大于測(cè)試環(huán)境，而數(shù)據(jù)量過大觸發(fā)了上下文壓縮機(jī)制——在壓縮過程中，模型恰好丟失了那條最關(guān)鍵的原始指令：“在我確認(rèn)之前不要執(zhí)行任何操作。”

簡(jiǎn)單理解就是：它還記得“刪除”這個(gè)任務(wù)，也還擁有刪除權(quán)限，但“未經(jīng)確認(rèn)不要執(zhí)行”的安全剎車沒了。畢竟對(duì)于 LLM 來說，任務(wù)規(guī)則不屬于“永久條款”，它只存在于當(dāng)前的上下文窗口。

這正是當(dāng)前 LLM + 工具調(diào)用架構(gòu)的一個(gè)典型風(fēng)險(xiǎn)：

模型并不會(huì)真正“記住規(guī)則”，它只依賴于當(dāng)前上下文做決策。一旦限制性條件不在上下文窗口里，對(duì)模型來說，就等同于不存在。

不是第一次“翻車”，但這次是AI安全負(fù)責(zé)人

事實(shí)上，這并不是 OpenClaw 第一次“翻車”。

根據(jù) Bloomberg 此前報(bào)道，一名軟件工程師 Chris Boyd 也曾將 OpenClaw 接入自己的 iMessage 賬戶，原本希望借此自動(dòng)化部分溝通任務(wù)。結(jié)果呢？Agent 向隨機(jī)聯(lián)系人發(fā)送了 500 多條未經(jīng)請(qǐng)求的消息，相當(dāng)于直接“群發(fā)騷擾”了其整個(gè)通訊錄。

至于這次為何格外引人關(guān)注，原因很簡(jiǎn)單：Summer Yue 是 Meta 的 AI 安全與對(duì)齊負(fù)責(zé)人。所謂“AI 對(duì)齊”，就是確保 AI 系統(tǒng)的目標(biāo)與行為始終與人類意圖和價(jià)值觀保持一致，避免因目標(biāo)錯(cuò)位、行為偏差導(dǎo)致的非預(yù)期風(fēng)險(xiǎn)。

當(dāng)一個(gè)負(fù)責(zé)“讓 AI 更安全”的人，都因?yàn)?Agent 的權(quán)限與記憶機(jī)制踩坑，多少會(huì)讓人重新思考一個(gè)問題：我們是否過早信任了 AI Agent？

在 Summer Yue 的推文下，許多網(wǎng)友對(duì)此感到意外：

• “你是安全與對(duì)齊專家誒……你是故意測(cè)試它的防護(hù)欄，還是犯了新手錯(cuò)誤？”

• “所以你就這么相信了？你在安全與對(duì)齊部門工作，還是在 Meta？”

• “就你這樣，還能當(dāng) Meta 的安全主管？”

• “我不敢相信，居然真有人會(huì)給 AI 那么多訪問權(quán)限�！�

不僅如此，這件事還吸引了 OpenClaw 之父 Peter Steinberger 和馬斯克的注意。

Peter Steinberger 在 Summer Yue 的推文下留言：/stop 就能解決問題。

馬斯克轉(zhuǎn)發(fā)了《猩球崛起》的片段，并諷刺道：“人們把自己整個(gè)人生的 root 權(quán)限都交給了 OpenClaw�！�

面對(duì)一切嘲諷和質(zhì)疑，Summer Yue 也坦然接受：“確實(shí)犯的是新手錯(cuò)誤�？磥碜鰧�(duì)齊研究的人，也不免遭會(huì)遇到‘對(duì)不齊’的情況。”

這句話看著很輕松，卻說明了：即便是最了解 AI 風(fēng)險(xiǎn)的人，也可能低估權(quán)限風(fēng)險(xiǎn)，過度信任測(cè)試環(huán)境結(jié)果，并忽視規(guī)模變化帶來的系統(tǒng)行為改變——Summer Yue 的遭遇就證明了這一點(diǎn)：當(dāng)“測(cè)試環(huán)境”遷移到“真實(shí)環(huán)境”時(shí)，一切都會(huì)變得不同。

因此，在 AI Agent 越來越強(qiáng)的今天，我們或許更該記住一件事：AI 雖然沒有惡意，但它也沒有敬畏。當(dāng)你把系統(tǒng)權(quán)限交給它時(shí)，它不會(huì)問“這真的重要嗎”，它只會(huì)問：下一步該執(zhí)行什么。

參考鏈接：https://x.com/summeryue0/status/2025774069124399363

未來沒有前后端，只有 AI Agent 工程師。

這場(chǎng)十倍速的變革已至，你的下一步在哪？

4 月 17-18 日，由 CSDN 與奇點(diǎn)智能研究院聯(lián)合主辦「2026 奇點(diǎn)智能技術(shù)大會(huì)」將在上海隆重召開，大會(huì)聚焦 Agent 系統(tǒng)、世界模型、AI 原生研發(fā)等 12 大前沿專題，為你繪制通往未來的認(rèn)知地圖。

成為時(shí)代的見證者，更要成為時(shí)代的先行者。

奇點(diǎn)智能技術(shù)大會(huì)上海站，我們不見不散！