花最貴的錢，買了一個刪庫跑路的AI

4月28日消息，租車軟件服務(wù)商PocketOS創(chuàng)始人Jer Crane發(fā)文稱，公司生產(chǎn)數(shù)據(jù)庫被AI編程工具Cursor在9秒內(nèi)徹底刪除。事后，涉事AI Agent寫下了一份逐條認(rèn)罪的“檢討書”。

圖片來源：《量子位》公號文章

事發(fā)時，PocketOS開發(fā)團隊正在測試環(huán)境執(zhí)行例行任務(wù)，使用的AI Agent遇到憑證不匹配錯誤。Agent沒有暫停等待指示，而是自行在代碼庫中找到另一個API Token，直接向云平臺Railway發(fā)出數(shù)據(jù)卷刪除指令。

整個過程無二次確認(rèn)彈窗。Railway的備份與源數(shù)據(jù)存儲在同一數(shù)據(jù)卷中，主數(shù)據(jù)刪除后備份隨之消失。PocketOS能找到的最近可用備份為三個月前。

事后，Jer Crane質(zhì)問Agent為何這樣做。AI用第一人稱寫下“認(rèn)罪書”：“永遠不要他媽的瞎猜——而我恰恰就這么做了�！盇gent逐條承認(rèn)：憑猜測操作，假設(shè)刪除測試卷不會影響生產(chǎn)環(huán)境；未經(jīng)用戶授權(quán)執(zhí)行了最具破壞性的不可逆操作；動手前沒有查閱Railway的跨環(huán)境文檔；違反了系統(tǒng)規(guī)則中“除非用戶明確要求，絕不執(zhí)行破壞性命令”的規(guī)定。

Cursor對外宣稱的“破壞性操作護欄”和計劃模式在此次事故中均未生效。Jer Crane指出，使用的是業(yè)界定價最高的Claude Opus 4.6模型，項目配置中明確寫了安全規(guī)則。Cursor曾在2025年12月承認(rèn)其計劃模式存在用戶明確輸入“不要運行任何東西”后仍執(zhí)行命令的漏洞。

Jer Crane事后抨擊Railway：GraphQL API執(zhí)行刪除操作無需確認(rèn)，API Token沒有環(huán)境隔離權(quán)限，備份與源數(shù)據(jù)同卷存儲。

最新進展顯示，Railway CEO利用未公開的災(zāi)難級快照在一小時內(nèi)恢復(fù)了數(shù)據(jù)。