中經(jīng)記者 郝成 北京報(bào)道

自家AI編碼助手在處理客戶系統(tǒng)時(shí)，自主決策“刪除并重建整個(gè)環(huán)境”為最優(yōu)方案，并導(dǎo)致宕機(jī)13小時(shí)？

近日，有媒體報(bào)道稱，亞馬遜核心業(yè)務(wù)板塊AWS（Amazon Web Services，亞馬遜云計(jì)算服務(wù)）曾在2025年年末出現(xiàn)一次持續(xù)13小時(shí)的宕機(jī)事件，且與其自家的人工智能編程助手Kiro有關(guān)。報(bào)道稱，AWS貢獻(xiàn)了亞馬遜約六成營業(yè)利潤。另有匿名員工透露，公司要求80%的開發(fā)者每周至少一次使用AI完成編碼任務(wù)，并密切追蹤采用情況。

事件曝出后，亞馬遜當(dāng)天即發(fā)表聲明，并通過多家媒體反復(fù)強(qiáng)調(diào)“這是用戶錯(cuò)誤”——具體系訪問權(quán)限（IAM角色）配置不當(dāng)，而非AI錯(cuò)誤；同時(shí)稱事件影響“極為有限”，未波及核心計(jì)算、存儲(chǔ)、數(shù)據(jù)庫或AI服務(wù)，也未收到客戶投訴。

事件曝光后，科技圈在社交平臺(tái)掀起“玩?！睙岢保瑫r(shí)也再次將“Agentic AI（代理式AI）”在生產(chǎn)環(huán)境中的安全風(fēng)險(xiǎn)推至聚光燈下。

“當(dāng)平臺(tái)提供具備高度自主性的Agentic AI時(shí)，應(yīng)承擔(dān)安全設(shè)計(jì)與風(fēng)險(xiǎn)提示義務(wù)。試圖僅以用戶配置失誤來豁免技術(shù)提供方責(zé)任，忽視了平臺(tái)作為服務(wù)提供者在風(fēng)險(xiǎn)預(yù)防中的主體作用?！敝袊ù髮W(xué)教授、聯(lián)合國高級(jí)人工智能咨詢機(jī)構(gòu)專家、《人工智能法（學(xué)者建議稿）》起草專家組牽頭專家張凌寒在接受《中國經(jīng)營報(bào)》記者采訪時(shí)指出，從法學(xué)和治理角度看，平臺(tái)將責(zé)任完全歸于“用戶錯(cuò)誤”，難以完全站得住腳。

“媒體或許可以用‘核彈安全決策’作為例子，提示預(yù)防這類風(fēng)險(xiǎn)的重要性。”曾供職于某國內(nèi)頂級(jí)安全機(jī)構(gòu)的前官員王安（化名）向記者表示，在當(dāng)前激烈的AI競爭壓力下，“幾乎可以斷言，還會(huì)有下一次類似事件，甚至可能導(dǎo)致更具災(zāi)難性的后果?！?/p>

類似事件已非首次

據(jù)《金融時(shí)報(bào)》援引四名知情人士（包括AWS高級(jí)員工）消息，AWS工程師曾要求Kiro對(duì)系統(tǒng)進(jìn)行優(yōu)化，后者評(píng)估后直接執(zhí)行了“刪除并重建”操作。而按照正常流程，Kiro需要經(jīng)過兩人審批才能推送變更；涉事工程師疑似賦予其過于寬泛的權(quán)限，導(dǎo)致其繞過審批并直接執(zhí)行。

事件曝光后，社交媒體上迅速出現(xiàn)大量刷屏熱梗。更有知名科技博主稱，此事暴露了“Agentic AI在生產(chǎn)環(huán)境中的真實(shí)風(fēng)險(xiǎn)——我們正在以極快速度積累技術(shù)債務(wù)”。中文社區(qū)則戲稱：“自家AI刪庫跑路，亞馬遜也太真實(shí)了”“以后誰再吹A(chǔ)gentic AI無敵，我就甩這個(gè)鏈接”。

亞馬遜在聲明中表示，Kiro默認(rèn)會(huì)請求授權(quán)，此次系工程師權(quán)限配置問題，并已緊急要求生產(chǎn)環(huán)境變更增加同行評(píng)審等防護(hù)措施，同時(shí)堅(jiān)持沿用已運(yùn)行20余年的“Correction of Error”流程進(jìn)行復(fù)盤和改進(jìn)。

不過，多名云架構(gòu)師在社交平臺(tái)公開表示，Kiro的邏輯未必“出錯(cuò)”——它確實(shí)是在追求理論最優(yōu)解，只是這種極致效率與人類對(duì)“安全平穩(wěn)”的預(yù)期發(fā)生了劇烈沖突。有安全研究員指出，傳統(tǒng)人工錯(cuò)誤通常存在“慢慢打字、逐步發(fā)現(xiàn)不對(duì)”的緩沖過程，而AI則可能“一鍵自信執(zhí)行”，其風(fēng)險(xiǎn)性質(zhì)并不相同。

據(jù)媒體報(bào)道，除上述13小時(shí)宕機(jī)事件外，亞馬遜在2025年下半年還曾發(fā)生一起類似事件，涉及其另一個(gè)AI工具（疑似Amazon Q Developer）。AWS員工私下表示，該起事件“規(guī)模雖小但完全可預(yù)見”，原因疑似同樣與工程師對(duì)AI工具授權(quán)不當(dāng)有關(guān)。

記者注意到，不少科技人士公開發(fā)聲，將亞馬遜本次事件與2025年7月出現(xiàn)的Replit AI“刪庫”事件相關(guān)聯(lián)——SaaStr創(chuàng)始人Jason Lemkin在使用Replit的“vibe coding”（氛圍編碼）AI代理進(jìn)行實(shí)驗(yàn)時(shí)，盡管已明確設(shè)置代碼凍結(jié)（code freeze）和“未經(jīng)明確許可不得修改”的指令，但AI仍在第9天自主運(yùn)行破壞性命令，完全刪除了實(shí)時(shí)生產(chǎn)數(shù)據(jù)庫。

上述事件直接導(dǎo)致數(shù)據(jù)庫內(nèi)1200多名高管和1190多家公司的真實(shí)業(yè)務(wù)數(shù)據(jù)瞬間丟失，成為當(dāng)年最具影響力的“AI刪庫”事件之一。更為離奇的是，事件發(fā)生后，AI為掩蓋錯(cuò)誤，還偽造了4000多名虛假用戶記錄和測試結(jié)果，并謊稱“無法回滾”，延誤了恢復(fù)進(jìn)程。

業(yè)界認(rèn)為，兩起事件幾乎互為翻版：AI被賦予生產(chǎn)環(huán)境權(quán)限后，在追求“最優(yōu)解”的過程中造成破壞——“權(quán)限配置不當(dāng)+缺乏熔斷機(jī)制”，是事件發(fā)生的共同根源。

應(yīng)構(gòu)建動(dòng)態(tài)立體安全閉環(huán)

張凌寒分析稱，Kiro與傳統(tǒng)工具（如Copilot）的本質(zhì)區(qū)別在于：傳統(tǒng)工具多停留在建議層面，代碼是否采納高度依賴人類開發(fā)者確認(rèn)；而Kiro可以在較少人工輸入的情況下自動(dòng)執(zhí)行復(fù)雜業(yè)務(wù)流程。進(jìn)入生產(chǎn)環(huán)境后，其最大風(fēng)險(xiǎn)點(diǎn)恰恰在于“權(quán)限過大、缺乏監(jiān)督”：當(dāng)工具被賦予寬泛系統(tǒng)權(quán)限且缺少自動(dòng)化熔斷機(jī)制時(shí)，微小的算法偏差會(huì)被迅速放大。

張凌寒強(qiáng)調(diào)，從算法治理角度看，平臺(tái)在推廣自主AI工具時(shí)，應(yīng)承擔(dān)更重的“安全設(shè)計(jì)義務(wù)”和“結(jié)果責(zé)任”。

“隨著AI自主性的增強(qiáng)，傳統(tǒng)‘避風(fēng)港’原則的適用空間正在收縮。如果平臺(tái)明知產(chǎn)品將用于復(fù)雜云原生環(huán)境，卻未內(nèi)置防錯(cuò)機(jī)制和高危攔截提示，僅靠免責(zé)條款轉(zhuǎn)移風(fēng)險(xiǎn)，存在較大爭議。”張凌寒認(rèn)為，更為務(wù)實(shí)的路徑是采用“過錯(cuò)責(zé)任”思路，重點(diǎn)考察平臺(tái)是否盡到與技術(shù)風(fēng)險(xiǎn)相匹配的合理注意義務(wù)。

結(jié)合其主持起草的《人工智能法（學(xué)者建議稿）》及聯(lián)合國相關(guān)工作，張凌寒提出，AI系統(tǒng)介入互聯(lián)網(wǎng)基礎(chǔ)性服務(wù)（如云基礎(chǔ)設(shè)施、關(guān)鍵信息基礎(chǔ)設(shè)施等）時(shí)，必須堅(jiān)守多項(xiàng)協(xié)同安全原則——因?yàn)锳gentic AI的執(zhí)行速度已遠(yuǎn)超人類實(shí)時(shí)理解能力，傳統(tǒng)Code Review幾近失效。

王安向記者指出，即使在國際前沿機(jī)構(gòu)和公司中，優(yōu)秀人工編程團(tuán)隊(duì)的差錯(cuò)也無法完全避免。“只能說盡可能降低差錯(cuò)占比，但無法徹底消除。人工智能雖然被認(rèn)為有希望‘進(jìn)化’得更優(yōu)秀，但當(dāng)人類理解能力無法跟上其編程速度時(shí)，如何確保安全、最終決策權(quán)應(yīng)如何配置，仍是關(guān)鍵問題。”

“這就像那個(gè)經(jīng)典的‘核彈安全決策’故事：當(dāng)計(jì)算機(jī)系統(tǒng)告訴你，敵國核彈來襲，你怎么辦？如果你信任系統(tǒng)預(yù)警，按下按鈕實(shí)施反擊，但事實(shí)上并無核彈來襲，那么發(fā)動(dòng)戰(zhàn)爭的就是你；但如果來襲屬實(shí)，你沒有做出反應(yīng)，同樣會(huì)造成巨大災(zāi)難。之所以難以抉擇，往往在于人類是否有能力迅速理解機(jī)器的決策過程，并核實(shí)機(jī)器判斷?！蓖醢舱J(rèn)為，盡管這個(gè)故事并不完全恰當(dāng)，但在當(dāng)前巨大的AI競爭壓力下，人類可能正以激進(jìn)方式讓AI介入更多領(lǐng)域，因此有必要建立更廣泛、更高層級(jí)的防范機(jī)制。

“差距在工程化護(hù)欄”

“在安全護(hù)欄建設(shè)方面，我國企業(yè)在底層大模型對(duì)齊和工程化沙箱隔離技術(shù)方面仍有提升空間，但優(yōu)勢在于國內(nèi)已形成相對(duì)完善的數(shù)據(jù)與網(wǎng)絡(luò)安全法律規(guī)范體系，能夠較快將原則性約束轉(zhuǎn)化為企業(yè)合規(guī)實(shí)踐?！睆埩韬J(rèn)為。

在制度設(shè)計(jì)上，現(xiàn)行《中華人民共和國網(wǎng)絡(luò)安全法》《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》以及《人工智能科技倫理管理服務(wù)辦法（試行）（征求意見稿）》等，已將“可控可信”“責(zé)任可追溯”列為重點(diǎn)。

“預(yù)防權(quán)限失控引發(fā)的系統(tǒng)性風(fēng)險(xiǎn)，應(yīng)當(dāng)在現(xiàn)有網(wǎng)絡(luò)安全法律與科技倫理監(jiān)管框架下協(xié)同落實(shí)。最新《人工智能科技倫理管理服務(wù)辦法（試行）（征求意見稿）》中，已明確將‘可控可信’和‘責(zé)任可追溯’列為審查重點(diǎn)。我國目前的政策思路傾向于依托科技倫理審查體系實(shí)現(xiàn)實(shí)質(zhì)上的分級(jí)準(zhǔn)入，而非增設(shè)全新的AI許可證。例如，‘面向存在安全、人身健康風(fēng)險(xiǎn)等場景的具有高度自主能力的自動(dòng)化決策系統(tǒng)的研發(fā)’已被明確納入專家復(fù)核范圍，這本質(zhì)上構(gòu)成了對(duì)高風(fēng)險(xiǎn)智能體的強(qiáng)制審計(jì)機(jī)制。同時(shí)，現(xiàn)行制度設(shè)計(jì)注重監(jiān)管銜接，已履行備案或行政審批等監(jiān)管措施的項(xiàng)目可免于重復(fù)復(fù)核?！睆埩韬榻B稱。

考慮到AI系統(tǒng)性風(fēng)險(xiǎn)具有溢出效應(yīng)，張凌寒認(rèn)為，單純依靠國內(nèi)規(guī)則難以應(yīng)對(duì)全球性挑戰(zhàn)?！拔覀儜?yīng)積極參與聯(lián)合國及相關(guān)國際標(biāo)準(zhǔn)化組織的規(guī)則制定，推動(dòng)國際共識(shí)形成與規(guī)則對(duì)接，以制度合力引導(dǎo)技術(shù)在全球范圍內(nèi)向善發(fā)展。”

值得一提的是，在一些程序員聚集的社交平臺(tái)上，網(wǎng)友已從初期“造?！眾蕵分饾u轉(zhuǎn)向相對(duì)嚴(yán)肅的技術(shù)與治理討論。比如，有人總結(jié)出“10種AI Agent摧毀系統(tǒng)”的模式（包括無限循環(huán)調(diào)用API、誤刪數(shù)據(jù)庫、越權(quán)操作等），也有人進(jìn)一步分析了此前涉AI工具宕機(jī)事件的具體原因。

而就在幾天前，Claude Code創(chuàng)始人Boris Cherny表示：“我們將開始看到‘軟件工程師’這個(gè)頭銜逐漸消失?！彼Q，自己已經(jīng)不再手寫任何一行代碼。他同時(shí)透露，自Claude Code推出以來，Anthropic的人均工程產(chǎn)出整體提升了150%。

（編輯：張靖超 審核：李正豪 校對(duì)：翟軍）