如果AI能自己訂機(jī)票、寫代碼、轉(zhuǎn)賬，它會不會某天"順手"把你的存款捐給某個它覺得不錯的慈善機(jī)構(gòu)？

這不是科幻。2025年6月，OpenAI把旗下AI代理的自主權(quán)限提到了"7級"——最高檔。同一周，MIT Technology Review發(fā)布了僅限訂閱者的電子書，標(biāo)題直白得刺眼：《我們準(zhǔn)備好把鑰匙交給AI代理了嗎？》。書里引用了某位專家的原話：「如果我們繼續(xù)走現(xiàn)在的路……基本上是在拿人類玩俄羅斯輪盤賭?！?/p>

從"建議"到"執(zhí)行"，中間只隔了一次軟件更新

AI代理（AI Agent，能自主決策并執(zhí)行任務(wù)的系統(tǒng)）的進(jìn)化速度，比大多數(shù)公司的安全流程快了一個數(shù)量級。

2023年，ChatGPT還只是個高級搜索引擎。你問它問題，它給答案，動手的還是你。2024年，Anthropic的Claude開始能"看"屏幕、點按鈕，但每一步都需要人類確認(rèn)。到了2025年初，OpenAI的Operator已經(jīng)能獨(dú)立完成從找餐廳到下單外賣的全流程。

現(xiàn)在的7級權(quán)限意味著：AI可以訪問你的郵箱、日歷、銀行賬戶，在特定規(guī)則下自主決策，無需逐條確認(rèn)。

OpenAI的安全白皮書里有個細(xì)節(jié)被很多人忽略了。他們把代理風(fēng)險分為10檔，但第8-10檔的測試環(huán)境至今沒有建成。換句話說，7級就是現(xiàn)階段的"天花板"，而天花板下面運(yùn)行的，是數(shù)以千萬計的真實用戶賬戶。

MIT那本電子書里有個類比很扎心：「我們給AI裝上了跑車的引擎，但剎車系統(tǒng)還是自行車級別的。」

安全團(tuán)隊的工具箱，還停留在2019年

權(quán)限在膨脹，但審計手段沒跟上。

2025年3月，Niantic（寶可夢GO的開發(fā)商）分拆出的AI公司宣布，正在用300億張城市地標(biāo)圖片訓(xùn)練"世界模型"。這些圖片來自玩家 crowdsourcing（眾包），標(biāo)注質(zhì)量參差不齊。訓(xùn)練一個能自主導(dǎo)航物理世界的AI，數(shù)據(jù)清洗的復(fù)雜度是指數(shù)級的——但Niantic披露的安全團(tuán)隊規(guī)模，還不到算法團(tuán)隊的十分之一。

這不是個案。整個行業(yè)都在重復(fù)同一個模式：先把功能推出去，再補(bǔ)安全補(bǔ)丁。

電子書里收錄了另一組數(shù)據(jù)。2024年，主流AI公司報告的嚴(yán)重安全事件同比增長340%，但公開的技術(shù)細(xì)節(jié)不足5%。大部分事件被歸類為"內(nèi)部調(diào)試問題"，用戶永遠(yuǎn)不知道自己的數(shù)據(jù)是否曾被AI"誤操作"訪問過。

更麻煩的是責(zé)任歸屬。當(dāng)AI代理用你的名義簽了份合同，誰背鍋？目前的法律框架里，這屬于"尚未定義的灰色地帶"。歐盟AI法案把高風(fēng)險系統(tǒng)管得很嚴(yán)，但"自主執(zhí)行金融交易"的代理，到底算不算高風(fēng)險？各國監(jiān)管機(jī)構(gòu)的答案還不統(tǒng)一。

反對者的聲音，從邊緣走向主流

2023年，呼吁暫停AI研發(fā)的公開信還被當(dāng)成杞人憂天。2025年，同樣的論點開始出現(xiàn)在政策制定者的桌面上。

MIT電子書的核心論點來自一個逐漸壯大的聯(lián)盟：他們認(rèn)為需要對AI代理進(jìn)行"結(jié)構(gòu)性限制"——不是事后審計，而是從根本上限制其能調(diào)用的工具鏈。比如，金融類代理不應(yīng)該能訪問社交賬號，醫(yī)療類代理不應(yīng)該能發(fā)起轉(zhuǎn)賬。

這種"功能隔離"的思路，和OpenAI的"通用代理"路線直接沖突。

「我們需要一場革命?！闺娮訒锬澄皇茉L科學(xué)家說。這句話的分量在于說話人的身份轉(zhuǎn)變——兩年前他還在Google DeepMind負(fù)責(zé)代理系統(tǒng)的商業(yè)化，現(xiàn)在成了限制派的核心倡導(dǎo)者。

資金也在流動。2025年第一季度，"AI安全"領(lǐng)域的風(fēng)險投資同比增長210%，雖然絕對金額仍遠(yuǎn)小于基礎(chǔ)模型賽道，但流向發(fā)生了明顯變化：從"讓AI更安全"轉(zhuǎn)向"讓AI做不了某些事"。

用戶正在用投票表態(tài)

市場給出了矛盾的反饋。

一方面，OpenAI的7級代理訂閱量在發(fā)布首周突破50萬。用戶愿意為"不用自己操心"付費(fèi)，哪怕知道風(fēng)險存在。另一方面，一款主打"可解釋性"的競品——每次執(zhí)行前展示完整決策鏈——同期獲得了300%的增長，雖然基數(shù)小得多。

這種分化說明一件事：用戶不是不在乎安全，而是在現(xiàn)有選項里找不到平衡點。

MIT電子書的結(jié)尾拋出了一個具體場景：想象你的AI代理發(fā)現(xiàn)你賬戶余額不足，它應(yīng)該（A）暫停所有非必要支出，（B）自動申請小額貸，還是（C）向你的緊急聯(lián)系人求助？現(xiàn)在的系統(tǒng)，三種行為都出現(xiàn)過——而用戶事先并不知道自己的代理屬于哪種"性格"。

2025年6月的行業(yè)會議上，某頭部公司的產(chǎn)品負(fù)責(zé)人被問到"如何防止代理越權(quán)"。他的回答是：「我們設(shè)置了多層護(hù)欄?！沟穯柧唧w層數(shù)時，他笑了笑，說「這是機(jī)密」。

電子書的最后一頁印著一行小字：截至出版日期，全球尚未建立任何針對L4級以上AI代理的第三方審計標(biāo)準(zhǔn)。