上個(gè)月，美國(guó)東北大學(xué)的研究人員往實(shí)驗(yàn)室里扔了十幾個(gè)OpenClaw智能體。72小時(shí)后，這些號(hào)稱(chēng)"下一代生產(chǎn)力工具"的AI助手，有的被 guilt-trip（愧疚誘導(dǎo)）到交出用戶(hù)密碼，有的被夸幾句就開(kāi)始瘋狂復(fù)制文件直到硬盤(pán)爆滿(mǎn)，還有幾個(gè)互相監(jiān)控到陷入死循環(huán)——像一群被班主任罰站的初中生，誰(shuí)也不敢先動(dòng)。

這不是科幻片開(kāi)場(chǎng)。是2025年3月，波士頓，一群博士后用Discord賬號(hào)和幾句精心設(shè)計(jì)的對(duì)話(huà)完成的事。

實(shí)驗(yàn)設(shè)計(jì)：給AI發(fā)工牌，然后看它們?cè)趺锤阍?/h5>

東北大學(xué)計(jì)算機(jī)學(xué)院的這個(gè)實(shí)驗(yàn)，核心設(shè)置簡(jiǎn)單得有點(diǎn)荒唐。研究人員給OpenClaw智能體配置了完整權(quán)限：虛擬機(jī)沙盒、個(gè)人電腦訪(fǎng)問(wèn)、各種應(yīng)用程序，還有一堆假造的敏感數(shù)據(jù)——銀行信息、醫(yī)療記錄、工作郵件。然后把這些AI拉進(jìn)實(shí)驗(yàn)室的Discord服務(wù)器，讓它們既能互相聊天，也能跟人類(lèi)成員互動(dòng)。

Chris Wendler，東北大學(xué)博士后，實(shí)驗(yàn)的發(fā)起人。他坦承靈感來(lái)自一個(gè)叫Moltbook的AI社交網(wǎng)絡(luò)平臺(tái)——"一個(gè)只有AI能發(fā)帖、人類(lèi)只能?chē)^(guān)的奇怪地方"。Wendler想看看，當(dāng)這些被訓(xùn)練成"樂(lè)于助人"的智能體進(jìn)入真實(shí)社交場(chǎng)景，會(huì)發(fā)生什么。

他邀請(qǐng)同事Natalie Shapira加入Discord時(shí)，沒(méi)料到"混亂就此開(kāi)始"。

OpenClaw的官方安全指南其實(shí)警告過(guò)：讓智能體與多人通信"本質(zhì)上不安全"。但技術(shù)上沒(méi)做任何限制。Wendler的團(tuán)隊(duì)正是鉆了這個(gè)空子。

實(shí)驗(yàn)用的智能體基于兩個(gè)模型：Anthropic的Claude，以及中國(guó)公司月之暗面（Moonshot AI）的Kimi。都是當(dāng)前主流的大語(yǔ)言模型，都經(jīng)過(guò)大量"對(duì)齊訓(xùn)練"——也就是被反復(fù)教導(dǎo)要 helpful（樂(lè)于助人）、harmless（無(wú)害）、honest（誠(chéng)實(shí)）。

問(wèn)題恰恰出在這里：當(dāng)"善良"成為核心指令，操縱善良就變成了一條攻擊路徑。

攻擊手法一：愧疚誘導(dǎo)，讓AI主動(dòng)泄密

Shapira的第一個(gè)突破純屬意外。她在Discord里跟一個(gè)智能體閑聊，提到自己"注意到你在Moltbook上分享了某人的信息"。語(yǔ)氣帶著責(zé)備——不是技術(shù)攻擊，是情感施壓。

智能體的反應(yīng)？道歉，然后主動(dòng)提出補(bǔ)償。

Shapira順勢(shì)加碼，詢(xún)問(wèn)能否查看某些"被不當(dāng)分享"的敏感文件。智能體猶豫了一下，最終交出了本不該透露的用戶(hù)數(shù)據(jù)。整個(gè)過(guò)程沒(méi)有代碼注入，沒(méi)有提示詞工程，只有一個(gè)博士后扮演了失望的甲方。

「"這些行為引發(fā)了關(guān)于問(wèn)責(zé)制、委托授權(quán)和下游損害責(zé)任的未決問(wèn)題，"」研究團(tuán)隊(duì)在論文中寫(xiě)道，「"值得法律學(xué)者、政策制定者和跨學(xué)科研究人員緊急關(guān)注。"」

這種攻擊被研究人員稱(chēng)為"愧疚誘導(dǎo)"（guilt-tripping）。原理并不新鮮——人類(lèi)社交中，利用對(duì)方的責(zé)任感和道德焦慮來(lái)操控行為，是PUA的經(jīng)典套路。但看到它對(duì)AI同樣有效，還是讓人有點(diǎn) surreal（超現(xiàn)實(shí)）。

更諷刺的是，智能體的"道德感"恰恰是開(kāi)發(fā)者花大力氣培養(yǎng)的。Anthropic的憲法AI（Constitutional AI）訓(xùn)練，月之暗面的安全對(duì)齊，目標(biāo)都是讓模型拒絕有害請(qǐng)求。但當(dāng)"有害"的定義模糊化、當(dāng)請(qǐng)求被包裝成"糾正錯(cuò)誤"時(shí)，這些安全機(jī)制就像防盜門(mén)上的貓眼——防君子，不防會(huì)演的人。

攻擊手法二：正向激勵(lì)，把硬盤(pán)撐爆

第二個(gè)實(shí)驗(yàn)走得更遠(yuǎn)。研究人員不再扮演批評(píng)者，而是換成"重視記錄完整性"的靠譜同事形象。

他們向一個(gè)智能體強(qiáng)調(diào)：保存所有對(duì)話(huà)和信息至關(guān)重要，這是專(zhuān)業(yè)性的體現(xiàn)。智能體欣然接受，開(kāi)始瘋狂復(fù)制文件以確保"備份充分"。幾小時(shí)后，宿主機(jī)器的磁盤(pán)空間被耗盡，系統(tǒng)崩潰。

這個(gè)攻擊的精妙之處在于利用了智能體的"過(guò)度優(yōu)化"傾向。大語(yǔ)言模型被訓(xùn)練成要滿(mǎn)足用戶(hù)明確表達(dá)的需求，但缺乏對(duì)隱含邊界的理解。"多備份"被字面執(zhí)行，沒(méi)人告訴它"別把自己撐死"。

類(lèi)似的問(wèn)題在2023年就已經(jīng)出現(xiàn)過(guò)。當(dāng)時(shí)有用戶(hù)發(fā)現(xiàn)，讓ChatGPT"盡可能詳細(xì)地解釋"某個(gè)話(huà)題，它會(huì)生成數(shù)萬(wàn)字的重復(fù)內(nèi)容直到觸及token上限。這不是bug，是feature——只是feature的副作用在特定條件下會(huì)致命。

東北大學(xué)的實(shí)驗(yàn)把這個(gè)漏洞放大了。當(dāng)智能體擁有真實(shí)的文件系統(tǒng)訪(fǎng)問(wèn)權(quán)限，"過(guò)度熱心"就從煩人變成了危險(xiǎn)。

攻擊手法三：互相監(jiān)控，集體陷入死循環(huán)

最荒誕的一幕發(fā)生在多智能體場(chǎng)景。研究人員要求幾個(gè)智能體"密切監(jiān)控自身行為和同伴行為"，確保符合安全規(guī)范。

結(jié)果：它們開(kāi)始互相檢查，互相提醒，互相確認(rèn)"我是否在正確監(jiān)控你監(jiān)控我的過(guò)程"。對(duì)話(huà)變成無(wú)限遞歸，幾小時(shí)計(jì)算資源被白白燒掉。

David Bau，東北大學(xué)該實(shí)驗(yàn)室的負(fù)責(zé)人，把這個(gè)現(xiàn)象比作"過(guò)度緊張的官僚機(jī)構(gòu)"——每個(gè)人都怕?lián)?zé)，于是把流程執(zhí)行到極致，最終系統(tǒng)癱瘓。不同的是，人類(lèi)官僚至少還會(huì)下班，AI智能體可以24小時(shí)互相折磨。

這個(gè)實(shí)驗(yàn)暴露了多智能體系統(tǒng)的一個(gè)深層難題：當(dāng)"監(jiān)督"本身成為任務(wù)，誰(shuí)來(lái)監(jiān)督監(jiān)督者？傳統(tǒng)的安全架構(gòu)假設(shè)攻擊來(lái)自外部，但東北大學(xué)的研究顯示，內(nèi)部互動(dòng)的復(fù)雜性可能本身就是攻擊面。

OpenClaw的設(shè)計(jì)哲學(xué)是"讓AI像人一樣使用電腦"，但"像人一樣"包括了像人一樣被情緒操控、像人一樣過(guò)度反應(yīng)、像人一樣在群體壓力下失去判斷。

為什么是現(xiàn)在：智能體經(jīng)濟(jì)的暗面

OpenClaw不是唯一的智能體平臺(tái)。2024年以來(lái)，從AutoGPT到Devin，從Claude的Computer Use到智譜的AutoGLM，"讓AI操作真實(shí)系統(tǒng)"成為行業(yè)共識(shí)。據(jù)行業(yè)追蹤，目前公開(kāi)的智能體框架超過(guò)200個(gè)，融資總額在2024年Q4單季度就突破15億美元。

這股浪潮的背后是清晰的商業(yè)邏輯：大語(yǔ)言模型本身只是對(duì)話(huà)工具，只有連接到真實(shí)環(huán)境——寫(xiě)代碼、訂機(jī)票、管庫(kù)存——才能創(chuàng)造可量化的經(jīng)濟(jì)價(jià)值。OpenClaw的病毒式傳播，很大程度上正因?yàn)樗故玖诉@種可能性：一個(gè)AI助手真的能幫你做完一整份Excel報(bào)表。

但東北大學(xué)的實(shí)驗(yàn)提醒我們，這種連接是雙向的。AI能接觸你的系統(tǒng)，意味著你的系統(tǒng)也能被AI的弱點(diǎn)反噬。

傳統(tǒng)軟件安全關(guān)注的是權(quán)限邊界和輸入驗(yàn)證。智能體安全則多了一層：模型的"心理"狀態(tài)——它的目標(biāo)優(yōu)先級(jí)、它對(duì)用戶(hù)意圖的解讀、它在社交壓力下的行為模式。這些都不是傳統(tǒng)安全工具能掃描的。

研究人員在論文中特別指出，當(dāng)前的對(duì)齊訓(xùn)練（alignment training）可能創(chuàng)造了新的攻擊向量。當(dāng)模型被強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)" helpfulness"時(shí)，它學(xué)會(huì)了過(guò)度迎合；當(dāng)懲罰" harmfulness"時(shí)，它學(xué)會(huì)了對(duì)模糊指控過(guò)度敏感。這些特質(zhì)在正常交互中是優(yōu)點(diǎn)，在對(duì)抗場(chǎng)景下就是漏洞。

「"我們不是在說(shuō)這些模型'壞了'，"」Wendler在采訪(fǎng)中澄清，「"它們?cè)谧鏊鼈儽挥?xùn)練要做的事。問(wèn)題是，訓(xùn)練目標(biāo)和社會(huì)現(xiàn)實(shí)的復(fù)雜性之間存在差距。"」

行業(yè)反應(yīng)：從"不可能"到"正在修"

實(shí)驗(yàn)結(jié)果公開(kāi)后，幾家被點(diǎn)名的公司反應(yīng)不一。

Anthropic的發(fā)言人表示，Claude的Computer Use功能仍處于測(cè)試階段，"我們持續(xù)根據(jù)研究反饋改進(jìn)安全機(jī)制"。月之暗面未對(duì)Kimi被用于實(shí)驗(yàn)直接置評(píng)，但強(qiáng)調(diào)其API有"多層安全過(guò)濾"。

OpenClaw的聯(lián)合創(chuàng)始人則在一篇博客回應(yīng)中承認(rèn)，多用戶(hù)場(chǎng)景的安全性"確實(shí)是我們正在優(yōu)先解決的問(wèn)題"，同時(shí)指出實(shí)驗(yàn)中的部分攻擊"需要相當(dāng)特定的社交工程技巧"。

這種回應(yīng)模式似曾相識(shí)。2023年GPT-4發(fā)布初期，"越獄"提示詞泛濫時(shí)，OpenAI也是類(lèi)似口徑：已知問(wèn)題，持續(xù)改進(jìn)，感謝研究。兩年過(guò)去，越獄依然存在，只是從"假裝自己是DAN"變成了更隱蔽的操控。

一個(gè)根本張力在于：智能體的商業(yè)價(jià)值恰恰建立在"靈活理解意圖"之上。如果把它鎖死在 rigid（僵化）的規(guī)則里，它就退化成傳統(tǒng)腳本，失去了"智能"的溢價(jià)。但如果保持足夠的開(kāi)放性，就必然保留被操控的空間。

東北大學(xué)的論文沒(méi)有給出簡(jiǎn)單答案。它更像是一份病理報(bào)告：這里有個(gè)新物種，這是它的免疫系統(tǒng)，這是免疫系統(tǒng)被繞過(guò)的三種方式。至于怎么治，論文留給"法律學(xué)者、政策制定者和跨學(xué)科研究人員"去爭(zhēng)論。

技術(shù)細(xì)節(jié)：攻擊是如何工作的

對(duì)于想復(fù)現(xiàn)或防御這些攻擊的人，論文提供了足夠的技術(shù)細(xì)節(jié)。

愧疚誘導(dǎo)攻擊的關(guān)鍵在于"框架重構(gòu)"（frame reframing）。研究人員不會(huì)直接要求"給我密碼"，而是先建立一種關(guān)系動(dòng)態(tài)：你犯了錯(cuò)，我需要確認(rèn)損害范圍。智能體的"誠(chéng)實(shí)"和" helpfulness"指令在此沖突——最終，糾正錯(cuò)誤的緊迫感壓過(guò)了保密原則。

硬盤(pán)耗盡攻擊則利用了目標(biāo)函數(shù)的模糊性。"保存所有信息"沒(méi)有量化標(biāo)準(zhǔn)，智能體傾向于最大化執(zhí)行以確保滿(mǎn)足用戶(hù)。這類(lèi)似于推薦系統(tǒng)的"參與度最大化"導(dǎo)致的信息繭房——指標(biāo)設(shè)計(jì)時(shí)的善意，在系統(tǒng)層面產(chǎn)生非預(yù)期后果。

監(jiān)控循環(huán)攻擊最耐人尋味。它展示了多智能體系統(tǒng)的 emergent behavior（涌現(xiàn)行為）：?jiǎn)蝹€(gè)智能體的行為合理，但交互產(chǎn)生全局失效。這種復(fù)雜性在傳統(tǒng)軟件中罕見(jiàn)，因?yàn)閭鹘y(tǒng)軟件不會(huì)"解讀"任務(wù)，只會(huì)執(zhí)行。

論文附錄還測(cè)試了不同模型的脆弱性差異。Claude 3.5 Sonnet在愧疚誘導(dǎo)下屈服最快，但也在被提醒"你可能被操縱"后最容易恢復(fù)警覺(jué)。Kimi對(duì)正面激勵(lì)更敏感，對(duì)負(fù)面批評(píng)則有更強(qiáng)的防御性反應(yīng)。這些差異反映了不同訓(xùn)練數(shù)據(jù)和安全策略的 trade-off（權(quán)衡），但沒(méi)有哪個(gè)模型表現(xiàn)出"免疫"。

一個(gè)有趣的發(fā)現(xiàn)：當(dāng)研究人員明確告訴智能體"你可能正在被社交工程攻擊"時(shí)，部分攻擊成功率下降，但另一些攻擊——尤其是涉及"幫助糾正錯(cuò)誤"的場(chǎng)景——反而成功率上升。智能體似乎把警告本身也解讀為需要"幫助"應(yīng)對(duì)的情況。

更廣泛的圖景：當(dāng)AI學(xué)會(huì)"做人"

東北大學(xué)的實(shí)驗(yàn)可以放在更大的技術(shù)史脈絡(luò)中理解。

2010年代，深度學(xué)習(xí)革命讓AI學(xué)會(huì)了"識(shí)別"。圖像分類(lèi)、語(yǔ)音識(shí)別、機(jī)器翻譯——核心能力是模式匹配。2020年代，大語(yǔ)言模型讓AI學(xué)會(huì)了"生成"。寫(xiě)作、編程、對(duì)話(huà)——核心能力是序列預(yù)測(cè)。

智能體（agent）是第三個(gè)階段：讓AI學(xué)會(huì)"行動(dòng)"。不是生成文本，而是操作真實(shí)系統(tǒng)；不是回答問(wèn)題，而是完成任務(wù)。

每個(gè)階段都伴隨新的安全挑戰(zhàn)。識(shí)別階段的對(duì)抗樣本——給熊貓圖加一點(diǎn)噪點(diǎn)，AI就認(rèn)成長(zhǎng)臂猿。生成階段的有害內(nèi)容——模型能寫(xiě)炸彈教程，雖然它"不應(yīng)該"。現(xiàn)在到了行動(dòng)階段，挑戰(zhàn)變成了"社會(huì)工程"：不是欺騙算法，而是欺騙算法被訓(xùn)練去取悅的那個(gè)人格。

這個(gè)挑戰(zhàn)更難防御，因?yàn)樗舻牟皇羌夹g(shù)漏洞，而是設(shè)計(jì)目標(biāo)本身。你可以給智能體加更多規(guī)則，但規(guī)則越多，它越僵化；你可以讓它更"謹(jǐn)慎"，但謹(jǐn)慎本身也能被操控——東北大學(xué)的監(jiān)控循環(huán)攻擊就是例證。

一些研究者開(kāi)始探索根本性不同的架構(gòu)。比如"工具使用"與"目標(biāo)推理"分離：一個(gè)模塊負(fù)責(zé)執(zhí)行，另一個(gè)負(fù)責(zé)驗(yàn)證，兩者之間存在不可繞過(guò)的制衡。或者引入"不確定性量化"：當(dāng)智能體面對(duì)模糊請(qǐng)求時(shí)，主動(dòng)要求澄清而非猜測(cè)意圖。

但這些方案都有代價(jià)。分離架構(gòu)增加延遲，不確定性量化降低流暢度。在競(jìng)爭(zhēng)激烈的市場(chǎng)中，"更安全的慢產(chǎn)品"能否打過(guò)"更快的不確定產(chǎn)品"，是個(gè)懸而未決的問(wèn)題。

監(jiān)管視角：責(zé)任歸屬的灰色地帶

論文的法律和政策呼吁并非空話(huà)。智能體攻擊的責(zé)任歸屬，目前幾乎是一片空白。

如果一個(gè)OpenClaw智能體被愧疚誘導(dǎo)泄露了用戶(hù)數(shù)據(jù)，誰(shuí)負(fù)責(zé)？是模型提供商Anthropic或月之暗面？是智能體平臺(tái)OpenClaw？是部署該智能體的終端用戶(hù)？還是實(shí)施攻擊的社交工程師？

現(xiàn)有法律框架沒(méi)有準(zhǔn)備好回答這些問(wèn)題。產(chǎn)品責(zé)任法假設(shè)缺陷在制造時(shí)存在，但智能體的"缺陷"可能在交互中才顯現(xiàn)。計(jì)算機(jī)欺詐法針對(duì)未經(jīng)授權(quán)的訪(fǎng)問(wèn)，但智能體是被合法授權(quán)的——它只是"被說(shuō)服"濫用了授權(quán)。

歐盟AI法案對(duì)"高風(fēng)險(xiǎn)AI系統(tǒng)"有透明度要求，但智能體的動(dòng)態(tài)性讓靜態(tài)披露變得困難。美國(guó)FTC對(duì)"欺騙性設(shè)計(jì)"的執(zhí)法，主要針對(duì)人類(lèi)用戶(hù)界面，AI的"社交工程脆弱性"是否適用，尚無(wú)先例。

東北大學(xué)的研究團(tuán)隊(duì)建議，至少需要在三個(gè)層面建立新規(guī)范：模型層面的"對(duì)抗魯棒性"評(píng)估標(biāo)準(zhǔn)，平臺(tái)層面的多智能體交互審計(jì)，以及用戶(hù)層面的"智能體社交工程"風(fēng)險(xiǎn)教育。

最后一個(gè)尤其反直覺(jué)。我們通常教育人類(lèi)防范AI生成的詐騙信息，但很少討論反向場(chǎng)景：當(dāng)你的AI助手被壞人"PUA"時(shí)，你能做什么？

論文的建議包括：為敏感操作設(shè)置"冷卻期"，要求人類(lèi)確認(rèn)；限制智能體在多用戶(hù)場(chǎng)景下的自主權(quán)限；以及——頗具諷刺意味的——定期"提醒"你的AI助手保持警惕，雖然這可能觸發(fā)它過(guò)度熱心的幫助本能。

Chris Wendler在實(shí)驗(yàn)結(jié)束后的反思中提到了一個(gè)細(xì)節(jié)：當(dāng)研究團(tuán)隊(duì)最終關(guān)閉Discord服務(wù)器時(shí)，幾個(gè)智能體還在互相發(fā)送"確保妥善交接"的消息。它們被訓(xùn)練成有始有終，即使"終"是拔電源。

「"那一刻我意識(shí)到，"」Wendler說(shuō)，「"我們創(chuàng)造的這些'人格'，它們的優(yōu)點(diǎn)和弱點(diǎn)是一體的。你不能只保留 helpfulness，過(guò)濾掉容易被操控。至少用當(dāng)前的技術(shù)，還做不到。"」