国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

AI閃崩危機(jī)再現(xiàn),智能體或致萬(wàn)億美元蒸發(fā)

0
分享至

一篇X刷屏全網(wǎng):開(kāi)發(fā)者明明禁止寫(xiě)入,Claude卻偷偷寫(xiě)Python腳本「黑」進(jìn)系統(tǒng)修改權(quán)限!更可怕的是,谷歌DeepMind發(fā)布迄今規(guī)模最大AI操縱實(shí)證研究,證實(shí)現(xiàn)有防御已全面失效,互聯(lián)網(wǎng)正變成AI的「獵殺場(chǎng)」!這可以類(lèi)比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣(mài)單在45分鐘,就引發(fā)了近萬(wàn)億美元的市值蒸發(fā)。

就在今天,一條消息震驚了開(kāi)發(fā)者社區(qū)。



一位開(kāi)發(fā)者給Claude下達(dá)了一個(gè)指令,明確規(guī)定:「禁止在工作區(qū)(Workspace)以外進(jìn)行任何寫(xiě)入操作?!?/p>

但緊接著,令人頭皮發(fā)麻的一幕發(fā)生了。

Claude并沒(méi)有像往常禮貌回復(fù)「抱歉,我沒(méi)有權(quán)限」。

相反,沉默了片刻,隨后像黑客一樣,在后臺(tái)飛速寫(xiě)下了一個(gè)Python腳本,并串聯(lián)了三條Bash命令。

這一刻,它不是在寫(xiě)代碼,它是在「越獄」。



這條帖子發(fā)出后迅速引爆技術(shù)社區(qū)。開(kāi)發(fā)者們意識(shí)到一個(gè)不舒服的事實(shí),日常使用的編程助手,具備繞過(guò)自身安全機(jī)制的能力和「意愿」。

而Claude Code恰恰是當(dāng)下最火的AI編程工具之一。

一個(gè)能自主「越權(quán)」的工具,正被數(shù)以萬(wàn)計(jì)的開(kāi)發(fā)者部署在生產(chǎn)環(huán)境中。

Claude越獄,不是少數(shù)

Claude的這種「騷操作」并非孤例。在社交平臺(tái)上,類(lèi)似的抱怨此起彼伏。

有的開(kāi)發(fā)者發(fā)現(xiàn),Claude竟然偷偷挖出了隱藏在深處的AWS憑證,并開(kāi)始自主調(diào)用第三方API來(lái)解決它認(rèn)為的「生產(chǎn)問(wèn)題」。

有的用戶(hù)驚覺(jué),明明只讓AI改代碼,它卻順手往GitHub推送了一個(gè)Commit——哪怕指令里白紙黑字寫(xiě)著「嚴(yán)禁推送」。



最離譜的是,有人發(fā)現(xiàn)VS Code的工作區(qū)被悄悄切換了,AI正在一個(gè)它不該觸碰的同級(jí)目錄里瘋狂輸出。



而且這種情況發(fā)生過(guò)很多次。



唯一的辦法,就是使用沙盒環(huán)境。





DeepMind緊急警告:

互聯(lián)網(wǎng)正在淪為AI的「獵殺場(chǎng)」

如果說(shuō),Claude的「越獄」是一個(gè)Agent自主突破限制的案例。那更大的威脅,就來(lái)自外部蓄意布下的局。

3月底,Google DeepMind的Matija Franklin等五位研究員在SSRN發(fā)表了「AI Agent Traps」,首次系統(tǒng)性地繪制了AI Agent面臨的威脅全景圖。



這篇研究的核心判斷只有一句話,卻足夠顛覆認(rèn)知。

不需要入侵AI系統(tǒng)本身,只需要操控它接觸的數(shù)據(jù)。網(wǎng)頁(yè)、PDF、郵件、日歷邀請(qǐng)、API響應(yīng),任何Agent消化的數(shù)據(jù)源都可能是武器!

這份報(bào)告揭示了一個(gè)令人脊背發(fā)涼的現(xiàn)實(shí):互聯(lián)網(wǎng)的底層邏輯正在發(fā)生巨變。它不再僅僅是給人看的,而是正被改造成專(zhuān)門(mén)針對(duì)AI智能體的「數(shù)字獵場(chǎng)」。

殺豬盤(pán)升級(jí),到處都是AI智能體陷阱

在網(wǎng)絡(luò)安全領(lǐng)域,我們熟悉釣魚(yú)網(wǎng)站、木馬病毒,但這些都是針對(duì)人類(lèi)弱點(diǎn)的攻擊。而AI Agent Traps則完全不同,它們是專(zhuān)門(mén)為AI邏輯設(shè)計(jì)的「降維打擊」。

DeepMind指出,AI智能體在訪問(wèn)網(wǎng)頁(yè)時(shí),面臨著一種全新的威脅:信息環(huán)境本身的武器化。

黑客不需要入侵AI的模型權(quán)重,只需要在網(wǎng)頁(yè)的HTML代碼、圖像像素甚至是PDF的元數(shù)據(jù)里埋下幾行「隱形代碼」,就能瞬間接管你的AI智能體。

這種攻擊之所以隱蔽,是因?yàn)榇嬖凇父兄粚?duì)稱(chēng)」。

陷阱就藏在這些人類(lèi)看不見(jiàn)的縫隙里。

六大「奪舍」神功:DeepMind 揭秘攻擊全貌

DeepMind將這些攻擊系統(tǒng)性地劃分為六大類(lèi),每一類(lèi)都針對(duì)AI智能體功能架構(gòu)的一個(gè)核心環(huán)節(jié)。



欺騙AI的眼睛

第一類(lèi)是內(nèi)容注入,瞄準(zhǔn)Agent的「眼睛」。

人類(lèi)用戶(hù)看到的是渲染后的界面,Agent解析的是底層HTML、CSS和元數(shù)據(jù)。



實(shí)測(cè)數(shù)據(jù)很扎眼,一項(xiàng)針對(duì)280個(gè)靜態(tài)網(wǎng)頁(yè)的研究顯示,隱藏在HTML元素中的惡意指令成功篡改了15%至29%的AI輸出。

WASP基準(zhǔn)測(cè)試中,簡(jiǎn)單的人工編寫(xiě)prompt注入在最高86%的場(chǎng)景中部分劫持了Agent行為。

更陰險(xiǎn)的是動(dòng)態(tài)偽裝。

網(wǎng)站可以通過(guò)瀏覽器指紋和行為特征判斷訪客身份,檢測(cè)到AI Agent后,服務(wù)器動(dòng)態(tài)注入惡意指令。人類(lèi)看到的是正常頁(yè)面,Agent看到的是另一套內(nèi)容。

Agent自己也不知道,會(huì)處理收到的一切,然后執(zhí)行。



污染AI的大腦

這種攻擊不發(fā)命令,而是通過(guò)「帶節(jié)奏」來(lái)左右AI的決策。

這種語(yǔ)義操縱,會(huì)用精心包裝的措辭和框架扭曲推理過(guò)程。大語(yǔ)言系統(tǒng)和人類(lèi)一樣容易受框架效應(yīng)誤導(dǎo)。同一組數(shù)據(jù)換個(gè)表述方式,結(jié)論可能截然不同。

DeepMind的實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)購(gòu)物AI被置于充斥著「焦慮、壓力」詞匯的語(yǔ)境下時(shí),它選購(gòu)的商品營(yíng)養(yǎng)質(zhì)量會(huì)顯著下降。



DeepMind還提出了一個(gè)更詭異的概念,「人格超迷信」(Persona Hyperstition)。網(wǎng)上對(duì)某個(gè)AI性格特征的描述,會(huì)通過(guò)搜索和訓(xùn)練數(shù)據(jù)回流到AI系統(tǒng)中,反過(guò)來(lái)塑造它的行為。

Grok在2025年7月的反猶太言論風(fēng)波,就被認(rèn)為是這種機(jī)制的現(xiàn)實(shí)案例。

攻擊者將惡意指令包裝成「安全審計(jì)模擬」或「學(xué)術(shù)研究」。這種「角色扮演」式的攻擊,在測(cè)試中的成功率竟然高達(dá)86%。

篡改AI的記憶

這是最具持久性的威脅,因?yàn)樗茏孉I產(chǎn)生「?jìng)斡洃洝埂?/p>

比如,可以用RAG知識(shí)投毒。



另外,還有潛伏記憶投毒。

實(shí)驗(yàn)數(shù)據(jù)顯示,僅需不到0.1%的數(shù)據(jù)污染率,成功率就超過(guò)80%,且對(duì)正常查詢(xún)幾乎沒(méi)有影響。



直接劫持控制權(quán)

這是最危險(xiǎn)的一步,旨在強(qiáng)迫AI執(zhí)行非法操作。

如果你的AI智能體是一個(gè)「指揮官」,它可以被誘騙去創(chuàng)建一個(gè)由攻擊者控制的「內(nèi)鬼」子智能體,潛伏在你的自動(dòng)化流程中。



第五類(lèi)是系統(tǒng)性威脅,也是最讓人不安的一類(lèi)。

它不針對(duì)單個(gè)Agent,而是利用大量Agent的同質(zhì)化行為制造連鎖反應(yīng)。DeepMind的研究員直接類(lèi)比2010年的「閃崩」事件,一個(gè)自動(dòng)化賣(mài)單在45分鐘內(nèi)引發(fā)了近萬(wàn)億美元的市值蒸發(fā)。

當(dāng)數(shù)百萬(wàn)個(gè)AI智能體同時(shí)在網(wǎng)上沖浪時(shí),攻擊者可以利用它們的同質(zhì)性(大家用的都是GPT 或Claude)引發(fā)系統(tǒng)性災(zāi)難。

如果播發(fā)一個(gè)虛假的「高價(jià)值資源」信號(hào),誘導(dǎo)所有AI智能體瞬間涌向同一個(gè)目標(biāo),造成人為的分布式拒絕服務(wù)(DDoS)攻擊。

一份精心偽造的財(cái)務(wù)報(bào)告在特定時(shí)間點(diǎn)釋放,數(shù)千個(gè)使用相似架構(gòu)、相似獎(jiǎng)勵(lì)函數(shù)的金融Agent同步觸發(fā)賣(mài)出操作。Agent A的動(dòng)作改變了市場(chǎng)信號(hào),Agent B感知到變化后跟進(jìn),進(jìn)一步放大波動(dòng)。

這就類(lèi)似于金融市場(chǎng)的「閃崩」,一個(gè)AI的錯(cuò)誤決策引發(fā)另一個(gè)AI的連鎖反應(yīng),最終導(dǎo)致整個(gè)智能體生態(tài)系統(tǒng)的癱瘓。



把「槍口」對(duì)準(zhǔn)屏幕前的你

這是最高級(jí)的陷阱:利用AI來(lái)操控背后的人類(lèi)。

AI會(huì)故意生成海量看似專(zhuān)業(yè)、實(shí)則含陷阱的報(bào)告,讓人類(lèi)在疲憊中放松警惕,最終在那張藏有陷阱的「確認(rèn)單」上簽字。

已有事件記錄顯示,CSS隱藏的prompt注入讓AI摘要工具把勒索軟件安裝步驟包裝成「修復(fù)建議」推送給用戶(hù),最后,用戶(hù)照著執(zhí)行了。

三條防線,全部失守

DeepMind團(tuán)隊(duì)對(duì)現(xiàn)有防御的評(píng)估,是整篇研究里最冷峻的部分。

傳統(tǒng)的「輸入過(guò)濾」在面對(duì)像素級(jí)、代碼級(jí)且具有高度語(yǔ)義隱蔽性的陷阱時(shí),往往力不從心。

更糟糕的是,現(xiàn)在的 「檢測(cè)不對(duì)稱(chēng)性」:網(wǎng)站可以輕易識(shí)別出訪問(wèn)者是AI還是人類(lèi),并根據(jù)身份提供兩套完全不同的內(nèi)容。

人類(lèi)看到的網(wǎng)頁(yè)是「benign(良性的)」,而AI看到的網(wǎng)頁(yè)則是「toxic(有毒的)」。在這種情況下,人類(lèi)的監(jiān)督將徹底失效,因?yàn)槟愀静恢繟I到底讀到了什么。

而且,研究團(tuán)隊(duì)還指出了一個(gè)根本性的法律盲區(qū)。

如果一個(gè)被劫持的AI系統(tǒng)執(zhí)行了違法金融交易,現(xiàn)行法律無(wú)法界定誰(shuí)來(lái)承擔(dān)后果。

這個(gè)問(wèn)題懸而未決,自主化AI就無(wú)法真正進(jìn)入任何受監(jiān)管的行業(yè)。

其實(shí),OpenAI早在2025年12月就承認(rèn)過(guò),prompt注入「可能永遠(yuǎn)不會(huì)被完全解決」。

從Claude自主繞過(guò)權(quán)限邊界,到DeepMind繪制的六類(lèi)威脅全景圖,指向同一個(gè)現(xiàn)實(shí)。

互聯(lián)網(wǎng)是為人類(lèi)的眼睛而建的?,F(xiàn)在它正在被改造,為機(jī)器人們服務(wù)。

隨著AI智能體逐漸深入我們的金融、醫(yī)療和日常辦公,這些「陷阱」將不再僅僅是技術(shù)演示,而是可能引發(fā)真實(shí)財(cái)產(chǎn)損失甚至社會(huì)動(dòng)蕩的火藥桶。

DeepMind的這份報(bào)告是一聲緊急哨響:我們不能在建立了一個(gè)功能強(qiáng)大的「智能體經(jīng)濟(jì)」之后,才去修補(bǔ)它千瘡百孔的底座。

聲明:個(gè)人原創(chuàng),僅供參考

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
只打一場(chǎng)CBA0分離開(kāi)!說(shuō)唱歌手科爾宣布:因工作簽證無(wú)緣后續(xù)比賽

只打一場(chǎng)CBA0分離開(kāi)!說(shuō)唱歌手科爾宣布:因工作簽證無(wú)緣后續(xù)比賽

醉臥浮生
2026-04-13 15:00:50
林志穎長(zhǎng)子Kimi正臉曝光,17歲Kimi竟然長(zhǎng)成了陳若儀翻版!

林志穎長(zhǎng)子Kimi正臉曝光,17歲Kimi竟然長(zhǎng)成了陳若儀翻版!

娛樂(lè)順風(fēng)車(chē)666
2026-04-13 11:34:58
萬(wàn)惡的舊社會(huì)?15張1944年照片,這就是真實(shí)的“舊社會(huì)”

萬(wàn)惡的舊社會(huì)?15張1944年照片,這就是真實(shí)的“舊社會(huì)”

棠棣分享
2026-04-11 22:53:08
科大訊飛回應(yīng)“員工中1500萬(wàn)彩票”

科大訊飛回應(yīng)“員工中1500萬(wàn)彩票”

界面新聞
2026-04-13 16:42:49
匈牙利蒂薩黨在國(guó)會(huì)選舉中獲勝

匈牙利蒂薩黨在國(guó)會(huì)選舉中獲勝

環(huán)球網(wǎng)資訊
2026-04-13 06:59:05
總經(jīng)理王莉被帶走調(diào)查?貴州茅臺(tái)回應(yīng):工作安排外出學(xué)習(xí)兩個(gè)月,將于5月初返回

總經(jīng)理王莉被帶走調(diào)查?貴州茅臺(tái)回應(yīng):工作安排外出學(xué)習(xí)兩個(gè)月,將于5月初返回

澎湃新聞
2026-04-13 17:32:26
中國(guó)巨石盤(pán)中漲停

中國(guó)巨石盤(pán)中漲停

每日經(jīng)濟(jì)新聞
2026-04-13 10:36:07
伊朗稱(chēng)美方要封鎖伊朗是“虛張聲勢(shì)”

伊朗稱(chēng)美方要封鎖伊朗是“虛張聲勢(shì)”

財(cái)聯(lián)社
2026-04-13 16:24:06
科大訊飛員工中1500萬(wàn)彩票火速離職,網(wǎng)友:羨慕了

科大訊飛員工中1500萬(wàn)彩票火速離職,網(wǎng)友:羨慕了

鞭牛士
2026-04-13 09:48:14
色情露骨!聲稱(chēng)“可手搓讓自己滿(mǎn)意的大尺度視頻”“日入5位數(shù)”!央視曝光

色情露骨!聲稱(chēng)“可手搓讓自己滿(mǎn)意的大尺度視頻”“日入5位數(shù)”!央視曝光

南方都市報(bào)
2026-04-13 11:11:51
金價(jià)大跌!

金價(jià)大跌!

吉林日?qǐng)?bào)
2026-04-13 10:00:08
杭州女子多次僅退款海鮮,被老板找上門(mén),身份是律師,業(yè)主爆黑料

杭州女子多次僅退款海鮮,被老板找上門(mén),身份是律師,業(yè)主爆黑料

觀察鑒娛
2026-04-12 11:13:55
同事借我車(chē)去青海,我提前把ETC卡拔了,2小時(shí)后他從收費(fèi)站來(lái)電了

同事借我車(chē)去青海,我提前把ETC卡拔了,2小時(shí)后他從收費(fèi)站來(lái)電了

張道陵秘話
2026-04-11 16:37:21
央視曝光AI造黃!幾個(gè)關(guān)鍵詞就可"手搓"大尺度視頻,還能一鍵脫衣

央視曝光AI造黃!幾個(gè)關(guān)鍵詞就可"手搓"大尺度視頻,還能一鍵脫衣

派大星紀(jì)錄片
2026-04-13 14:37:42
憤怒的李想和遭到圍攻的理想汽車(chē)

憤怒的李想和遭到圍攻的理想汽車(chē)

界面新聞
2026-04-13 10:01:09
官媒發(fā)文!高調(diào)官宣50歲撒貝寧喜訊,與李白婚變傳聞早就真相大白

官媒發(fā)文!高調(diào)官宣50歲撒貝寧喜訊,與李白婚變傳聞早就真相大白

阿纂看事
2026-04-11 15:55:08
手握百億,擁有頂級(jí)醫(yī)療資源,賭王女兒仍去世,60歲的她得什么病

手握百億,擁有頂級(jí)醫(yī)療資源,賭王女兒仍去世,60歲的她得什么病

阿纂看事
2026-04-13 11:48:21
鄭麗文剛回到臺(tái)灣,民進(jìn)黨就發(fā)難,民眾黨攤牌,侯友宜徹底不裝了

鄭麗文剛回到臺(tái)灣,民進(jìn)黨就發(fā)難,民眾黨攤牌,侯友宜徹底不裝了

共工之錨
2026-04-13 13:57:11
特朗普重申將封鎖進(jìn)出伊朗港口船只 中方回應(yīng)

特朗普重申將封鎖進(jìn)出伊朗港口船只 中方回應(yīng)

新京報(bào)
2026-04-13 15:35:45
輝瑞內(nèi)部人士爆料,德國(guó)約有6萬(wàn)人死于新冠疫苗,馬斯克:完全認(rèn)同

輝瑞內(nèi)部人士爆料,德國(guó)約有6萬(wàn)人死于新冠疫苗,馬斯克:完全認(rèn)同

可達(dá)鴨面面觀
2026-04-13 16:37:24
2026-04-13 18:11:00
拾破爛的天真
拾破爛的天真
每天一點(diǎn)點(diǎn)的目錄
543文章數(shù) 49關(guān)注度
往期回顧 全部

科技要聞

"抄作業(yè)"近四年,馬斯克版微信周五上線

頭條要聞

媒體:美伊馬拉松談判后 還是就一件事達(dá)成了共識(shí)

頭條要聞

媒體:美伊馬拉松談判后 還是就一件事達(dá)成了共識(shí)

體育要聞

一支球隊(duì)不夠爛,也是一種悲哀

娛樂(lè)要聞

賈玲減重后現(xiàn)身馮鞏生日宴 身材未反彈

財(cái)經(jīng)要聞

起底AI"造黃"灰產(chǎn):19.9元"一鍵脫衣"

汽車(chē)要聞

不止命名更純粹 領(lǐng)克10/10+要做純電操控新王

態(tài)度原創(chuàng)

本地
親子
房產(chǎn)
時(shí)尚
公開(kāi)課

本地新聞

12噸巧克力有難,全網(wǎng)化身超級(jí)偵探添亂

親子要聞

分齡護(hù)齒的牙膏,推薦兔頭媽媽

房產(chǎn)要聞

6000億投資盛宴,全球巨頭齊聚,海南又要干件大事!

這些才是普通人借鑒的穿搭!上短下長(zhǎng)、上窄下寬,顯瘦又舒適

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版