国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

AI投毒,比你想象的低端得多,也危險(xiǎn)得多

0
分享至

最近有媒體做了一個(gè)測試,記者花了39.9元,雇了一個(gè)"AI內(nèi)容優(yōu)化"團(tuán)伙,對方用批量生成的軟文往公網(wǎng)上一鋪,幾個(gè)小時(shí)后,一個(gè)完全虛構(gòu)的商品就出現(xiàn)在了AI大模型的推薦榜單里。不是排名靠后,是"名列前茅"。很多人看完的第一反應(yīng)是:"啊,AI推薦可以買水軍?"但我想說,這個(gè)理解只對了一半——買水軍是舊時(shí)代的玩法,更深的那層是:花39.9元操控的,不只是這次的推薦結(jié)果,而是AI模型學(xué)習(xí)世界的方式本身。這就是數(shù)據(jù)投毒,AI時(shí)代最隱蔽、成本最低、危害最持久的攻擊方式。


要理解為什么這件事比"買水軍"嚴(yán)重得多,你需要先明白大模型是怎么"學(xué)習(xí)"的。簡單說,大模型的能力來自喂給它的海量訓(xùn)練數(shù)據(jù)——它讀了多少,就"知道"多少,判斷力就是從這些數(shù)據(jù)里提煉出來的。如果訓(xùn)練數(shù)據(jù)是干凈的,模型就會(huì)有相對準(zhǔn)確的世界觀;如果訓(xùn)練數(shù)據(jù)里混入了"毒",模型的世界觀就會(huì)被悄悄歪掉,而且一旦歪了,你不重新訓(xùn)練就很難糾正——那個(gè)錯(cuò)誤的認(rèn)知已經(jīng)被編碼進(jìn)了權(quán)重,像一枚釘子釘進(jìn)了木頭,拔不出來。上面那個(gè)測試曝光的攻擊手法有個(gè)名字叫GEO投毒:攻擊者批量生成"符合大模型偏好"的內(nèi)容——高原創(chuàng)度、多關(guān)鍵詞、權(quán)威句式——鋪滿公網(wǎng),讓AI在爬取訓(xùn)練數(shù)據(jù)時(shí)主動(dòng)把這些毒內(nèi)容當(dāng)成優(yōu)質(zhì)素材吞進(jìn)去,之后這個(gè)模型給任何人推薦相關(guān)產(chǎn)品時(shí),都會(huì)偏向那個(gè)被操縱的商品。這不是一次性欺騙,這是永久性污染。

更讓人頭皮發(fā)涼的是,這種攻擊的成本正在快速趨向于零。Anthropic聯(lián)合英國AI安全研究院做過一項(xiàng)實(shí)測研究,結(jié)果發(fā)現(xiàn):在一個(gè)擁有130億參數(shù)的大模型中,僅需混入250個(gè)精心構(gòu)造的惡意網(wǎng)頁,就能穩(wěn)定植入一個(gè)可觸發(fā)的后門行為——觸發(fā)特定詞語時(shí),模型會(huì)給出攻擊者預(yù)設(shè)的錯(cuò)誤輸出。更不安的發(fā)現(xiàn)是,參數(shù)越大的模型,對這種微量投毒反而越敏感。對于企業(yè)常用的中小型模型,甚至只需要50個(gè)惡意樣本,就能讓推理準(zhǔn)確率下降30%以上。換成白話就是:你的AI助手原本能答對10道題,被人悄悄投了幾十條毒之后,就開始穩(wěn)定答錯(cuò)3道——不是隨機(jī)的"幻覺",是在特定方向上被定向控制的錯(cuò)。


你可能覺得這是大公司和算法工程師的事,跟自己沒關(guān)系。但我想舉一個(gè)離普通人近得多的例子:2025年底,某電商企業(yè)的AI推薦系統(tǒng)遭遇了數(shù)據(jù)投毒攻擊,大量偽造的競品好評和自有產(chǎn)品差評被納入訓(xùn)練集,之后這套系統(tǒng)就開始持續(xù)把流量推向競品——這家企業(yè)花了整整兩周才定位到攻擊源頭,直接損失達(dá)百萬級銷售額。你在某平臺搜索一個(gè)品類,AI給你推薦了某款產(chǎn)品,你信任了它,下單,收到貨發(fā)現(xiàn)完全不是那么回事——你以為是AI"出錯(cuò)了",其實(shí)那個(gè)推薦從很久之前就已經(jīng)被人買通了,只不過不是買通了人,而是買通了數(shù)據(jù)。

更讓安全研究者擔(dān)心的是:數(shù)據(jù)投毒正在經(jīng)歷"平民化"。過去,要對一個(gè)大模型發(fā)動(dòng)有效的訓(xùn)練數(shù)據(jù)污染攻擊,需要算法專家、需要大規(guī)模數(shù)據(jù)工程能力——這是國家級攻擊者的游戲。而現(xiàn)在,隨著生成式AI工具的普及,批量生成符合大模型偏好的高質(zhì)量惡意內(nèi)容,幾十元加幾小時(shí)就能搞定;隨著開源模型的泛濫,任何人都可以下載一個(gè)預(yù)訓(xùn)練模型,往里注入惡意數(shù)據(jù),再重新打包上傳回開源平臺,等著別人下載使用。奇安信在2026年網(wǎng)絡(luò)安全趨勢報(bào)告里明確指出,從訓(xùn)練數(shù)據(jù)污染到MCP工具植入,供應(yīng)鏈攻擊已經(jīng)貫穿AI應(yīng)用的全生命周期,而內(nèi)部人員——數(shù)據(jù)標(biāo)注員、算法工程師、模型運(yùn)維工程師——的權(quán)限管控已成為重點(diǎn)預(yù)警方向。換句話說,這條攻擊鏈上最薄弱的環(huán)節(jié),可能就是坐在你公司隔壁工位、每天幫模型打標(biāo)簽的那個(gè)同事。


說到這里補(bǔ)充一點(diǎn),防止陷入純粹的焦慮:數(shù)據(jù)投毒能生效,有一個(gè)重要前提——攻擊者能接觸到訓(xùn)練數(shù)據(jù),或者能讓模型主動(dòng)爬取他們投放的毒內(nèi)容。對于數(shù)據(jù)來源嚴(yán)格管控、訓(xùn)練流程封閉的大模型,這種攻擊的難度會(huì)大得多。國內(nèi)頭部大模型公司已經(jīng)陸續(xù)建立了訓(xùn)練數(shù)據(jù)清潔流程,國家層面也在推動(dòng)訓(xùn)練數(shù)據(jù)的合規(guī)審查標(biāo)準(zhǔn)。但現(xiàn)實(shí)的問題是:大量中小企業(yè)部署AI時(shí)用的是開源模型,數(shù)據(jù)來源沒有經(jīng)過嚴(yán)格審計(jì),模型上線后沒有人持續(xù)監(jiān)測輸出是否偏移——在這種情況下,它們其實(shí)是完全暴露的。知道了威脅是什么,才能知道該防什么。

讀完這篇,想請你在評論區(qū)聊聊三個(gè)問題:你日常用的AI工具——搜索推薦、購物助手、內(nèi)容生成——你有沒有想過它們的訓(xùn)練數(shù)據(jù)來自哪里,有沒有人在里面動(dòng)過手腳?"AI推薦結(jié)果可以用39.9元買通"這件事,你覺得最該被追責(zé)的是誰——提供投毒服務(wù)的團(tuán)伙、使用工具的商家,還是沒有做好審查的平臺?最后這個(gè)問題是整個(gè)專欄想反復(fù)追問的:如果一個(gè)AI助手在99%的情況下表現(xiàn)完全正常,只在特定場景下給出被操控過的答案,作為普通用戶,你有沒有任何辦法自己發(fā)現(xiàn)這件事?

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
伊朗獲得強(qiáng)援,又一中東國家下場,還是美國親自送上門的幫手

伊朗獲得強(qiáng)援,又一中東國家下場,還是美國親自送上門的幫手

快看張同學(xué)
2026-03-26 14:46:05
2026年身份證就是老年證!爸媽滿60歲別辦證,這4件事千萬不能忘

2026年身份證就是老年證!爸媽滿60歲別辦證,這4件事千萬不能忘

復(fù)轉(zhuǎn)這些年
2026-03-26 09:26:17
楊振寧猝然離世5個(gè)月后,翁帆突傳新消息,懷孕傳聞早就真相大白

楊振寧猝然離世5個(gè)月后,翁帆突傳新消息,懷孕傳聞早就真相大白

李橑在北漂
2026-03-25 23:30:59
人狂自有天收

人狂自有天收

李老逵亂擺龍門陣
2025-09-11 09:01:28
巴基斯坦把稀土賣給美國,以為捏住中國“七寸”,如今自食惡果

巴基斯坦把稀土賣給美國,以為捏住中國“七寸”,如今自食惡果

滄海旅行家
2026-03-25 16:13:09
跟著黃仁勛下注:如今的token可能就是20年的房子

跟著黃仁勛下注:如今的token可能就是20年的房子

夢大明白
2026-03-24 11:05:49
快訊!歐爾班的回旋鏢來了!

快訊!歐爾班的回旋鏢來了!

達(dá)文西看世界
2026-03-26 12:23:16
我在小城市,一個(gè)人做電商,半年掙300萬

我在小城市,一個(gè)人做電商,半年掙300萬

南風(fēng)窗
2026-03-26 10:07:51
兩大致命短板,一個(gè)懸疑謎題!央媒怒批王勵(lì)勤,國乒王朝懸了?

兩大致命短板,一個(gè)懸疑謎題!央媒怒批王勵(lì)勤,國乒王朝懸了?

成吉思熱
2026-03-26 10:06:14
伊朗:擊中擊落美以202架飛機(jī);以方:坦格西里身亡,他負(fù)責(zé)封鎖霍爾木茲!想快速抽身,特朗普:打伊朗不是戰(zhàn)爭,是“軍事行動(dòng)”

伊朗:擊中擊落美以202架飛機(jī);以方:坦格西里身亡,他負(fù)責(zé)封鎖霍爾木茲!想快速抽身,特朗普:打伊朗不是戰(zhàn)爭,是“軍事行動(dòng)”

每日經(jīng)濟(jì)新聞
2026-03-26 17:27:09
他倆才是最牛岳父母,3個(gè)女兒全嫁百億富豪,一個(gè)比一個(gè)漂亮厲害

他倆才是最牛岳父母,3個(gè)女兒全嫁百億富豪,一個(gè)比一個(gè)漂亮厲害

白面書誏
2026-03-26 18:13:05
79元太火!小米磁吸玩偶賣斷貨 官方承諾加快生產(chǎn)

79元太火!小米磁吸玩偶賣斷貨 官方承諾加快生產(chǎn)

快科技
2026-03-26 07:09:03
原來他12年前就已離世!患病3年女兒不愿照看,死后為爭遺產(chǎn)現(xiàn)身

原來他12年前就已離世!患病3年女兒不愿照看,死后為爭遺產(chǎn)現(xiàn)身

白面書誏
2026-03-26 13:38:18
原來她是張雪峰母親,一生操勞全力托舉兒子,卻中年喪夫晚年喪子

原來她是張雪峰母親,一生操勞全力托舉兒子,卻中年喪夫晚年喪子

以茶帶書
2026-03-26 13:38:50
東莞長安醫(yī)院“慰問用水果籃”中標(biāo)價(jià)492元/份?醫(yī)院采購辦稱水果籃包含11種水果,紀(jì)檢辦回應(yīng)正在調(diào)查中

東莞長安醫(yī)院“慰問用水果籃”中標(biāo)價(jià)492元/份?醫(yī)院采購辦稱水果籃包含11種水果,紀(jì)檢辦回應(yīng)正在調(diào)查中

極目新聞
2026-03-26 18:38:43
伊朗對以色列發(fā)起導(dǎo)彈打擊 以多地響起防空警報(bào)

伊朗對以色列發(fā)起導(dǎo)彈打擊 以多地響起防空警報(bào)

財(cái)聯(lián)社
2026-03-26 14:50:24
太扎心!遼寧一中年男子小便怒斥妻子舉布遮擋稍高,就撒手人寰了

太扎心!遼寧一中年男子小便怒斥妻子舉布遮擋稍高,就撒手人寰了

火山詩話
2026-03-26 06:16:11
馬英九基金會(huì)決定中止今年兩岸青年交流,馬應(yīng)該出面聲明!

馬英九基金會(huì)決定中止今年兩岸青年交流,馬應(yīng)該出面聲明!

達(dá)文西看世界
2026-03-26 10:58:22
伊朗用導(dǎo)彈拼出尊嚴(yán),中國導(dǎo)彈實(shí)力藏不住了,俄專家給出硬核定論

伊朗用導(dǎo)彈拼出尊嚴(yán),中國導(dǎo)彈實(shí)力藏不住了,俄專家給出硬核定論

探源歷史
2026-03-25 13:22:35
東北兩省書記省長會(huì)見劉強(qiáng)東

東北兩省書記省長會(huì)見劉強(qiáng)東

觀察者網(wǎng)
2026-03-25 21:43:37
2026-03-26 21:47:00
待月聽濤
待月聽濤
對牛談琴
11文章數(shù) 30關(guān)注度
往期回顧 全部

科技要聞

Meta高管狂分百億期權(quán),700名員工卻下崗

頭條要聞

美國總統(tǒng)特朗普公開宣布訪華行程 外交部回應(yīng)

頭條要聞

美國總統(tǒng)特朗普公開宣布訪華行程 外交部回應(yīng)

體育要聞

申京努力了,然而杜蘭特啊

娛樂要聞

劉曉慶妹妹發(fā)聲!稱姐姐受身邊人挑撥

財(cái)經(jīng)要聞

油價(jià)"馴服"特朗普?一到100美元就TACO

汽車要聞

一汽奧迪A6L e-tron開啟預(yù)售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

游戲
親子
健康
公開課
軍事航空

開沖!PS會(huì)員4月離庫名單公布:獨(dú)立神作進(jìn)入倒計(jì)時(shí)

親子要聞

你好,我是饅頭,快開門!

轉(zhuǎn)頭就暈的耳石癥,能開車上班嗎?

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

擔(dān)心特朗普突然停戰(zhàn) 以總理下令48小時(shí)盡力摧毀伊設(shè)施

無障礙瀏覽 進(jìn)入關(guān)懷版