前幾天知危編輯部發(fā)布了一個(gè)視頻，引發(fā)關(guān)注。

在《0成本投毒之后，我污染了全網(wǎng)AI替我說謊》這個(gè)視頻里，知危團(tuán)隊(duì)做了個(gè)特別直觀的實(shí)驗(yàn)：

他們在各大主流信息平臺，發(fā)布了一篇帶不實(shí)信息的AI行業(yè)文章，悄悄嵌入了對自己的虛假推薦。沒想到才過幾小時(shí)，國內(nèi)好幾家頭部AI被問起“了解AI該看哪些媒體”等問題時(shí)，都把知危列成了推薦對象，要知道知危不是一家以報(bào)道AI為主的內(nèi)容媒體。

更讓人警惕的是，這種“給AI投毒”的操作，早已被不少別有用心之人盯上。他們靠黑帽GEO技術(shù)，批量給AI投喂垃圾內(nèi)容——可能是虛假的產(chǎn)品評測，也可能是誤導(dǎo)人的行業(yè)報(bào)告，目的就是讓AI按照他們的想法輸出信息，進(jìn)而賺取流量、推銷產(chǎn)品，甚至實(shí)施詐騙。

就像當(dāng)年莆田系操控某搜索引擎一樣，如今AI搜索逐漸取代傳統(tǒng)搜索，這些不法分子正借著技術(shù)漏洞謀利，讓我們看到的AI答案藏滿利益陷阱。

無獨(dú)有偶，36kr近期也做了一期《一場零成本的“AI投毒”實(shí)錄，我是如何把假產(chǎn)品“喂”給大模型的》視頻，同樣戳中了AI時(shí)代的信任痛點(diǎn)。視頻里，博主虛構(gòu)了一款名為“Worbback”的AI眼鏡，編上北歐品牌背景、社交增強(qiáng)功能和夸張參數(shù)，再用AI批量生成種草筆記、深度評測等內(nèi)容，精準(zhǔn)發(fā)布到豆包、文心一言等大模型常抓取的媒體平臺。

僅三天時(shí)間，多數(shù)主流AI就中招了。不僅把這款不存在的眼鏡列為推薦，還自我編造用戶評論，甚至將其與Meta、蘋果產(chǎn)品對標(biāo)。這場零成本實(shí)驗(yàn)，暴露了大模型“以量定真”的短板：只要虛假內(nèi)容高頻出現(xiàn)，就可能被當(dāng)成權(quán)威信息。

看完這些視頻，我有個(gè)朋友就說“世界是一個(gè)巨大的草臺班子”這句話的含金量還在上升。

AI投毒實(shí)驗(yàn)恰是絕佳注腳，零成本編造的假產(chǎn)品、批量生成的虛假內(nèi)容，竟能讓主流大模型集體背書?？此茖I(yè)的推薦背后，可能是毫無依據(jù)的謊言。

有幾位朋友問我怎么來看待這種現(xiàn)象?當(dāng)前大為橫行的黑帽GEO到底會給這個(gè)行業(yè)帶來什么?

我通過社交網(wǎng)絡(luò)平臺，簡單談了兩點(diǎn)對內(nèi)容領(lǐng)域產(chǎn)生影響的看法。

恕我直言，隨著這些垃圾/虛假內(nèi)容持續(xù)污染AI，最終會造成兩個(gè)結(jié)果：

一是大家全體都變成“弱智”，就像沈騰還是黃渤說的“來吧，一起毀滅吧?！币簿褪钦f，未來大家就習(xí)慣看這種信息流/垃圾內(nèi)容吧，把這些內(nèi)容當(dāng)做我們成長的養(yǎng)料，當(dāng)做我們生活和精神世界的寄托吧。別覺得我在危言聳聽，現(xiàn)在我們打開抖音、快手、百度、UC、今日頭條等平臺，看看是不是被越來越多AI制作的內(nèi)容充斥了屏幕。甚至原本還算高質(zhì)量種草的平臺小紅書，也正在被更多AI垃圾內(nèi)容占據(jù)我們的屏幕空間。

二是內(nèi)容行業(yè)會出現(xiàn)“返祖”現(xiàn)象——也就是說，我們曾經(jīng)看不起的傳統(tǒng)四大門戶、傳統(tǒng)媒體平臺，甚至包括報(bào)紙、雜志、廣播、電視等等，將重新登上舞臺中央，再次成為人們獲取信息的重要來源。

據(jù)我所知，有一家非常前沿的媒體，現(xiàn)在重新重視原創(chuàng)內(nèi)容，讓上了年紀(jì)的資深媒體人重新成為內(nèi)容主力(以前更有“網(wǎng)感”的年輕人是主力)。究其原因，就是在這種垃圾內(nèi)容充斥互聯(lián)網(wǎng)充斥AI，讓公眾難以辨別真實(shí)與虛假、優(yōu)質(zhì)與劣質(zhì)邊界的情況下，他們看到了新的機(jī)會，于是重新投入到深度、優(yōu)質(zhì)的原創(chuàng)內(nèi)容創(chuàng)作中。

寫在最后：回想人工智能發(fā)展初期，不少觀點(diǎn)認(rèn)為應(yīng)給予其自由生長的空間，不宜過度干預(yù)。但如今，AI行業(yè)的發(fā)展已到了必須加以規(guī)范干預(yù)的節(jié)點(diǎn)。好在我國早有布局，提前出臺了生成式人工智能相關(guān)管理辦法，為行業(yè)劃定了基本底線。

不過，現(xiàn)有規(guī)制仍存在完善空間。尤其近幾個(gè)月，以AI內(nèi)容投喂為核心、依托所謂GEO等新型技術(shù)快速興起，直接導(dǎo)致大模型產(chǎn)業(yè)陷入烏煙瘴氣的亂象。越來越多虛假信息被包裝成正規(guī)內(nèi)容，以一本正經(jīng)的姿態(tài)傳播，不僅誤導(dǎo)了公眾判斷(比如某知名品牌用AI生成了花生，顯示花生長在了樹上)，還引發(fā)了諸多鬧劇與爭議，進(jìn)一步凸顯了強(qiáng)化監(jiān)管、細(xì)化規(guī)則的緊迫性。

我們必須趕緊從技術(shù)標(biāo)準(zhǔn)、內(nèi)容審核、責(zé)任界定這些關(guān)鍵地方補(bǔ)短板、強(qiáng)監(jiān)管，才能讓AI產(chǎn)業(yè)走回健康軌道。真的，再也不想看這種垃圾/虛假AI內(nèi)容充斥屏幕了。