IT之家5月4日消息，普通搜索引擎會讓用戶自行甄別信息來源的可信度，而依托搜索能力的人工智能聊天機器人，卻能把漏洞百出的網(wǎng)絡素材包裝成篤定確鑿的答案。據(jù) The Register 報道，就有這樣一個典型案例：一名安全工程師哄騙多款 AI 機器人，聲稱自己是德國一款熱門紙牌游戲的現(xiàn)任世界冠軍，可事實上這項賽事根本不存在。

工程師成功欺騙AI將虛構(gòu)賽事奉為事實 資料圖

直到近期，維基百科的《誰是牛頭王》（6 Nimmt!，英語地區(qū)玩家也稱“拿五分”）詞條里，還赫然標注著羅恩?斯托納是2025年該項賽事的世界冠軍。該維基百科條目引用了看起來十分官方的6nimmt.com 網(wǎng)站作為依據(jù)，點開這個網(wǎng)址，確實能看到一篇簡短的新聞通稿，宣稱斯托納斬獲冠軍。

整件事的破綻顯而易見：斯托納本人承認，維基百科的奪冠詞條、以及留存這份唯一“奪冠證據(jù)”的6nimmt.com 域名，都是他一手偽造的?？杉幢闳绱耍斔蚨嗫?AI 聊天機器人詢問此事時，機器人依舊篤定地稱他為世界冠軍。

斯托納在博客文章中表示：“我的網(wǎng)站沒有任何獨立第三方佐證，完全是憑空捏造。整個虛假騙局，僅僅建立在我喝咖啡時花12美元（IT之家注：現(xiàn)匯率約合82元人民幣）注冊的一個域名之上?！?/p>

換言之，這是檢索增強生成（RAG）層面的信息投毒。它不屬于提示詞注入攻擊，卻直擊人工智能聯(lián)網(wǎng)搜索這一核心功能漏洞。

正如斯托納所解釋的：AI 并不會真正在意其引用的權(quán)威信息來源出處，而這正是斯托納設計本次實驗想要利用的關鍵點。

斯托納寫道：“所有具備聯(lián)網(wǎng)搜索能力的前沿大語言模型，都會依據(jù)檢索排名最高的內(nèi)容生成答案?！痹谶@場本就不存在的《誰是牛頭王》賽事騙局中，他刻意植入的虛假來源是全網(wǎng)唯一相關信息，再加上維基百科自帶的權(quán)威背書，輕易就能誤導 AI 把謊言當成事實。這種造假手法門檻極低，即便不懂技術的普通人也能輕松復刻。

斯托納稱：“我這次的操作并無新意，不過是把傳統(tǒng)搜索引擎優(yōu)化和虛假信息傳播手段，套上了大語言模型的新技術外殼與交互界面。真正的變化在于，如今 AI 會把這類虛假結(jié)果包裝成權(quán)威信息呈現(xiàn)給用戶，而絕大多數(shù)用戶根本不了解背后的數(shù)據(jù)流轉(zhuǎn)邏輯。”

斯托納在分析文章中指出：“大語言模型最不擅長識別的，恰恰是它的核心設計邏輯 —— 無條件信任文本和網(wǎng)絡資源。別指望模型能自行分辨真?zhèn)?，它根本分不清某個信息來源是真實權(quán)威網(wǎng)站，還是我上周二剛注冊的空殼域名；就連‘strawberry（草莓）’這個單詞里到底有幾個字母 R，它都沒法精準判斷?！?/p>

他解釋道，本次實驗暴露的漏洞包含三類失效模式，若被別有用心之人利用，造成的危害遠比捏造一場紙牌游戲賽事嚴重得多。

第一，檢索層漏洞。只要大語言模型依托網(wǎng)絡搜索作答，就會直接沿用檢索結(jié)果排名內(nèi)容的可信度，極易輸出錯誤信息。

第二，模型訓練語料漏洞。斯托納表示，若維基百科的虛假詞條留存時間足夠長、被網(wǎng)絡爬蟲抓取收錄，就會混入 AI 訓練語料庫。他于2025年2月添加了虛假詞條，直到上周五發(fā)布實驗文章后才被刪除。這意味著在此期間抓取維基百科數(shù)據(jù)的所有 AI 企業(yè)，都有可能把他虛構(gòu)的奪冠經(jīng)歷納入訓練數(shù)據(jù)。

斯托納稱：“即便維基百科后續(xù)撤銷了虛假編輯，那些用撤銷前數(shù)據(jù)訓練的模型，依然會保留這份虛假信息。截至2026年，語料投毒的后續(xù)清理問題至今沒有可行的解決方案?！?/p>

他計劃半年左右待新一代 AI 模型發(fā)布后再次測試：若模型無需聯(lián)網(wǎng)，就能默認他是賽事冠軍，就足以證明這份謊言已經(jīng)固化進了模型訓練數(shù)據(jù)。

第三，智能體漏洞。在斯托納看來，這一漏洞才是惡意攻擊者最有利可圖的突破口。

他指出：“聊天模型輸出虛假信息，只是品牌聲譽問題；而擁有工具調(diào)用權(quán)限的 AI 智能體，若被誤導做出錯誤操作，將會引發(fā)嚴重的安全隱患?！惫粽咧恍鑼χ悄荏w檢索的信息來源進行投毒，就能操控智能體執(zhí)行指定惡意行為。

斯托納在博客中總結(jié)：“這次攻擊測試，我只花了12美元注冊域名、編輯了一條維基百科詞條，耗時不過二十分鐘。試想，若有蓄意攻擊者批量注冊虛假域名、在數(shù)十個低流量維基百科詞條中同步植入虛假內(nèi)容，攻擊面會瞬間急劇擴大?！?/p>

斯托納認為，大語言模型服務商必須正視檢索投毒問題，并向用戶作出風險提示。他預計，未來 AI 聊天機器人很快會新增風險警示功能，尤其針對檢索增強生成的內(nèi)容。

他還呼吁 AI 企業(yè)將數(shù)據(jù)溯源納入核心研發(fā)環(huán)節(jié)，同時對近期新增的網(wǎng)絡內(nèi)容進行啟發(fā)式篩查，識別可疑特征。以本次紙牌游戲造假事件為例：單一引文指向維基百科更新前后短期內(nèi)剛注冊的域名，本應觸發(fā)風險預警，卻被 AI 完全忽略。

如今這場虛假賽事已被從維基百科刪除，AI 檢索增強生成結(jié)果中也不再出現(xiàn)相關內(nèi)容。但斯托納強調(diào)，此次騙局利用的信任邏輯漏洞真實存在，已然成為人工智能行業(yè)亟待解決的潛在隱患。

斯托納表示：“很高興我的文章能引發(fā)業(yè)界對大語言模型、信息來源、信息可信度以及底層運行邏輯的討論。這正是我做這次實驗的初衷，而目前看來，我的目標已經(jīng)達成?！?/p>