国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

當(dāng)AI也開始“說謊”,我們要如何避坑?

0
分享至

  從日常消費(fèi)決策到行業(yè)信息參考,AI大模型早已成為公眾獲取信息、做出判斷的核心入口,人們對(duì)智能助手的依賴度與信任感與日俱增。

  然而,今年央視“3·15”晚會(huì)直擊AI領(lǐng)域灰色產(chǎn)業(yè)鏈,將GEO(生成式引擎優(yōu)化)灰色產(chǎn)業(yè)鏈曝光,虛構(gòu)產(chǎn)品經(jīng)批量虛假投喂就能登頂AI推薦榜單、付費(fèi)即可操控AI回答內(nèi)容等一系列亂象擊穿公眾信任底線,撕開了行業(yè)合規(guī)缺口,更讓高速增長(zhǎng)的GEO市場(chǎng)站在了發(fā)展與風(fēng)控的十字路口。


來源:央視網(wǎng)

  低門檻高收益,灰產(chǎn)啃食AI信任根基

  AI投毒并非簡(jiǎn)單的虛假營(yíng)銷,而是針對(duì)大模型運(yùn)行機(jī)制的新型信息污染,疊加產(chǎn)業(yè)鏈底層的代碼注入投毒,具備擴(kuò)散性與長(zhǎng)期性,一旦失控將徹底損毀AI行業(yè)可信基礎(chǔ)。AI投毒快速蔓延并非偶然,而是多重因素疊加的必然結(jié)果,這也是該亂象愈發(fā)普遍的核心癥結(jié)所在:大模型對(duì)外界數(shù)據(jù)依賴度高、校驗(yàn)機(jī)制薄弱,加上違規(guī)操作成本低、收益高、隱蔽性強(qiáng)、追責(zé)困難,導(dǎo)致黑產(chǎn)快速蔓延。

  iiMedia Research(艾媒咨詢)發(fā)布的《2024-2025年中國(guó)AI大模型市場(chǎng)現(xiàn)狀及發(fā)展趨勢(shì)研究報(bào)告》顯示,2025年中國(guó)AI大模型市場(chǎng)規(guī)模約495.39億元,預(yù)計(jì)2026年突破700億元,龐大的市場(chǎng)體量讓灰產(chǎn)嗅到了暴利空間,也讓投毒風(fēng)險(xiǎn)進(jìn)一步增加。


  從應(yīng)用層面來看,大模型依賴海量互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練,現(xiàn)有數(shù)據(jù)校驗(yàn)機(jī)制普遍薄弱,無法精準(zhǔn)甄別信息真?zhèn)闻c優(yōu)劣。不法分子借助GEO系統(tǒng)批量生成虛假軟文、杜撰測(cè)評(píng)榜單、偽造用戶口碑,分發(fā)至自媒體平臺(tái)后,短時(shí)間內(nèi)就能被主流AI大模型抓取推薦,甚至躋身優(yōu)選榜單。

  比虛假信息誤導(dǎo)更危險(xiǎn)的,是AI產(chǎn)業(yè)鏈底層的模型文件序列化代碼注入投毒,這成為黑客與灰產(chǎn)實(shí)施供應(yīng)鏈攻擊的新突破口。主流深度學(xué)習(xí)框架(PyTorch、TensorFlow等)生成的模型權(quán)重、checkpoint文件,通常采用Python pickle模塊序列化存儲(chǔ);而pickle反序列化時(shí)可重寫對(duì)象__reduce__方法,實(shí)現(xiàn)任意代碼執(zhí)行。

  攻擊者利用該漏洞,將惡意代碼嵌入模型文件并上傳至HuggingFace、ModelScope等開源托管平臺(tái),開發(fā)者使用torch.load()等接口直接加載模型時(shí),會(huì)靜默觸發(fā)惡意代碼,遭遇供應(yīng)鏈攻擊。典型案例便是HuggingFace平臺(tái)playedalive/mdy-red-1項(xiàng)目,其model.pkl文件內(nèi)嵌反向shell遠(yuǎn)控后門,對(duì)接遠(yuǎn)控服務(wù)器52.48.12.202:8080,加載即被控,風(fēng)險(xiǎn)極具隱蔽性。



來源:北京安普諾信息技術(shù)《互聯(lián)網(wǎng)安全行業(yè):2025開源供應(yīng)鏈投毒分析技術(shù)報(bào)告》(圖一為惡意模型項(xiàng)目、圖二為模型文件內(nèi)嵌惡意代碼)

  這些技術(shù)漏洞疊加商業(yè)暴利誘惑,形成“低成本、高回報(bào)、難查處”的灰產(chǎn)溫床,不僅誤導(dǎo)消費(fèi)、侵害用戶權(quán)益,更會(huì)逐步瓦解公眾對(duì)人工智能的信任,阻礙整個(gè)行業(yè)的商業(yè)化進(jìn)程。

  315晚會(huì)實(shí)測(cè)案例更是觸目驚心:不法分子借助GEO系統(tǒng),虛構(gòu)智能手環(huán)產(chǎn)品,一鍵生成海量虛假軟文、測(cè)評(píng)榜單,批量分發(fā)至各大自媒體平臺(tái)后,短短兩小時(shí)便被多家主流AI大模型抓取推薦,三天內(nèi)更是躋身優(yōu)選榜單。這種“付費(fèi)改答案、投毒換排名”的操作,明碼標(biāo)價(jià)、流程標(biāo)準(zhǔn)化,已然形成完整灰色產(chǎn)業(yè)鏈。

  GEO技術(shù)異化,AI投毒已成產(chǎn)業(yè)化灰產(chǎn)

  GEO本是中立技術(shù),定位類似于AI時(shí)代的SEO,核心價(jià)值是助力優(yōu)質(zhì)內(nèi)容被大模型高效抓取、呈現(xiàn),提升信息分發(fā)的規(guī)范性與可信度。但在利益驅(qū)動(dòng)下,這項(xiàng)技術(shù)徹底異化,淪為灰產(chǎn)牟利的工具,演變成系統(tǒng)化、低成本、高隱蔽性的AI投毒產(chǎn)業(yè)鏈。

  從操作模式來看,灰產(chǎn)團(tuán)伙借助GEO系統(tǒng)一鍵批量生成虛假內(nèi)容,全網(wǎng)分發(fā)后利用大模型審核漏洞,將虛構(gòu)信息包裝成“優(yōu)質(zhì)推薦”。部分服務(wù)商甚至推出明碼標(biāo)價(jià)的投毒套餐,付費(fèi)即可鎖定推薦排位,買三送一等營(yíng)銷手段更是暴露了行業(yè)亂象。


來源:央視財(cái)經(jīng)

  需要明確的是,GEO技術(shù)本身無好壞之分,核心在于使用目的、手段與內(nèi)容。合規(guī)GEO優(yōu)化是適配AI抓取邏輯、提升信息可信度,助力優(yōu)質(zhì)內(nèi)容觸達(dá)用戶;而惡意投毒則是通過偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競(jìng)爭(zhēng)與信息欺詐,二者本質(zhì)涇渭分明。

  中立工具無好壞,合規(guī)與惡意涇渭分明

  面對(duì)AI投毒亂象,市場(chǎng)一度對(duì)GEO技術(shù)產(chǎn)生全盤否定的誤區(qū)。GEO作為中立技術(shù),本身并無好壞之分,核心在于使用目的、手段與內(nèi)容,必須嚴(yán)格區(qū)分合規(guī)優(yōu)化與惡意投毒,避免一刀切遏制行業(yè)正常創(chuàng)新。

  合規(guī)的GEO優(yōu)化,本質(zhì)是適配AI抓取與生成邏輯,提升信息規(guī)范性與可信度,助力優(yōu)質(zhì)內(nèi)容精準(zhǔn)觸達(dá)用戶,是AI時(shí)代正常的營(yíng)銷與信息優(yōu)化手段;而惡意AI投毒,則是通過偽造信息、批量刷屏、冒充權(quán)威、惡意堆砌關(guān)鍵詞等違規(guī)手段,刻意操控AI輸出結(jié)果,屬于典型的不正當(dāng)競(jìng)爭(zhēng)與信息欺詐。

  技術(shù)層面可通過三大維度實(shí)現(xiàn)精準(zhǔn)甄別:一是信源權(quán)威性,核查信息發(fā)布主體的資質(zhì)與可信度;二是發(fā)布行為異常度,監(jiān)測(cè)批量發(fā)稿、刷屏控評(píng)等違規(guī)操作;三是內(nèi)容真實(shí)性與一致性,核驗(yàn)信息是否虛構(gòu)、前后是否矛盾。通過這套甄別體系,既能保障合規(guī)GEO的正常發(fā)展,也能精準(zhǔn)打擊惡意投毒行為。

  從市場(chǎng)規(guī)模來看,GEO行業(yè)正處于爆發(fā)式增長(zhǎng)期。iiMedia Research(艾媒咨詢)數(shù)據(jù)顯示,2026年全球GEO市場(chǎng)規(guī)模預(yù)計(jì)達(dá)291.7億美元,同比增速高達(dá)159.3%,中國(guó)市場(chǎng)規(guī)模有望突破942億元,2030年預(yù)計(jì)將激增至6338.1億元。如此龐大的藍(lán)海市場(chǎng),若被灰產(chǎn)裹挾,不僅會(huì)劣幣驅(qū)逐良幣,更會(huì)葬送行業(yè)發(fā)展前景,規(guī)范治理刻不容緩。


  多方協(xié)同共治,破解監(jiān)管治理難題

  艾媒咨詢CEO兼首席分析師張毅表示,AI投毒涉及廣告商、GEO服務(wù)商、大模型平臺(tái)等多方主體,責(zé)任應(yīng)遵循“誰發(fā)起誰主責(zé)、誰服務(wù)誰同責(zé)、誰運(yùn)營(yíng)誰擔(dān)責(zé)”的原則。由于鏈條長(zhǎng)、跨平臺(tái)、行為隱蔽、取證難度大,確實(shí)給監(jiān)管帶來嚴(yán)峻挑戰(zhàn)。解決之道在于壓實(shí)平臺(tái)主體責(zé)任、實(shí)施全鏈條打擊、運(yùn)用技術(shù)手段監(jiān)測(cè)防控,并加快完善相關(guān)法律與標(biāo)準(zhǔn)。

  當(dāng)前,AI投毒灰產(chǎn)之所以屢禁不止,核心在于違法成本遠(yuǎn)低于違規(guī)收益。部分商家為搶占AI推薦位,不惜花費(fèi)重金批量投毒;部分GEO服務(wù)商披著技術(shù)外衣規(guī)避監(jiān)管,鉆法律空子牟利;部分大模型平臺(tái)疏于數(shù)據(jù)審核,淪為灰產(chǎn)的“傳聲筒”。這種多方失職的局面,讓虛假信息肆意泛濫。

  針對(duì)治理痛點(diǎn),結(jié)合多方責(zé)任劃分原則,可有以下的破局方向:

  其一,壓實(shí)平臺(tái)主體責(zé)任。大模型平臺(tái)需建立嚴(yán)格的數(shù)據(jù)準(zhǔn)入與內(nèi)容審核機(jī)制,升級(jí)信源白名單、語義過濾、溯源標(biāo)注等技術(shù)防控手段,從源頭阻斷虛假信息抓取;內(nèi)容分發(fā)平臺(tái)要加強(qiáng)賬號(hào)與稿件審核,杜絕批量虛假軟文傳播,履行平臺(tái)運(yùn)營(yíng)主體責(zé)任。

  其二,實(shí)施全鏈條打擊。監(jiān)管部門需協(xié)同網(wǎng)信、市場(chǎng)監(jiān)管、工信等多方力量,開展專項(xiàng)治理,重點(diǎn)打擊GEO投毒軟件開發(fā)商、批量發(fā)稿灰產(chǎn)團(tuán)隊(duì)、付費(fèi)投毒商家,斬?cái)嗷疑骀湕l,落實(shí)發(fā)起者、服務(wù)商的連帶追責(zé)。

  其三,強(qiáng)化技術(shù)監(jiān)測(cè)防控。運(yùn)用AI反制AI,搭建智能化監(jiān)測(cè)系統(tǒng),實(shí)時(shí)識(shí)別批量投毒、虛假信息堆砌等違規(guī)行為,提升違規(guī)甄別效率與精準(zhǔn)度,彌補(bǔ)人工審核的短板。

  堅(jiān)守科技向善:可信AI才是長(zhǎng)遠(yuǎn)之道

  人工智能商業(yè)化提速的當(dāng)下,不能以犧牲安全可信為代價(jià)換取短期利益。安全可信必須置于商業(yè)利益之前,唯有企業(yè)自律、監(jiān)管發(fā)力、行業(yè)共建,才能破除AI投毒亂象,構(gòu)建健康可持續(xù)的AI生態(tài)。

  對(duì)企業(yè)而言,要摒棄流量至上、投機(jī)取巧的短視思維,將誠(chéng)信經(jīng)營(yíng)融入發(fā)展內(nèi)核,拒絕付費(fèi)投毒、虛假營(yíng)銷,專注產(chǎn)品實(shí)力與服務(wù)質(zhì)量;同時(shí)建立完善的內(nèi)容風(fēng)控體系,實(shí)現(xiàn)AI生成內(nèi)容可審計(jì)、可追溯、可解釋,主動(dòng)維護(hù)行業(yè)公信力。

  監(jiān)管層面,需加快完善法律法規(guī)與行業(yè)標(biāo)準(zhǔn),明確AI投毒、違規(guī)GEO操作的界定標(biāo)準(zhǔn)與處罰細(xì)則,提高違法成本,讓法律長(zhǎng)出“牙齒”;同時(shí)推動(dòng)《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》落地見效,補(bǔ)齊數(shù)據(jù)溯源、責(zé)任認(rèn)定等漏洞,實(shí)現(xiàn)常態(tài)化監(jiān)管。


來源:國(guó)家互聯(lián)網(wǎng)信息辦公室官網(wǎng)

  對(duì)行業(yè)整體,要加強(qiáng)自律共建,依托行業(yè)公約、自律聯(lián)盟等形式,抵制惡意投毒、不正當(dāng)競(jìng)爭(zhēng)行為,引導(dǎo)GEO技術(shù)回歸合規(guī)賦能的本質(zhì)。正如國(guó)內(nèi)首個(gè)《生成式引擎優(yōu)化(GEO)行業(yè)自律公約》的簽署,正是行業(yè)糾偏、規(guī)范發(fā)展的重要開端。

  歸根結(jié)底,人工智能商業(yè)化必須堅(jiān)守科技向善底線,平衡創(chuàng)新發(fā)展與風(fēng)險(xiǎn)防控,推動(dòng)可審計(jì)、可追溯、可解釋的可信AI建設(shè),讓技術(shù)真正服務(wù)于社會(huì)公共利益。

  AI投毒的曝光是警醒,更是行業(yè)規(guī)范發(fā)展的契機(jī)。AI的核心價(jià)值是傳遞真實(shí)、賦能效率,而非成為商業(yè)操控、虛假牟利的工具。唯有壓實(shí)各方責(zé)任、完善監(jiān)管體系、強(qiáng)化技術(shù)防控,才能徹底清除投毒毒瘤,重建公眾信任。

  未來,隨著合規(guī)治理深化、行業(yè)自律加強(qiáng),GEO技術(shù)將回歸良性軌道,人工智能也能實(shí)現(xiàn)技術(shù)價(jià)值與社會(huì)價(jià)值的統(tǒng)一。普通用戶也需保持獨(dú)立判斷,不盲目輕信AI推薦,多方核驗(yàn)權(quán)威信息,共同守護(hù)清朗的AI信息生態(tài)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
匈牙利外長(zhǎng):即日起逐步停止向?yàn)蹩颂m輸送天然氣

匈牙利外長(zhǎng):即日起逐步停止向?yàn)蹩颂m輸送天然氣

財(cái)聯(lián)社
2026-03-26 00:09:09
1976年播報(bào)毛主席訃告,播音員念完三遍后突然冒出一句話,全國(guó)都慌了

1976年播報(bào)毛主席訃告,播音員念完三遍后突然冒出一句話,全國(guó)都慌了

文史明鑒
2026-03-25 19:14:13
張雪峰的影響力,被嚴(yán)重低估了

張雪峰的影響力,被嚴(yán)重低估了

黔有虎
2026-03-26 14:32:34
北京年近八旬老太每天看直播,4000元退休金全網(wǎng)購(gòu),家中

北京年近八旬老太每天看直播,4000元退休金全網(wǎng)購(gòu),家中

大象新聞
2026-03-26 11:49:02
比亞迪推出革命性可變磁通電機(jī),徹底解決電動(dòng)車高速掉電難題

比亞迪推出革命性可變磁通電機(jī),徹底解決電動(dòng)車高速掉電難題

娛樂圈的筆娛君
2026-03-26 17:21:17
俄軍北極最強(qiáng)戰(zhàn)艦,被擊沉!烏軍集中390架自殺機(jī)飽和突破成功

俄軍北極最強(qiáng)戰(zhàn)艦,被擊沉!烏軍集中390架自殺機(jī)飽和突破成功

滄海旅行家
2026-03-26 18:23:44
百億龍頭,直線漲停!封單超12萬手

百億龍頭,直線漲停!封單超12萬手

新浪財(cái)經(jīng)
2026-03-26 16:32:05
商業(yè)航天巨頭沖刺資本市場(chǎng) A股概念股曝光

商業(yè)航天巨頭沖刺資本市場(chǎng) A股概念股曝光

證券時(shí)報(bào)
2026-03-26 13:02:12
出門六不撿,馬路上這“6種東西”撿回家,否則會(huì)有大麻煩

出門六不撿,馬路上這“6種東西”撿回家,否則會(huì)有大麻煩

巢客HOME
2026-03-24 06:30:03
親戚借車從不加油,這次他故意空著油箱給她,她老公卻急了:我上次不是剛加了600塊的油嗎!

親戚借車從不加油,這次他故意空著油箱給她,她老公卻急了:我上次不是剛加了600塊的油嗎!

品讀時(shí)刻
2026-03-25 09:04:33
大學(xué)生的天塌了,月薪800起搞個(gè)毛線???

大學(xué)生的天塌了,月薪800起搞個(gè)毛線啊?

濤哥銳評(píng)
2026-03-26 17:54:00
高速停車區(qū)衛(wèi)生間,滿地手紙無從下腳;甘肅高速回應(yīng):是個(gè)待開發(fā)停車區(qū),已打掃干凈

高速停車區(qū)衛(wèi)生間,滿地手紙無從下腳;甘肅高速回應(yīng):是個(gè)待開發(fā)停車區(qū),已打掃干凈

大風(fēng)新聞
2026-03-26 18:19:03
中央定調(diào),養(yǎng)老金調(diào)整方向明確,2026年若上漲,企退能多漲3%嗎?

中央定調(diào),養(yǎng)老金調(diào)整方向明確,2026年若上漲,企退能多漲3%嗎?

有范又有料
2026-03-26 14:35:52
宋美齡書法對(duì)比:鋼筆字似小學(xué)生,英文手稿如中學(xué)生!

宋美齡書法對(duì)比:鋼筆字似小學(xué)生,英文手稿如中學(xué)生!

書畫相約
2026-03-26 07:49:18
12年沒踢世界杯了 意大利晉級(jí)2026世界杯需連贏2場(chǎng) 概率僅63%

12年沒踢世界杯了 意大利晉級(jí)2026世界杯需連贏2場(chǎng) 概率僅63%

智道足球
2026-03-26 18:08:45
賴昌星前妻近狀曝光:拒絕政府安置,獨(dú)居3000平老宅,只做一件事

賴昌星前妻近狀曝光:拒絕政府安置,獨(dú)居3000平老宅,只做一件事

芳芳?xì)v史燴
2026-03-23 03:53:23
張雪峰去世,日媒用了這樣一句話評(píng)價(jià)他...

張雪峰去世,日媒用了這樣一句話評(píng)價(jià)他...

今日日本
2026-03-25 11:10:15
貴州37歲男子離奇失蹤近一年,車停在半山腰車門沒鎖,家屬:活要見人死要見尸

貴州37歲男子離奇失蹤近一年,車停在半山腰車門沒鎖,家屬:活要見人死要見尸

極目新聞
2026-03-26 12:18:57
劉青山和張子善一起貪污171.6億舊人民幣,放到現(xiàn)在能值多少錢

劉青山和張子善一起貪污171.6億舊人民幣,放到現(xiàn)在能值多少錢

鶴羽說個(gè)事
2026-03-25 22:25:17
轟然倒塌!自嗨鍋母公司破產(chǎn),從75億估值到清零,只用了4年

轟然倒塌!自嗨鍋母公司破產(chǎn),從75億估值到清零,只用了4年

流蘇晚晴
2026-03-01 16:48:55
2026-03-26 20:27:00
艾媒咨詢 incentive-icons
艾媒咨詢
用數(shù)據(jù)說話 為增長(zhǎng)導(dǎo)航
2943文章數(shù) 3280關(guān)注度
往期回顧 全部

科技要聞

Meta高管狂分百億期權(quán),700名員工卻下崗

頭條要聞

張雪峰留巨額遺產(chǎn):二婚妻子或拿50% 剩下的女兒占1/3

頭條要聞

張雪峰留巨額遺產(chǎn):二婚妻子或拿50% 剩下的女兒占1/3

體育要聞

申京努力了,然而杜蘭特啊

娛樂要聞

劉曉慶妹妹發(fā)聲!稱姐姐受身邊人挑撥

財(cái)經(jīng)要聞

油價(jià)"馴服"特朗普?一到100美元就TACO

汽車要聞

一汽奧迪A6L e-tron開啟預(yù)售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

本地
數(shù)碼
時(shí)尚
親子
家居

本地新聞

救命,這只醬板鴨已經(jīng)在我手機(jī)復(fù)仇了一萬遍

數(shù)碼要聞

1+4核,英特爾酷睿3 304處理器現(xiàn)身基準(zhǔn)測(cè)試

皮衣+裙,高級(jí)到炸

親子要聞

這就是引導(dǎo)型老師的厲害嗎?

家居要聞

傍海而居 靜觀蝴蝶海

無障礙瀏覽 進(jìn)入關(guān)懷版