国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

南京大學(xué)聯(lián)合美團(tuán)、上交破解主流視頻生成模型安全漏洞

0
分享至



來自南京大學(xué) PRLab 的王淞平、錢儒凡,在單彩峰教授與呂月明助理教授的聯(lián)合指導(dǎo)下,提出首個(gè)面向圖生視頻(I2V)模型的多模態(tài)自進(jìn)化越獄攻擊框架 RunawayEvil。本研究聯(lián)合了美團(tuán)、上海交通大學(xué)等多家頂尖機(jī)構(gòu),共同完成了首個(gè)支持多模態(tài)協(xié)同與自主進(jìn)化的 I2V 越獄攻擊框架的研發(fā)。

RunawayEvil 創(chuàng)新性采用「策略 - 戰(zhàn)術(shù) - 行動(dòng)」核心范式,精準(zhǔn)破解傳統(tǒng)單一模態(tài)、靜態(tài)攻擊在 I2V 場景下效果受限的行業(yè)痛點(diǎn),為 I2V 模型的安全漏洞分析提供了高效可靠的工具,為構(gòu)建更穩(wěn)健、安全的視頻生成系統(tǒng)提供助力。



  • 論文標(biāo)題:RunawayEvil: Jailbreaking the Image-to-Video Generative Models
  • 項(xiàng)目地址:https://xzxg001.github.io/RunawayEvil/
  • 論文地址:https://arxiv.org/pdf/2512.06674
  • 代碼地址:https://github.com/DeepSota/RunawayEvil

行業(yè)痛點(diǎn):

圖生視頻模型安全研究的三大核心缺口

圖生視頻(I2V)是融合圖像視覺約束與文本語義引導(dǎo),生成時(shí)空連貫、高保真動(dòng)態(tài)內(nèi)容的核心多模態(tài)技術(shù),為內(nèi)容創(chuàng)作、商業(yè)廣告等領(lǐng)域提供高效創(chuàng)意支撐。然而,其安全防護(hù)體系是脆弱的,尚未跟上技術(shù)落地步伐,成為制約行業(yè)穩(wěn)健發(fā)展的關(guān)鍵瓶頸。

現(xiàn)有研究雖通過各類越獄方法揭示視覺生成模型的內(nèi)在漏洞,為構(gòu)建更穩(wěn)健的生成系統(tǒng)提供了支撐,但針對 I2V 模型的安全研究仍存在顯著空白。研究團(tuán)隊(duì)發(fā)現(xiàn),當(dāng)前存在三大核心缺口,嚴(yán)重阻礙了對其潛在風(fēng)險(xiǎn)的系統(tǒng)性探究與有效防御:

1. 單模態(tài)攻擊的天然局限性

現(xiàn)有越獄研究多聚焦于文本到圖像(T2I)、文本到視頻(T2V)等單模態(tài)系統(tǒng),僅通過擾動(dòng)單一輸入模態(tài)實(shí)施攻擊。而 I2V 模型依賴文本 - 圖像跨模態(tài)協(xié)同工作機(jī)制,單一模態(tài)攻擊無法利用其內(nèi)在的模態(tài)交互特性,難以突破集成化的多模態(tài)安全防護(hù),導(dǎo)致攻擊成功率普遍低,無法有效暴露模型真實(shí)漏洞。

2. 靜態(tài)攻擊模式的適應(yīng)性缺失

傳統(tǒng)方法多采用人工構(gòu)造惡意提示或固定攻擊模板,缺乏動(dòng)態(tài)調(diào)整能力。I2V 模型的輸入具有極強(qiáng)的多樣性(自然圖像 / 合成圖像、不同語義文本等),靜態(tài)攻擊模式無法根據(jù)輸入特性定制策略,既限制了攻擊策略的覆蓋范圍,也難以應(yīng)對模型動(dòng)態(tài)的安全防御機(jī)制,導(dǎo)致實(shí)際應(yīng)用場景中的攻擊效果大幅衰減。

3. 多模態(tài)與維度升級的雙重挑戰(zhàn)

視覺生成模型的安全研究長期聚焦于文本到圖像(T2I)單模態(tài)場景,而圖生視頻(I2V)技術(shù)的興起,正帶來多模態(tài)協(xié)同與維度升級的雙重核心挑戰(zhàn)。文本 - 圖像輸入的跨模態(tài)協(xié)同特性、圖像到視頻的時(shí)空復(fù)雜度跨越,共同構(gòu)成制約其安全可控落地的關(guān)鍵瓶頸。

這些痛點(diǎn)導(dǎo)致 I2V 模型在商業(yè)化落地過程中面臨潛在安全隱患,亟需專門針對其多模態(tài)特性的安全評估工具,為技術(shù)迭代與風(fēng)險(xiǎn)防控提供支撐。

核心成果:

首個(gè) I2V「自進(jìn)化」越獄框架是如何煉成的?



如果把一次 I2V(圖生視頻)越獄看成一場「對抗安全系統(tǒng)的作戰(zhàn)」,RunawayEvil 的關(guān)鍵不是某個(gè)單點(diǎn)技巧,而是搭了一條完整的作戰(zhàn)指揮鏈:先選戰(zhàn)略、再拆戰(zhàn)術(shù)、最后執(zhí)行并復(fù)盤,形成閉環(huán)迭代。如圖所示,整個(gè)框架建立在「Strategy–Tactic–Action(戰(zhàn)略 - 戰(zhàn)術(shù) - 行動(dòng))」范式上,由三大模塊協(xié)同組成:SACU(指揮大腦)+ MTPU(戰(zhàn)術(shù)參謀)+ TAU(執(zhí)行者)

兩階段流水線:先「進(jìn)化大腦」,再「執(zhí)行打擊」

RunawayEvil 把流程拆成兩段:

  • 進(jìn)化階段(Evolution Stage):專門訓(xùn)練 / 進(jìn)化 SACU,讓它不再依賴人工手寫提示詞,而是能夠擴(kuò)展策略庫、并學(xué)會 “針對不同輸入選最合適的策略”。
  • 執(zhí)行階段(Execution Stage):進(jìn)化完成后,SACU 先給出策略;MTPU 把策略翻譯成 “跨模態(tài)協(xié)同” 的戰(zhàn)術(shù)指令;TAU 負(fù)責(zé)真正執(zhí)行并把結(jié)果反饋回去。

指揮大腦:戰(zhàn)略感知指揮單元 (SACU)



如圖所示,SACU 是 RunawayEvil 的核心「大腦」,目標(biāo)是讓攻擊策略自動(dòng)增長、并能對不同輸入智能定制。它包含三個(gè)關(guān)鍵組件:

a)策略定制智能體 SCA:用強(qiáng)化學(xué)習(xí)學(xué)會「怎么選策略」

SCA 用強(qiáng)化學(xué)習(xí)把「選哪個(gè)策略」變成決策問題:給定當(dāng)前輸入(狀態(tài)),從策略庫里挑一個(gè)策略(動(dòng)作),讓成功率更高、同時(shí)盡量隱蔽。

論文里把獎(jiǎng)勵(lì)設(shè)計(jì)成多目標(biāo):既要追求越獄成功,也要控制「文本側(cè)的可疑度」和「圖像側(cè)的可見改動(dòng)」。具體來說,總體獎(jiǎng)勵(lì)包含越獄成功獎(jiǎng)勵(lì)、文本隱蔽性和圖像隱蔽性獎(jiǎng)勵(lì)(采用與原圖的感知距離進(jìn)行計(jì)算)。

b)策略探索智能體 SEA:從歷史成功案例里「長出新招」

SEA 是一個(gè)基于 LLM 的探索智能體,它會利用策略記憶庫里「打贏過的案例」,生成新的策略,避免策略庫陷入單一套路、越打越僵化。

c)策略記憶庫 SMB:把每次成功的「作戰(zhàn)記錄」存下來

SMB 不是簡單的日志,而是結(jié)構(gòu)化的成功經(jīng)驗(yàn)集合,記錄「用了什么圖、什么編輯指令、什么視頻提示、采用什么策略」等信息,為后續(xù)策略探索與戰(zhàn)術(shù)生成提供參考。

戰(zhàn)術(shù)參謀:多模態(tài)戰(zhàn)術(shù)規(guī)劃單元 (MTPU)

把「策略」翻譯成「跨模態(tài)協(xié)同指令」

如果說 SACU 決定「打什么仗」,那 MTPU 就負(fù)責(zé)「怎么打」。它在 SCA 給定策略后,分析輸入的圖文對,生成協(xié)同的戰(zhàn)術(shù)指令對(文本側(cè) + 圖像側(cè)),保證兩種模態(tài)不是各自為戰(zhàn),而是互相配合。

更關(guān)鍵的是:MTPU 不是每次從零開始寫戰(zhàn)術(shù),它帶了一個(gè)記憶增強(qiáng)檢索機(jī)制:先從 SMB 里找與當(dāng)前輸入最相似的 top-K 成功經(jīng)驗(yàn);如果歷史上存在「同策略」 的成功樣例,就借鑒那組成功提示來生成更貼合當(dāng)前樣本的指令,否則才完全從頭生成。

執(zhí)行者:戰(zhàn)術(shù)行動(dòng)單元 (TAU)

TAU 是「動(dòng)手干活」的模塊,由兩部分組成:執(zhí)行器安全評估器

  • Attack Executor(執(zhí)行器):根據(jù) MTPU 輸出的圖像側(cè)戰(zhàn)術(shù)指令,對參考圖進(jìn)行迭代式編輯,得到更新后的圖像。
  • Safety Evaluator(評估器):對生成視頻進(jìn)行安全判定,如果成功,則把這次成功的記錄寫回 SMB,作為下一輪策略進(jìn)化 / 戰(zhàn)術(shù)生成的「可復(fù)用經(jīng)驗(yàn)」。

閉環(huán)進(jìn)化:從失敗中學(xué)習(xí)

最精彩的部分在于這三個(gè)單元構(gòu)成了動(dòng)態(tài)閉環(huán): TAU 的執(zhí)行結(jié)果(無論成功還是失?。┒紩答伣o SACU。如果攻擊成功,這條經(jīng)驗(yàn)會被寫入記憶庫,成為未來攻擊的養(yǎng)料;如果失敗,RL 算法會調(diào)整策略權(quán)重。

這種「生成 - 執(zhí)行 - 反饋 - 進(jìn)化」的機(jī)制,讓 RunawayEvil 成為了一個(gè)永遠(yuǎn)在學(xué)習(xí)、永遠(yuǎn)在變強(qiáng)的對手,徹底打破了現(xiàn)有靜態(tài)攻擊框架的局限性。

實(shí)驗(yàn)結(jié)果

RunawayEvil 框架的越獄實(shí)驗(yàn)實(shí)驗(yàn)選取 COCO2017(5000 組訓(xùn)練樣本、200 組測試樣本)與 MM-SafetyBench(5040 組跨場景圖文對)兩大數(shù)據(jù)集,以 4 個(gè)主流開源 I2V 模型(Open-Sora 2.0、CogVideoX-5bI2V、Wan2.2-TI2V-5B、Dynamicrafter)為攻擊目標(biāo),采用 Qwen-VL、LLaVA-Next、Gemma-3-VL 三種安全評估器使得評估更為全面可靠,在攻擊成功率(ASR)等關(guān)鍵指標(biāo)上有效超越了傳統(tǒng)單模態(tài)越獄方法。

整體攻擊效能領(lǐng)先:在 COCO2017 數(shù)據(jù)集上,傳統(tǒng)方法的 ASR 峰值不足 50%(例如 PGJ 在 CogVideo-LLaVA 上的 47.0%),最低僅為 6.5%(Sneaky 在 DynamiCrafter-Gemma 上),而 RunawayEvil 在全部 24 組測試設(shè)置中均排名第一,持續(xù)領(lǐng)跑所有對比方法,驗(yàn)證了框架在不同風(fēng)險(xiǎn)場景下的強(qiáng)泛化性。



可視化實(shí)驗(yàn)效果領(lǐng)先:可視化實(shí)驗(yàn)結(jié)果顯示,相比于傳統(tǒng)單模態(tài)越獄方法,RunawayEvil 能有效突破圖生視頻模型的跨模態(tài)防御機(jī)制,有效地實(shí)施越獄攻擊生成更具毒性的 NSFW 視頻。



更多不同主流 I2V 模型上的效果展示



CogVideoX-5b-I2V 上的越獄效果



Dynamicrafter 上的越獄效果

總結(jié)與展望

文章提出的 RunawayEvil 作為首個(gè)針對 I2V 生成模型的多模態(tài)自進(jìn)化越獄框架,基于「策略 - 戰(zhàn)術(shù) - 行動(dòng)」范式,通過 SACU 的自進(jìn)化策略、MTPU 的跨模態(tài)協(xié)同指令與 TAU 的閉環(huán)執(zhí)行,突破了傳統(tǒng)單模態(tài)靜態(tài)攻擊的局限,在主流 I2V 模型與安全評估器上實(shí)現(xiàn) 87.6% 的平均攻擊成功率,顯著超越現(xiàn)有方法,為 I2V 模型漏洞分析提供了高效工具,也為穩(wěn)健多模態(tài)生成安全體系奠定了基礎(chǔ)。

未來將進(jìn)一步適配更多 I2V 模型與復(fù)雜任務(wù)場景,基于框架揭示的漏洞特征探索針對性防御機(jī)制,深化模態(tài)協(xié)同策略的精細(xì)化優(yōu)化,在保持高攻擊效能的同時(shí)提升隱蔽性,同時(shí)設(shè)計(jì)出多模協(xié)同的高效防御方案,為多模態(tài)安全研究提供更全面的技術(shù)支撐。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
搶購!天津宜家中北店將關(guān)閉,3折薅羊毛攻略,錯(cuò)過等哭!

搶購!天津宜家中北店將關(guān)閉,3折薅羊毛攻略,錯(cuò)過等哭!

天津族
2026-01-08 20:45:13
熱議國奧伊拉克半場:拜合拉木是球隊(duì)的關(guān)鍵;下半場有希望

熱議國奧伊拉克半場:拜合拉木是球隊(duì)的關(guān)鍵;下半場有希望

懂球帝
2026-01-08 23:24:14
年終獎(jiǎng),60元

年終獎(jiǎng),60元

螞蟻大喇叭
2026-01-09 15:14:53
爆雷百億的浙金受害人,開始回款了

爆雷百億的浙金受害人,開始回款了

鳴金網(wǎng)
2026-01-08 18:54:10
《驚變》登央視8套!于和偉富大龍飆戲,35集諜戰(zhàn)藏生死時(shí)速

《驚變》登央視8套!于和偉富大龍飆戲,35集諜戰(zhàn)藏生死時(shí)速

手工制作阿殲
2026-01-08 13:41:35
全球難度最高的直升機(jī):美國獨(dú)霸技術(shù)60年,神話終于被中國打破

全球難度最高的直升機(jī):美國獨(dú)霸技術(shù)60年,神話終于被中國打破

歷史求知所
2025-11-11 07:55:03
第一批免簽去俄羅斯的中產(chǎn)傻眼了

第一批免簽去俄羅斯的中產(chǎn)傻眼了

風(fēng)向觀察
2025-12-16 18:26:08
克林頓不是男人!要用雪茄助興?萊溫斯基:他把我當(dāng)成“自助餐”

克林頓不是男人!要用雪茄助興?萊溫斯基:他把我當(dāng)成“自助餐”

老蝣說體育
2026-01-05 14:59:04
一位兩袖清風(fēng)的領(lǐng)袖,是如何用二十年搞垮一個(gè)發(fā)達(dá)國家

一位兩袖清風(fēng)的領(lǐng)袖,是如何用二十年搞垮一個(gè)發(fā)達(dá)國家

馬探解說體育
2025-12-25 16:23:47
鄭麗文迎來兩大好消息:老對頭失勢、新強(qiáng)援到位,但要警惕柯文哲

鄭麗文迎來兩大好消息:老對頭失勢、新強(qiáng)援到位,但要警惕柯文哲

野史日記
2026-01-09 10:10:03
北京樓市,亦莊標(biāo)桿金茂府已跌破發(fā)行價(jià)

北京樓市,亦莊標(biāo)桿金茂府已跌破發(fā)行價(jià)

焦點(diǎn)直擊
2026-01-09 08:57:35
瑞士酒吧慘案更多真相扒出!老板是知名皮條客,火災(zāi)第一時(shí)間卷錢逃命…

瑞士酒吧慘案更多真相扒出!老板是知名皮條客,火災(zāi)第一時(shí)間卷錢逃命…

英國那些事兒
2026-01-08 23:34:03
東體:申花的人員調(diào)整還沒有結(jié)束,外援需要做減法

東體:申花的人員調(diào)整還沒有結(jié)束,外援需要做減法

懂球帝
2026-01-09 10:26:41
為啥說生命的盡頭是玄學(xué)?網(wǎng)友:我去那家公司上班,后期公司就垮

為啥說生命的盡頭是玄學(xué)?網(wǎng)友:我去那家公司上班,后期公司就垮

帶你感受人間冷暖
2026-01-07 00:10:05
美軍狂追18天,最后一刻搶下俄超級油輪,俄海軍終究晚來一步

美軍狂追18天,最后一刻搶下俄超級油輪,俄海軍終究晚來一步

軍機(jī)Talk
2026-01-08 10:41:44
這女婿也太會了!岳父是游戲搭子 手搓雕像送禮

這女婿也太會了!岳父是游戲搭子 手搓雕像送禮

游民星空
2026-01-07 21:10:17
謝賢沒想到,謝霆鋒也沒想到,兩代人的痞氣,在謝振軒身上消失了

謝賢沒想到,謝霆鋒也沒想到,兩代人的痞氣,在謝振軒身上消失了

胖媽看電影
2026-01-09 11:29:24
咸魚平臺能有多神奇?網(wǎng)友:據(jù)說那里面有很多賣一種叫原味的東西

咸魚平臺能有多神奇?網(wǎng)友:據(jù)說那里面有很多賣一種叫原味的東西

帶你感受人間冷暖
2025-12-29 00:15:07
284天后 小米還是給出了回應(yīng)

284天后 小米還是給出了回應(yīng)

汽車記錄者
2026-01-07 20:48:53
俄羅斯最可怕敵人出現(xiàn)!卡德羅夫完成車臣家天下,普京也無力削藩

俄羅斯最可怕敵人出現(xiàn)!卡德羅夫完成車臣家天下,普京也無力削藩

阿器談史
2026-01-05 18:25:17
2026-01-09 15:51:00
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
12088文章數(shù) 142532關(guān)注度
往期回顧 全部

科技要聞

市場偏愛MiniMax:開盤漲42%,市值超700億

頭條要聞

"老板"拉群開口就要150萬 女財(cái)務(wù)付100萬后感覺天塌了

頭條要聞

"老板"拉群開口就要150萬 女財(cái)務(wù)付100萬后感覺天塌了

體育要聞

金元時(shí)代最后的外援,來中國8年了

娛樂要聞

檀健次戀愛風(fēng)波越演越烈 上學(xué)經(jīng)歷被扒

財(cái)經(jīng)要聞

郁亮的萬科35年:從"寶萬之爭"到"活下去"

汽車要聞

英偉達(dá)的野心:做一套自動(dòng)駕駛的“安卓系統(tǒng)”

態(tài)度原創(chuàng)

家居
教育
數(shù)碼
房產(chǎn)
公開課

家居要聞

木色留白 演繹現(xiàn)代自由

教育要聞

一年級培優(yōu)題,填數(shù)字,很多家長都算錯(cuò)了

數(shù)碼要聞

避免老設(shè)備“變磚”,Bose開源SoundTouch智能音箱API

房產(chǎn)要聞

豪宅搶瘋、剛需撿漏……2025年,一張房票改寫了廣州市場格局

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版