檢索增強(qiáng)圖像生成（Retrieval-Augmented Image Generation, RAIG）技術(shù)的廣泛應(yīng)用引發(fā)了對私有圖像數(shù)據(jù)集未授權(quán)使用的嚴(yán)重?fù)?dān)憂。雖然這些系統(tǒng)通過參考圖像展現(xiàn)了卓越的生成質(zhì)量提升能力，但保護(hù)視覺數(shù)據(jù)集免受此類系統(tǒng)的未授權(quán)使用仍然是一個極具挑戰(zhàn)性的問題。傳統(tǒng)的數(shù)字水印方法在RAIG系統(tǒng)中面臨局限性，因為復(fù)雜的特征提取和重組過程無法在生成過程中保留水印信號。

為解決這些挑戰(zhàn)，本文提出ImageSentinel框架，通過合成與原始數(shù)據(jù)集保持視覺一致性的哨兵圖像來實現(xiàn)數(shù)據(jù)集保護(hù)。這些哨兵圖像能夠通過隨機(jī)生成的字符序列作為檢索密鑰進(jìn)行保護(hù)驗證。實驗結(jié)果表明，ImageSentinel能夠有效檢測未授權(quán)的數(shù)據(jù)集使用，同時為授權(quán)應(yīng)用保持生成質(zhì)量。

論文標(biāo)題： ImageSentinel: Protecting Visual Datasets from Unauthorized Retrieval-Augmented Image Generation 論文鏈接： https://arxiv.org/abs/2510.12119v1

檢索增強(qiáng)圖像生成（RAIG）技術(shù)近年來取得了顯著進(jìn)展，通過在生成過程中檢索和利用相關(guān)參考圖像，這些方法在稀有概念生成和精細(xì)圖像合成等具有挑戰(zhàn)性的任務(wù)中實現(xiàn)了卓越性能。然而，由于這些方法嚴(yán)重依賴高質(zhì)量的參考圖像數(shù)據(jù)庫，私有數(shù)據(jù)集的未授權(quán)使用已成為日益嚴(yán)峻的問題。

惡意用戶可能在未經(jīng)授權(quán)的情況下將私有圖像數(shù)據(jù)集整合到其檢索系統(tǒng)中。這種未授權(quán)使用不僅侵犯知識產(chǎn)權(quán)，還給數(shù)據(jù)集所有者帶來重大的法律和商業(yè)風(fēng)險。盡管這些擔(dān)憂日益加劇，目前尚不存在有效的機(jī)制來保護(hù)視覺數(shù)據(jù)集免受RAIG系統(tǒng)的未授權(quán)使用，也沒有可靠的方法來檢測此類濫用行為。

圖1 數(shù)據(jù)集保護(hù)示意圖

一個直接的解決方案是對私有數(shù)據(jù)集應(yīng)用數(shù)字水印技術(shù)。然而，傳統(tǒng)水印方法在RAIG系統(tǒng)中并不適用。與文本生成中內(nèi)容通常被直接引用或轉(zhuǎn)述不同，圖像生成涉及復(fù)雜的特征提取和重組過程，從根本上改變了視覺元素，通常會破壞任何嵌入的水印，使此類保護(hù)策略不適用。

為克服這些局限性，本研究提出了一種新穎的保護(hù)策略，將特制的驗證圖像整合到私有數(shù)據(jù)集中。這些圖像設(shè)計為可通過特定預(yù)定義密鑰檢索，同時保持與私有數(shù)據(jù)集的視覺一致性。本文將此類圖像稱為哨兵圖像，當(dāng)與獨特的檢索密鑰結(jié)合使用時，可作為私有數(shù)據(jù)集使用的可靠指標(biāo)。通過檢查特定檢索密鑰是否觸發(fā)生成與我們保護(hù)圖像匹配的內(nèi)容，可以有效檢測數(shù)據(jù)集濫用。

二、方法

本文提出的ImageSentinel框架如圖2所示，包含三個關(guān)鍵組件：密鑰生成、哨兵圖像合成和未授權(quán)使用檢測。

圖2 方法整體架構(gòu)

密鑰生成：生成獨特的隨機(jī)字符序列，作為保護(hù)驗證的觸發(fā)器。這些隨機(jī)字符組合在正常用戶提示中極少出現(xiàn)，既確保對RAIG系統(tǒng)正常運行的最小干擾，又提供了檢測未授權(quán)使用的獨特觸發(fā)機(jī)制。

哨兵圖像合成：如圖3所示，哨兵圖像合成過程包含兩個主要階段：屬性提取和密鑰引導(dǎo)的圖像嵌入。

圖3 哨兵圖像合成流程

首先，利用視覺-語言模型（如GPT-4o）從私有數(shù)據(jù)集的參考圖像中提取全面的語義屬性，包括主題內(nèi)容、視覺風(fēng)格、構(gòu)圖和色彩等關(guān)鍵特征。這種全面的語義分析確保合成的圖像能夠保持與私有數(shù)據(jù)集的視覺和主題一致性。

其次，通過文本到圖像模型進(jìn)行密鑰引導(dǎo)的圖像合成。對于給定的語義屬性集、描述和檢索密鑰，構(gòu)建基于模板的提示，在保留原始語義屬性的同時描述所需的密鑰特定修改。這種精心設(shè)計的提示確保生成的哨兵圖像既包含參考圖像的語義屬性，又包含檢索密鑰信息，同時保持自然的視覺整合。

未授權(quán)使用檢測：為檢測RAIG系統(tǒng)是否未經(jīng)授權(quán)使用了保護(hù)數(shù)據(jù)集，本文利用哨兵圖像與其對應(yīng)密鑰之間的嵌入連接：如果系統(tǒng)在使用這些密鑰查詢時生成的圖像與哨兵圖像具有高視覺相似度，則表明該系統(tǒng)可能將受保護(hù)數(shù)據(jù)集用作其參考數(shù)據(jù)庫。檢測過程使用DINO特征計算生成圖像與哨兵圖像之間的余弦相似度，當(dāng)聚合相似度分?jǐn)?shù)超過預(yù)定義閾值時，判定發(fā)生未授權(quán)使用。

三、主要實驗結(jié)果

定性結(jié)果分析：圖4和圖5展示了在LLaVA-Pretrain數(shù)據(jù)集和Product-10K數(shù)據(jù)集上的定性結(jié)果。

圖4 不同RAIG系統(tǒng)的生成圖像定性比較

如圖4所示，當(dāng)RAIG系統(tǒng)惡意整合受保護(hù)的私有數(shù)據(jù)集時，它們生成的圖像與哨兵圖像高度相似，DINO相似度分?jǐn)?shù)顯著較高。相比之下，在沒有未授權(quán)數(shù)據(jù)集訪問的情況下運行的系統(tǒng)生成的圖像明顯不同，相似度分?jǐn)?shù)較低，盡管接收相同的隨機(jī)字符序列作為提示。

圖5 Product-10K數(shù)據(jù)集上的定性結(jié)果

在Product-10K數(shù)據(jù)集上的結(jié)果表明，哨兵圖像自然地整合了關(guān)鍵字符，同時保留了產(chǎn)品的基本特征，如風(fēng)格、配色方案和包裝設(shè)計。具有哨兵圖像訪問權(quán)限的生成圖像明顯整合了嵌入的哨兵圖像，而沒有訪問權(quán)限的圖像顯示出明顯不同的視覺元素。

檢測性能評估：表3展示了在不同查詢次數(shù)下的檢測性能比較。

表1 不同查詢次數(shù)下的檢測性能

實驗結(jié)果表明，ImageSentinel在所有評估指標(biāo)上均大幅優(yōu)于Ward-HiDDeN和Ward-FIN基線方法。僅使用3次查詢，ImageSentinel就已實現(xiàn)了較高的檢測性能。當(dāng)查詢次數(shù)增加到10次和20次時，該方法在所有三個RAIG系統(tǒng)上達(dá)到接近完美的檢測性能，AUC分?jǐn)?shù)達(dá)到1.0。相比之下，兩種基線方法即使增加查詢次數(shù)，也顯示出有限的檢測能力，AUC分?jǐn)?shù)仍接近隨機(jī)水平。

生成質(zhì)量評估：表5比較了不同保護(hù)場景下的生成質(zhì)量。

表2 不同保護(hù)場景下的生成質(zhì)量比較

結(jié)果顯示，雖然原始RAIG系統(tǒng)達(dá)到最佳性能，哨兵圖像替換方案顯示出顯著的質(zhì)量下降，但I(xiàn)mageSentinel保持了與原始系統(tǒng)相當(dāng)?shù)纳少|(zhì)量。這表明本文的保護(hù)機(jī)制在實現(xiàn)未授權(quán)使用檢測的同時，有效保留了RAIG系統(tǒng)的正常功能。

四、總結(jié)與展望

本工作提出了ImageSentinel框架，這是一種保護(hù)視覺數(shù)據(jù)集免受檢索增強(qiáng)圖像生成系統(tǒng)未授權(quán)使用的創(chuàng)新解決方案。通過精心合成的哨兵圖像和相應(yīng)的檢索密鑰（獨特的隨機(jī)字符序列），該方法在保持?jǐn)?shù)據(jù)集實用性的同時實現(xiàn)了可靠的檢測能力。廣泛的實驗表明，ImageSentinel在檢測準(zhǔn)確性方面顯著優(yōu)于基線保護(hù)方法，同時對生成質(zhì)量的影響最小。

該方法在多個領(lǐng)域具有廣闊的應(yīng)用前景。在商業(yè)領(lǐng)域，攝影機(jī)構(gòu)、設(shè)計公司和電商平臺可以利用該技術(shù)保護(hù)其高價值的圖像資產(chǎn)，防止競爭對手或第三方未經(jīng)授權(quán)將其圖像數(shù)據(jù)庫用于檢索增強(qiáng)生成系統(tǒng)。在藝術(shù)創(chuàng)作領(lǐng)域，藝術(shù)家和畫廊可以保護(hù)其數(shù)字作品集免受未授權(quán)的檢索增強(qiáng)AI系統(tǒng)使用，維護(hù)創(chuàng)作者的知識產(chǎn)權(quán)和經(jīng)濟(jì)利益。此外，該技術(shù)還可應(yīng)用于衛(wèi)星遙感圖像、工業(yè)檢測圖像等專業(yè)數(shù)據(jù)集的版權(quán)保護(hù)，為數(shù)據(jù)資產(chǎn)的安全流通提供技術(shù)保障。

來源：公眾號【HKBU計算機(jī)系】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈