作者 | 北航彭浩團隊

本文介紹來自北京航空航天大學(xué)彭浩老師團隊發(fā)表在 TPAMI 2025 上的一篇文章“Proactive Bot Detection Based on Structural Information Principles”。

論文鏈接：Proactive Bot Detection Based on Structural Information Principles(

https://ieeexplore.ieee.org/document/11311341

代碼鏈接：https://github.com/SELGroup/SIAMD

機器人檢測對于打擊虛假信息、維護社交媒體在線互動的真實性至關(guān)重要。然而，機器人在模仿真實賬戶和規(guī)避檢測方面的復(fù)雜程度不斷提升，使得檢測系統(tǒng)與建模技術(shù)之間的博弈持續(xù)升級。本文提出一種基于結(jié)構(gòu)信息原理的對抗性框架 SIAMD，用于對機器人行為進行建模并實現(xiàn)主動檢測。該框架首先將用戶賬戶與社交消息之間的多關(guān)系交互組織為統(tǒng)一的異質(zhì)結(jié)構(gòu)，引入結(jié)構(gòu)熵量化歷史活動中固有的不確定性。通過最小化高維熵，揭示賬戶社區(qū)內(nèi)的分層結(jié)構(gòu)，為機器人賬戶的行為建模提供活動判定和賬戶選擇依據(jù)。針對每個建模機器人及其選定賬戶，SIAMD 提取歷史消息和用戶描述構(gòu)建提示詞，并結(jié)合大語言模型生成相關(guān)消息內(nèi)容。通過在原始異質(zhì)網(wǎng)絡(luò)中嵌入合成消息節(jié)點并建立多關(guān)系交互，SIAMD 實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)與內(nèi)容的協(xié)同演化，從而以對抗方式增強基于圖的主動檢測能力。在多個真實世界數(shù)據(jù)集上的大量對比實驗表明，SIAMD 在有效性、泛化性、魯棒性和可解釋性方面顯著且持續(xù)優(yōu)于當前最先進的社交機器人檢測基線模型。

對抗性檢測架構(gòu)

SIAMD架構(gòu)包括四個主要階段：社交網(wǎng)絡(luò)分析、網(wǎng)絡(luò)結(jié)構(gòu)演化、網(wǎng)絡(luò)內(nèi)容演化和機器人檢測優(yōu)化，在上圖中分別表示為階段 I、階段 II、階段 III 和階段 IV。

階段 I：社交網(wǎng)絡(luò)分析

• 提取用戶賬戶和社交消息之間的各種類型的歷史交互，構(gòu)建異質(zhì)網(wǎng)絡(luò)。然后預(yù)訓(xùn)練一個圖神經(jīng)網(wǎng)絡(luò)來區(qū)分機器人賬戶和人類賬戶，該網(wǎng)絡(luò)將在后續(xù)演化階段中用作黑箱檢測器。

階段 II：結(jié)構(gòu)演化

• 利用異質(zhì)交互中固有的結(jié)構(gòu)信息，分析用戶賬戶的網(wǎng)絡(luò)影響力和行為相關(guān)性，并對多個機器人賬戶的未來行為進行建模。在這個階段，我們?yōu)闄C器人賬戶定義了兩個行為目標：（1）通過規(guī)避黑箱檢測系統(tǒng)來最小化檢測概率；（2）最大化其消息在賬戶間的傳播，以擴大網(wǎng)絡(luò)影響力。

階段 III：內(nèi)容演化

• 解析每個建模行為的機器人賬戶、交互類型和目標賬戶，構(gòu)建提示詞，并利用大語言模型生成與建模行為相關(guān)的消息內(nèi)容。在異質(zhì)網(wǎng)絡(luò)中，將生成的消息作為新頂點添加，并根據(jù)交互類型將其與建模機器人和目標賬戶連接，從而更新網(wǎng)絡(luò)結(jié)構(gòu)和內(nèi)容。

階段 IV：檢測優(yōu)化

• 在更新后的異質(zhì)網(wǎng)絡(luò)上微調(diào)機器人檢測器，以最大化其識別機器人賬戶的預(yù)測概率，以對抗方式對齊行為建模的目標。每次迭代優(yōu)化后，優(yōu)化后的模型將用作下一次迭代行為建模中的黑箱檢測器，逐步提高主動檢測性能。

SIAMD 框架設(shè)計

SIAMD 框架包括四個主要模塊：社交網(wǎng)絡(luò)分析、網(wǎng)絡(luò)結(jié)構(gòu)演化、網(wǎng)絡(luò)內(nèi)容演化和對抗性機器人檢測。

A. 社交網(wǎng)絡(luò)分析

為保留社交消息和用戶賬戶之間歷史交互中嵌入的原始信息，我們將這些社交元素組織為統(tǒng)一的異質(zhì)圖。該結(jié)構(gòu)整合了各種類型的頂點（代表賬戶和消息）和邊（表示不同類型的交互），用來準確反映社交交互的復(fù)雜性。通過將這些頂點類型之間的典型關(guān)系序列定義為元路徑實例，在多關(guān)系圖結(jié)構(gòu)中建模賬戶之間的多類型關(guān)系。此外，對賬戶描述和消息內(nèi)容進行嵌入，以獲得能夠捕獲賬戶和消息的基本語義和結(jié)構(gòu)特征的表示。

上圖中的社交網(wǎng)絡(luò)表示為從社交消息 M 和用戶賬戶 U 之間的歷史交互中提取的異質(zhì)圖 G?。邊集 E?捕獲用戶參與的常見交互，包括發(fā)布、轉(zhuǎn)發(fā)、提及、回復(fù)和關(guān)注。對于每條消息 m∈M，使用預(yù)訓(xùn)練的文本嵌入模型將原始消息文本轉(zhuǎn)換為密集向量表示 x?∈X?。對于每個賬戶 u∈U，分別從用戶描述中提取其分類特征和數(shù)值特征，并將它們連接成綜合特征表示 x?∈X?。

為保留社交元素之間存在的異質(zhì)信息，將網(wǎng)絡(luò) G?映射到表示賬戶頂點的非負加權(quán)多關(guān)系圖 G?=(U, X?, {E??}?∈R, W)。如果消息頂點通過 G?中的不同交互與賬戶 u?和 u?相關(guān)聯(lián)，則在 G?中建立相應(yīng)的多關(guān)系邊以反映這些交互。將元路徑定義為 G?中頂點類型和邊類型的特定序列，從而構(gòu)建關(guān)系集 R={f, m, rt, rp}。每種關(guān)系下的不同邊集定義如下：

其中 A_f、A_p、A_m、A_rt、A_rp 分別表示異質(zhì)網(wǎng)絡(luò) G?中關(guān)注、發(fā)布、提及、轉(zhuǎn)發(fā)和回復(fù)關(guān)系的鄰接矩陣。對于每條邊 e???∈E??，分配一個歸一化值作為其權(quán)重，計算如下：

B. 多關(guān)系結(jié)構(gòu)熵

將同質(zhì)結(jié)構(gòu)信息原理分別應(yīng)用于每種用戶關(guān)系，然后求和得到的不確定性，隱含地將這些關(guān)系視為獨立的。這種獨立性假設(shè)使得該方法無法建模不同社交關(guān)系類型之間的聯(lián)合效應(yīng)和相互依賴關(guān)系。為解決這個問題，我們在多關(guān)系加權(quán)賬戶圖上定義了一種隨機游走，其中轉(zhuǎn)移概率由所有可用的關(guān)系類型共同決定。這種構(gòu)造產(chǎn)生了一個關(guān)于用戶的單一馬爾可夫鏈，具有獨特的平穩(wěn)分布，從中我們推導(dǎo)出多關(guān)系結(jié)構(gòu)熵的一維度量。然后提出一種優(yōu)化算法，通過在編碼樹上應(yīng)用精心設(shè)計的算子來最小化這種熵，使模型能夠利用關(guān)系之間的交互，同時保持緊湊的結(jié)構(gòu)表示。

1. 轉(zhuǎn)移概率量化

對于多關(guān)系賬戶圖 G?，首先應(yīng)用調(diào)整算法以確保每個單關(guān)系子圖 G??內(nèi)的強連通性。具體而言，對于每種關(guān)系類型 r∈R，確保任意一對賬戶之間在關(guān)系 r 下存在有向路徑。為實現(xiàn)這一點，提取每個單關(guān)系子圖 G??（算法 1 的第 4 行），計算其強連通分量 C?（算法 1 的第 5 行），然后在這些分量之間添加具有小權(quán)重的有向邊，形成有向環(huán)（算法 1 的第 6-10 行）。這保證了調(diào)整后的每個 G??都是強連通的。

將調(diào)整后的圖 G'?的鄰接張量表示為 A?∈R^|U|×|U|×|R|，其中每個元素 A????表示賬戶 u?∈U 到 u?∈U 在關(guān)系 r∈R 下的非負權(quán)重有向邊。在 G'?上進行單步隨機游走時，通過關(guān)系 r 從 u?移動到 u?的概率分解如下：

其中 p (u?|r, u?) 表示給定當前賬戶 u?和關(guān)系 r 時轉(zhuǎn)移到 u?的概率，p (r|u?) 是在 u?處選擇關(guān)系 r 的概率，p (u?) 是位于賬戶 u?的先驗概率。

定理 1：給定 中賬戶間隨機游走的轉(zhuǎn)移矩陣 (P)，平穩(wěn)分布 存在且唯一。該分布等同于矩陣 (P) 的最大特征值 1 對應(yīng)的單一特征向量。

2. 多關(guān)系熵定義

對于不可約同質(zhì)圖 (G=(V, E, W))，一維結(jié)構(gòu)熵 可以用頂點 V 上的平穩(wěn)分布 表示為：

其中 是頂點 的平穩(wěn)概率。

類似地， 的一維多關(guān)系結(jié)構(gòu)熵使用賬戶 \(U\) 上的平穩(wěn)分布 定義如下：

其中 是賬戶 在分布 中的平穩(wěn)概率。

基于捕獲 中關(guān)系動態(tài)的轉(zhuǎn)移張量 和 ，調(diào)整公式 4 中的項 和 。這種調(diào)整允許我們考慮更新后的關(guān)系動態(tài)，從而重新定義分配的熵 為：

因此，重新定義 (G_m') 的 (K) 維多關(guān)系結(jié)構(gòu)熵如下：

其中 (T_m) 遍歷 (G_m') 的所有最大高度為 (K) 的編碼樹。

3. 多關(guān)系熵優(yōu)化

為最小化高維多關(guān)系結(jié)構(gòu)熵 ，采用 deDoc 算法中的合并 （ ） 和組合 （ ） 算子，迭代優(yōu)化賬戶圖 的編碼樹 ，如下圖所示。

引入項 以方便計算優(yōu)化過程中多關(guān)系熵 的變化，定義如下：

其中 和 表示節(jié)點 和 對應(yīng)的賬戶子集， 表示連接子集 和 中賬戶的多關(guān)系邊的加權(quán)和。

當在兄弟節(jié)點 和 之間執(zhí)行合并操作時，創(chuàng)建一個新的樹節(jié)點 來替換 和 。具體而言， 和 的父節(jié)點被分配為 的父節(jié)點， 和 的子節(jié)點被映射到 的子節(jié)點。相關(guān)的熵變化 計算如下：

其中 表示通過合并節(jié)點 和 創(chuàng)建的新節(jié)點。

相反，當在兄弟節(jié)點 和 之間執(zhí)行組合操作時，生成一個新的樹節(jié)點 作為 和 的父節(jié)點，但 和 都不會被刪除。具體而言， 和 的父節(jié)點被重新分配給 ，而 的父節(jié)點成為 和 的原始父節(jié)點。相關(guān)的熵變化 計算如下：

其中 表示通過組合節(jié)點 和 創(chuàng)建的新節(jié)點。

C. 網(wǎng)絡(luò)結(jié)構(gòu)演化

本小節(jié)將網(wǎng)絡(luò)結(jié)構(gòu)的演化分解為兩個關(guān)鍵任務(wù)：社交活動判定和目標賬戶選擇。然后采用多智能體強化學(xué)習(xí)模擬每個賬戶社區(qū)內(nèi)的未來交互，從而更準確、高效地建模機器人行為。默認情況下，在由樹 的根節(jié)點的子節(jié)點 表示的每個社區(qū) 中，隨機采樣 個機器人賬戶作為建模機器人賬戶，表示為 。

1. 社交活動判定

活動判定問題被表述為馬爾可夫決策過程（MDP），用元組 表示，其中 是狀態(tài)空間， 是動作空間， 是獎勵函數(shù)， 是轉(zhuǎn)移函數(shù)， 是折扣因子。

在賬戶社區(qū) U_λ?內(nèi)，高層策略 π?: S?×A?→[0,1] 負責(zé)確定每個建模機器人 b?應(yīng)參與哪種類型的交互 r∈R。在每個時間步 t，高層狀態(tài) s??∈S?表示所有目標機器人執(zhí)行的歷史交互的快照。為減輕隨時間增長的計算和空間開銷，定義條件分布對歷史活動序列進行編碼，該分布表示每個機器人 b?選擇特定交互類型 r∈R 的概率。然后使用該分布構(gòu)建高層狀態(tài) s??∈R^k|R|。給定高層狀態(tài) s??，策略 π?選擇動作 a??∈A?，表示為二進制張量 {0,1}^k×|R|。該張量確定每個目標機器人 b?在時間步 t 的交互類型 r??。

相關(guān)獎勵 旨在反映黑箱機器人檢測器 對所有建模機器人的機器人檢測結(jié)果的預(yù)測概率變化。獎勵計算如下：

其中 和 是異質(zhì)網(wǎng)絡(luò) (G_h') 的更新特征表示，反映了網(wǎng)絡(luò)結(jié)構(gòu)和內(nèi)容演化引起的最新變化。

為建模規(guī)避機器人檢測的行為目標，優(yōu)化高層策略 以最大化長期期望折扣獎勵。這涉及為建模機器人選擇適當?shù)慕换ヮ愋?，以降低機器人檢測器 的預(yù)測概率。優(yōu)化目標形式化如下：

2. 目標賬戶選擇

目標賬戶選擇問題被建模為多智能體 MDP，用元組 表示，其中 是建模機器人（智能體）集合， 是狀態(tài)空間， 是動作空間， 是獎勵函數(shù)。轉(zhuǎn)移函數(shù) 和折扣因子與高層 相同。

在賬戶社區(qū) 內(nèi)，低層策略 確定建模機器人 通過高層策略 選擇的交互類型 與哪個人類或機器人賬戶連接。當策略 選擇目標賬戶時，考慮每個用戶賬戶的兩個主要因素：

• 網(wǎng)絡(luò)影響力：網(wǎng)絡(luò)影響力越大的用戶賬戶被選中的概率越高。

• 行為相關(guān)性：與機器人 行為相關(guān)性越大的用戶賬戶被選中的可能性越高。

為量化這些因素，為每個賬戶 定義兩個關(guān)鍵指標： 和 。這些指標基于多關(guān)系熵，量化 的網(wǎng)絡(luò)影響力及其與 的行為相關(guān)性。計算如下：

其中 表示確定賬戶 在隨機交互中的參與程度所需的比特數(shù)，反映其網(wǎng)絡(luò)影響力。另一方面， 表示 和 在隨機交互中的參與模式之間的共享比特數(shù)，表明賬戶 與機器人 的行為相關(guān)性。

通過將這些指標融入社區(qū)$ U_λ?誘導(dǎo)的子圖的結(jié)構(gòu)嵌入中，構(gòu)建時間步 t 的低層狀態(tài) s??∈S?。對于每個賬戶 u∈U_λ?，狀態(tài) s??∈R^|U_λ?|(d+2) 包括影響力指標 ni (u)、相關(guān)性指標 br (b?, u)（每個大小為 1）以及使用無監(jiān)督編碼方法 node2vec 獲得的大小為 d 的頂點嵌入?；诖说蛯訝顟B(tài) s??，建模機器人 b?的策略 π??選擇目標賬戶 u∈U_λ?以建立新的類型 r 的交互，表示為大小為 | U_λ?| 的獨熱動作 a??。

低層獎勵 定義為所有建模機器人的影響力指標之和，給出如下：

其中 表示建模機器人 的網(wǎng)絡(luò)影響力。

為建模最大化所有建模機器人總影響力的行為目標，優(yōu)化多智能體低層策略 (\pi_l)，優(yōu)化目標形式化如下：

D. 網(wǎng)絡(luò)內(nèi)容演化

利用演化后的網(wǎng)絡(luò)結(jié)構(gòu)，識別建模機器人、目標賬戶和交互類型，構(gòu)建相關(guān)且上下文適當?shù)奶崾驹~。然后使用這些提示詞由大型語言模型（LLMs）生成消息內(nèi)容。在異質(zhì)社交網(wǎng)絡(luò)中，引入帶有生成內(nèi)容的新消息頂點，并建立建模機器人與其目標賬戶之間的交互，從而模擬網(wǎng)絡(luò)在結(jié)構(gòu)和內(nèi)容上的動態(tài)演化。

我們將用戶元數(shù)據(jù)、歷史內(nèi)容和社交結(jié)構(gòu)整合到基于提示詞的方法中，使 LLMs 能夠生成上下文準確且相關(guān)的預(yù)測。如圖 6 所示，該過程包括三個階段：背景表示、任務(wù)表述和通過上下文學(xué)習(xí)生成內(nèi)容。

為了讓 LLMs 充分理解賬戶檔案和交互，受先前在自然語言輸入中利用結(jié)構(gòu)化數(shù)據(jù)的工作的啟發(fā)，從三個維度表示背景知識：

• 元數(shù)據(jù)：將賬戶的分類信息（包括關(guān)注者數(shù)量、關(guān)注數(shù)量和賬戶描述）重新表述為自然語言序列。

• 內(nèi)容：使用用戶嵌入和基于相似度的文本檢索技術(shù)，從每個機器人中識別出與目標賬戶的嵌入向量余弦相似度最高的三條推文。

• 結(jié)構(gòu)：將每個賬戶的關(guān)注和被關(guān)注關(guān)系編碼為自然語言列表，因為研究表明基于圖的表示在社交網(wǎng)絡(luò)任務(wù)中具有實用性。

預(yù)測任務(wù)表述簡潔，最大限度地減少不必要的重復(fù)，并有效利用背景知識為生成模型創(chuàng)建清晰且有針對性的指令。例如，任務(wù)可能被表述為：“任務(wù)：根據(jù)賬戶 [發(fā)送者] 和賬戶 [接收者] 過去的交互和上下文信息，生成賬戶 [發(fā)送者] 最有可能發(fā)送給賬戶 [接收者] 的 [交互類型] 類型消息?！?/p>

實驗結(jié)果

為評估 SIAMD 框架的檢測性能，使用來自 Bot Repository 的四個知名機器人數(shù)據(jù)集Cresci-15、Cresci-17、TwiBot-20 和 TwiBot-22進行對比實驗。 將 SIAMD 的檢測性能與三類最先進的基線進行比較：基于特征的方法（包括 BotHunter 和 SGBot）、基于內(nèi)容的方法（包括 BGSRD 和 RoBERTa）以及基于圖的方法（如 GraphHist 、SATAR 、Botometer 、SimpleHGN 、BotRGCN 和 RGT）。

泛化能力

該圖展示了每個模型準確率的熱力圖以及相應(yīng)的平均值和標準差。與三個基線相比，SIAMD 在所有折疊對中的檢測性能始終最佳，實現(xiàn)了最高的平均準確率 84.05 和最低的標準差 5.91。在三個基線算法表現(xiàn)明顯較低的測試折疊 1 上，SIAMD 的準確率至少達到 75.1。這表明我們引入的網(wǎng)絡(luò)演化過程有效地補償了訓(xùn)練和測試折疊之間的差異，從而確保 SIAMD 表現(xiàn)出強大的泛化性能。

泛化能力

為了驗證 SIAMD 的魯棒性，引入了一種由大語言模型（LLMs）驅(qū)動的攻擊算法，即 LLaMA2-70b 和 ChatGPT，以操縱 TwiBot-20 中機器人賬戶的內(nèi)容和結(jié)構(gòu)信息。對于內(nèi)容信息，從人類賬戶中檢索相似度最高的 3 條消息，并提示 LLM 生成模仿這些示例的重寫消息。對于結(jié)構(gòu)信息，向 LLM 提供目標機器人的元數(shù)據(jù)和歷史交互，通過添加或刪除其社交鄰居來修改其網(wǎng)絡(luò)結(jié)構(gòu)。

在 TwiBot-20 中經(jīng)過 LLM 操縱的機器人賬戶上，評估了 SIAMD 框架和所有基線方法的準確率和 F1 分數(shù)檢測性能，結(jié)果如上表所示。與先前工作中的觀察結(jié)果一致，使用 LLaMA2-70B 模型進行的對抗性操縱導(dǎo)致基于特征、基于內(nèi)容和基于圖的檢測器的性能下降更大。與其他基線模型相比，SIAMD 在兩種攻擊場景中始終實現(xiàn)最高的檢測準確率和 F1 分數(shù)，同時表現(xiàn)出最小的性能下降。SIAMD 框架中的對抗性檢測機制主動模擬網(wǎng)絡(luò)結(jié)構(gòu)和內(nèi)容中潛在的干擾場景，從而增強了其檢測魯棒性。

可解釋性

為了驗證 SIAMD 的可解釋性，從 TwiBot-22 網(wǎng)絡(luò)中提取一個子社區(qū)，對三個機器人賬戶的行為進行建模（用不同顏色表示），并可視化它們在不同時間步的子社區(qū)內(nèi)的結(jié)構(gòu)關(guān)系，如下圖所示。為清晰起見，僅可視化子社區(qū)內(nèi)賬戶之間的有向交互，省略了特定的交互類型。還通過在各自的子圖中采用不同的顏色和更粗的邊來突出顯示三個機器人賬戶的建模行為。

紅色機器人主要關(guān)注或轉(zhuǎn)發(fā)原始子社區(qū)內(nèi)的其他賬戶，很少表達自己的觀點。因此，檢測算法將其分類為人類賬戶。它經(jīng)常回復(fù)和提及其他賬戶，特別是網(wǎng)絡(luò)中影響力較低的賬戶。黃色機器人賬戶更有可能在子社區(qū)內(nèi)表達自己的觀點以影響公眾輿論，導(dǎo)致其被分類為機器人賬戶。在原始社區(qū)中，綠色機器人參與的社交交互較少，表現(xiàn)出的行為模式也較少，導(dǎo)致其被分類為人類賬戶。這類賬戶主要模仿人類賬戶的行為，通過與他人的雙向交互傳播公眾輿論。

此外，觀察到三個機器人賬戶在選擇交互目標賬戶時存在重疊。這是由于這些賬戶之間建模的協(xié)作關(guān)系，選擇相同的交互目標可以提高輿論操縱的效果。

敏感性分析

如上圖所示，無論使用哪種模型，SIAMD 框架在所有數(shù)據(jù)集上始終表現(xiàn)出優(yōu)越的檢測性能，特別是在準確率和 F1 分數(shù)方面。盡管兩個 SIAMD 變體在不同數(shù)據(jù)集上的性能有所不同，但它們相對于基線算法的優(yōu)勢仍然相當。這表明我們框架的有效性不依賴于任何特定的大語言模型。

消融實驗

在所有數(shù)據(jù)集上，完整的 SIAMD 的檢測性能優(yōu)于其兩個變體，而這兩個變體又優(yōu)于底層檢測算法 GCN。這突出了對抗性架構(gòu)和網(wǎng)絡(luò)演化在提高檢測性能方面的性能優(yōu)勢。此外，與 SIAMD-SE 相比，SIAMD-CE 變體表現(xiàn)出明顯更好的性能，強調(diào)了基于結(jié)構(gòu)信息原理的行為建模在框架中的關(guān)鍵作用。

篇幅原因，我們在本文中省略了諸多細節(jié)，更多細節(jié)可以在論文中找到。感謝閱讀！

技術(shù)人的年度儀式感！ 年度盤點與趨勢洞察 啟動！

《2025 年度盤點與趨勢洞察》由 InfoQ 技術(shù)編輯組策劃。覆蓋大模型、Agent、具身智能、AI Native 開發(fā)范式、AI 工具鏈與開發(fā)、AI+ 傳統(tǒng)行業(yè)等方向，通過長期跟蹤、與業(yè)內(nèi)專家深度訪談等方式，對重點領(lǐng)域進行關(guān)鍵技術(shù)進展、核心事件和產(chǎn)業(yè)趨勢的洞察盤點。

力求以體系化視角幫助讀者理解年度技術(shù)演化的底層邏輯、創(chuàng)新方向與落地價值，并為新一年決策提供參考。內(nèi)容將在 InfoQ 媒體矩陣陸續(xù)放出，歡迎大家持續(xù)關(guān)注。

今日薦文

你也「在看」嗎？