今天為大家?guī)?lái)一篇面向工業(yè)監(jiān)控、系統(tǒng)運(yùn)維等關(guān)鍵場(chǎng)景的時(shí)間序列異常檢測(cè)最新進(jìn)展 —— Frequency-augmented Convolutional Transformer (FreCT)。這項(xiàng)工作從時(shí)間域與頻率域聯(lián)合建模出發(fā)，引入 卷積 + Transformer + 對(duì)比學(xué)習(xí) + 頻率增強(qiáng) 多重設(shè)計(jì)，在四個(gè)權(quán)威數(shù)據(jù)集上全面刷新現(xiàn)有方法的表現(xiàn)，在多個(gè)真實(shí)數(shù)據(jù)集上取得了超越現(xiàn)有SOTA的表現(xiàn)。

論文名稱： FreCT: Frequency-augmented Convolutional Transformer for Robust Time Series Anomaly Detection 文章鏈接： https://link.springer.com/chapter/10.1007/978-981-96-9921-6_2 代碼倉(cāng)庫(kù)： https://github.com/shaieesss/FreCT

在實(shí)際工業(yè)系統(tǒng)（如航空航天、水處理、服務(wù)器監(jiān)控、智能電網(wǎng)等）中，時(shí)間序列異常檢測(cè) 是保障系統(tǒng)穩(wěn)定、避免重大損失的關(guān)鍵能力。然而，重構(gòu)型方法易受到異常點(diǎn)破壞，難以學(xué)到穩(wěn)定的正常模式。同時(shí)，僅依賴時(shí)間域，會(huì)忽略頻率域包含的大量判別信息。

為此，本文提出了一種FreCT。該框架：是一個(gè)結(jié)合 Transformer 長(zhǎng)依賴建模能力、卷積局部捕獲能力、頻率增強(qiáng)分析的新框架能從時(shí)間域 + 頻率域全面理解序列行為，在四個(gè)基準(zhǔn)上實(shí)現(xiàn) SOTA。

二、動(dòng)機(jī)

時(shí)間序列異常檢測(cè)面臨兩大頑疾：

1. 重構(gòu)類(lèi)方法易受異常點(diǎn)干擾（核心痛點(diǎn)）：許多對(duì)比學(xué)習(xí)與重構(gòu)式方法都依賴 MSE 來(lái)度量重建誤差，但（1）異常點(diǎn)本身的偏離會(huì) 大幅放大損失；（2）污染正常模式的學(xué)習(xí)過(guò)程；（3）使模型難以獲得“純凈”的正常行為。

2. 僅使用時(shí)間域，忽略“頻率模式”：頻率域常用于分析周期性、震蕩性、突變性變化，在信號(hào)處理中屢試不爽。但現(xiàn)有多數(shù)時(shí)序異常檢測(cè)方法：幾乎只在時(shí)間域操作，忽略了頻率特征對(duì)區(qū)分正常 vs 異常的重要性。

為了克服上述局限性，本文提出了FreCT框架，FreCT使用 KL 散度 + stop-gradient 機(jī)制 顯著降低異常點(diǎn)對(duì)訓(xùn)練的破壞；首次將 FFT 頻率增強(qiáng)學(xué)習(xí) 與時(shí)序?qū)Ρ葘W(xué)習(xí)深度結(jié)合，提升模型辨識(shí)能力。

核心貢獻(xiàn)：

1. 本文設(shè)計(jì)了一個(gè)序列級(jí)預(yù)處理，序列歸一化 + patch 切片生成多視圖。

2. 提出Patch-based Transformer，建模長(zhǎng)依賴關(guān)系。

3. 提出卷積模塊，捕獲局部細(xì)粒度異常特征。

4. 提出頻率增強(qiáng)學(xué)習(xí)（FFT），從頻率域進(jìn)一步校驗(yàn)一致性。

5. 提出KL + 絕對(duì)差 的雙域一致性損失，避免重構(gòu)偏差，提高魯棒性。

FreCT 的整體框架如下圖所示

FreCT框架

1）異配分離模塊： 基于邊兩端節(jié)點(diǎn)特征，利用 MLP 分類(lèi)器判斷邊為同配或異配，從而將原始圖劃分為兩個(gè)子圖。

2）殘差重標(biāo)定傳播：同配子圖：采用低通濾波器傳播，并通過(guò)殘差結(jié)構(gòu)保持原始特征。異配子圖：利用 濾波器保留高頻差異性信號(hào)。

3）頻率信息融合：拼接同配與異配表示，并引入差分項(xiàng) ，通過(guò)層歸一化提升表達(dá)力。

4）關(guān)系信息融合：在多關(guān)系場(chǎng)景下，將來(lái)自不同關(guān)系的嵌入進(jìn)一步拼接融合。

5）分類(lèi)器：最后通過(guò)交叉熵?fù)p失 + 輔助異配分離損失聯(lián)合優(yōu)化，提升檢測(cè)魯棒性。

3.1序列級(jí)預(yù)處理：Normalization + Patch 生成預(yù)處理

FreCT 不使用常見(jiàn)的“按時(shí)間戳歸一化”，而是采用序列級(jí)歸一化沿時(shí)間維度標(biāo)準(zhǔn)化來(lái)避免事件突變導(dǎo)致的噪聲擴(kuò)散，對(duì)長(zhǎng)序列更魯棒。隨后，將序列按不同 patch sizes 切分成多個(gè)通道。這些 patch 視圖天然形成 對(duì)比學(xué)習(xí)的正樣本對(duì)，無(wú)需額外的數(shù)據(jù)增強(qiáng)。數(shù)學(xué)公式如下

3.2 Patch-based Transformer：長(zhǎng)程依賴捕獲

基于 Patch 的通道生成示意圖

FreCT 使用Inter-patch / Intra-patch 雙視圖 Transformer：

1.Inter-patch：理解 patch 之間的長(zhǎng)時(shí)依賴（宏觀）

2.Intra-patch：理解 patch 內(nèi)的局部依賴（局部）

兩種視角共享參數(shù)，并通過(guò)自注意力機(jī)制生成兩條互補(bǔ)的嵌入表示流。

以Inter-patch 視角為例，在該視角下，每個(gè) patch 被視為一個(gè)基本時(shí)序單元，通過(guò)多頭自注意力機(jī)制建模不同 patch 之間的全局依賴關(guān)系。由于注意力權(quán)重在 patch 級(jí)別計(jì)算，為了與原始細(xì)粒度時(shí)序特征對(duì)齊，引入上采樣操作以實(shí)現(xiàn)特征聚合，其計(jì)算過(guò)程如下：

Inter-patch 視角建模

在該視角中，我們首先為每個(gè) patch 構(gòu)造查詢（Query）、鍵（Key）和值（Value）向量，并計(jì)算 patch 級(jí)別的注意力權(quán)重。隨后，通過(guò)上采樣操作將注意力權(quán)重映射回原始時(shí)間分辨率，從而與細(xì)粒度時(shí)序特征進(jìn)行對(duì)齊，最終獲得 inter-patch 表示。

Transformer 在捕獲長(zhǎng)依賴方面非常強(qiáng)，但：

對(duì)局部擾動(dòng)（如異常點(diǎn)）較為不敏感

難以捕捉“突然波動(dòng)”“突變邊緣”等細(xì)節(jié)

其中 表示核大小為 的卷積運(yùn)算符。卷積運(yùn)算后，我們連接高階表示：

最后，我們通過(guò)卷積變換融合多尺度潛在表示 ：

3.3 多尺度卷積模塊：補(bǔ)足 Transformer 的局部建模不足

盡管 Transformer 在建模長(zhǎng)程依賴關(guān)系方面具有顯著優(yōu)勢(shì)，但其基于全局自注意力的機(jī)制對(duì)局部擾動(dòng)（如異常點(diǎn)）響應(yīng)相對(duì)不足，且難以有效刻畫(huà)時(shí)間序列中的突發(fā)波動(dòng)與邊緣變化等細(xì)粒度結(jié)構(gòu)特征。為此，我們引入多尺度卷積模塊，以增強(qiáng)模型對(duì)局部模式與高頻變化的感知能力。

具體而言，針對(duì)來(lái)自 Transformer 編碼器的表示 ，我們采用不同感受野的并行一維卷積算子對(duì)其進(jìn)行特征提取：

其中 表示卷積核大小為 的卷積運(yùn)算，用以捕獲不同尺度下的局部時(shí)序模式。隨后，我們將多尺度卷積輸出在通道維度上進(jìn)行拼接，形成融合后的高階表示：

最后，通過(guò)額外的卷積變換與非線性激活函數(shù)，對(duì)多尺度特征進(jìn)行進(jìn)一步融合與重標(biāo)定，得到最終的局部增強(qiáng)表示：

其中 表示非線性激活函數(shù)。該多尺度卷積模塊有效補(bǔ)充了 Transformer 在局部建模方面的不足，使模型能夠同時(shí)兼顧全局依賴與局部細(xì)節(jié)，從而提升對(duì)異常模式的識(shí)別能力。

3.4頻率增強(qiáng)：基于 FFT 的頻域一致性建模

為進(jìn)一步挖掘時(shí)間域之外的判別信息，F(xiàn)reCT 將來(lái)自 Inter-patch 與 Intra-patch 兩個(gè)視圖的表示映射至頻率域進(jìn)行一致性分析。具體而言，我們對(duì)兩個(gè)視圖的輸出分別施加快速傅里葉變換（FFT），得到對(duì)應(yīng)的頻域表示：

隨后，通過(guò)計(jì)算兩者在頻率域上的幅值差異來(lái)度量其一致性程度：

其中 表示頻域分量的數(shù)量。該頻率一致性約束具有以下優(yōu)勢(shì)：

1. 有效削弱時(shí)間域自相關(guān)帶來(lái)的建模干擾；

2. 促使模型從周期性特征、振蕩幅度及頻率分布等角度識(shí)別異常模式；

3. 顯著增強(qiáng)模型對(duì)周期性異常與振蕩型異常的感知能力。

FreCT 的一致性學(xué)習(xí)基于如下核心假設(shè)：正常序列在不同視圖下應(yīng)具有高度一致的潛在表示，而異常序列在不同視圖中的表示則會(huì)產(chǎn)生明顯偏離。基于這一假設(shè)，F(xiàn)reCT 在時(shí)間域中引入對(duì)稱 KL 散度作為一致性約束，并結(jié)合 stop-gradient 策略以提升訓(xùn)練穩(wěn)定性。

具體而言，F(xiàn)reCT 采用對(duì)稱 KL（Symmetric KL）來(lái)衡量?jī)蓚€(gè)視圖之間的分布差異，相較于均方誤差（MSE）或 JS 散度，該設(shè)計(jì)在異常干擾下具有更強(qiáng)的魯棒性。同時(shí)，引入stop-gradient操作以避免兩個(gè)分支在訓(xùn)練過(guò)程中相互牽引，從而防止模型退化至塌陷解。

對(duì)應(yīng)的損失函數(shù)定義如下：

其中 表示 stop-gradient 操作，用于阻斷梯度反向傳播。

四、實(shí)驗(yàn)結(jié)果

(1)總體性能對(duì)比

數(shù)據(jù)集簡(jiǎn)介

本文在三個(gè)數(shù)據(jù)集上對(duì)FreCT模型進(jìn)行了全面評(píng)估，包括MSL、SMAP、SWaT、PSM，并與多個(gè)主流基線方法進(jìn)行了對(duì)比。FreCT 在所有數(shù)據(jù)集上都取得了最佳或接近最佳的F1-score。

與表現(xiàn)最優(yōu)的基線模型相比，F(xiàn)reCT在MSL、SMAP、SWaT和PSM數(shù)據(jù)集上分別使F1分?jǐn)?shù)提升了1.01%、0.1%、1.98%和1.83%。這歸因于FreCT基于Transformer架構(gòu)提取序列代表性依賴關(guān)系的能力，以及通過(guò)兩個(gè)對(duì)比視角的卷積模塊把握局部詳細(xì)語(yǔ)義的特性，這些特性可能為序列學(xué)習(xí)提供有益的指導(dǎo)。此外，頻率信號(hào)除時(shí)間序列自相關(guān)外還提供了有價(jià)值的信息，有助于從頻域?qū)W習(xí)不同的表征。因此，F(xiàn)reCT能夠準(zhǔn)確理解并建模時(shí)間序列的正常模式。

比較實(shí)驗(yàn)結(jié)果

(2)消融實(shí)驗(yàn)

消融實(shí)驗(yàn)結(jié)果

我們首先在表3驗(yàn)證了停止梯度策略在損失函數(shù)上的有效性。具體而言，若不采用停止梯度策略，F(xiàn)reCT仍不會(huì)陷入平凡解，且性能表現(xiàn)與基線方法相當(dāng)。當(dāng)對(duì)單一對(duì)比視圖實(shí)施停止梯度策略時(shí)，MSL和PSM的性能雖有明顯下降，但相較于某些基線方法仍保持優(yōu)勢(shì)。而當(dāng)對(duì)兩個(gè)對(duì)比視圖同時(shí)實(shí)施停止梯度策略時(shí)，性能表現(xiàn)達(dá)到最優(yōu)，這充分證明了該策略的有效性。

隨后我們?cè)O(shè)計(jì)了三種變體，即 、 和 ，分別代表不進(jìn)行歸一化操作的FreCT、不包含卷積模塊的FreCT以及不采用頻率增強(qiáng)學(xué)習(xí)模塊的FreCT，以驗(yàn)證歸一化操作、卷積模塊和頻率增強(qiáng)學(xué)習(xí)模塊的有效性。結(jié)果如表IV所示。

從觀測(cè)結(jié)果來(lái)看，與 、 和 相比，F(xiàn)reCT取得了最佳性能，這證明了FreCT各組件的有效性。在四個(gè)數(shù)據(jù)集上， 、 和 的平均下降率分別為1.79%、1.26%和0.97%。對(duì)于 ，歸一化操作有助于凸顯時(shí)間序列中的顯著特征，并使分布更易于學(xué)習(xí)。對(duì)于 ，一個(gè)不受自相關(guān)影響的頻率增強(qiáng)學(xué)習(xí)模塊可以從頻域中捕獲有價(jià)值的信息，用于對(duì)序列的正常模式進(jìn)行建模。

(3)參數(shù)敏感性實(shí)驗(yàn)

時(shí)間窗參數(shù)敏感性實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)可以得出,在窗口大小范圍[90,120]內(nèi)，性能相對(duì)穩(wěn)定且優(yōu)越。小窗口大小無(wú)法包含足夠的序列信息，過(guò)大的窗口大小可能會(huì)引入干擾和噪聲，阻礙特征學(xué)習(xí)。

其他參數(shù)敏感性實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)可以得出,當(dāng)層數(shù)為3時(shí)，F(xiàn)reCT的性能最好，這表明層數(shù)也會(huì)影響FreCT學(xué)習(xí)潛在表示的能力。一般來(lái)說(shuō)，較小的嵌入尺寸可能會(huì)導(dǎo)致特征表示的不足，而過(guò)大的嵌入尺寸會(huì)導(dǎo)致模型崩潰。當(dāng)頭數(shù)量為1時(shí)，性能最佳。多頭注意力機(jī)制將使表征不足以區(qū)分。

五、總結(jié)

本文FreCT 框架提出了一種的新范式，通過(guò)時(shí)間域 + 頻率域一致性學(xué)習(xí)，通過(guò)：

Patch-based Transformer（長(zhǎng)依賴）

多尺度 CNN（局部異常）

FFT 頻率增強(qiáng)（周期/頻域變化）

對(duì)稱 KL + stop-gradient（穩(wěn)定訓(xùn)練）

使得模型在各種真實(shí)工業(yè)場(chǎng)景下都表現(xiàn)出卓越的異常檢測(cè)能力。

FreCT 的優(yōu)勢(shì)非常明確：

? 信號(hào)建模更全面：時(shí)域 + 頻域

? 更穩(wěn)健：不依賴重構(gòu)

? 更高效：無(wú)需負(fù)采樣、不做復(fù)雜增強(qiáng)

? 表現(xiàn)強(qiáng)勁：四大基準(zhǔn)全面領(lǐng)先

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專(zhuān)注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈