時序數(shù)據(jù)分析在工業(yè)監(jiān)控、醫(yī)療診斷等領(lǐng)域至關(guān)重要。

比如航空發(fā)動機監(jiān)控這個復雜工業(yè)場景中，工程師需分析海量多通道傳感器數(shù)據(jù)，以判斷設(shè)備狀態(tài)并制定維護決策。

然而，現(xiàn)有研究多聚焦于分類、預測等單一任務(wù)，與實際工業(yè)場景中專家通過自然語言進行復雜交互和決策的需求存在顯著差異。

上海交通大學航空航天學院李元祥教授團隊、上海創(chuàng)智學院、復旦大學數(shù)據(jù)科學學院團隊以航空發(fā)動機運維為背景，提出高效、可遷移的時序-語言橋接架構(gòu)——ITFormer，將專家診斷過程抽象為”理解、感知、推理、決策”四個認知層次，并首次系統(tǒng)性地定義為“時序問答”任務(wù)范式。

團隊基于NASA航空發(fā)動機數(shù)據(jù)，構(gòu)建了包含11萬余問答對的EngineMT-QA數(shù)據(jù)集。該數(shù)據(jù)集的任務(wù)設(shè)計緊密貼合專家的認知流程，為評估模型在真實工業(yè)場景下的推理能力提供了首個標準化基準。

結(jié)果顯示，ITFormer以模塊化設(shè)計實現(xiàn)了時序數(shù)據(jù)與大語言模型的高效融合，僅需訓練不足1%的額外參數(shù)，便可在通用時序問答數(shù)據(jù)集上表現(xiàn)出優(yōu)越的性能和良好的遷移能力，展現(xiàn)了卓越的“即插即用”特性。它可無縫適配PatchTST、Informer、Crossformer等多種時序編碼器，以及Qwen、LLaMA、GLM等不同規(guī)模和架構(gòu)的大語言模型。

此外，在使用EngineMT-QA進行預訓練后，ITFormer的性能得到進一步的巨大提升，在全部五項任務(wù)上均達到SOTA水平，其中“因果分析”準確率高達0.83。

用戶可以進行追問式探索，“昨天哪個設(shè)備的能耗最高？” “為什么它的能耗這么高？” “和上周同期相比情況如何？”。這種交互式的分析流程，讓數(shù)據(jù)探索過程更符合人類的思維習慣，從而真正實現(xiàn)了數(shù)據(jù)分析的大眾化。

航空發(fā)動機能用大模型了

技術(shù)難點

高維數(shù)據(jù)的語義提取：單個時序樣本可包含數(shù)萬個數(shù)值（如32通道×600時間步），如何從中提取出有效的語義特征是首要難題。

抽象語義的對齊建模：時序信號的模式變化（如緩慢上升、突然波動）與物理系統(tǒng)的狀態(tài)轉(zhuǎn)換（如設(shè)備老化、突發(fā)故障）之間的對應關(guān)系高度抽象，難以直接建模。

多尺度時間依賴的處理：時序數(shù)據(jù)中的關(guān)鍵信息可能分布在不同的時間尺度上，模型必須具備處理多尺度依賴的能力。

ITFormer架構(gòu)與關(guān)鍵模塊

ITFormer的設(shè)計思想是作為一個輕量級的”橋梁”，在凍結(jié)預訓練時序編碼器和大型語言模型（LLM）的前提下，實現(xiàn)兩者的高效對齊與融合。

時間令牌位置編碼（TPE）
為精確表征多維時序數(shù)據(jù)的結(jié)構(gòu)，TPE在三個層次上進行位置編碼：時間步（Temporal Steps）、通道（Channels）和時序片段（Segments），確保模型能區(qū)分不同時間點、不同傳感器以及不同數(shù)據(jù)段的語義信息。

可學習指令令牌（LIT）
為了讓模型理解具體的任務(wù)指令，LIT在文本查詢前添加了一組可學習的令牌。這些令牌通過自注意力機制，能夠從自然語言查詢中自動捕獲并濃縮任務(wù)相關(guān)的語義信息，從而指導后續(xù)的跨模態(tài)融合。

指令時間注意力（ITA）
作為ITFormer的核心創(chuàng)新，ITA通過一個高效的兩階段過程實現(xiàn)跨模態(tài)對齊：

1. 通道指令融合（Channel Instruct Fusing）：根據(jù)LIT提供的任務(wù)指令，動態(tài)地對每個時間步上的多通道特征進行加權(quán)聚合，篩選出與任務(wù)最相關(guān)的傳感器信息。
2. 時間指令注意力（Time Instruct Attention）：在上一步的基礎(chǔ)上，再次根據(jù)任務(wù)指令，在時間維度上進行注意力加權(quán)，聚合最關(guān)鍵的時間片段信息。
   這一設(shè)計顯著提升了計算效率，同時保證了對齊的精確性。

時間令牌即語言（TAL）
該策略將ITA融合后的時序特征向量直接視為語言令牌，并替換掉文本查詢中預設(shè)的占位符。這使得時序信息能以一種與語言模型兼容的方式，無縫嵌入到LLM的輸入序列中，從而實現(xiàn)端到端的建模。

EngineMT-QA數(shù)據(jù)集設(shè)計

EngineMT-QA基于真實的工業(yè)應用場景設(shè)計，其任務(wù)層次反映了專家處理時序數(shù)據(jù)的認知過程。

數(shù)據(jù)規(guī)模：包含超過11萬對高質(zhì)量問答數(shù)據(jù)，源于NASA N-CMAPSS標準數(shù)據(jù)集。
數(shù)據(jù)維度：覆蓋32個傳感器通道，每個樣本包含600個時間步。
質(zhì)量保證：所有數(shù)據(jù)均經(jīng)過領(lǐng)域?qū)＜业慕徊鎸徍耍_保技術(shù)準確性。

適配主流LLMs，性能實現(xiàn)SOTA

EngineMT-QA數(shù)據(jù)集上的性能對比

在EngineMT-QA數(shù)據(jù)集上，ITFormer的性能全面超越了包括主流多模態(tài)API，如ChatGPT-4o、Gemini，以及專用時序-文本模型Time-LLM、AutoTime在內(nèi)的所有基線。尤其在需要深度分析的“推理”和“決策”任務(wù)上，F(xiàn)1分數(shù)和BLEU得分的顯著領(lǐng)先，證明了ITFormer對復雜時序-語言關(guān)系具備強大的建模能力。

ITFormer模塊有效性驗證：消融實驗

消融實驗結(jié)果量化了ITFormer各核心組件的貢獻。實驗表明：TPE（時間令牌位置編碼） 對模型性能的提升最為關(guān)鍵，是模型理解多維時序結(jié)構(gòu)的基礎(chǔ)。同時，ITA（指令時間注意力） 與TPE的結(jié)合能夠產(chǎn)生顯著的協(xié)同效應。最終，包含全部組件的完整架構(gòu)性能最佳，驗證了ITFormer系統(tǒng)性設(shè)計的有效性。

架構(gòu)通用性：適配不同時序編碼器與語言模型

ITFormer展現(xiàn)了卓越的“即插即用”特性。實驗證明，它可無縫適配PatchTST、Informer、Crossformer等多種時序編碼器，以及Qwen、LLaMA、GLM等不同規(guī)模和架構(gòu)的大語言模型。此外，隨著底層語言模型規(guī)模的提升，整體任務(wù)性能也隨之穩(wěn)步提高，表現(xiàn)出良好的可擴展性。

跨域泛化與數(shù)據(jù)集價值

為驗證模型與數(shù)據(jù)集的通用價值，研究團隊在公開基準TimeSeriesExam上進行了測試。

結(jié)果顯示：1.ITFormer方法的有效性：即便不經(jīng)過預訓練，ITFormer直接在TimeSeriesExam上訓練，其性能已在多個任務(wù)上優(yōu)于通用基線，證明了其架構(gòu)設(shè)計的先進性。 2.EngineMT-QA數(shù)據(jù)集的價值：在使用EngineMT-QA進行預訓練后，ITFormer的性能得到進一步的巨大提升，在全部五項任務(wù)上均達到SOTA水平，其中“因果分析”準確率高達0.83。

這充分說明，EngineMT-QA作為一個時序文本對數(shù)據(jù)集，能夠為模型提供關(guān)于時序-文本關(guān)系的本質(zhì)性知識，從而顯著提升其在其他任務(wù)上的泛化能力。

推理效率驗證

效率測試表明，ITA機制相較于傳統(tǒng)的跨模態(tài)注意力（cross-attention），在處理多通道、長序列數(shù)據(jù)時推理速度優(yōu)勢明顯。同時，LIT模塊也能有效降低長文本輸入帶來的計算開銷。這些結(jié)果證明，ITFormer的架構(gòu)設(shè)計兼顧了高性能與高效率，為大規(guī)模實時應用提供了可能。

ITFormer及EngineMT-QA為時序AI社區(qū)提供了新的研究范式和寶貴資源，在工程和科學領(lǐng)域均具有廣闊的應用前景。

時序QA論文合集：
https://github.com/Pandalin98/Awesome-Time-Series-QA-Papers
項目主頁：
https://pandalin98.github.io/itformer_site/
論文鏈接：http://arxiv.org/abs/2506.20093