目前，時(shí)間序列預(yù)測方法通常采用基于極大似然估計(jì)的 MSE 作為損失函數(shù)，但這類損失在標(biāo)簽序列具有自相關(guān)性時(shí)有偏

近期，北大林宙辰團(tuán)隊(duì)將時(shí)間序列預(yù)測轉(zhuǎn)化為條件分布對齊問題。并提出一種新的損失函數(shù)，通過最小化預(yù)測序列與標(biāo)簽序列條件分布之間的 Wasserstein 距離訓(xùn)練預(yù)測模型；既能保證無偏訓(xùn)練，又能充分考慮標(biāo)簽序列內(nèi)的幾何結(jié)構(gòu)（自相關(guān)性）。

這一工作為以最優(yōu)傳輸為代表的分布對齊技術(shù)賦能預(yù)測問題提供了全新的研究思路和理論框架。

• 論文標(biāo)題：DistDF: Time-series Forecasting Needs Joint-distribution Wasserstein Alignment
• 作者單位： 小紅書、北京大學(xué)、浙江大學(xué)、上海財(cái)經(jīng)大學(xué)、松鼠 AI 等
• 代碼鏈接：https://github.com/Master-PLC/DistDF

1. 問題分析：標(biāo)簽中的自相關(guān)性

構(gòu)建一個(gè)有效的預(yù)測模型需要解決兩個(gè)問題：用什么架構(gòu)怎么訓(xùn)練。過去十年，研究者們在架構(gòu)創(chuàng)新上投入了大量精力 ——Transformer、線性模型、圖神經(jīng)網(wǎng)絡(luò)輪番登場。但很少有人質(zhì)疑：我們使用的損失函數(shù)，真的適合時(shí)間序列數(shù)據(jù)嗎？

目前主流的時(shí)間序列預(yù)測方法采用直接預(yù)測范式（Direct Forecast, DF）：模型接收一段歷史觀測，通過神經(jīng)網(wǎng)絡(luò)提取特征，然后一次性并行預(yù)測未來 T 步。相比傳統(tǒng)的迭代預(yù)測，DF 方法具有并行計(jì)算的優(yōu)勢，訓(xùn)練效率更高。

在損失函數(shù)的選擇上，DF 方法幾乎 "不約而同" 地選擇了時(shí)序均方誤差（TMSE）

2. DistDF：基于聯(lián)合分布對齊的訓(xùn)練方法

DistDF 團(tuán)隊(duì)注意到：訓(xùn)練預(yù)測模型，本質(zhì)上是讓模型預(yù)測分布與真實(shí)標(biāo)簽的條件分布盡可能接近。受此啟發(fā)，DistDF 不再依賴傳統(tǒng)的極大似然估計(jì)，而是直接最小化預(yù)測分布與真實(shí)條件分布之間的距離，從而規(guī)避了標(biāo)簽自相關(guān)帶來的似然估計(jì)偏差問題。

2.1 從條件分布對齊到聯(lián)合分布對齊

因此，條件分布對齊問題可以轉(zhuǎn)化為聯(lián)合分布對齊問題。進(jìn)一步，論文基于最優(yōu)傳輸領(lǐng)域的 Wasserstein 距離，進(jìn)行了理論推導(dǎo)，證明了聯(lián)合分布的 Wasserstein 距離是條件分布 Wasserstein 距離期望的上界：

因此，最小化歷史 - 預(yù)測聯(lián)合分布與歷史 - 標(biāo)簽聯(lián)合分布的 Wasserstein 距離，可以有效實(shí)現(xiàn)條件分布的對齊，從而實(shí)現(xiàn)預(yù)測模型的無偏訓(xùn)練。此外，聯(lián)合分布的樣本可以直接從全體數(shù)據(jù)集采集，極大豐富了用于估計(jì)分布距離的樣本數(shù)量，提高了距離估算的可靠性。

2.2 基于 Bures-Wasserstein 距離的損失函數(shù)

然而，直接計(jì)算前述的 Wasserstein 距離需要求解大規(guī)模的最優(yōu)傳輸問題，在大批量訓(xùn)練時(shí)會帶來較大的計(jì)算負(fù)擔(dān)。幸運(yùn)的是，在高斯分布假設(shè)下，聯(lián)合分布間的 Wasserstein 距離可以被解析地表示為均值與協(xié)方差之間的距離之和：

DistDF 的具體實(shí)現(xiàn)步驟如下：

DistDF 是一種模型無關(guān)的損失函數(shù)，可以支持各類預(yù)測模型。

3. 實(shí)驗(yàn)結(jié)果

DistDF 可以顯著提升預(yù)測性能。以 ECL 為例，DistDF 將 iTransformer 的 MSE 降低了 2.7%。這些改進(jìn)歸因于 DistDF 能夠通過對齊條件分布來處理標(biāo)簽中的自相關(guān)性，從而提升預(yù)測性能。

DistDF 相比現(xiàn)有損失函數(shù)也取得了較大的性能提升。FreDF 和 Time-o1 雖然減少了似然估計(jì)的偏差并提升了性能，但殘差偏差仍然存在，因此性能仍有改進(jìn)空間；DistDF 通過最小化條件分布之間的距離，實(shí)現(xiàn)了無偏對齊，因此取得了最佳性能。

論文還進(jìn)行了消融實(shí)驗(yàn)，研究均值對齊和協(xié)方差對齊對損失函數(shù)性能的貢獻(xiàn)。結(jié)果表明：僅均值對齊或僅協(xié)方差對齊相比 DF 都有改進(jìn)，而結(jié)合兩者取得了最佳結(jié)果，展示了兩者的協(xié)同效應(yīng)。

通過可視化預(yù)測序列發(fā)現(xiàn)，DistDF 生成的預(yù)測序列與真實(shí)標(biāo)簽序列之間的擬合度更高，同時(shí)抑制明顯的噪聲和異常波動(dòng)；對困難樣本的外推能力更好。

論文還測試了 DistDF 在不同神經(jīng)網(wǎng)絡(luò)架構(gòu)上的表現(xiàn)，包括 TimeBridge、FredFormer、iTransformer 和 FreTS 等，證明了其與模型無關(guān)的特性：可以切實(shí)有效提升大多數(shù)主流預(yù)測模型的精度。

4. 結(jié)論

本文深入剖析了基于極大似然估計(jì)的預(yù)測模型訓(xùn)練方法有偏的問題。針對這一痛點(diǎn)，作者提出了 DistDF 訓(xùn)練框架，直接通過對齊條件分布訓(xùn)練預(yù)測模型?？紤]到有限樣本下條件分布之間的距離難以直接估計(jì)，論文提出轉(zhuǎn)向聯(lián)合分布對齊，并理論證明該方法足以保證條件分布對齊。大量實(shí)驗(yàn)證明，DistDF 在不同數(shù)據(jù)集和模型中均帶來顯著提升。

本研究不僅強(qiáng)調(diào)了損失函數(shù)設(shè)計(jì)在時(shí)間序列預(yù)測中的重要性，還揭示了分布對齊技術(shù)在設(shè)計(jì)時(shí)間序列損失函數(shù)中的重要潛力。為遷移學(xué)習(xí)領(lǐng)域自適應(yīng)生成模型等領(lǐng)域的分布對齊技術(shù)在時(shí)序任務(wù)中的落地應(yīng)用提供了理論基礎(chǔ)和實(shí)踐思路。

5. 作者介紹

本文通訊作者李昊軒現(xiàn)任北京大學(xué)助理研究員，清華大學(xué)邏輯學(xué)研究中心、牛津大學(xué)研究員（Research Fellow）。研究興趣是因果推斷和大模型邏輯推理，以第一作者和通訊作者發(fā)表 CCF-A 類論文 50 余篇，谷歌學(xué)者引用超 1000 次，國家發(fā)明專利授權(quán) 17 項(xiàng)，研究成果被麻省理工科技評論、人民日報(bào)、中國人工智能學(xué)會等報(bào)道。

本文通訊作者林宙辰博士現(xiàn)任北京大學(xué)智能學(xué)院、通用人工智能全國重點(diǎn)實(shí)驗(yàn)室教授。他的研究領(lǐng)域包括機(jī)器學(xué)習(xí)和數(shù)值優(yōu)化。他已發(fā)表論文 360 余篇，谷歌學(xué)術(shù)引用超過 42,000 次。他是 IAPR、IEEE、AAIA、CCF 和 CSIG 會士，多次擔(dān)任 CVPR、NeurIPS、ICML 等會議的 Senior Area Chair，現(xiàn)任 ICML Board Member。本工作得到了北京市科學(xué)技術(shù)委員會、中關(guān)村科技園區(qū)管理委員會的大力支持，在此深表感謝。