你可能沒有意識(shí)到，但時(shí)間序列預(yù)測早已滲透到日常生活的方方面面。

打開手機(jī)看天氣預(yù)報(bào)，背后是氣象序列的預(yù)測；雙十一零點(diǎn)搶購不卡頓，靠的是提前預(yù)測流量峰值來做服務(wù)器擴(kuò)容；基金 App 里的收益走勢圖，背后也離不開金融時(shí)間序列的建模。簡單來說，時(shí)間序列預(yù)測就是讓機(jī)器根據(jù)過去的數(shù)據(jù)，判斷接下來會(huì)發(fā)生什么。從能源調(diào)度到風(fēng)險(xiǎn)預(yù)警，幾乎所有需要"提前做準(zhǔn)備"的場景都離不開它，是 AI 落地最廣、最剛需的能力之一。

近些年，時(shí)序預(yù)測的模型從 MLP 和 Transformer 兩大架構(gòu)的龍爭虎斗，到 Chronos、TimesFM、TiRex 等時(shí)序大模型的異軍突起，各類深度學(xué)習(xí)模型架構(gòu)與基模不斷涌現(xiàn)。

模型越來越多，但一個(gè)尷尬的問題也隨之浮出水面：我們到底該怎么判斷，哪個(gè)模型真的更強(qiáng)？

做過時(shí)序預(yù)測的人大概都有過類似的經(jīng)歷。你在 ETT、Weather、Traffic 這些經(jīng)典數(shù)據(jù)集上跑出了不錯(cuò)的數(shù)字，信心滿滿地準(zhǔn)備上線。結(jié)果一換到自己的業(yè)務(wù)數(shù)據(jù)，指標(biāo)大幅跳水。你以為是代碼的問題，排查一圈之后發(fā)現(xiàn)——代碼沒問題，問題出在評測本身。

這不是個(gè)例，而是整個(gè)時(shí)序預(yù)測領(lǐng)域長期面對的一個(gè)系統(tǒng)性困境。

考卷出了問題，分?jǐn)?shù)還能信嗎？

如果把模型評測比作考試，那現(xiàn)在時(shí)間序列領(lǐng)域的這張"考卷"，至少有四個(gè)不及格的地方。

第一，沒有統(tǒng)一的考卷。NLP 有 GLUE，視覺有 ImageNet，但時(shí)間序列預(yù)測至今沒有一個(gè)被廣泛認(rèn)可的標(biāo)準(zhǔn)評測基準(zhǔn)。研究者各自拼湊一組數(shù)據(jù)集跑實(shí)驗(yàn)，結(jié)果難以橫向比較。

第二，考卷嚴(yán)重偏科。現(xiàn)有 benchmark 的數(shù)據(jù)分布高度集中。論文分析了兩個(gè)當(dāng)前主流的大規(guī)模 benchmark：GIFT-Eval 有 50.7% 的序列落在同一類 regime 里，Timer 更甚，達(dá)到 65.8%。這意味著什么？模型只要在這一類"主流題型"上表現(xiàn)好，總分就不會(huì)差——但這不代表它真正全面。就像一張數(shù)學(xué)試卷 70% 都是計(jì)算題，你很難從總分看出誰的幾何更好。

第三，考生可能提前看過答案。當(dāng)前很多時(shí)序 foundation model 的預(yù)訓(xùn)練語料規(guī)模龐大，而公開 benchmark 被反復(fù)復(fù)用多年。測試集是否已經(jīng)被模型在預(yù)訓(xùn)練階段間接"見過"？這種數(shù)據(jù)泄漏風(fēng)險(xiǎn)，正在悄悄侵蝕評測的可信度。

第四，題目太簡單，區(qū)分不出真實(shí)水平。很多經(jīng)典數(shù)據(jù)集的序列長度偏短，GIFT-Eval 中 50% 的序列不到 200 個(gè)時(shí)間步。這對于今天動(dòng)輒要做 long-context forecasting 的模型來說，根本評不出真正的能力上限。

這些問題疊加在一起，造成了一個(gè)后果：排行榜上的名次，未必反映模型的真實(shí)能力。論文刷出來的 SOTA，換個(gè)場景可能就不 work 了。

現(xiàn)在，螞蟻集團(tuán)正式開源 Quito 與 QuitoBench，嘗試重新出一張更公平的考卷。

項(xiàng)目地址：
● Website：https://hq-bench.github.io/quito/[1]
● Hugging Face：https://huggingface.co/datasets/hq-bench/quitobench[2]

16 億 token 的工業(yè)級(jí)語料，不只是"更大"

這次開源包含兩個(gè)核心部分。

第一個(gè)是Quito，一個(gè)來自真實(shí)生產(chǎn)環(huán)境的大規(guī)模時(shí)間序列語料庫。數(shù)據(jù)來源于 Alipay 平臺(tái)的應(yīng)用流量，覆蓋金融、電商、廣告、基礎(chǔ)設(shè)施、風(fēng)控、IoT 等 9 個(gè)業(yè)務(wù)垂類——不是實(shí)驗(yàn)室里仿造的數(shù)據(jù)，而是每天真正在跑的生產(chǎn)系統(tǒng)。

規(guī)模上，Quito 包含兩個(gè)子集：Quito-Min（22,522 條序列，10 分鐘粒度，約 7 億 token）和 Quito-Hour（12,544 條序列，1 小時(shí)粒度，約 10 億 token），總規(guī)模達(dá)到1.6B tokens。序列統(tǒng)一較長，最短也有 5,904 個(gè)時(shí)間步，足以支撐 context length 從 96 到 1024 的全范圍評測。

更關(guān)鍵的是數(shù)據(jù)來源的"干凈"。Quito 來自單一專有工業(yè)環(huán)境，與任何公開預(yù)訓(xùn)練語料零重疊。這從根源上杜絕了數(shù)據(jù)泄漏的可能——無論模型的預(yù)訓(xùn)練語料有多大，都不可能在訓(xùn)練階段"見過"這些測試數(shù)據(jù)。

不按行業(yè)分，按"難不難預(yù)測"分

第二個(gè)核心部分是QuitoBench，從 Quito 中進(jìn)一步構(gòu)建的評測基準(zhǔn)。它最大的創(chuàng)新不在于規(guī)模，而在于組織方式。

傳統(tǒng) benchmark 按應(yīng)用領(lǐng)域分組：交通、電力、天氣。但領(lǐng)域標(biāo)簽其實(shí)是個(gè)很粗糙的分類方式。同樣是交通數(shù)據(jù)，有的序列周期性極強(qiáng)，幾乎可以"閉眼預(yù)測"；有的則充滿突發(fā)脈沖和噪聲，任何模型都會(huì)掙扎。把它們?nèi)舆M(jìn)同一個(gè)"交通"桶里評測，掩蓋的信息遠(yuǎn)比暴露的多。

QuitoBench 換了一個(gè)思路：按時(shí)間序列本身的統(tǒng)計(jì)特征來分類。具體來說，每條序列沿三個(gè)維度打標(biāo)簽——趨勢強(qiáng)度（Trend）、季節(jié)性強(qiáng)度（Seasonality）、可預(yù)測性（Forecastability）。三個(gè)維度各分高低，組合出 23 = 8 類 TSF Regime。

然后在這 8 個(gè)格子里做近乎均衡的采樣，最終得到 1,290 條測試序列，每類占比 10.5%–13.2%。對比 GIFT-Eval 和 Timer 動(dòng)輒 50%–65% 集中在單一 regime 的情況，QuitoBench 的均衡程度是質(zhì)的飛躍。

這種設(shè)計(jì)的好處很直觀：模型不能再靠"刷主流題型"上分了。aggregate metric 反映的是真實(shí)的全場景能力，而不是對某一類數(shù)據(jù)的過擬合。同時(shí)，研究者可以按 regime 做細(xì)粒度診斷——你的模型到底是在哪類序列上翻車的，一目了然。

232,200 個(gè)評測實(shí)例，10 個(gè)模型，四個(gè)意外發(fā)現(xiàn)

作者在 QuitoBench 上評測了 10 個(gè)代表性模型，橫跨深度學(xué)習(xí)（CrossFormer、DLinear、iTransformer、PatchTST、TSMixer）、foundation model（Chronos-2、TimesFM-2.5、TiRex）和統(tǒng)計(jì)基線（Exponential Smoothing、Seasonal Naive）三大類。

實(shí)驗(yàn)覆蓋 3 種 context length × 3 種 forecast horizon × 2 種預(yù)測模式 = 18 種任務(wù)配置，在 1,290 條序列上共產(chǎn)生232,200 個(gè)評測實(shí)例。每個(gè)模型需要生成約 1600 萬次預(yù)測——這個(gè)評測密度，在時(shí)序領(lǐng)域相當(dāng)罕見。

結(jié)果揭示了幾個(gè)頗具實(shí)踐意義的發(fā)現(xiàn)。

發(fā)現(xiàn)一：Context length 是模型選型的分水嶺。當(dāng)歷史窗口較短（L=96）時(shí)，深度學(xué)習(xí)模型全面領(lǐng)先；但當(dāng)窗口拉長到 L≥576，foundation model 開始反超，到 L=1024 時(shí)優(yōu)勢進(jìn)一步擴(kuò)大。這說明，模型選型不能只看"誰的指標(biāo)最好"，還要看你的業(yè)務(wù)場景能提供多長的歷史數(shù)據(jù)。歷史短，用小模型；歷史長，foundation model 的預(yù)訓(xùn)練知識(shí)才能真正發(fā)揮出來。

發(fā)現(xiàn)二：可預(yù)測性，才是決定難度的關(guān)鍵。在 Trend、Seasonality、Forecastability 三個(gè)維度中，F(xiàn)orecastability 對預(yù)測誤差的影響最大。高可預(yù)測性序列的平均 MAE 為 0.278，低可預(yù)測性序列為 0.505，差距 1.81 倍。最容易和最困難的 regime 之間，誤差差距更是達(dá)到 3.64 倍。這也從數(shù)據(jù)層面驗(yàn)證了 QuitoBench"按統(tǒng)計(jì)特征分類"的設(shè)計(jì)邏輯——行業(yè)標(biāo)簽做不到的事，TSF Regime 做到了。

發(fā)現(xiàn)三：1M 參數(shù)的小模型，打贏了 200M 的大模型。總榜第一名是 CrossFormer，參數(shù)量約 1M。而它擊敗的對手包括 Chronos-2（~100M）和 TimesFM-2.5（~200M）。平均而言，深度學(xué)習(xí)模型在參數(shù)量少 59 倍的前提下，達(dá)到了接近甚至更好的效果。對于資源受限、推理成本敏感的工程場景，這是一個(gè)非常實(shí)際的結(jié)論：大不一定好，小而?？赡芨鼜?qiáng)。

發(fā)現(xiàn)四：加數(shù)據(jù)比加參數(shù)更有效。作者做了 scaling 實(shí)驗(yàn)，分別沿"訓(xùn)練數(shù)據(jù)量"和"模型參數(shù)量"兩條軸擴(kuò)展。結(jié)論很明確：無論深度學(xué)習(xí)還是 foundation model，增加訓(xùn)練數(shù)據(jù)帶來的收益都顯著大于增加模型參數(shù)。CrossFormer 的訓(xùn)練數(shù)據(jù)從 10K 擴(kuò)展到 100M token，MAE 下降了 66%；而參數(shù)量擴(kuò)展到 1M 以上后，收益就開始趨于平臺(tái)期。對時(shí)序領(lǐng)域來說，這意味著：與其追求更大的模型，不如先把數(shù)據(jù)做好。

時(shí)間序列預(yù)測這個(gè)方向，模型論文一篇接一篇，但評測基礎(chǔ)設(shè)施的建設(shè)遠(yuǎn)遠(yuǎn)沒跟上。ETT、Weather 這些數(shù)據(jù)集在發(fā)布多年后仍是標(biāo)配，不是因?yàn)樗鼈冏銐蚝茫且驗(yàn)闆]有更好的替代品。

QuitoBench 的價(jià)值不是"又多了一個(gè)數(shù)據(jù)集"，而是提出了一種新的 benchmark 設(shè)計(jì)范式：大規(guī)模、長序列、分布均衡、無泄漏、工業(yè)真實(shí)場景——用時(shí)間序列的內(nèi)在屬性來組織評測，而不是用行業(yè)標(biāo)簽。這讓我們終于有了一套足夠嚴(yán)肅的工具，來回答"這個(gè)模型到底行不行"這個(gè)最基本的問題。

1. https://hq-bench.github.io/quito/
2. https://huggingface.co/datasets/hq-bench/quitobench