英國(guó)University College London (UCL) 博士程小遠(yuǎn)、新加坡Nanyang Technological University (NTU) 博士元文瑄(master project)，為本文共同第一作者；法國(guó)Institut Polytechnique De Paris 程思博教授、美國(guó)Santa Fe Institute 施密特學(xué)者章元肇等，為本文合作者，上海財(cái)經(jīng)大學(xué)助理教授孫卓，為本文通訊作者。

圖1：軟體機(jī)器人的模擬以及控制

大多數(shù)世界模型工作默認(rèn)：只要學(xué)到一個(gè)好的 latent dynamics，問(wèn)題就解決了。 但這個(gè)假設(shè)本身是可疑的——什么樣的信息，才足以支撐一個(gè)可預(yù)測(cè)、可傳播的動(dòng)力學(xué)？本文從信息論出發(fā)，重新審視這一前提。

一個(gè)自然的思路是：如果非線性動(dòng)力學(xué)難以建模，能否把它轉(zhuǎn)化為線性問(wèn)題？Koopman 算子正是這樣一種誘人的框架，它試圖將復(fù)雜系統(tǒng)嵌入潛空間，使其演化近似線性。這一思路在物理表示、天氣預(yù)測(cè)和流體控制中具有極強(qiáng)吸引力。 然而，這種線性化并不是免費(fèi)的，它依賴于一個(gè)精心構(gòu)造的表示空間，而這個(gè)空間本身才是最難學(xué)習(xí)的部分。

因此，真正的核心問(wèn)題不是如何學(xué)習(xí)一個(gè)隱變量表征，而是：在有限維表示中，究竟哪些信息必須被保留，才能支撐穩(wěn)定的動(dòng)力學(xué)傳播與長(zhǎng)期預(yù)測(cè)？

為此，UCL、ICL、Santa Fe Institute、Institut Polytechnique De Paris、上海財(cái)經(jīng)大學(xué)最新聯(lián)合提出Information Shapes Koopman Representation。這項(xiàng)工作從動(dòng)態(tài)信息瓶頸的角度重新審視 Koopman 表征學(xué)習(xí)，明確 Koopman learning 真正所需要的信息，并據(jù)此構(gòu)造出一個(gè)可優(yōu)化的目標(biāo)。

• 論文地址：
• https://openreview.net/forum?id=Szh0ELyQxL
• 代碼地址：
• https://github.com/Wenxuan52/InformationKoopman

目前，該成果已被 ICLR 2026 Oral 接收。

動(dòng)機(jī)：

世界模型在Koopman表征下難的，不只是「學(xué)一個(gè) latent」

Koopman表征學(xué)習(xí)問(wèn)題在于，Koopman 表征并不只是像傳統(tǒng)潛空間學(xué)習(xí)方法，比如Autoencoder、Variational Autoencoder，一樣「學(xué)一個(gè)能重建輸入的 latent」。相比較而言，它還需要同時(shí)滿足三個(gè)更強(qiáng)的性質(zhì)：

• Temporal Coherence：潛空間表示要能穩(wěn)定地隨時(shí)間傳播；
• Structural Consistency：潛空間中的演化要盡量符合 Koopman 的線性結(jié)構(gòu)；
• Predictive Sufficiency：表征里要保留足夠多、足夠關(guān)鍵的動(dòng)力學(xué)模式，才能支撐長(zhǎng)期預(yù)測(cè)。

這就帶來(lái)了兩個(gè)需要權(quán)衡的問(wèn)題：

1、如果 latent 保留的信息太多，表征會(huì)更豐富，但很難維持簡(jiǎn)單穩(wěn)定的線性結(jié)構(gòu)；

2、如果壓縮得太狠，又容易丟掉長(zhǎng)期預(yù)測(cè)真正需要的關(guān)鍵模態(tài)。

所以，該論文真正想回答的問(wèn)題不是 "再加一個(gè)模塊"，而是順著這個(gè)Trade-off：

在有限容量下，一個(gè)好的 Koopman 表征，到底該保留什么信息？

圖2：信息論 Koopman 框架。(a) 帶有 Information-shaped 優(yōu)化目標(biāo)的 Koopman 表征學(xué)習(xí)結(jié)構(gòu)總覽；(b) Koopman 模態(tài)與互信息項(xiàng)對(duì)應(yīng)關(guān)系；(c) 互信息（MI）和馮·諾依曼熵（VNE）對(duì)模態(tài)中信息分配的水填充效應(yīng)。

關(guān)鍵視角：

從信息瓶頸角度看待學(xué)習(xí)動(dòng)力學(xué)的問(wèn)題

這篇論文的切入點(diǎn)，是把這個(gè)問(wèn)題重新放回到信息瓶頸（Information Bottleneck, IB）框架下理解。

經(jīng)典的信息瓶頸強(qiáng)調(diào)：一個(gè)好的表征，并不是盡量把輸入中的所有信息都搬進(jìn) latent，而是在壓縮的同時(shí)，保留對(duì)下游任務(wù)最重要的信息。

對(duì)應(yīng)到 Koopman learning，這里形成了一個(gè)動(dòng)態(tài)的信息瓶頸公式：

那么核心目標(biāo)就變成：學(xué)習(xí)一種 Koopman representation ，使其對(duì)未來(lái)狀態(tài)具有最大的線性可預(yù)測(cè)性（Relevance↑），同時(shí)保持盡可能結(jié)構(gòu)緊湊（Complexity↓）。

理論分析：

為什么互信息重要，但只靠互信息還不夠？

圍繞這個(gè)目標(biāo)，論文給出了三個(gè)相互銜接的理論結(jié)論。

1、長(zhǎng)期預(yù)測(cè)誤差，本質(zhì)上來(lái)自逐步累積的信息損失

論文首先從信息傳播的角度分析了 Koopman 潛空間傳播的誤差來(lái)源。結(jié)論很直觀：

當(dāng)原始非線性系統(tǒng)被 Koopman 表征近似時(shí)，每一步傳播都會(huì)損失一部分預(yù)測(cè)相關(guān)的信息，而長(zhǎng)時(shí)間預(yù)測(cè)誤差，就是這些小損失一步步累積起來(lái)的結(jié)果。

這意味著，Mutual Information（互信息，MI）直接關(guān)系到 Koopman 表征能夠保住多少預(yù)測(cè)能力。

2、不是所有信息都一樣重要

但只能通過(guò)互信息來(lái)量化error還不夠，因?yàn)檫@只能告訴我們損失了多少，卻不能告訴我們損失的是哪一類(lèi)信息。

3、只最大化 MI，會(huì)導(dǎo)致 mode collapse

那么，一個(gè)很自然的想法是：既然temporal-coherentinformation最重要，那是不是只要盡量增大這部分互信息就夠了？

答案是否定的。

論文發(fā)現(xiàn)，MI的確會(huì)優(yōu)先把信息分配給最穩(wěn)定、最有收益的少數(shù)模態(tài)，但這也會(huì)帶來(lái)副作用：信息過(guò)度集中到幾個(gè) dominant modes 上，導(dǎo)致潛空間有效維度下降，出現(xiàn)mode collapse。

為了緩解這個(gè)問(wèn)題，論文又引入了von Neumann entropy（VNE）。它的作用，不是簡(jiǎn)單再加一個(gè)正則項(xiàng)，而是盡量避免模態(tài)信息過(guò)度集中，讓潛空間保持必要的模態(tài)多樣性。

簡(jiǎn)單來(lái)說(shuō)，這篇論文的核心洞察就是：MI 負(fù)責(zé)保住「對(duì)的模態(tài)」，VNE 負(fù)責(zé)保住「足夠多的模態(tài)」（圖2(c)）。

從理論走向算法：一個(gè)真正「information-shaped」的 Koopman 目標(biāo)

基于上面的分析，論文進(jìn)一步構(gòu)造了一個(gè)信息論驅(qū)動(dòng)的 Lagrangian 目標(biāo)，把互信息、結(jié)構(gòu)一致性項(xiàng)、重建項(xiàng)以及 von Neumann entropy 統(tǒng)一到一個(gè)可優(yōu)化框架中（圖2(a)）。

圖3：提出的Information-shaped Koopman 目標(biāo)及其可優(yōu)化形式。上方為從理論分析得到的統(tǒng)一 Lagrangian：由互信息項(xiàng)、von Neumann entropy項(xiàng)、重構(gòu)項(xiàng)共同構(gòu)成；下方為對(duì)應(yīng)的可訓(xùn)練目標(biāo)，進(jìn)一步對(duì)應(yīng)到 Koopman 表征學(xué)習(xí)中的三個(gè)性質(zhì)。

更重要的是，這個(gè)目標(biāo)和 Koopman learning 的三個(gè)核心性質(zhì)是一一對(duì)應(yīng)的（圖3）：

• MI 項(xiàng)對(duì)應(yīng)于Temporal Coherence，強(qiáng)調(diào)時(shí)間上的穩(wěn)定傳播；
• 線性 forward 一致性項(xiàng)對(duì)應(yīng)于Structural Consistency，保證潛空間演化與 Koopman 線性結(jié)構(gòu)一致；
• VNE 項(xiàng)對(duì)應(yīng)于Predictive Sufficiency，幫助模型保留足夠豐富的有效模態(tài)；
• 再結(jié)合 reconstruction / ELBO 項(xiàng)，使整個(gè)模型能夠在實(shí)際訓(xùn)練中穩(wěn)定優(yōu)化。

也就是說(shuō)，該論文將 "一個(gè)好的 Koopman 表征該保留什么信息" 這個(gè)問(wèn)題，轉(zhuǎn)換成了一個(gè)可優(yōu)化的訓(xùn)練目標(biāo)。

實(shí)驗(yàn)結(jié)果：不僅更準(zhǔn)，而且更穩(wěn)

實(shí)驗(yàn)部分，論文在三類(lèi)任務(wù)上驗(yàn)證了這套方法：

• 物理動(dòng)力系統(tǒng)預(yù)測(cè)：如 Lorenz 63、Kármán vortex、Dam flow、ERA5 天氣預(yù)測(cè)；
• 高維視覺(jué)輸入下的控制與表征學(xué)習(xí)：如 Planar、Pendulum、Cartpole；
• 圖結(jié)構(gòu)動(dòng)力學(xué)預(yù)測(cè)：如 Rope 和 Soft Robotics（如圖1）。

結(jié)果表明，這套方法在短期和長(zhǎng)期預(yù)測(cè)誤差上優(yōu)于多種 Koopman baseline（圖4和5）。

圖4：全球天氣場(chǎng)包括地球重力勢(shì)能、溫度、濕度和風(fēng)速。最左列為真實(shí)物理場(chǎng)，最右列為本文方法的預(yù)測(cè)結(jié)果。

圖5：在其余兩類(lèi)圖結(jié)構(gòu)和視覺(jué)輸入動(dòng)力學(xué)系統(tǒng)上的泛化表現(xiàn)。左為圖結(jié)構(gòu)動(dòng)力學(xué)場(chǎng)景，以帶有噪聲的 Rope 和 Soft Robotics 兩個(gè)任務(wù)為例；右為視覺(jué)輸入場(chǎng)景，以 Planar、Pendulum 和 Cartpole 控制任務(wù)為例。

尤其是在 Kármán vortex 的可視化中，在譜性質(zhì)和manifold 結(jié)構(gòu)上，論文展示了一個(gè)很有說(shuō)服力的現(xiàn)象（圖6）：

圖6： Kármán vortex 任務(wù)上的 latent space 幾何分布與 Koopman 譜結(jié)構(gòu)可視化。上排比較了不同 baseline 方法在 latent space 中的軌跡分布，論文方法的 rollout 軌跡更接近單步預(yù)測(cè)，也更符合真實(shí)動(dòng)力學(xué)的極限圓演化結(jié)構(gòu)；下排展示了 Koopman 譜分布，論文方法學(xué)到的特征值更多分布在單位圓附近，形成了更穩(wěn)定的幾何結(jié)構(gòu)。

相比容易出現(xiàn)譜退化和軌跡漂移的 baseline，加入 MI 與 VNE 后，模型學(xué)到的特征模態(tài)更加穩(wěn)定，長(zhǎng)期軌跡也更接近真實(shí)動(dòng)力學(xué)結(jié)構(gòu)。

總結(jié)與展望

這篇工作的重要性，在于它把 Koopman 表征學(xué)習(xí)從一個(gè)技巧性方法，重新嵌入到世界模型的基本問(wèn)題之中。世界模型關(guān)心的從來(lái)不是表示本身，而是一個(gè)表示是否包含足夠的信息去支持動(dòng)力學(xué)的預(yù)測(cè)與控制。在這一視角下，Koopman 方法中的 simplicity 與 expressiveness 不再是調(diào)參經(jīng)驗(yàn)，而是被明確為一個(gè)信息論上的優(yōu)化目標(biāo)。因而問(wèn)題發(fā)生了轉(zhuǎn)變。關(guān)鍵不再是能否找到一個(gè)線性化的潛空間，而是在有限維約束下，哪些信息是必須被保留的，才能使動(dòng)力學(xué)既可傳播又可預(yù)測(cè)。