摘要

現(xiàn)代生成式機(jī)器學(xué)習(xí)模型能夠創(chuàng)造出遠(yuǎn)超其訓(xùn)練數(shù)據(jù)的逼真內(nèi)容，如照片級(jí)藝術(shù)品、精確的蛋白質(zhì)結(jié)構(gòu)或流暢的對(duì)話文本。這些成功表明，生成式模型能有效參數(shù)化并從任意復(fù)雜的分布中采樣。半個(gè)世紀(jì)前，非線性動(dòng)力學(xué)領(lǐng)域的基礎(chǔ)性工作也曾出于類似目的，運(yùn)用信息論工具從真實(shí)世界的時(shí)間序列中推斷混沌吸引子的屬性。近期發(fā)表在《自然 · 物理評(píng)論》上的一篇觀點(diǎn)性文章，旨在將這些經(jīng)典理論與大規(guī)模生成式統(tǒng)計(jì)學(xué)習(xí)的新興主題聯(lián)系起來(lái)。文章特別聚焦于兩個(gè)經(jīng)典問(wèn)題：一是如何根據(jù)部分測(cè)量重構(gòu)動(dòng)力學(xué)流形，這與現(xiàn)代的潛變量方法異曲同工；二是如何從復(fù)雜數(shù)據(jù)集中推斷出最小的動(dòng)力學(xué)系統(tǒng)的“基礎(chǔ)單元”，這與當(dāng)下對(duì)“黑箱”模型的可解釋性探索不謀而合。

關(guān)鍵詞：非線性動(dòng)力學(xué)，生成式學(xué)習(xí)，混沌系統(tǒng)，吸引子重構(gòu)，潛變量模型

曾利丨作者

周莉丨審校

論文題目：Generative learning for nonlinear dynamics 論文地址：https://www.nature.com/articles/s42254-024-00688-2 發(fā)表時(shí)間：2025年8月7日 論文來(lái)源：Nature Review Physics

混沌即生成：從物理定律到AI創(chuàng)造

一個(gè)奇異吸引子的分形幾何結(jié)構(gòu)，只有通過(guò)長(zhǎng)時(shí)間觀察混沌系統(tǒng)的演化才能盡收眼底。因此，混沌系統(tǒng)在持續(xù)不斷地產(chǎn)生信息，以越來(lái)越精細(xì)的尺度揭示其內(nèi)在結(jié)構(gòu)。物理學(xué)家約翰·惠勒（John Archibald Wheeler）曾提出一個(gè)著名的論斷——“萬(wàn)物皆比特”（It from bit），即物理理論的本質(zhì)最終編碼了計(jì)算的基本單元。

與惠勒的思想相呼應(yīng)，動(dòng)力系統(tǒng)領(lǐng)域的開(kāi)創(chuàng)性工作早已將混沌系統(tǒng)的信息產(chǎn)生過(guò)程形式化。從湍流到星體軌道，自然界中的混沌系統(tǒng)就像一臺(tái)臺(tái)模擬計(jì)算機(jī)，其信息處理速率可以通過(guò)佩辛公式（Pesin's formula）來(lái)量化：一個(gè)系統(tǒng)的熵產(chǎn)生率（即信息產(chǎn)生率）與其李雅普諾夫指數(shù)之和成正比。李雅普諾夫指數(shù)衡量了鄰近軌跡在吸引子上不同方向的發(fā)散速率。簡(jiǎn)而言之，一個(gè)系統(tǒng)越“混沌”，它揭示其自身結(jié)構(gòu)的速度就越快。

巧合的是，現(xiàn)代機(jī)器學(xué)習(xí)，特別是生成式模型，也在做著類似的事情。它們通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，來(lái)生成全新的、逼真的樣本。在采樣過(guò)程中，為了高效探索高維數(shù)據(jù)空間，模型通常采用類似馬爾可夫鏈蒙特卡洛（MCMC）的方法，每一步都基于當(dāng)前樣本的局部幾何信息（如協(xié)方差矩陣）來(lái)采樣出下一個(gè)樣本。這一過(guò)程中的信息增益，同樣與數(shù)據(jù)分布的局部幾何特性緊密相關(guān)。

正如混沌系統(tǒng)沿著不穩(wěn)定的方向（李雅普諾夫指數(shù)）發(fā)散一樣，復(fù)雜的數(shù)據(jù)分布也存在一些“平坦”的局部方向，主導(dǎo)著數(shù)據(jù)的多樣性。這種動(dòng)力學(xué)與采樣之間的深刻聯(lián)系，促使我們重新審視“萬(wàn)物皆比特”的理念，將新興的統(tǒng)計(jì)學(xué)習(xí)置于混沌系統(tǒng)信息處理的經(jīng)典框架之中。

圖 1. 混沌作為一個(gè)生成過(guò)程 a、一個(gè)奇異吸引子的自然測(cè)度μ(x)，它由一個(gè)隨時(shí)間t演化的確定性混沌系統(tǒng)f(x(t))產(chǎn)生。示意圖表示了一組初始條件的發(fā)散，這由李雅普諾夫指數(shù)λ1和λ2控制。b、由變分自編碼器學(xué)習(xí)到的蛋白質(zhì)序列概率分布p(x)，以及一個(gè)簡(jiǎn)化的馬爾可夫鏈蒙特卡洛采樣方案。提議步長(zhǎng)的分布N取決于局部協(xié)方差矩陣Σ；σ1和σ2表示沿主軸的標(biāo)準(zhǔn)差。

管中窺豹：從部分觀測(cè)重構(gòu)完整動(dòng)力學(xué)

大型統(tǒng)計(jì)學(xué)習(xí)模型的成功，很大程度上依賴于一個(gè)被稱為“流形假設(shè)”的經(jīng)驗(yàn)法則：高維數(shù)據(jù)通常聚集在低維流形附近。對(duì)于時(shí)間序列數(shù)據(jù)而言，這意味著看似復(fù)雜的動(dòng)態(tài)過(guò)程，可能源于一個(gè)嵌入在高維測(cè)量空間中的低維吸引子。如果我們能找到并參數(shù)化這個(gè)吸引子，那么復(fù)雜性就可以被“變換掉”。

這正是動(dòng)力系統(tǒng)領(lǐng)域的經(jīng)典問(wèn)題——吸引子重構(gòu)。早在幾十年前，塔肯斯定理（Takens' theorem）就為我們提供了一種強(qiáng)大的工具：時(shí)間延遲嵌入。該方法指出，即便我們只有一個(gè)變量的時(shí)間序列（如流體中某一點(diǎn)的速度），通過(guò)將其與它在過(guò)去不同時(shí)刻的值組合成一個(gè)新的高維向量，我們就能重構(gòu)出一個(gè)與原始動(dòng)力系統(tǒng)吸引子在拓?fù)渖系葍r(jià)的流形。這一驚人的結(jié)論意味著，盡管測(cè)量過(guò)程會(huì)丟失信息，但只要底層動(dòng)力學(xué)具有良好結(jié)構(gòu)（即存在吸引子），我們就能從“局部”恢復(fù)出“全局”。時(shí)間延遲嵌入的早期成功之一，便是在實(shí)驗(yàn)中證實(shí)了流體向湍流過(guò)渡時(shí)存在一個(gè)低維奇異吸引子。

如今，這種思想在現(xiàn)代時(shí)間序列模型中得到了新生。比如編碼器（Autoencoders）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks, 即RNNs）和Transformer等模型，在預(yù)測(cè)時(shí)間序列時(shí)，都會(huì)將觀測(cè)數(shù)據(jù)編碼到一個(gè)低維的“潛空間”（Latent Space），在這個(gè)空間中傳播動(dòng)力學(xué)，然后再解碼回觀測(cè)空間。這個(gè)潛空間，正扮演著經(jīng)典理論中“重構(gòu)吸引子”的角色。

近年來(lái)，研究人員將自編碼器應(yīng)用于高維動(dòng)態(tài)數(shù)據(jù)（如湍流視頻），發(fā)現(xiàn)其學(xué)習(xí)到的潛空間動(dòng)力學(xué)清晰地揭示了系統(tǒng)的內(nèi)在結(jié)構(gòu)，甚至對(duì)應(yīng)于流體力學(xué)方程的精確解。這表明，看似復(fù)雜無(wú)序的動(dòng)態(tài)背后，隱藏著低維且有序的潛過(guò)程。這種通過(guò)增加表示的維度來(lái)簡(jiǎn)化動(dòng)力學(xué)復(fù)雜性的思想，即“提升”（Lifting）技術(shù)，也催生了諸如動(dòng)態(tài)模態(tài)分解（DMD）和庫(kù)普曼算子（Koopman operator）等前沿方法，它們通過(guò)將非線性系統(tǒng)變換到更高維空間，使其動(dòng)力學(xué)行為近似線性，從而變得更易于分析和預(yù)測(cè)。

圖 2. 潛空間動(dòng)力學(xué)重訪經(jīng)典吸引子重構(gòu) a、一個(gè)代表流體徑向速度的單變量時(shí)間序列，在三個(gè)不同雷諾數(shù)（R）下的時(shí)間延遲嵌入。當(dāng)雷諾數(shù)達(dá)到臨界值Rc時(shí)，系統(tǒng)進(jìn)入湍流。每個(gè)嵌入下方展示了其龐加萊截面。b、一個(gè)在弱湍流（R=40）數(shù)據(jù)上訓(xùn)練的自編碼器神經(jīng)網(wǎng)絡(luò)的潛空間。潛狀態(tài)使用t-SNE方法進(jìn)一步嵌入到二維空間中進(jìn)行可視化。顏色深淺表示功率耗散，相連的狀態(tài)點(diǎn)則表示由于底層對(duì)稱性而等效的流體構(gòu)型。

圖 3. 狀態(tài)空間模型生成復(fù)雜動(dòng)力學(xué) a、一個(gè)通用狀態(tài)空間模型的組成部分。b、一個(gè)采用非線性動(dòng)力學(xué)稀疏辨識(shí)（Sparse Identification of Nonlinear Dynamics，縮寫(xiě)為SINDY）的自編碼器。多層感知機(jī)將高維觀測(cè)數(shù)據(jù)確定性地轉(zhuǎn)換到一個(gè)低維潛空間，在該空間中，動(dòng)力學(xué)通過(guò)從已知函數(shù)庫(kù)中稀疏回歸學(xué)到的解析微分方程進(jìn)行傳播。c、通過(guò)動(dòng)力學(xué)系統(tǒng)進(jìn)行潛在因子分析（Latent Factor Analysis via Dynamical Systems，縮寫(xiě)為L(zhǎng)FADS）。神經(jīng)元發(fā)放的時(shí)間序列被確定性地編碼為潛在的初始條件，這些條件由第二個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)演化，然后解碼為潛在因子時(shí)間序列。這些潛在因子參數(shù)化了一個(gè)非均勻泊松過(guò)程的隨機(jī)發(fā)放率。d、流形插值最優(yōu)傳輸流（Manifold Interpolating Optimal-Transport Flows，縮寫(xiě)為MIOFlow）。高維基因表達(dá)測(cè)量值被編碼到一個(gè)保留流形擴(kuò)散距離的潛在分布中，然后通過(guò)最優(yōu)傳輸來(lái)傳播這個(gè)潛在測(cè)度。

大道至簡(jiǎn)：尋找復(fù)雜系統(tǒng)背后的“最小生成器”

潛空間表示揭示了動(dòng)力學(xué)的復(fù)雜性可能取決于我們的“視角”。然而，混沌的某些方面是不可約減的。佩辛公式告訴我們，混沌系統(tǒng)必然會(huì)產(chǎn)生熵。一個(gè)核心問(wèn)題隨之而來(lái)：撇開(kāi)表示形式的差異，不同的動(dòng)力學(xué)系統(tǒng)是否存在功能上的等價(jià)性？我們能否將一個(gè)復(fù)雜的系統(tǒng)“壓縮”到其最核心的計(jì)算單元？

這便是經(jīng)典“符號(hào)動(dòng)力學(xué)”（Symbolic Dynamics）的初衷。通過(guò)對(duì)連續(xù)的相空間進(jìn)行粗?；瘎澐郑覀兛梢詫⒁粋€(gè)連續(xù)的軌跡轉(zhuǎn)化為一串離散的符號(hào)序列。分析這個(gè)符號(hào)序列的計(jì)算特性，可以揭示系統(tǒng)的本質(zhì)。例如，著名的“倍周期分岔”通向混沌的路徑，在符號(hào)動(dòng)力學(xué)視角下，可以被看作一個(gè)簡(jiǎn)單的雙狀態(tài)自動(dòng)機(jī)，其內(nèi)存需求在每次分岔時(shí)翻倍，最終在混沌邊緣發(fā)散。

這種“化繁為簡(jiǎn)”的追求，與當(dāng)前對(duì)大型機(jī)器學(xué)習(xí)模型的壓縮、蒸餾和可解釋性研究形成了有趣的呼應(yīng)。盡管我們趨向于構(gòu)建越來(lái)越大的模型，但我們同樣渴望理解這些“黑箱”的內(nèi)在邏輯。

許多現(xiàn)代時(shí)間序列模型，如隱馬爾可夫模型（Hidden Markov Models，即HMM）和切換線性模型，通過(guò)將連續(xù)觀測(cè)映射到離散的內(nèi)部狀態(tài)，來(lái)近似復(fù)雜的非線性動(dòng)力學(xué)。這種潛在的離散化不僅提高了模型的可解釋性（例如，在動(dòng)物行為分析中，離散狀態(tài)可以對(duì)應(yīng)不同的行為模式），還有助于大型生成模型避免“后驗(yàn)坍縮”等問(wèn)題。

更有趣的是，通過(guò)分析訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的潛在動(dòng)態(tài)，我們可以反向工程出其內(nèi)部的“語(yǔ)法”或“計(jì)算原語(yǔ)”，這呼應(yīng)了符號(hào)動(dòng)力學(xué)尋找“最小生成器”的目標(biāo)。新興的神經(jīng)-符號(hào)方法甚至嘗試將可微分的神經(jīng)網(wǎng)絡(luò)與精確的符號(hào)邏輯（如算術(shù)或邏輯運(yùn)算）相結(jié)合，力求在保持模型強(qiáng)大擬合能力的同時(shí)，賦予其可解釋和可驗(yàn)證的內(nèi)在結(jié)構(gòu)。

圖 4. 潛空間離散化與可解釋性 a、一個(gè)自適應(yīng)近似算法的連續(xù)階段，該算法將局部線性動(dòng)力學(xué)擬合到一個(gè)混沌系統(tǒng)的相空間各部分。不同顏色表示不同近似水平下的離散聚類。b、一個(gè)連續(xù)值學(xué)習(xí)模型，它從一個(gè)連續(xù)的睡眠記錄時(shí)間序列（左）中，創(chuàng)建了一個(gè)離散的、潛在的自組織映射（右）。連續(xù)空間中的星號(hào)對(duì)應(yīng)于相似數(shù)據(jù)點(diǎn)的質(zhì)心，每個(gè)質(zhì)心都與圖中的一個(gè)離散節(jié)點(diǎn)相關(guān)聯(lián)。c、在一系列混沌和周期性狀態(tài)下，對(duì)一個(gè)動(dòng)力學(xué)映射擬合出的概率自動(dòng)機(jī)的拓?fù)鋸?fù)雜性，與其時(shí)間序列熵的關(guān)系圖。結(jié)構(gòu)最復(fù)雜的自動(dòng)機(jī)出現(xiàn)在動(dòng)力學(xué)熵處于中等水平時(shí)。

意義與未來(lái)展望

從混沌理論中汲取靈感，不僅為現(xiàn)代生成式學(xué)習(xí)提供了新的視角，也可能為未來(lái)的算法設(shè)計(jì)帶來(lái)富有成效的“歸納偏置”。例如，動(dòng)態(tài)模態(tài)分解等方法已經(jīng)廣泛應(yīng)用于科學(xué)問(wèn)題，而動(dòng)力系統(tǒng)的其他深刻見(jiàn)解，如“哈密頓流形假設(shè)”，也可能指導(dǎo)下一代模型的構(gòu)建。

經(jīng)典理論還探討了系統(tǒng)的熵（隨機(jī)性）與其底層表示的“復(fù)雜度”之間的關(guān)系。一個(gè)系統(tǒng)的行為可以在完全有序（如固定點(diǎn)）和完全隨機(jī)之間變化，而最具計(jì)算能力的系統(tǒng)，可能正處于這個(gè)被稱為“混沌邊緣”（Edge of Chaos）的臨界區(qū)域。這一思想為我們理解現(xiàn)代大型學(xué)習(xí)模型的容量和泛化能力提供了新的思路。

隨著生成式模型的規(guī)模和性能不斷提升，動(dòng)力學(xué)理論或許能幫助我們建立一種新的“偏見(jiàn)-方差”權(quán)衡關(guān)系，它不僅關(guān)乎模型參數(shù)，更關(guān)乎模型所能學(xué)習(xí)的動(dòng)力學(xué)結(jié)構(gòu)的復(fù)雜性。這無(wú)疑是對(duì)惠勒“萬(wàn)物皆比特”思想的現(xiàn)代詮釋——在數(shù)字化的學(xué)習(xí)系統(tǒng)中，重新發(fā)現(xiàn)物理世界的深刻規(guī)律。

參考文獻(xiàn)

Gilpin, W. Generative learning for nonlinear dynamics. Nat Rev Phys6, 194–206 (2024). https://doi.org/10.1038/s42254-024-00688-2

報(bào)名讀書(shū)會(huì)：「非線性動(dòng)力學(xué)與混沌」

集智俱樂(lè)部聯(lián)合北京師范大學(xué)張江科研組聯(lián)和南信大李春彪科研組師生共同發(fā)起，由師生共同領(lǐng)讀《非線性動(dòng)力學(xué)與混沌》，以分章節(jié)精讀的方式，帶領(lǐng)大家系統(tǒng)學(xué)習(xí)非線性動(dòng)力學(xué)的基本理論與典型模型，結(jié)合洛倫茲系統(tǒng)、Kuramoto模型等經(jīng)典案例，深入探討混沌的起源、分形與奇異吸引子等前沿問(wèn)題。

本讀書(shū)會(huì)不僅讀書(shū)，還會(huì)系統(tǒng)化地梳理本書(shū)中的重要概念，并整理為百科詞條。也就是說(shuō)，讀完本書(shū)，我們會(huì)梳理出一套非線性動(dòng)力學(xué)與混沌相關(guān)的百科詞條，這才是重點(diǎn)。

我們也會(huì)通過(guò)梳理詞條的方式，讓學(xué)員組成學(xué)習(xí)小組進(jìn)行比賽，最終會(huì)評(píng)出優(yōu)秀學(xué)習(xí)小組獲得復(fù)雜科學(xué)知識(shí)卡、汪小帆簽名的《非線性動(dòng)力學(xué)與混沌》、張江簽名的《規(guī)模法則》、以及譯者簽名的《復(fù)雜-誕生于混沌與秩序邊緣的科學(xué)》以及特色集智文化衫！

詳情請(qǐng)見(jiàn)：

拓?fù)鋵W(xué)課程：從空間直覺(jué)到系統(tǒng)科學(xué)

你是否曾思考過(guò)：為什么咖啡杯在數(shù)學(xué)上可以變成甜甜圈？為什么混沌系統(tǒng)中會(huì)出現(xiàn)周期軌、可約化結(jié)構(gòu)和“奇怪吸引子”模式？為什么神經(jīng)網(wǎng)絡(luò)、量子物理甚至心理結(jié)構(gòu)，都可以從“拓?fù)洹苯嵌壤斫猓?/p>

拓?fù)鋵W(xué)不僅是數(shù)學(xué)的抽象分支，更提供了系統(tǒng)的思維方式，讓我們理解連續(xù)性、結(jié)構(gòu)不變性乃至復(fù)雜系統(tǒng)的整體規(guī)律。從歐拉七橋問(wèn)題到DNA的纏結(jié)，從量子場(chǎng)論到思維科學(xué)與腦科學(xué)，拓?fù)鋵W(xué)思想正在各學(xué)科中普遍而深刻地重塑著我們的認(rèn)知方式。

集智學(xué)園聯(lián)合北京大學(xué)博士金威老師開(kāi)設(shè)，課程將于11月23日開(kāi)啟，現(xiàn)在加入可享早鳥(niǎo)價(jià)格。

詳情請(qǐng)見(jiàn)：

-一年一度特惠-

1.

2.

3.

4.

5.

6.