Statistical exploration of the Manifold Hypothesis

流形假設(shè)的統(tǒng)計(jì)探索

https://arxiv.org/pdf/2208.11665v5

摘要：

流形假設(shè)是機(jī)器學(xué)習(xí)中一項(xiàng)被廣泛接受的基本原理，它斷言名義上高維的數(shù)據(jù)實(shí)際上集中分布在嵌入于高維空間中的低維流形附近。這一現(xiàn)象在許多現(xiàn)實(shí)場(chǎng)景中得到了經(jīng)驗(yàn)性驗(yàn)證，在過(guò)去幾十年中催生了大量統(tǒng)計(jì)方法的發(fā)展，并被認(rèn)為可能是現(xiàn)代人工智能技術(shù)取得成功的關(guān)鍵因素之一。我們證明，數(shù)據(jù)中豐富且有時(shí)錯(cuò)綜復(fù)雜的流形結(jié)構(gòu)，可以從一個(gè)通用且異常簡(jiǎn)單的統(tǒng)計(jì)模型——潛在度量模型（Latent Metric Model）——中自然涌現(xiàn)，其機(jī)制僅依賴于潛在變量、相關(guān)性與平穩(wěn)性等基本概念。這為流形假設(shè)何以在眾多情境中看似成立提供了一個(gè)普適的統(tǒng)計(jì)學(xué)解釋。基于潛在度量模型，我們推導(dǎo)出用于發(fā)現(xiàn)與解釋高維數(shù)據(jù)幾何結(jié)構(gòu)的程序，并可借此探索關(guān)于數(shù)據(jù)生成機(jī)制的假設(shè)。這些程序僅需極弱的假設(shè)條件，且利用了廣為人知的圖分析算法。

1 引言

流形假設(shè)是機(jī)器學(xué)習(xí)中一項(xiàng)被廣泛接受的基本原理，其主張如下[20]：

“……許多數(shù)據(jù)集的維度僅僅是人為地高；盡管每個(gè)數(shù)據(jù)點(diǎn)可能包含成千上萬(wàn)個(gè)特征，但它或許僅由少數(shù)幾個(gè)潛在參數(shù)的函數(shù)所描述。換言之，這些數(shù)據(jù)點(diǎn)實(shí)際上是從嵌入于高維空間中的低維流形上采樣而得?！?/p>

這一現(xiàn)象已對(duì)眾多方法與算法產(chǎn)生了深遠(yuǎn)影響。流形結(jié)構(gòu)的存在是流形估計(jì)與檢驗(yàn)[35, 42, 41]、非線性降維技術(shù)[95, 108, 50, 9, 119, 116, 76]、本征維度估計(jì)[59, 71, 48, 19]，以及專門針對(duì)協(xié)變量取值于流形上的情境所設(shè)計(jì)的回歸與分類技術(shù)[11, 7, 23, 123, 72, 82]的前提基礎(chǔ)。數(shù)據(jù)集中于低維拓?fù)浠驇缀谓Y(jié)構(gòu)附近的假設(shè)，構(gòu)成了聚類技術(shù)與拓?fù)鋽?shù)據(jù)分析的理論基石[32, 83, 18, 8, 22, 21]。某些非參數(shù)方法（如最近鄰或基于樹(shù)的回歸方法）即使在缺乏流形結(jié)構(gòu)的情況下亦可運(yùn)作，但當(dāng)流形結(jié)構(gòu)存在時(shí)，其性能將顯著提升，因?yàn)槠涫諗克俾嗜Q于協(xié)變量的本征維度而非環(huán)境維度[61, 62]。已有研究證明，深度神經(jīng)網(wǎng)絡(luò)亦展現(xiàn)出類似特性[81]。更廣泛而言，流形結(jié)構(gòu)的存在已被認(rèn)為是深度學(xué)習(xí)方法取得成功的關(guān)鍵因素之一[14]。數(shù)據(jù)位于嵌入高維空間中的低維流形這一假設(shè)，已成為人工智能領(lǐng)域生成建模最新理論與實(shí)踐進(jìn)展的核心，尤其在擴(kuò)散模型中[101, 102, 51, 28, 29, 103, 24, 90, 47, 33]。

那么，數(shù)據(jù)中為何可能存在流形結(jié)構(gòu)？在某些情境下（如圖像分析），我們可以依據(jù)生成數(shù)據(jù)的物理機(jī)制給出一種直觀但啟發(fā)式的解釋（參見(jiàn)Pless與Souvenir[92]對(duì)該背景下流形估計(jì)的綜述）。圖1展示了24張灰度汽車圖像，選自文獻(xiàn)[43]中包含n = 75張圖像的子集，拍攝角度分別為圍繞圓形周長(zhǎng)的0°、5°、10°、…、355°。每張圖像分辨率為384 × 288像素，因此可表示為長(zhǎng)度為p = 110592的向量。然而，至少?gòu)闹庇^上看，我們僅需遠(yuǎn)少于該數(shù)量的維度，即可通過(guò)相機(jī)在我們周圍三維世界空間中的位置來(lái)解釋該圖像集合中的變異。圖1展示了使用主成分分析（PCA）進(jìn)行降維后的結(jié)果，由此我們可作出如下觀察：

前20個(gè)主成分解釋了總方差的91.5%，表明數(shù)據(jù)集中分布于R^110592中的某個(gè)低維線性子空間附近。前三個(gè)維度——即數(shù)據(jù)在對(duì)應(yīng)于最大三個(gè)特征值的特征向量上的坐標(biāo)——呈現(xiàn)出近似環(huán)狀的點(diǎn)分布，其形狀雖略顯不規(guī)則，但類似于相機(jī)位置所構(gòu)成的圓，只是經(jīng)受了彎曲與扭轉(zhuǎn)等形變。這些點(diǎn)沿環(huán)近似等距分布，恰如相機(jī)位置以5度為間隔均勻分布于圓周上。

顯然，通過(guò)對(duì)這些圖像數(shù)據(jù)應(yīng)用PCA進(jìn)行降維，我們得以窺見(jiàn)數(shù)據(jù)生成機(jī)制的部分幾何結(jié)構(gòu)，但仍存疑問(wèn)：我們?yōu)楸阌诳梢暬x擇繪制前三個(gè)維度，這一選擇是否“合理”？其余維度可能傳達(dá)何種信息？環(huán)的精確形狀以及點(diǎn)沿環(huán)的分布間距相對(duì)于底層相機(jī)位置圓的差異，其成因又是什么？

在其他情境中，嵌入的拓?fù)渑c幾何結(jié)構(gòu)可能呈現(xiàn)不同形態(tài)并具有不同解釋。圖2展示了對(duì)成年扁蟲(chóng)（一種扁形動(dòng)物）中5000個(gè)單細(xì)胞的p = 5821個(gè)基因表達(dá)水平進(jìn)行可視化的兩種方法。在單細(xì)胞轉(zhuǎn)錄組學(xué)領(lǐng)域——如2018年《Science》論文[91]所述——此類數(shù)據(jù)為揭示整個(gè)動(dòng)物的細(xì)胞譜系樹(shù)提供了可能：目標(biāo)在于探明數(shù)據(jù)是否反映了干細(xì)胞分化為多種不同細(xì)胞類型的樹(shù)狀過(guò)程。數(shù)據(jù)經(jīng)與原論文[91]相同方式預(yù)處理，使用Python軟件包Scanpy[121]。

圖2左圖展示了將維度從5821降至2的PCA結(jié)果；右圖則先通過(guò)PCA降至14維，再使用t-SNE[116]（一種廣受歡迎的非線性降維方法，通過(guò)最小化成對(duì)距離失真的特定度量來(lái)尋找數(shù)據(jù)集的低維表示）進(jìn)一步降至2維。我們采用scikit-learn[89]中t-SNE的默認(rèn)參數(shù)設(shè)置。兩圖中的點(diǎn)均按細(xì)胞類型著色，但PCA與t-SNE均無(wú)法獲知該信息。與圖1類似，圖2清晰表明，通過(guò)某種形式的降維，我們得以揭示數(shù)據(jù)底層的結(jié)構(gòu)——盡管此處表現(xiàn)為離散的細(xì)胞類型，而非相機(jī)位置的幾何構(gòu)型。在圖1中，僅使用PCA降維便足以使該結(jié)構(gòu)可見(jiàn)；然而在圖2中，若僅用PCA降至2維，不同細(xì)胞類型并未清晰分離，而先降至14維再應(yīng)用t-SNE的方法似乎更為有效。t-SNE可視化結(jié)果暗示數(shù)據(jù)底層可能存在樹(shù)狀結(jié)構(gòu)：部分區(qū)域呈現(xiàn)從中心點(diǎn)云發(fā)散出的分支狀臂，但其他譜系則缺乏清晰度或看似斷裂。

我們能否以不同方式組合方法，以獲得更清晰的圖像？

這些示例僅展示了數(shù)據(jù)中潛在結(jié)構(gòu)如何在嵌入的拓?fù)渑c幾何模式中顯現(xiàn)的若干方式。還有許多其他實(shí)例：在基因組學(xué)中，基因分型DNA位點(diǎn)揭示了顯著的地理分布模式[84, 64, 30]；在神經(jīng)科學(xué)中，來(lái)自網(wǎng)格細(xì)胞的同時(shí)記錄顯示出似乎與行為任務(wù)無(wú)關(guān)的環(huán)面結(jié)構(gòu)[39]；此外，無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)[85]、語(yǔ)音識(shí)別[15]、藥物發(fā)現(xiàn)[94]、RNA測(cè)序[79]以及人類動(dòng)作合成[69]中也存在流形結(jié)構(gòu)。

在本研究中，我們提出一種視角：數(shù)據(jù)中嵌入的拓?fù)渑c幾何結(jié)構(gòu)可被解釋為一種普遍的統(tǒng)計(jì)現(xiàn)象，無(wú)需參考數(shù)據(jù)生成機(jī)制的物理屬性或其他特定領(lǐng)域的細(xì)節(jié)。

主要貢獻(xiàn)。我們的第一項(xiàng)主要貢獻(xiàn)是提出一個(gè)簡(jiǎn)單而通用的統(tǒng)計(jì)模型，該模型能在高維數(shù)據(jù)中生成隱藏的低維流形結(jié)構(gòu)，從而為流形假設(shè)提供統(tǒng)計(jì)學(xué)依據(jù)。

第二項(xiàng)主要貢獻(xiàn)是描述該隱藏流形如何與模型所定義的真實(shí)潛在域相關(guān)聯(lián)，例如解釋為何圖1右側(cè)面板中的點(diǎn)雖非完美圓形（如相機(jī)位置所示），但仍構(gòu)成環(huán)狀結(jié)構(gòu)。更準(zhǔn)確地說(shuō)，我們給出了流形與潛在域之間關(guān)系為同胚（一種拓?fù)涞葍r(jià)）的溫和條件，以及在更強(qiáng)條件下該關(guān)系可成為等距（一種度量等價(jià)）。

2 潛在度量模型

潛在度量模型（Latent Metric Model, LMM）由三種相互獨(dú)立的隨機(jī)性來(lái)源構(gòu)建而成。

我們強(qiáng)調(diào)兩點(diǎn)。首先，LMM的核心目的在于將數(shù)據(jù)中的流形結(jié)構(gòu)解釋并描述為一種普適的統(tǒng)計(jì)現(xiàn)象。這一目標(biāo)的廣泛性要求采用靈活的建模范式，因此除在具體示例中之外，我們并不施加特定的分布或函數(shù)假設(shè)（如高斯性）。本文所作的假設(shè)涉及更為一般的概念，例如連續(xù)性、光滑性或平穩(wěn)性。其次，我們強(qiáng)調(diào)此處的視角：函數(shù) f 與 ? 是由LMM的構(gòu)成要素隱式定義的導(dǎo)出量，而非需要人為設(shè)定取值的模型參數(shù)或超參數(shù)。

3 潛在度量模型的統(tǒng)計(jì)性質(zhì)與幾何性質(zhì)的聯(lián)系

本節(jié)將闡釋LMM的統(tǒng)計(jì)性質(zhì)如何使我們能夠?qū)?shù)據(jù)向量
（可視為 中的點(diǎn)云）的幾何結(jié)構(gòu)與流形 M 的結(jié)構(gòu)，進(jìn)而與潛在度量空間 Z 的結(jié)構(gòu)相聯(lián)系。這一聯(lián)系具有雙重重要性：其一，它揭示了數(shù)據(jù)中的流形結(jié)構(gòu)如何從LMM的基本統(tǒng)計(jì)性質(zhì)中自然涌現(xiàn)，從而闡明流形假設(shè)在何種意義上成立以及其成立的原因；其二，它構(gòu)成了我們?cè)诘?節(jié)中詳述的數(shù)據(jù)分析程序的理論基礎(chǔ)。我們的論述將依循四個(gè)主要步驟展開(kāi)：

3.1 數(shù)據(jù)內(nèi)積與特征映射內(nèi)積的關(guān)聯(lián)

3.2 潛在變量的可區(qū)分性與同胚的關(guān)聯(lián)

同胚（homeomorphism）是兩個(gè)度量空間之間的一種映射，該映射連續(xù)、雙射且具有連續(xù)的逆映射。若存在此類映射，則稱這兩個(gè)度量空間彼此同胚，或稱其拓?fù)涞葍r(jià)。為建立直觀理解，可考慮所討論的度量空間為我們周圍三維歐幾里得世界中的子集這一情形。在此情況下，符合同胚條件的映射包括通過(guò)彎曲、扭轉(zhuǎn)、拉伸與折疊等方式進(jìn)行的形狀變換，但不包括切割、穿孔或粘合等操作[12]。拓?fù)涞葍r(jià)意味著所涉兩個(gè)度量空間必須具有相同數(shù)量的連通分支、相同數(shù)量的一維環(huán)圈，以及更一般地，相同數(shù)量的k維“空洞”。利用數(shù)據(jù)檢測(cè)此類特征，正是拓?fù)鋽?shù)據(jù)分析（Topological Data Analysis）領(lǐng)域中持續(xù)同調(diào)（persistent homology）方法的目的[18, 21]。然而，拓?fù)浣Y(jié)構(gòu)的內(nèi)涵遠(yuǎn)不止于其同調(diào)性質(zhì)；例如，在轉(zhuǎn)錄組學(xué)應(yīng)用中（引言及第5.2節(jié)），所假設(shè)的底層結(jié)構(gòu)呈現(xiàn)出有趣的“樹(shù)狀”拓?fù)?，卻不具備有趣的同調(diào)特征。

3.3 平穩(wěn)性與等距性的關(guān)聯(lián)

LMM中任一隨機(jī)函數(shù) X j
的弱平穩(wěn)性意味著：

命題3與命題4的證明見(jiàn)附錄C.1末尾。

3.4 光滑性與低維子空間內(nèi)集中性的關(guān)聯(lián)

3.5 一個(gè)可視化示例

4 方法論

本節(jié)利用LMM的性質(zhì)來(lái)解釋并論證第1節(jié)中概述的工作流程。關(guān)于步驟1的討論將推遲至步驟2討論之后進(jìn)行。

4.1 通過(guò)PCA進(jìn)行線性降維

關(guān)于假設(shè)A4-A6的討論

4.2 選擇PCA維度

圖6c)1-4展示了算法1計(jì)算的Wasserstein誤差（對(duì)數(shù)尺度），維度范圍至 ρ max ? = 30
?？捎^察到：當(dāng)核秩有限時(shí)（配置1-3，虛線黑線），最優(yōu)解大致與真實(shí)秩重合；有趣的是，即使在核秩無(wú)限的情形（配置4），仍存在非退化解。若降低噪聲水平，最優(yōu)維度將增大（圖17，附錄），這反映了前述偏差/方差權(quán)衡。

為作對(duì)比，我們同時(shí)展示了基于'ladle'法[74]和'elbow'法[127]的選擇結(jié)果（分別通過(guò)R包'dimension'（GitHub鏈接：https://github.com/WenlanzZ）和'igraph'（The Comprehensive R Archive Network）實(shí)現(xiàn)）。'ladle'法與Wasserstein法選擇結(jié)果相似，但計(jì)算成本較高（限制了 m a x ( n , p ) = 1000 的模擬規(guī)模）。我們不建議在LMM框架下使用'elbow'法進(jìn)行維度選擇，因其傾向于選擇過(guò)低維度。

4.3 球面投影

在進(jìn)行數(shù)據(jù)分析時(shí)，我們可能希望考慮假設(shè) f 屬于命題3或4中核函數(shù)族之一，因?yàn)樗鼈兙哂衅椒€(wěn)性解釋，并且相關(guān)的等距性質(zhì)將支持使用PCA嵌入來(lái)恢復(fù) Z 的幾何特征。然而，所有這些核函數(shù)都具有以下性質(zhì)：

4.4 最近鄰圖構(gòu)建

5 示例

在其名著《探索性數(shù)據(jù)分析》（Exploratory Data Analysis）[113]中，Tukey 指出刑事司法過(guò)程中存在一種廣為接受的分工：“搜尋證據(jù)——由警察及其他調(diào)查力量負(fù)責(zé)——與評(píng)估證據(jù)強(qiáng)度——由陪審團(tuán)與法官裁決”。依此類比，我們所提出的工作流程旨在前者——即搜尋線索、跡象與表象。在后續(xù)示例中，除與均勻模型進(jìn)行基線比較外，我們并不試圖對(duì)所呈證據(jù)的強(qiáng)度進(jìn)行形式化評(píng)估。我們認(rèn)為此類驗(yàn)證性分析是一項(xiàng)重要但性質(zhì)不同的任務(wù)，需采用不同的技術(shù)手段。所用代碼與數(shù)據(jù)可在此獲?。篽ttps://github.com/anniegray52/explore_manifold_hyp

原文鏈接：https://arxiv.org/pdf/2208.11665v5