導(dǎo)語

高維數(shù)據(jù)往往蘊含低維流形結(jié)構(gòu)，如何在降維過程中同時保持類簇可分性、拓撲結(jié)構(gòu)一致性與計算可伸縮性，是流形學(xué)習(xí)長期面臨的核心挑戰(zhàn)。盡管 t-SNE、UMAP 等方法已在可視化與表示學(xué)習(xí)中得到廣泛應(yīng)用，但它們在大規(guī)模數(shù)據(jù)場景下仍存在類簇擁擠、拓撲失真及計算成本高等局限。

2025年9月發(fā)表于 Nature Machine Intelligence 的這項研究提出了一種采樣驅(qū)動的可伸縮流形學(xué)習(xí)方法 SUDE (Scalable manifold learning that enables Uniform and Discriminative Embedding)。該方法通過均勻地標(biāo)采樣構(gòu)建全局骨架，在低維空間中引入重尾概率分布以增強類簇分離，并結(jié)合約束局部線性嵌入實現(xiàn)非地標(biāo)點的高效映射。大量合成數(shù)據(jù)、真實高維數(shù)據(jù)、生物單細胞數(shù)據(jù)及心電信號實驗表明，SUDE在類簇區(qū)分能力、結(jié)構(gòu)保留與計算效率之間實現(xiàn)了更優(yōu)平衡，為大規(guī)模流形數(shù)據(jù)分析提供了一種可擴展的新范式。

關(guān)鍵詞：流形學(xué)習(xí)（Manifold Learning）、降維、可伸縮算法（Scalability）、地標(biāo)采樣（Landmark Sampling）、類簇結(jié)構(gòu)發(fā)現(xiàn)（Cluster Structure Discovery）、多維數(shù)據(jù)可視化、重尾概率分布（Heavy-tailed Probability Distribution）

珞珈時空計算丨來源

論文題目：Sampling-enabled scalable manifold learning unveils the discriminative cluster structure of high-dimensional data 論文鏈接：https://www.nature.com/articles/s42256-025-01112-9 發(fā)表時間：2025年9月10日 論文來源：nature machine intelligence

內(nèi)容概括

流形學(xué)習(xí) (Manifold Learning) 旨在揭示高維空間中復(fù)雜非線性流形的內(nèi)在低維結(jié)構(gòu)，將數(shù)據(jù)嵌入到聚類友好的低維特征空間，緩解維度災(zāi)難帶來的負面影響。盡管現(xiàn)有技術(shù) (如t-SNE和UMAP) 已在諸多領(lǐng)域廣泛應(yīng)用，但對于類簇的區(qū)分能力相對有限，難以保留連續(xù)的拓撲結(jié)構(gòu)，且計算的可伸縮性存在不足，限制了其在大規(guī)模流形數(shù)據(jù)處理場景下的適用性。針對上述問題，論文提出一種基于均勻地標(biāo)采樣與約束局部線性嵌入的可擴展流形學(xué)習(xí)方法SUDE。它通過地標(biāo)采樣選取部分重要樣本作為地標(biāo)點進行嵌入學(xué)習(xí)，確定高維數(shù)據(jù)在低維空間的主要骨架，再根據(jù)非地標(biāo)點與地標(biāo)點的局部線性關(guān)系將其快速嵌入至低維空間，極大提升了流形學(xué)習(xí)的伸縮性。此外，論文提出一種重尾低維概率分布，增強了類簇之間的分離性，并通過對非地標(biāo)點嵌入施加最鄰近距離約束，緩解了欠采樣引發(fā)的臟簇問題。

研究背景

維度

英國著名小說家Edwin Abbott在他撰寫的《平面國》(Flat Land) 中構(gòu)想了一個由幾何形狀構(gòu)成的等級社會，居民是各種幾何圖形，比如女性是簡單的線段，士兵和底層勞動者是等腰三角形，貴族是六邊形及以上，邊數(shù)越多，等級越高，他們通過觸摸、視覺來識別彼此。主人公正方形一次機緣巧合之下遇到了一位來自三維空間的使者，得以游歷三維世界，游歷歸來后，他因為傳播三維世界的真理被當(dāng)作瘋子關(guān)進監(jiān)獄，可見低維生物依然是難以理解高維空間。我們以荷蘭畫家Maurits Cornelis Escher的經(jīng)典畫作《蜥蜴》為例，如圖1所示，假設(shè)在二維平面空間密鋪著無數(shù)只蜥蜴，這時候存在一只三維蜥蜴，它站在一個正十二面體上，那么它該如何給二維蜥蜴描述正十二面體的幾何形態(tài)呢？

圖1 蜥蜴 (來自紀(jì)錄片《維度：數(shù)學(xué)漫步》)

第一種方法，讓三維幾何體慢慢穿過二維平面，讓蜥蜴通過穿過的截面形狀來想象它的三維結(jié)構(gòu)，但是隨著這個幾何體的面數(shù)不斷增加，二維的截面形狀也越來越復(fù)雜，對于三維結(jié)構(gòu)的理解變得愈加困難。

圖2 根據(jù)幾何體穿透二維平面的截面理解幾何形態(tài)

第二種方法，通過球極投影把三維幾何體的面投影到二維平面，并通過滾動球體來觀察投影的變化，從而理解高維幾何體結(jié)構(gòu)。因此，投影是用于理解高維數(shù)據(jù)分布結(jié)構(gòu)的重要降維方法。

圖3 利用球極投影理解三維幾何體形態(tài)

維度災(zāi)難

降維除了用于高維數(shù)據(jù)可視化之外，還是解決維度災(zāi)難(Curse of Dimensionality) 問題的主要途徑之一。維度災(zāi)難指的是模型的分類或聚類精度隨著數(shù)據(jù)維度的增加呈現(xiàn)先上升后下降的趨勢 (圖4)。導(dǎo)致維度災(zāi)難的一個主要原因在于數(shù)據(jù)在高維特征空間的分布存在嚴重的稀疏性，這使得模型表征能力不足，而容易引發(fā)過擬合問題。同時，聚類與分類任務(wù)中常用的相似性度量存在距離趨同(Distance Concentration) 現(xiàn)象，即距離隨著維度增長逐漸趨于相同取值，丟失了相似性度量的可區(qū)分性，使得相似性度量失效。此外，高維數(shù)據(jù)往往呈流形分布，流形效應(yīng)(Manifold Effect) 使得一些常見的聚類模式 (如邊界模式和內(nèi)部模式) 在高維空間失效，而且大量的冗余特征不僅影響聚類精度，也極大地增加存儲和計算成本。

圖4 維度災(zāi)難問題

流形

高維數(shù)據(jù)往往呈現(xiàn)流形分布，即數(shù)據(jù)的內(nèi)在維度低于特征維度。在數(shù)學(xué)上，流形指的是局部同胚于歐式空間的豪斯多夫空間，局部具有歐氏幾何性質(zhì) (圖5)。同胚可以想象為“彈性變形”，允許空間被拉伸、彎曲或壓縮，但不允許切割或粘連。一卷衛(wèi)生紙就是一種流形，把它展開可以平攤成一個二維平面空間，而不影響它原先的拓撲結(jié)構(gòu)。對于高維數(shù)據(jù)點而言，它們往往分布在復(fù)雜的非線性流形上，彼此交織纏繞在一起，直接在高維空間對其進行分類或者聚類難度較大。

圖5 流形示意圖

流形學(xué)習(xí)

為了實現(xiàn)降維，傳統(tǒng)線性降維方法如PCA通過對數(shù)據(jù)進行線性變換提取主要特征，雖然計算高效但無法有效捕捉非線性結(jié)構(gòu)。流形學(xué)習(xí)通過保持數(shù)據(jù)間的局部幾何關(guān)系 (如鄰接拓撲結(jié)構(gòu)或測地距離) 實現(xiàn)非線性降維。2000年在《Science》上背靠背發(fā)表的等距特征映射Isomap和局部線性嵌入LLE兩種方法是流形學(xué)習(xí)的開山之作。前者用測地距離替代歐氏距離進行映射，后者通過局部線性重構(gòu)關(guān)系保留鄰域結(jié)構(gòu)，但這兩種方法無法保證類簇間的分離性，造成低維嵌入的擁擠問題。

圖6 t-SNE原文及作者

Meta AI首席研究科學(xué)家Laurens van der Maaten與諾貝爾獎物理學(xué)獎獲得者Geoffrey Hinton教授在2008年共同提出了流形學(xué)習(xí)的革命性工作t-SNE (圖6)，采用概率逼近策略來實現(xiàn)數(shù)據(jù)在原始空間和嵌入空間的結(jié)構(gòu)一致性，并通過兩種不同概率分布函數(shù)達到類簇分離的效果 (圖7)。由于t-SNE涉及到密集的矩陣運算，計算開銷巨大。Laurens van der Maaten將t-SNE的優(yōu)化問題看作是多體 (N-body) 引力問題，采用Barnes-Hut算法來實現(xiàn)快速梯度計算，但是Barnes-Hut-SNE (BH-t-SNE) 算法只能實現(xiàn)二維或三維的嵌入。2018年提出的均勻流形近似與投影UMAP是流形學(xué)習(xí)的又一里程碑式的方法，它采用交叉熵 (Cross Entropy, CE) 代替 KL 散度作為損失函數(shù)，并通過隨機梯度下降法加速收斂過程。UMAP已成為近幾年最受歡迎的流形學(xué)習(xí)方法，在諸多領(lǐng)域取得成功。盡管如此，UMAP在處理復(fù)雜數(shù)據(jù)分布時依然存在擁擠問題，且計算效率仍有提升空間。

圖7 t-SNE原理示意圖

方法介紹

概述

本文提出一種基于均勻地標(biāo)采樣與約束局部線性嵌入的可伸縮流形學(xué)習(xí)方法SUDE，如圖8所示，它主要由三個階段構(gòu)成，即地標(biāo)采樣 (Sampling)、嵌入學(xué)習(xí) (Learning) 和非地標(biāo)嵌入 (Incorporating)。在第一階段，SUDE從原始數(shù)據(jù)點中采樣部分關(guān)鍵點作為地標(biāo)點，將這些地標(biāo)點輸入到嵌入學(xué)習(xí)階段，通過迭代優(yōu)化得到地標(biāo)點的低維嵌入。最后，利用約束局部線性嵌入確定非地標(biāo)點在低維空間的坐標(biāo)，生成最終的低維嵌入。

圖8 SUDE總體流程圖

棗糕采樣

地標(biāo)采樣的核心在于如何保證采樣得到的地標(biāo)點與原始數(shù)據(jù)點的分布一致性，為此本文提出棗糕采樣 (Plum Pudding Sampling, PPS)，其命名源于PPS采樣結(jié)果神似一塊棗糕，地標(biāo)點類似于“棗子”嵌入在原始數(shù)據(jù)的“蛋糕”當(dāng)中。考慮到局部高密度點具有重要的拓撲信息，PPS先將所有數(shù)據(jù)點按照反向最近鄰 (Reverse Nearest Neighbors, RNN) 的大小降序排列，因為RNN能夠度量樣本點局部密度，高RNN值的點往往是數(shù)據(jù)中的樞紐點，包含重要的拓撲結(jié)構(gòu)信息。如圖9所示，每次循環(huán)中，選擇RNN排序后隊列中第一個點作為地標(biāo)點，新增到地標(biāo)點集合當(dāng)中，并將其 KNN對象從點隊列中移除，添加到非地標(biāo)點集。如此循環(huán)直至隊列中沒有任何剩余點，則完成地標(biāo)采樣。PPS通過唯一參數(shù)k1控制采樣率，k1越大采樣率越低。

圖9 SUDE總體流程圖

本文采用RNN的原因在于它能夠描述節(jié)點在圖網(wǎng)絡(luò)中的中心性，如圖10a所示，隨著維度升高，RNN與網(wǎng)絡(luò)的介中心性Betweenness呈現(xiàn)更顯著的線性相關(guān)。而之所以按照RNN降序排列采樣地標(biāo)點，是因為這樣得到的地標(biāo)點在RNN和Betweenness的分布上與原始數(shù)據(jù)更加一致 (圖10b,c，詳見原文附件Supplementary Note 7)。

圖10 優(yōu)先選擇樞紐點作為地標(biāo)的重要性

早期聚合

當(dāng)類簇之間的距離較近且采樣率較低時，可能會出現(xiàn)欠采樣 (Undersampling) 問題。如圖11所示，隨著地標(biāo)點變得稀疏，原始數(shù)據(jù)中類簇的凝聚性逐漸丟失，使得戴維森堡丁指數(shù)DBI上升且輪廓系數(shù)SC下降，意味著不同類簇的區(qū)分度下降。

圖11 欠采樣問題

為了緩解欠采樣問題，SUDE在構(gòu)建高維概率時通過早期聚合 (Early Aggregation, EA) 策略維持它們在原始數(shù)據(jù)中的強關(guān)聯(lián)性。EA利用地標(biāo)點在原始數(shù)據(jù)中的共享最近鄰 (Shared Nearest Neighbor, SNN) 來度量彼此的關(guān)聯(lián)程度，根據(jù)不同的關(guān)聯(lián)程度拉近它們在采樣空間的距離，以保留類簇在原始數(shù)據(jù)中的區(qū)分度。

對數(shù)低維概率分布

t-SNE和UMAP采用學(xué)生t分布構(gòu)建點對之間的低維空間相似度，但是對于類簇的分離能力有限。為此，本文提出一種對數(shù)概率分布

如圖12所示，相比學(xué)生t分布，它是一種更加重尾的分布，能夠使得在高維空間距離較近的點對在低維嵌入中離得更近，而使得高維空間距離較遠的點對在低維空間被推得更遠，從而實現(xiàn)類簇的有效分離。通過構(gòu)建的高維低維概率分布，采用動量梯度下降確定地標(biāo)點的低維坐標(biāo)。

圖12 對數(shù)低維概率分布

約束局部線性嵌入

在獲得地標(biāo)點的低維坐標(biāo)之后，需要將非地標(biāo)點快速嵌入至地標(biāo)點確定的低維空間。利用LLE計算非地標(biāo)點與最鄰近地標(biāo)點的局部線性關(guān)系可用于確定低維空間中非地標(biāo)點的合適位置。然而，對于一些類簇邊界點，它們的最鄰近地標(biāo)點可能屬于不同的類簇，并且彼此相隔較遠，僅通過局部線性關(guān)系往往會被嵌入到類簇之間的間隙中，形成臟簇或噪聲，這種現(xiàn)象在采樣率較低時尤為顯著。因此，本文提出了約束局部線性嵌入 (Constrained Locally Linear Embedding, CLLE) 算法，它利用 LLE 重構(gòu)非地標(biāo)點與最鄰近地標(biāo)點線性權(quán)重的同時，引入了與最鄰近地標(biāo)點的距離約束。

實驗分析

地標(biāo)采樣有效性驗證

為了驗證PPS方法的有效性，本文在兩個人造數(shù)據(jù)集上與隨機采樣RS、剪枝生成樹PST和最大最小采樣MMS三種采樣基準(zhǔn)進行對比實驗。如圖13a所示，PPS能夠生成分布更均勻的地標(biāo)點，而且在聚類中心偏移 (Offset Distance Of Centroids, ODOC)、聚類規(guī)模一致性 (Congruence of Cluster Size, CCS) 和計算伸縮性三個維度均優(yōu)于對比方法 (圖13b-d)。此外，本文還設(shè)計了一個五維數(shù)據(jù)集 (圖13e)，它由三個彼此正交的圓環(huán)構(gòu)成，可以發(fā)現(xiàn)PPS對于數(shù)據(jù)的全局結(jié)構(gòu)保留得更好，能夠獲得更高的一致性系數(shù) (Congruence Coefficient, CC)，且隨著采樣率降低 (k1增大) 更加魯棒 (圖13f)。從圖13g的嵌入可視化結(jié)果來看，SUDE更好地保留了圓環(huán)的形態(tài)結(jié)構(gòu)和彼此連接的拓撲關(guān)系。

圖13 在人造數(shù)據(jù)集驗證PPS有效性

真實高維數(shù)據(jù)集有效性驗證

本文在12個真實的高維數(shù)據(jù)集上對比了SUDE與三種傳統(tǒng)流形學(xué)習(xí)方法 (BH-t-SNE、UMAP和TriMap) 以及兩種深度學(xué)習(xí)方法 (TopoAE和P-UMAP) 的性能，采用五種評價指標(biāo)：KNN分類精度 (knnACC)、SVM分類精度 (svmACC)、K-means聚類精度 (clusACC)、一致性系數(shù)CC和KNN召回率 (knnRec) 量化評估降維質(zhì)量。

圖14 在真實高維數(shù)據(jù)集驗證SUDE有效性

如圖14a所示，SUDE在60項得分中獲得23項最高分，并且計算效率優(yōu)于五種對比方法 (圖14b)。從圖14c的雷達圖來看，SUDE在knnACC、svmACC、clusACC和Scalability均排名第一，表明它在類簇分離和計算效率方面具有顯著優(yōu)勢。TopoAE借助神經(jīng)網(wǎng)絡(luò)強大的擬合能力，CC得分排名第一，能夠獲得最優(yōu)的全局結(jié)構(gòu)保留效果，而BH-t-SNE在knnRec分數(shù)排名第一，證明其能夠更好地恢復(fù)高維數(shù)據(jù)的局部結(jié)構(gòu)。圖14d,e表明SUDE隨著數(shù)據(jù)規(guī)模和嵌入維度的增大，計算伸縮性表現(xiàn)最優(yōu)。在圖14f中，本文將嵌入學(xué)習(xí)的方法分別替換為t-SNE和UMAP，聚類精度均低于SUDE。圖14g對比了SUDE集成三種不同低維概率分布的收斂情況，對數(shù)概率分布能夠在更少的epoch內(nèi)獲得更高的聚類精度。

單細胞生物數(shù)據(jù)集有效性驗證

為了評估SUDE的適用性，本文將其應(yīng)用于小鼠視網(wǎng)膜scRNA-seq數(shù)據(jù)集。如圖15a所示，UMAP將視錐雙極細胞 (Cone Bipolar Cells) 和無長突細胞 (Amacrine Cells)類簇過度拆分為若干子簇，而SUDE則更好地保持了兩種細胞類簇的完整性。采用CDC算法對低維嵌入進行聚類，在SUDE嵌入上的聚類精度遠優(yōu)于UMAP嵌入，證明SUDE嵌入比UMAP嵌入更適合細胞類型注釋任務(wù) (圖15b,c)。

圖15 在單細胞生物數(shù)據(jù)集驗證SUDE有效性

本文在圖15d驗證了SUDE在CyTOF生物數(shù)據(jù)集的性能，SUDE能夠更好地分離單核細胞 (Monocytes) 的細胞亞群CD11b+和CD11b-，細胞密度呈現(xiàn)明顯的雙峰結(jié)構(gòu) (圖15e)。圖15f顯示SUDE獲得最高的CC得分，具有更好的全局結(jié)構(gòu)保留能力，且它的計算效率分別是BH-t-SNE和UMAP的6.3倍和3.0倍。為了證明SUDE對于細胞表型相似性的保留能力，本文計算了每個細胞類簇最鄰近的細胞類型，這種細胞類型鄰近關(guān)系在SUDE嵌入中的保留精度達到78.57%，優(yōu)于其他兩種方法 (圖15g)。本文在圖15h-k利用SUDE嵌入來可視化B細胞的分化過程，從SUDE嵌入中推斷出來的偽時間更符合B細胞的分化過程。

心電圖數(shù)據(jù)集有效性驗證

本文還將流形學(xué)習(xí)方法應(yīng)用在心電圖ECG信號的異常心跳檢測任務(wù)。圖16a是我們設(shè)計的端到端異常心跳檢測流程，先使用傅里葉同步壓縮變換來獲得信號中采樣點的時頻表示，然后將這些表示輸入到預(yù)訓(xùn)練的LSTM網(wǎng)絡(luò)中以識別每個心跳周期的P波、QRS波和T波 (圖16b)，并從每次心跳中提取八個波形特征 (圖16c)，最后將高維特征嵌入到低維空間，并利用KNN和SVM分類器來區(qū)分正常心跳和異常心跳。在MIT-BIH心電圖數(shù)據(jù)集的四個病例樣本上，SUDE在KNN和SVM兩個分類器精度均優(yōu)于PCA和UMAP，且隨著嵌入維度的變化表現(xiàn)出更高的穩(wěn)定性 (圖16d)。如圖16e所示，在線性降維PCA嵌入中，正常心跳和異常心跳混合在一起，難以區(qū)分；而UMAP則產(chǎn)生了過多的小型簇，破壞了類簇完整性。

圖16 在心電圖數(shù)據(jù)集驗證SUDE有效性

降維是一個權(quán)衡的過程，將數(shù)據(jù)映射到低維空間必然會犧牲某些信息以保留其他重要特征。本文從分類精度、聚類精度、全局/局部結(jié)構(gòu)保留能力和計算伸縮性等方面評估了SUDE的性能。結(jié)果表明，SUDE在類簇分離和計算效率方面具有顯著優(yōu)勢。在小數(shù)據(jù)集上，SUDE在局部結(jié)構(gòu)保持方面表現(xiàn)相對較差，但在大多數(shù)大型數(shù)據(jù)集上，除BH-t-SNE外，其性能優(yōu)于其他方法。在全局結(jié)構(gòu)保留方面，基于神經(jīng)網(wǎng)絡(luò)的方法 (如TopoAE和P-UMAP) 在保持等距關(guān)系方面表現(xiàn)出色。用戶可以根據(jù)實際需求選擇合適的流形學(xué)習(xí)方法，當(dāng)優(yōu)先考慮聚類分離度和計算效率時，SUDE會是一個合適的選擇。

此外，論文附錄 (Supplementary Information) 中還包含更多討論和推導(dǎo)，歡迎感興趣的讀者下載閱讀：

* 為什么需要流形學(xué)習(xí)？(Supplementary Note 5)

* 為什么需要均勻采樣？(Supplementary Note 6)

* 為什么在PPS采樣中需要RNN降序排列？(Supplementary Note 7)

* 為什么對數(shù)低維概率分布是有效的？(Supplementary Note 8)

* 欠采樣會帶來哪些負面影響？(Supplementary Note 9)

* 為什么早期聚合能夠緩解欠采樣問題？(Supplementary Note 10)

* CLLE是如何規(guī)避臟簇的產(chǎn)生？(Supplementary Note 11)

作者介紹

彭德華：武漢大學(xué)遙感信息工程學(xué)院弘毅博士后，主要研究方向為機器學(xué)習(xí)與地理空間智能。

桂志鵬：武漢大學(xué)遙感信息工程學(xué)院教授、副院長，主要研究方時空數(shù)據(jù)挖掘及地理信息系統(tǒng)的理論與應(yīng)用研究。

衛(wèi)文章：武漢大學(xué)遙感信息工程學(xué)院25級博士生，主要研究方向為圖文匹配與多模態(tài)大模型。

栗法：德州大學(xué)奧斯汀分校助理教授，主要研究方向為野火監(jiān)測與可解釋AI。

桂杰：東南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院教授，研究方向為機器學(xué)習(xí)、模式識別與大模型。

吳華意：武漢大學(xué)測繪遙感信息工程全國重點實驗室教授，主要研究方向為地理信息服務(wù)與地學(xué)大模型。

龔健雅：中國科學(xué)院院士、武漢大學(xué)遙感信息工程學(xué)院和測繪遙感信息工程全國重點實驗室教授，主要研究方向為地理信息理論和幾何遙感基礎(chǔ)研究。

論文鏈接https://www.nature.com/articles/s42256-025-01112-9 代碼鏈接https://github.com/ZPGuiGroupWhu/sude

拓撲學(xué)課程：從空間直覺到系統(tǒng)科學(xué)

你是否曾思考過：為什么咖啡杯在數(shù)學(xué)上可以變成甜甜圈？為什么混沌系統(tǒng)中會出現(xiàn)周期軌、可約化結(jié)構(gòu)和“奇怪吸引子”模式？為什么神經(jīng)網(wǎng)絡(luò)、量子物理甚至心理結(jié)構(gòu)，都可以從“拓撲”角度理解？

拓撲學(xué)不僅是數(shù)學(xué)的抽象分支，更提供了系統(tǒng)的思維方式，讓我們理解連續(xù)性、結(jié)構(gòu)不變性乃至復(fù)雜系統(tǒng)的整體規(guī)律。從歐拉七橋問題到DNA的纏結(jié)，從量子場論到思維科學(xué)與腦科學(xué)，拓撲學(xué)思想正在各學(xué)科中普遍而深刻地重塑著我們的認知方式。

集智學(xué)園聯(lián)合北京大學(xué)博士金威老師開設(shè)，課程于11月23日開啟，歡迎感興趣的讀者加入。

詳情請見：

1.

2.

3.

4.

5.

6.

7.