Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey

機(jī)器學(xué)習(xí)中的范疇理論和拓?fù)淅碚摽蚣?綜述

https://www.mdpi.com/2075-1680/14/3/204

摘要：

在本綜述中，我們從四個主流視角提供了范疇論衍生的機(jī)器學(xué)習(xí)的概述：基于梯度的學(xué)習(xí)、基于概率的學(xué)習(xí)、基于不變性與等價性的學(xué)習(xí)，以及基于拓?fù)渌沟膶W(xué)習(xí)。對于前三個主題，我們主要回顧了過去五年的研究，更新并擴(kuò)展了 Shiebler 等人先前的綜述。第四個主題深入探討了高階范疇論，特別是拓?fù)渌拐?，是本文首次進(jìn)行綜述的。在某些機(jī)器學(xué)習(xí)方法中，函子的組合性起著至關(guān)重要的作用，推動了特定范疇框架的發(fā)展。然而，當(dāng)考慮網(wǎng)絡(luò)的全局性質(zhì)如何反映在局部結(jié)構(gòu)中，以及幾何性質(zhì)和語義如何用邏輯表達(dá)時，拓?fù)渌菇Y(jié)構(gòu)變得尤為顯著和深刻。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；范疇論；拓?fù)渌拐?；基于梯度的學(xué)習(xí)；范疇概率；貝葉斯學(xué)習(xí)；函子流形學(xué)習(xí)；持久同調(diào)

1. 引言與背景

近年來，涉及機(jī)器學(xué)習(xí)中范疇論的研究日益增多。本綜述主要回顧了范疇論與各種機(jī)器學(xué)習(xí)范式相結(jié)合的近期研究。大致而言，我們將這些研究分為兩個主要方向：

1. 針對特定機(jī)器學(xué)習(xí)方法的特定范疇框架研究。反向傳播在笛卡爾微分范疇內(nèi)被形式化，從而結(jié)構(gòu)化基于梯度的學(xué)習(xí)。包括貝葉斯推斷在內(nèi)的概率模型在馬爾可夫范疇中被研究，以捕捉隨機(jī)依賴關(guān)系。聚類算法在度量空間范疇中被分析，為基于相似性的學(xué)習(xí)提供了結(jié)構(gòu)化的視角。
2. 從廣泛的數(shù)學(xué)視角探索范疇論在機(jī)器學(xué)習(xí)各方面潛在應(yīng)用的方法論途徑。例如，研究考察了拓?fù)渌谷绾尾蹲缴窠?jīng)網(wǎng)絡(luò)的內(nèi)部性質(zhì)，2-范疇如何形式化學(xué)習(xí)模型中的組件組合，以及拓?fù)渌购蜅Ｈ绾螢榫幋a學(xué)習(xí)動態(tài)和不變性提供結(jié)構(gòu)化框架。

我們首先為可能不熟悉這些數(shù)學(xué)概念的讀者介紹關(guān)鍵術(shù)語：范疇論、函子性和拓?fù)渌埂７懂犝撌菙?shù)學(xué)的一個分支，它提供了一個統(tǒng)一的框架，以抽象的方式描述數(shù)學(xué)結(jié)構(gòu)及其關(guān)系。代數(shù)、拓?fù)浜瓦壿嫷葦?shù)學(xué)領(lǐng)域都可以在這個框架內(nèi)進(jìn)行描述。范疇論中的一個基本概念，函子性，指的是將一個范疇映射到另一個范疇的方法。它提供了一種系統(tǒng)的方法，將概念和結(jié)果從一個數(shù)學(xué)語境翻譯到另一個數(shù)學(xué)語境，使得研究不同數(shù)學(xué)領(lǐng)域之間的相似性和連接成為可能。作為一個高階范疇，拓?fù)渌沟谋憩F(xiàn)類似于集合范疇，因為它支持諸如取極限、余極限和指數(shù)運(yùn)算等操作，并且它還具有內(nèi)部邏輯（通常是直覺主義的而非經(jīng)典的）。拓?fù)渌贡挥糜谶壿?、幾何和計算機(jī)科學(xué)等領(lǐng)域，特別是在類型理論和編程語言語義等領(lǐng)域，它們?yōu)楸硎緮?shù)據(jù)結(jié)構(gòu)和推理計算提供了一個通用且抽象的框架。我們提供如下具體定義。

定義 1（范疇論）。一個范疇由對象以及這些對象之間的態(tài)射（也稱為箭頭）組成，滿足兩個關(guān)鍵性質(zhì)：結(jié)合律（態(tài)射的組合是結(jié)合的）和恒等性（每個對象都有一個恒等態(tài)射，它在組合下充當(dāng)單位元）。

定義 2（函子）。函子是范疇之間保持結(jié)構(gòu)的映射，它將一個范疇中的每個對象指派給另一個范疇中的一個對象，并將第一個范疇中的每個態(tài)射指派給第二個范疇中的一個態(tài)射，同時保持態(tài)射的組合和恒等態(tài)射。

定義 3（拓?fù)渌梗?/strong>。拓?fù)渌故且粋€推廣了集合范疇的范疇，并配備了額外的邏輯和拓?fù)浣Y(jié)構(gòu)。它作為一個廣義空間，各種數(shù)學(xué)概念可以在其中被解釋。

我們的框架（如圖 1 所示）將范疇衍生的學(xué)習(xí)結(jié)構(gòu)化為兩個層次。低階范疇論提供函子框架，其中組件——定義為具有各自的輸入、輸出和參數(shù)——使用函子進(jìn)行組合。這種模塊化視角與編程語言類似，并影響了基于梯度的學(xué)習(xí)、貝葉斯學(xué)習(xí)以及用于不變性和等價性的函子流形學(xué)習(xí)中的方法。高階范疇論捕捉與學(xué)習(xí)相關(guān)的全局性質(zhì)。例如，粗?；图?xì)化可以使用網(wǎng)絡(luò)上的位點(diǎn)來結(jié)構(gòu)化，而諸如棧這樣的構(gòu)造性框架可能會提供進(jìn)一步的見解。

對于第一個方向，Shiebler 等人 [1] 的綜述提供了截至 2021 年的主要結(jié)果的詳細(xì)概述。在本綜述中，我們通過包含 2021 年至今的更近期結(jié)果來補(bǔ)充他們的綜述。此外，我們介紹了超出這些主流結(jié)果的一些其他分支。第二個方向，即高階范疇論衍生的學(xué)習(xí)，未在 Shiebler 等人的綜述中涵蓋，在本綜述中得到強(qiáng)調(diào)，并通過利用層和預(yù)層的豐富結(jié)構(gòu)來探索因果性。這些構(gòu)造有效捕捉了數(shù)據(jù)集中的局部 - 全局關(guān)系，例如局部干預(yù)對全局結(jié)果的影響。此外，拓?fù)渌沟膬?nèi)部邏輯為推理反事實(shí)和干預(yù)提供了堅實(shí)基礎(chǔ)，這兩者都是因果推斷的核心。例如，基于函子組合的系統(tǒng)框架提供了一種穩(wěn)健的面向設(shè)計的方法，并通過描述獨(dú)立過程有效編碼了“并行性”。然而，它難以完全編碼“并發(fā)”，即事件可以同時被“觸發(fā)”和“使能”，并且難以建模這些事件的動態(tài)狀態(tài)轉(zhuǎn)移。另一方面，拓?fù)渌箲{借其固有的（余）層結(jié)構(gòu)，自然容納圖狀網(wǎng)絡(luò)。當(dāng)在此語境中應(yīng)用時，它隱式支持佩特里網(wǎng)結(jié)構(gòu)，后者擅長捕捉事件的動態(tài)激活和交互，包括并發(fā)和狀態(tài)變化 [2]。我們的工作與 Shiebler 等人工作的比較總結(jié)在表 1 中。

接下來，我們提供實(shí)際示例，說明將拓?fù)渌估碚撊谌霗C(jī)器學(xué)習(xí)的好處。

?示例 1. 降維：傳統(tǒng)方法有風(fēng)險導(dǎo)致信息丟失。拓?fù)渌估碚摾闷浯鷶?shù)性質(zhì)，從而能夠在保持結(jié)構(gòu)完整性和提取關(guān)鍵特征的同時實(shí)現(xiàn)降維。

?示例 2. 機(jī)器學(xué)習(xí)模型的可解釋性：深度學(xué)習(xí)模型通常是“黑盒”。拓?fù)渌估碚撎峁┻壿嬐评韥斫忉尨笠?guī)模模型中的內(nèi)部結(jié)構(gòu)、輸出和涌現(xiàn)現(xiàn)象。

?示例 3. 動態(tài)數(shù)據(jù)分析：傳統(tǒng)靜態(tài)分析難以應(yīng)對演化數(shù)據(jù)。拓?fù)渌估碚撟匀坏夭蹲綍r間變化和局部 - 全局關(guān)系。

圖 2 中的圖表將范疇論機(jī)器學(xué)習(xí)說明為一個統(tǒng)一框架，整合了基于梯度的學(xué)習(xí)、基于概率的學(xué)習(xí)、基于不變性與等價性的學(xué)習(xí)以及基于拓?fù)渌沟膶W(xué)習(xí)，每一部分將在后續(xù)章節(jié)中介紹?；谔荻鹊膶W(xué)習(xí)與基于概率的學(xué)習(xí)雙向交互，其中梯度下降等優(yōu)化技術(shù)細(xì)化概率模型，而概率分布增強(qiáng)優(yōu)化效率。基于概率的學(xué)習(xí)進(jìn)一步連接到流形學(xué)習(xí)和聚類，將概率度量推廣為結(jié)構(gòu)化的幾何表示?；诓蛔冃耘c等價性的學(xué)習(xí)建立在這些基礎(chǔ)之上，結(jié)合持久同調(diào)來捕捉拓?fù)洳蛔兞亢徒Y(jié)構(gòu)一致性。基于拓?fù)渌沟膶W(xué)習(xí)將范疇結(jié)構(gòu)擴(kuò)展到高階邏輯，提供了一個框架來分析神經(jīng)網(wǎng)絡(luò)中的組合關(guān)系和邏輯推理。這一集成框架強(qiáng)調(diào)結(jié)構(gòu)化學(xué)習(xí)，確保不同學(xué)習(xí)范式之間的一致性。

以下內(nèi)容闡述了機(jī)器學(xué)習(xí)的一種范疇與拓?fù)渌估碚摲椒?，其結(jié)構(gòu)如下：

1. 在基于梯度的學(xué)習(xí)中，我們介紹基范疇、函子以及組合優(yōu)化的結(jié)構(gòu)。

2. 在基于概率的學(xué)習(xí)中，我們呈現(xiàn)范疇概率模型、貝葉斯推斷以及概率編程。

3. 在基于不變性與等價性的學(xué)習(xí)中，我們探討范疇聚類、流形學(xué)習(xí)以及持續(xù)同調(diào)。在基于拓?fù)渌沟膶W(xué)習(xí)中，我們在拉福格報告的基礎(chǔ)上，將層與疊結(jié)構(gòu)應(yīng)用于機(jī)器學(xué)習(xí)。

4. 最后，我們討論應(yīng)用與未來方向，涵蓋受挫型AI系統(tǒng)、范疇建模以及新興挑戰(zhàn)。
   在下文中，我們通常使用無襯線字體表示范疇，使用粗體表示函子，盡管偶爾會用不同字體來強(qiáng)調(diào)層/拓?fù)渌埂?/p>

2. 基于梯度的學(xué)習(xí)進(jìn)展

將范疇論概念整合到具體、可模塊化的學(xué)習(xí)過程或方法中的主要目標(biāo)，是利用組合性，使現(xiàn)有過程能夠通過圖形化（圖表化）表示和演算來呈現(xiàn)，其中模塊化設(shè)計便于對各個組件進(jìn)行替換。對于現(xiàn)有方法，在文獻(xiàn)[3]中，作者列舉了不同的梯度下降優(yōu)化算法并比較了它們的行為。而范疇論方法則突出了它們的相似性，并將不同的算法/優(yōu)化器整合到學(xué)習(xí)過程中的一個統(tǒng)一框架內(nèi)。我們在表2中總結(jié)了范疇框架內(nèi)梯度下降優(yōu)化器的差異與特征。在文獻(xiàn)[4]中，作者發(fā)展了聚焦于最經(jīng)典、最直接的基于梯度的學(xué)習(xí)方法的范疇框架，展示了通過組合他們所定義的范疇組件所能實(shí)現(xiàn)的各種變體。具體而言，圖形化表示、語義性質(zhì)以及圖表化推理——這些范疇論的關(guān)鍵方面——被視為學(xué)習(xí)的嚴(yán)格語義基礎(chǔ)。它們還通過組合性促進(jìn)了可擴(kuò)展深度學(xué)習(xí)系統(tǒng)的構(gòu)建。

在本節(jié)中，我們旨在闡釋如何應(yīng)用（低階）范疇語義來理解梯度學(xué)習(xí)的基本結(jié)構(gòu)，這是深度學(xué)習(xí)范式的核心組成部分。主流方法是將學(xué)習(xí)過程分解為若干獨(dú)立組件：參數(shù)組件、雙向數(shù)據(jù)流組件以及微分組件。這些組件——尤其是雙向組件，即透鏡與光學(xué)器件——在其他機(jī)器學(xué)習(xí)范疇框架中得到了廣泛應(yīng)用。在介紹完基本框架之后，我們將在第2.3節(jié)中呈現(xiàn)相關(guān)研究。

謝布勒等人[1]在他們的綜述中概述了基本結(jié)構(gòu)。然而，對于沒有數(shù)學(xué)背景的普通讀者來說，他們的定義和解釋可能相當(dāng)具有挑戰(zhàn)性。因此，我們以更易于理解的方式簡要勾勒出最常用的概念。

為了在技術(shù)層面介紹本工作中關(guān)鍵的參數(shù)化透鏡結(jié)構(gòu)，我們首先概述文獻(xiàn)[4,5]中確定的基于梯度學(xué)習(xí)的三個關(guān)鍵特征。每個特征分別對應(yīng)一個特定的范疇構(gòu)造。

這些概念總結(jié)在表3中。該表提供了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的關(guān)鍵特征及其范疇構(gòu)造。參數(shù)性由Para表示，它捕捉了監(jiān)督學(xué)習(xí)中的參數(shù)化映射。雙向性由Lens（透鏡）建模，描述了信息的前向與反向流動，這對于反向傳播至關(guān)重要。微分性使用CRDC表達(dá)，通過對參數(shù)進(jìn)行微分以最小化損失，從而形式化了損失函數(shù)的優(yōu)化過程。這些構(gòu)造為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)動態(tài)提供了范疇論的視角。

這些基本設(shè)置可以擴(kuò)展或修改，以適應(yīng)不同的學(xué)習(xí)任務(wù)、方法或數(shù)據(jù)集。例如，基于雙范疇和作用范疇的方法適用于不同的對象（如多項式電路）或方法論（如使用格羅滕迪克透鏡而非標(biāo)準(zhǔn)透鏡函子的貝葉斯學(xué)習(xí)）。背景范疇的笛卡爾性質(zhì)能夠?qū)崿F(xiàn)對偶性，特別是通過積與余積。文獻(xiàn)[6,7]等研究通過引入?yún)⒘炕?協(xié)參量化態(tài)射以及代數(shù)/余代數(shù)等概念，利用對偶組件擴(kuò)展了這一框架。這些豐富化將不同的網(wǎng)絡(luò)（如GCNN、GAN）整合到一個統(tǒng)一的框架中，同時笛卡爾結(jié)構(gòu)還允許Lawvere理論在基范疇內(nèi)建模代數(shù)結(jié)構(gòu)。

在復(fù)雜的網(wǎng)絡(luò)架構(gòu)中，僅靠基于梯度的組合是不夠的，因為它缺乏確保語義一致性、邏輯有效性和全局一致性的結(jié)構(gòu)約束。因此，基于拓?fù)渌沟膶W(xué)習(xí)通過引入層和疊結(jié)構(gòu)提供了解決方案，這些結(jié)構(gòu)強(qiáng)制了層次化依賴關(guān)系并維持了局部-全局一致性。此外，子對象分類器和纖維范疇對模塊組合進(jìn)行調(diào)節(jié)，防止信息失真。同倫論和范疇不變量進(jìn)一步支持了可擴(kuò)展的建模，在架構(gòu)擴(kuò)展過程中保持結(jié)構(gòu)完整性。因此，拓?fù)渌估碚摂U(kuò)展了組合優(yōu)化，確保了AI系統(tǒng)的可解釋性、適應(yīng)性和邏輯一致性。

現(xiàn)在我們依次給出這些函子和范疇的定義。

定義8（笛卡爾反向微分范疇，由[8]首次提出，并由[9]首次應(yīng)用于機(jī)器學(xué)習(xí)和自動微分領(lǐng)域）。一個笛卡爾反向微分范疇是一個配備了反向微分組合子 R R的笛卡爾左加性范疇 X ，其推理規(guī)則如下給出：

其中，滿足文獻(xiàn)[9]中列出的八個公理的 R [ f ] 被稱為 f 的反向?qū)?shù)。我們尤其要強(qiáng)調(diào)其中的反向鏈?zhǔn)椒▌t公理，該公理定義了復(fù)合映射上的微分運(yùn)算。

在標(biāo)準(zhǔn)計算中，就函數(shù)近似而言，前向?qū)?shù)與反向?qū)?shù)之間更直接的關(guān)系如下：

2.2. 組件的復(fù)合

本節(jié)重點(diǎn)介紹《基于參數(shù)化透鏡的深度學(xué)習(xí)》[5]中的主要成果，該文將參數(shù)化透鏡描述為在基于梯度的學(xué)習(xí)過程中發(fā)揮作用的同質(zhì)組件。

對于最基本的情形，他們討論了一個典型的監(jiān)督學(xué)習(xí)場景及其范疇化。該場景涉及尋找一個參數(shù)化的模型f f，其參數(shù)為 p ∈ P ，這些參數(shù)逐步更新直至滿足特定條件?；谔荻鹊母滤惴ǚQ為優(yōu)化器，它基于損失映射迭代更新這些參數(shù)，并由學(xué)習(xí)率α α控制。文獻(xiàn)[5]的作者強(qiáng)調(diào)，每個組件（包括模型、損失映射、優(yōu)化器和學(xué)習(xí)率）都可以獨(dú)立變化，但都被統(tǒng)一形式化為參數(shù)化透鏡。它們的圖形化定義和類型總結(jié)在表4中。該表總結(jié)了使用參數(shù)化透鏡進(jìn)行范疇化監(jiān)督學(xué)習(xí)的以下關(guān)鍵組件：

• 模型：一個參數(shù)化函數(shù) f : P × X → Y
  ，將輸入映射到輸出，并通過重參數(shù)化實(shí)現(xiàn)參數(shù)更新。

• 損失映射：計算誤差；其反向映射 R [ loss ]
  用于基于梯度的更新。

• 梯度下降：利用梯度信息迭代更新參數(shù)。

• 優(yōu)化器：包括基本變體和帶狀態(tài)變體，后者結(jié)合了記憶以實(shí)現(xiàn)自適應(yīng)更新。

• 學(xué)習(xí)率：控制更新步長的標(biāo)量。

• 角結(jié)構(gòu)：確保學(xué)習(xí)組件之間的兼容性。

這種形式化方法將學(xué)習(xí)過程統(tǒng)一到一個模塊化、可組合的框架中。此外，

可以作為同一框架中數(shù)字電路（作為輸入）學(xué)習(xí)的基范疇被引入[10]。

在文獻(xiàn)[5]中，作者提出了一個全面的參數(shù)化透鏡框架，該框架能夠容納廣泛的變體，包括不同的模型（如線性-偏置-激活神經(jīng)網(wǎng)絡(luò)、布爾電路[11]和多項式電路）、損失函數(shù)（如均方誤差和Softmax交叉熵）以及梯度更新算法。這些算法包括眾所周知的優(yōu)化器，如動量法、涅斯捷羅夫動量法和自適應(yīng)矩估計（ADAM），所有這些都可以在參數(shù)化透鏡框架中進(jìn)行描述。

因此，作者引入的參數(shù)化透鏡框架為建模不同的優(yōu)化算法提供了一種統(tǒng)一的方法，每種算法都具有各自獨(dú)特的特征。參數(shù)化透鏡的圖形化定義依賴于三種類型的接口：輸入、輸出和參數(shù)，這些接口構(gòu)成了基于組件方法的基礎(chǔ)。

作為另一個案例研究，范疇論在基于梯度的學(xué)習(xí)中的一個顯著實(shí)踐應(yīng)用是“numeric-optics-python”庫，該庫將透鏡和反向?qū)?shù)等范疇概念應(yīng)用于神經(jīng)網(wǎng)絡(luò)構(gòu)建與優(yōu)化[12]。該庫遵循組合性方法，使得神經(jīng)網(wǎng)絡(luò)架構(gòu)能夠從原始范疇組件中系統(tǒng)地組裝而成。其框架增強(qiáng)了模塊化和可解釋性，同時保持與傳統(tǒng)深度學(xué)習(xí)框架的兼容性。該庫包含了在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)基準(zhǔn)測試（如Iris和MNIST）上的實(shí)踐實(shí)驗，展示了其在實(shí)際任務(wù)中的有效性。此外，使用Keras的等效實(shí)現(xiàn)提供了直接比較，突顯了其將范疇方法集成到現(xiàn)有基于梯度的優(yōu)化流程中的能力。通過利用范疇光學(xué)和函子式微分，該案例研究 exemplifies 了范疇論如何改善基于梯度的學(xué)習(xí)模型的結(jié)構(gòu)、模塊化和可解釋性，為更具組合性和數(shù)學(xué)基礎(chǔ)的機(jī)器學(xué)習(xí)框架鋪平了道路。在文獻(xiàn)[4,5]的基礎(chǔ)上，數(shù)據(jù)并行算法已在弦圖中得到探索，這些算法能夠基于反向?qū)?shù)高效計算基于梯度的學(xué)習(xí)者的符號表示[13]?；谶@些高效算法，多個Python實(shí)現(xiàn)[14–16]已經(jīng)發(fā)布。這些實(shí)現(xiàn)的特點(diǎn)是速度快、具備數(shù)據(jù)并行能力以及與GPU兼容；它們所需的基本組件/依賴極少，且易于正確實(shí)現(xiàn)。

2.3. 其他相關(guān)研究

Cruttwell 等人 [4] 提出的基于梯度的學(xué)習(xí)范疇框架，在后續(xù)工作 [5,17,18] 中得到完善，該框架建立在 Fong 等人 [19,20] 的基礎(chǔ)研究之上。該框架最初為監(jiān)督學(xué)習(xí)而開發(fā)，后來融入了概率學(xué)習(xí)以處理不確定性 [7,21]。

Cruttwell 等人強(qiáng)調(diào)了學(xué)習(xí)過程的組合性質(zhì)，將模型、優(yōu)化器和損失函數(shù)統(tǒng)一為參數(shù)化透鏡。這種抽象使得系統(tǒng)具有模塊化和可集成性，組件通過函子復(fù)合進(jìn)行交互，并使用圖形化符號進(jìn)行視覺表示。由此產(chǎn)生的開放系統(tǒng)結(jié)構(gòu)與開放佩特里網(wǎng)等框架相一致，確保了學(xué)習(xí)模型設(shè)計的靈活性。

透鏡的一種擴(kuò)展是“光學(xué)器件”。它們對應(yīng)于學(xué)習(xí)過程不涉及“微分”的情況，因此不要求背景范疇具有笛卡爾性質(zhì)。雖然基范疇仍然需要允許過程的并行復(fù)合，但它退化為一種幺半結(jié)構(gòu) [7,20]。

在文獻(xiàn)[22]中，作者討論了使用光學(xué)結(jié)構(gòu)在數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)聚合。他們還考慮了 Poly 范疇，該范疇與（模擬）電路設(shè)計中的機(jī)器學(xué)習(xí)密切相關(guān) [10,23]。另一項工作[24]表明，具有可組合性的服務(wù)器也可以使用透鏡結(jié)構(gòu)進(jìn)行抽象。

在文獻(xiàn)[25]中，特別提到了光學(xué)的更高范疇（2-范疇）性質(zhì)，用于對其內(nèi)部設(shè)置進(jìn)行編程。具體而言，光學(xué)的內(nèi)部配置由2-胞腔描述。從另一個角度來看，2-胞腔封裝了同倫性質(zhì)，這通常被視為范疇系統(tǒng)的內(nèi)部語義。這與文獻(xiàn)[26]中基于拓?fù)渌沟难芯肯嘁恢?。一些相關(guān)內(nèi)容在文獻(xiàn)[27]中也有所提及。

在文獻(xiàn)[28]中，博弈論因素也被整合到這個范疇框架中，該研究更側(cè)重于反饋機(jī)制而非學(xué)習(xí)算法。我們認(rèn)為將他們的思想與強(qiáng)化學(xué)習(xí)[29]（見下一段）相結(jié)合是一個有趣的方向，文獻(xiàn)[30]中提供了現(xiàn)有實(shí)例。

一個關(guān)鍵的實(shí)例是，貝葉斯學(xué)習(xí)過程的組合使用的是光學(xué)器件而非透鏡[31]。我們將在下一節(jié)詳細(xì)介紹這項工作。由于決策是基于策略和貝葉斯推理做出的，他們引入了“作用范疇”的概念來表達(dá)范疇上的作用，這也與幺半結(jié)構(gòu)相關(guān)（笛卡爾范疇是具有附加結(jié)構(gòu)的一類特定幺半范疇，例如對稱張量積和投影映射）。此外，文獻(xiàn)[29]中采用了類似的結(jié)構(gòu)，將組件組合框架擴(kuò)展到了強(qiáng)化學(xué)習(xí)。他們展示了如何將強(qiáng)化學(xué)習(xí)的幾種主要算法納入范疇參數(shù)化雙向過程的框架中，其中強(qiáng)化學(xué)習(xí)智能體的可用動作取決于馬爾可夫鏈的當(dāng)前狀態(tài)。在文獻(xiàn)[32]中，作者考慮了如何同時以自上而下的方式指定約束和以自下而上的方式進(jìn)行實(shí)現(xiàn)。這種方法引入代數(shù)結(jié)構(gòu)來扮演“動作”的角色，或者更準(zhǔn)確地說，是動作下的不變性或等變性。在這種背景下，他們選擇引入單子結(jié)構(gòu)，并使用單子代數(shù)同態(tài)來描述等變性。他們框架的一個重要實(shí)例是幾何深度學(xué)習(xí)，其主要目標(biāo)是找到神經(jīng)網(wǎng)絡(luò)層，這些層是與群作用相關(guān)聯(lián)的單子的單子代數(shù)同態(tài)。值得注意的是，這種結(jié)構(gòu)與文獻(xiàn)[26]中的“層作用”進(jìn)一步相關(guān)。

當(dāng)這個框架進(jìn)一步擴(kuò)展到流形學(xué)習(xí)時，流形上的點(diǎn)具有附加數(shù)據(jù)（在其切空間中），僅考慮數(shù)據(jù)本身的反向微分范疇就不夠充分了。文獻(xiàn)[18]將基范疇擴(kuò)展到了反向切范疇，即其微分叢具有對合運(yùn)算的范疇。

將范疇論應(yīng)用于基于梯度的學(xué)習(xí)的其他研究包括文獻(xiàn)[33]。這項工作主要為具有表達(dá)性特征的編程語言服務(wù)。作者將他們的結(jié)果建立在原始自動微分算法之上，將其視為從源編程語言的語法到目標(biāo)語言語法的同態(tài)（保結(jié)構(gòu)）函子。這種方法可擴(kuò)展到高階原語，例如對構(gòu)造性數(shù)據(jù)結(jié)構(gòu)的映射操作。因此，他們可以利用自動微分來構(gòu)建諸如微分方程和代數(shù)方程求解器等實(shí)例。

一些研究，如文獻(xiàn)[13,34,35]，也提供了關(guān)于范疇學(xué)習(xí)在神經(jīng)電路圖和深度學(xué)習(xí)中的組合性、圖形化和符號化性質(zhì)的全面思路。他們的工作還討論了相關(guān)的語義。

3. 基于概率的學(xué)習(xí)進(jìn)展

概率在機(jī)器學(xué)習(xí)中扮演著關(guān)鍵角色，特別是在概率建模、貝葉斯推理和生成模型等領(lǐng)域。許多機(jī)器學(xué)習(xí)任務(wù)可以構(gòu)架為優(yōu)化問題，其目標(biāo)是最小化損失函數(shù)。在此背景下，有效解決問題需要仔細(xì)考慮數(shù)據(jù)集的來源和局限性，例如偏差和數(shù)據(jù)質(zhì)量。在概率方法中，不確定性通過概率論和貝葉斯推理進(jìn)行建模，將監(jiān)督學(xué)習(xí)轉(zhuǎn)化為對輸出分布進(jìn)行近似的問題。

在范疇論中，隨機(jī)行為在馬爾可夫范疇和隨機(jī)映射范疇（例如Stoch、FinStoch）等范疇中進(jìn)行研究，其中態(tài)射表示概率轉(zhuǎn)移，對不確定性隨時間的演化進(jìn)行建模。

以下是機(jī)器學(xué)習(xí)中關(guān)鍵概率類型的概述：

?經(jīng)驗概率：定義為事件發(fā)生次數(shù)與總觀測次數(shù)的比率。在范疇論背景下，經(jīng)驗概率以三種不同方式表示：首先，作為將觀測值 A A映射到分布 Δ ( A )
的函子；其次，通過捕捉有限測度的吉里單子；第三，在測度論概率框架內(nèi)，通過Meas等范疇形式化可測空間和可測函數(shù)。

?理論概率：定義為有利結(jié)果與可能結(jié)果的比率。在范疇論中，理論概率使用吉里單子來表示概率分布，并使用Meas等范疇來形式化可測空間和函數(shù)。此外，幺半范疇為組合分布提供了結(jié)構(gòu)化的框架，有助于對機(jī)器學(xué)習(xí)中的概率過程進(jìn)行建模。

?聯(lián)合概率：聯(lián)合概率 P ( A ∩ B ) = P ( A ) × P ( B ) 量化了兩個事件同時發(fā)生的可能性。在范疇論中，它通過馬爾可夫范疇中的復(fù)制結(jié)構(gòu)或幺半范疇中的張量積進(jìn)行建模。

?機(jī)器學(xué)習(xí)中的條件概率與貝葉斯定理：條件概率在概率推理中發(fā)揮著基礎(chǔ)性作用，允許基于新信息更新信念。在機(jī)器學(xué)習(xí)中，它廣泛應(yīng)用于概率模型，如貝葉斯網(wǎng)絡(luò)和隱馬爾可夫模型。兩個事件的聯(lián)合概率可以表示為：

這構(gòu)成了學(xué)習(xí)算法中順序決策與推理的基礎(chǔ)。條件概率的一個直接應(yīng)用是貝葉斯定理，它根據(jù)新證據(jù)更新假設(shè)的概率，其表達(dá)式如下：

該定理在貝葉斯推理中至關(guān)重要，廣泛應(yīng)用于生成模型、強(qiáng)化學(xué)習(xí)和不確定性量化。

用范疇論的術(shù)語來說，概率轉(zhuǎn)移可以使用馬爾可夫范疇進(jìn)行建模，其中條件依賴關(guān)系被自然地表示出來。然而，對于實(shí)際的機(jī)器學(xué)習(xí)應(yīng)用，重點(diǎn)仍在于高效的近似技術(shù)，如變分推斷和蒙特卡洛方法，以處理復(fù)雜分布。

統(tǒng)計學(xué)構(gòu)成了機(jī)器學(xué)習(xí)的支柱，為數(shù)據(jù)分析、解釋和推斷提供了基本的方法論。具體而言，其在機(jī)器學(xué)習(xí)中的應(yīng)用包括：泊松過程、鞅、概率度量、經(jīng)驗過程、Vapnik-Chervonenkis（VC）理論、大偏差、指數(shù)族，以及馬爾可夫鏈蒙特卡洛等模擬技術(shù)。我們特別指出，代數(shù)幾何領(lǐng)域也與機(jī)器學(xué)習(xí)中的統(tǒng)計方法密切相關(guān)[36]。機(jī)器學(xué)習(xí)中的統(tǒng)計方法大致分為兩個關(guān)鍵領(lǐng)域：

?描述性統(tǒng)計：通過集中趨勢、離散程度和可視化技術(shù)等度量來總結(jié)數(shù)據(jù)特征，提供對分布模式和趨勢的洞察。

?推斷性統(tǒng)計：利用樣本數(shù)據(jù)估計總體參數(shù)，為假設(shè)檢驗、區(qū)間估計和預(yù)測建模提供支持。

3.1. 概率與統(tǒng)計學(xué)習(xí)的范疇背景

在機(jī)器學(xué)習(xí)中，預(yù)定義數(shù)據(jù)集通常被用來構(gòu)建優(yōu)化問題。要有效解決這些問題，需要深入理解數(shù)據(jù)的來源、偏差及其固有局限性。理解數(shù)據(jù)分布對于機(jī)器學(xué)習(xí)至關(guān)重要。隨機(jī)不確定性通過概率論和貝葉斯推理進(jìn)行建模，從而在監(jiān)督學(xué)習(xí)中實(shí)現(xiàn)從函數(shù)近似到分布近似的轉(zhuǎn)變。這種轉(zhuǎn)變有效地處理了偶然不確定性，這種不確定性無法通過單純增加數(shù)據(jù)集規(guī)模來降低。

范疇論是一個強(qiáng)大的框架，用于分析和解釋各類模型中的隨機(jī)性，將概率論、統(tǒng)計學(xué)和信息論聯(lián)系起來。這種方法為開發(fā)穩(wěn)健且廣泛適用的學(xué)習(xí)模型奠定了堅實(shí)的基礎(chǔ)。

該領(lǐng)域的一個重大進(jìn)展是貝葉斯學(xué)習(xí)框架的范疇化形式化。貝葉斯學(xué)習(xí)將先驗知識與觀測數(shù)據(jù)相結(jié)合，以優(yōu)化模型參數(shù)。先驗分布在觀測數(shù)據(jù)之前表示信念，而后驗分布則通過納入新證據(jù)來更新這些信念。貝葉斯法則從先驗和似然推導(dǎo)出后驗分布，確保參數(shù)估計與觀測數(shù)據(jù)一致。貝葉斯方法不僅提供最優(yōu)參數(shù)估計，還通過后驗分布量化不確定性，后驗分布既捕捉了數(shù)據(jù)變異性，也包含了固有隨機(jī)性。這使得貝葉斯學(xué)習(xí)成為一個穩(wěn)健且自適應(yīng)的模型開發(fā)框架。概率論的范疇論方法提供了一個抽象且統(tǒng)一的框架，可大致概括如下：

?傳統(tǒng)概率論結(jié)構(gòu)的范疇化：概率空間和積分等結(jié)構(gòu)可以通過吉里單子等結(jié)構(gòu)進(jìn)行范疇化，吉里單子將可測空間映射到概率測度，同時保持可測結(jié)構(gòu)。這些框架形式化了空間與概率測度之間的關(guān)系，從而能夠構(gòu)建組合性概率模型。

?綜合概率與統(tǒng)計概念的范疇化：某些公理和結(jié)構(gòu)被視為概率邏輯中的“基礎(chǔ)”，由此推導(dǎo)出推理過程。測度論模型是這些抽象框架的具體實(shí)例。馬爾可夫范疇用于表示隨機(jī)映射、條件概率以及概率系統(tǒng)中的組合推理。

早期的范疇框架形式化了概率測度。Lawvere [37] 和 Giry [38] 引入了概率測度的范疇視角。文獻(xiàn)[39]聚焦于由此產(chǎn)生的超濾子單子，這是一種當(dāng)概率單子由沒有伴隨的函子誘導(dǎo)時得到的結(jié)構(gòu)，稱為余密度單子。他們證明了集合上的超濾子單子可以解釋為將子集映射到二元素集的功能性映射，滿足有限可加概率測度的性質(zhì)。文獻(xiàn)[40]隨后推廣了這一框架，將這種概率測度描述為一個弱平均的、仿射可測泛函，映射到 [ 0 , 1 ] 中?？臻g上的概率測度被證明構(gòu)成了吉里單子的子單子的元素。

在處理離散性起著關(guān)鍵作用的現(xiàn)實(shí)世界數(shù)據(jù)集時，這一點(diǎn)具有更深層的意義。文獻(xiàn)[41]表明，吉里單子可以限制在具有離散 σ -代數(shù)的可數(shù)可測空間上，從而從余密度單子得到一個受限的吉里函子。這表明自然數(shù) N 對于此類應(yīng)用是“足夠”的。在這里，標(biāo)準(zhǔn)可測空間被波蘭空間取代，而波蘭空間這一類別在范疇概率相關(guān)的機(jī)器學(xué)習(xí)中尚未得到充分探索。

吉里單子結(jié)構(gòu)已被應(yīng)用于許多領(lǐng)域，例如文獻(xiàn)[42]中，隨機(jī)自動機(jī)被構(gòu)建為幺半群和吉里單子上的代數(shù)。這篇綜述重點(diǎn)介紹了使用吉里單子對貝葉斯網(wǎng)絡(luò)[21]、貝葉斯推理和推斷[43,44]的范疇論方法。為了說明測度論視角如何融入機(jī)器學(xué)習(xí)中的概率推斷，我們在表5中總結(jié)了吉里單子的作用。

馬爾可夫范疇通過隨機(jī)函數(shù)來表示“隨機(jī)性”，為理解概率提供了一種獨(dú)特的綜合方法。對馬爾可夫范疇的研究最早可追溯到 Lawvere [37] 和 Chentsov [45]。相關(guān)研究包括早期的綜合研究[46–48]，以及 Kallenberg [49]、Fritz [50,51,51–54] 和 Sabok [55] 等人對馬爾可夫范疇的帶限制的專門化研究。馬爾可夫范疇的優(yōu)勢在于其圖形演算，這簡化了將基于圖表的操作轉(zhuǎn)換為編程語言的過程[31,55,56]。

范疇論在概率機(jī)器學(xué)習(xí)中的應(yīng)用旨在闡明性質(zhì)并促進(jìn)數(shù)據(jù)更新，特別是針對概率分布和不確定性推斷。關(guān)鍵步驟包括形式化隨機(jī)變量、在范疇框架中對學(xué)習(xí)過程進(jìn)行建模，以及建立概率推理的原則。例如，隨機(jī)變量被視為范疇中的態(tài)射，學(xué)習(xí)過程被視為數(shù)據(jù)范疇與模型范疇之間的函子。貝葉斯機(jī)器學(xué)習(xí)使用范疇方法對函數(shù)空間進(jìn)行參數(shù)化和非參數(shù)化推理，用范疇結(jié)構(gòu)表示先驗、似然和后驗。這些框架使得組合推理成為可能，其中概率更新以組合方式進(jìn)行建模，尤其是在監(jiān)督學(xué)習(xí)中。范疇貝葉斯概率形式化了先驗知識以及基于數(shù)據(jù)的信念更新。

概率建模的范疇方法提供了實(shí)際優(yōu)勢，如簡化證明、補(bǔ)充測度論方法，以及直觀地表示復(fù)雜的概率關(guān)系。例如，馬爾可夫范疇為推理隨機(jī)過程、條件概率和獨(dú)立性提供了一個框架。相關(guān)研究包括文獻(xiàn)[1,21,31,43,44]等貢獻(xiàn)。實(shí)驗研究，如文獻(xiàn)[57]，展示了范疇理論在自動推理系統(tǒng)[58–60]中的應(yīng)用，證明了其在機(jī)器學(xué)習(xí)中的實(shí)際價值。

3.2. 預(yù)備知識與基本概念

在本節(jié)中，我們將介紹與研究相關(guān)的關(guān)鍵預(yù)備知識和基本概念。

關(guān)鍵操作，如推前和積分，在 QBS 中也是定義良好的，確保了概率結(jié)構(gòu)的保持。此外，在概率機(jī)器學(xué)習(xí)的應(yīng)用中，QBS 促進(jìn)了貝葉斯推理、隨機(jī)映射和概率編程中的結(jié)構(gòu)化推理，為復(fù)雜模型提供了一個組合性框架。

總之，擬博雷爾空間恢復(fù)了笛卡爾閉性，使其成為在機(jī)器學(xué)習(xí)中構(gòu)建高階概率計算、同時確保與傳統(tǒng)概率論兼容的強(qiáng)大工具。

隨機(jī)映射通過指定狀態(tài)之間的概率性轉(zhuǎn)移而非確定性轉(zhuǎn)移來對不確定性進(jìn)行建模。在機(jī)器學(xué)習(xí)中，它在馬爾可夫決策過程、強(qiáng)化學(xué)習(xí)和概率圖模型中扮演著基礎(chǔ)性角色。具體而言：

• 在馬爾可夫鏈中，隨機(jī)映射描述了狀態(tài)之間的轉(zhuǎn)移概率，構(gòu)成了序列依賴性建模的基礎(chǔ)。

• 在強(qiáng)化學(xué)習(xí)中，策略函數(shù)和轉(zhuǎn)移模型通常被表示為隨機(jī)映射，捕捉環(huán)境動態(tài)中的固有隨機(jī)性。

• 在概率推斷中，隨機(jī)映射定義了貝葉斯網(wǎng)絡(luò)和隱馬爾可夫模型中的條件分布。

隨機(jī)核將隨機(jī)映射推廣到連續(xù)空間，允許在 Y 的任意可測子集之間進(jìn)行概率性轉(zhuǎn)移，而不僅僅是在離散點(diǎn)之間。它是以下領(lǐng)域的關(guān)鍵工具：

• 貝葉斯學(xué)習(xí)：對貝葉斯推理中的后驗分布進(jìn)行建模。

• 順序決策：表示隨機(jī)控制和強(qiáng)化學(xué)習(xí)中的轉(zhuǎn)移動態(tài)。

• 變分推斷：在隨機(jī)優(yōu)化和蒙特卡洛方法中定義概率測度。

在機(jī)器學(xué)習(xí)中，隨機(jī)映射和隨機(jī)核能夠?qū)Σ淮_定性進(jìn)行結(jié)構(gòu)化建模，從而在概率假設(shè)下促進(jìn)穩(wěn)健的決策制定。

利用隨機(jī)核和馬爾可夫核，我們可以定義范疇概率學(xué)習(xí)研究中常用的以下范疇，其中這些核作為態(tài)射（見表6）。

基于概率的學(xué)習(xí)過程的范疇化涉及使用以下單子來處理概率測度（定義參見文獻(xiàn)[46,63]）。

如前所述，馬爾可夫范疇是其態(tài)射編碼“隨機(jī)性”的范疇。在基于范疇的概率學(xué)習(xí)中，馬爾可夫范疇背景對于描述貝葉斯反演、隨機(jī)依賴關(guān)系以及隨機(jī)性與確定性之間的相互作用是必要的。

接下來，表7列出了此背景下一些常用的概率單子。

構(gòu)建馬爾可夫范疇最常見的方法之一是將其構(gòu)建為克萊斯利范疇，這涉及在基范疇上添加一個交換單子結(jié)構(gòu)。下面我們介紹一個典型例子：Meas上的吉里單子。

Meas（及其相關(guān)子范疇）上吉里單子的克萊斯利態(tài)射即為馬爾可夫核。因此，其克萊斯利范疇即為Stoch范疇，這是馬爾可夫范疇的一個重要實(shí)例。

相應(yīng)的克萊斯利范疇（在基范疇基礎(chǔ)上附加單子結(jié)構(gòu)，具有如 C ( X , D ( Y ) )形式的態(tài)射）可以描述一個對象與另一個對象相關(guān)聯(lián)的概率分布，從而構(gòu)成一個馬爾可夫范疇。因此，一旦存在概率分布，就自然存在一個對應(yīng)的馬爾可夫范疇。

接下來，我們介紹概率學(xué)習(xí)中的另一個常用分布單子。

離散熵始終非負(fù)，而連續(xù)熵由于使用密度函數(shù)，可能取負(fù)值。在這兩種情況下， H ( X ) 都衡量隨機(jī)變量 X 的平均不確定性或驚奇度。

3.3. 范疇貝葉斯學(xué)習(xí)框架

在神谷等人 [31] 的工作中，作者引入了一個用于貝葉斯推斷和學(xué)習(xí)的范疇框架。他們的方法主要基于文獻(xiàn)[4,19]的思想，并引入了馬爾可夫范疇的相關(guān)概念來形式化整個框架。其關(guān)鍵思想可概括為兩點(diǎn)：

• 貝葉斯推斷與反向傳播的結(jié)合產(chǎn)生了貝葉斯逆。

• 基于梯度的學(xué)習(xí)過程被進(jìn)一步形式化為一個函子GL。

由此，他們發(fā)現(xiàn)貝葉斯學(xué)習(xí)是文獻(xiàn)[4]中描述的學(xué)習(xí)范式的最簡單情形。作者還構(gòu)建了批量貝葉斯更新和序貫貝葉斯更新的范疇表述，并在一個特例中驗證了這兩者的一致性。

3.3.1. 概率模型

他們工作的基本思想是使用條件概率 p ( y ∣ x ) 來建模兩個隨機(jī)變量之間的關(guān)系。與基于梯度的學(xué)習(xí)方法不同，貝葉斯機(jī)器學(xué)習(xí)使用貝葉斯定理來更新參數(shù) θ θ上的先驗分布 q ( θ )
。后驗分布由下式定義（直至歸一化常數(shù)）：

這種方法對于貝葉斯機(jī)器學(xué)習(xí)至關(guān)重要，因為它利用貝葉斯定理來更新參數(shù)分布，而不是固定在某個確定值上。通過關(guān)注這些分布而非固定的點(diǎn)估計，貝葉斯框架增強(qiáng)了其管理數(shù)據(jù)不確定性的能力，從而提高了模型的泛化能力。

文獻(xiàn)[4]中的模型作為一個具有輸入、輸出和參數(shù)的函數(shù) f f，被調(diào)整為以下模型：對于輸入數(shù)據(jù)和參數(shù)而言，當(dāng)它們?yōu)榉植紩r，數(shù)據(jù)并行和數(shù)據(jù)融合就變得復(fù)雜得多。因此，以下概念（如聯(lián)合分布、反解、條件分布）變得十分必要。

3.3.3. 最終組合：BayesLearn 函子

最終目標(biāo)是將整個貝葉斯過程綜合成一個函子BayesLearn，使其構(gòu)造能夠捕捉貝葉斯學(xué)習(xí)的特征。除了前述的Para函子之外，還需要納入一個反向反饋機(jī)制（透鏡）。在此背景下，為了保持作用范疇的特征，構(gòu)造中使用了格羅滕迪克透鏡。

以下是從圖片中提取的文字：

BayesLearn函子不像梯度學(xué)習(xí)函子那樣包含更新或移位操作。這是因為貝葉斯學(xué)習(xí)的本質(zhì)相對簡化；在此，參數(shù)更新對應(yīng)于使用先驗和似然獲得后驗分布，而不是作為相對于損失函數(shù)優(yōu)化的結(jié)果。

使用后驗分布進(jìn)行預(yù)測的方法可以在范疇內(nèi)形式化，即通過考慮以下復(fù)合：

3.4. 其他相關(guān)研究

3.4.1. 范疇概率框架與貝葉斯推斷

Fritz 等人 [53] 發(fā)展了一個概率論的范疇框架，該框架為許多基于概率的機(jī)器學(xué)習(xí)現(xiàn)代方法奠定了基礎(chǔ)。通過利用吉里單子和馬爾可夫范疇等概念，該框架在經(jīng)典概率論與范疇結(jié)構(gòu)之間架起了橋梁。類似模型，如文獻(xiàn)[31,43,59]中的模型，進(jìn)一步細(xì)化了這種聯(lián)系，強(qiáng)調(diào)了連貫性和適應(yīng)性。

該框架的一個主要應(yīng)用是貝葉斯推斷，其中使用對數(shù)線性模型來表達(dá)多元分類數(shù)據(jù)中的關(guān)系和條件獨(dú)立性。Categorical-from-binary 模型使得對廣義線性模型的高效貝葉斯分析成為可能，特別是在類別數(shù)量眾多的情況下。這些模型簡化了計算，降低了數(shù)據(jù)編碼和操作的復(fù)雜性。貝葉斯方法，包括共軛先驗、非對稱超參數(shù)和 MCMC 技術(shù)，被無縫集成，在保持與范疇結(jié)構(gòu)兼容的同時促進(jìn)了高效推斷。例如，MCMC 過程可以被解釋為馬爾可夫范疇內(nèi)的態(tài)射，這與概率系統(tǒng)固有的隨機(jī)轉(zhuǎn)移相一致。

該框架內(nèi)的概率測度被視為弱平均的仿射可測泛函，它們保持極限，在可測空間范疇Meas上構(gòu)成了雙重對偶單子的子單子。該子單子與吉里單子同構(gòu) [54]，強(qiáng)化了其經(jīng)典適用性。此外，吉里單子作為描述和操作概率測度的形式化橋梁。

除了經(jīng)典概率論，該框架還能容納廣義模型，包括模糊概率論。通過使用富范疇和子單子對概率測度進(jìn)行建模，它提供了一種靈活的方法來處理不同背景下的不確定性。這種適應(yīng)性使該框架能夠與未來處理數(shù)據(jù)不精確性或模糊性的模型進(jìn)行整合。

3.4.2. 廣義模型與概率編程

Baez 等人 [67] 首次討論了范疇視角與統(tǒng)計場論之間的聯(lián)系，包括其歐幾里得形式的量子力學(xué)和量子場論。他們發(fā)現(xiàn)了與非參數(shù)貝葉斯方法的相似性，并探索了使用單子構(gòu)建概率論的方法。這種構(gòu)造與貝葉斯視角下的分布上的分布（如狄利克雷過程）相一致。在文獻(xiàn)[68]中，作者強(qiáng)調(diào)，在統(tǒng)計學(xué)習(xí)理論中，假設(shè)空間的豐富程度并非由參數(shù)數(shù)量決定，而是由衡量可證偽性的 VC 維數(shù)決定。因此，在此背景下引入邏輯分類（如拓?fù)渌菇Y(jié)構(gòu)）是自然的。

進(jìn)一步的研究強(qiáng)調(diào)了句法在機(jī)器學(xué)習(xí)中的作用，特別是在自然語言處理等領(lǐng)域。句法確保了數(shù)據(jù)編碼過程中結(jié)構(gòu)和關(guān)系屬性的保持。范疇方法通過函子框架，在維持結(jié)構(gòu)一致性和闡明數(shù)據(jù)關(guān)系傳播方面提供了魯棒性 [69,70]。

為了應(yīng)對這一挑戰(zhàn)，文獻(xiàn)[70]引入了一種分類偽距離，該距離源自 softmax 函數(shù)，用于將數(shù)據(jù)集轉(zhuǎn)換為廣義度量空間。這種方法量化了結(jié)構(gòu)差異，并在保持關(guān)系信息的同時促進(jìn)了基于句法的比較。

在應(yīng)用層面，貝葉斯綜合通過有效管理復(fù)雜統(tǒng)計模型中的不確定性，推動了概率編程的發(fā)展。該方法的核心是貝葉斯網(wǎng)絡(luò)，它使用有向無環(huán)圖表示依賴結(jié)構(gòu)。它們簡化了聯(lián)合分布的表示，并通過提取條件獨(dú)立性關(guān)系來實(shí)現(xiàn)高效推斷，從而降低了計算復(fù)雜度。此外，概率圖模型中的馬爾可夫隨機(jī)過程支持可擴(kuò)展的推斷 [59]。

另一個關(guān)鍵組成部分是基于 Strassen 定理 [71] 的概率耦合，它能夠在采樣空間之間無需雙射的情況下實(shí)現(xiàn)分布之間的耦合。這增強(qiáng)了概率編程的表達(dá)能力。最后，貝葉斯透鏡簡化了貝葉斯更新，類似于數(shù)值計算中的自動微分，為概率編程語言提供了靈活性和適應(yīng)性 [60]。

3.4.3. 范疇結(jié)構(gòu)的應(yīng)用與先進(jìn)技術(shù)

概率的綜合方法關(guān)注概率對象之間的關(guān)系而非其具體定義，在馬爾可夫范疇框架內(nèi)為概率論與統(tǒng)計學(xué)提供了堅實(shí)的基礎(chǔ)。通過從具體表示中抽象出來，它強(qiáng)調(diào)了概率系統(tǒng)的組合性和結(jié)構(gòu)性，促進(jìn)了諸如描述極端概率行為的零一律等基本結(jié)果的發(fā)展[52]。該框架還通過貝葉斯綜合增強(qiáng)了概率編程，特別是在 Stan 和 WebPPL 等語言中。貝葉斯綜合既支持軟約束——允許靈活的正則化或部分觀測，也支持精確條件化——確保嚴(yán)格遵守觀測數(shù)據(jù)。這種雙重能力使得精確且適應(yīng)性強(qiáng)的統(tǒng)計建模成為可能，而高斯概率語言中的語義分析則展示了貝葉斯綜合在馬爾可夫范疇結(jié)構(gòu)化框架內(nèi)的運(yùn)作。

Shiebler 等人 [1] 提供了因果性的范疇視角，涵蓋了因果獨(dú)立性、條件以及干預(yù)效應(yīng)等關(guān)鍵組成部分。這一視角利用范疇論的抽象性和組合性來建模和推斷因果關(guān)系。在貝葉斯因果推斷框架中，潛在結(jié)果方法處理因果估計量、識別假設(shè)、貝葉斯估計和敏感性分析。傾向評分、可識別性技術(shù)和先驗選擇等工具是穩(wěn)健因果建模不可或缺的部分。一個基于幺半范疇和因果理論的形式化圖形框架引入了代數(shù)結(jié)構(gòu)，增強(qiáng)了我們對因果關(guān)系的理解。幺半范疇使用張量積表示獨(dú)立或并行的過程，而因果理論則形式化了它們之間的交互。特別是馬爾可夫范疇，為推理隨機(jī)映射和噪聲處理單元提供了一個組合性框架[72,73]。馬爾可夫范疇中的對象表示可能狀態(tài)的空間，態(tài)射作為可能引入噪聲的信道，從而能夠精確解釋因果關(guān)系[1]。

弦圖作為可視化和分析因果模型的強(qiáng)大工具。當(dāng)根據(jù)因果模型的規(guī)范進(jìn)行分解時，這些圖與馬爾可夫范疇中的態(tài)射相對應(yīng)。例如，弦圖的分解可能表示一個因果系統(tǒng)，其中變量通過噪聲信道相互影響，反映了概率依賴關(guān)系。這種兼容性凸顯了因果結(jié)構(gòu)與概率關(guān)系之間的深層聯(lián)系[74]。諸如二階隨機(jī)占優(yōu)和 Blackwell-Sherman-Stein 定理等關(guān)鍵概念進(jìn)一步深化了我們對因果推斷的理解[53]。在這個范疇框架中，因果模型抽象地表示了因果獨(dú)立性、條件和干預(yù)效應(yīng)，超越了結(jié)構(gòu)方程模型或因果貝葉斯網(wǎng)絡(luò)等特定模型的方法。相反，因果模型被形式化為弦圖的概率解釋，通過函子之間的自然變換（稱為抽象和等價）建立等價關(guān)系。這種抽象使我們能夠更一般、更統(tǒng)一地理解因果關(guān)系，為推理因果關(guān)系和干預(yù)效應(yīng)提供了原則性的基礎(chǔ)。

在文獻(xiàn)[57]中，探討了對稱幺半范疇和 operad 等范疇結(jié)構(gòu)與攤銷變分推斷在 DisCoPyro 等框架中的整合。對稱幺半范疇能夠?qū)M合過程進(jìn)行建模，而 operad 則形式化了層次化和模塊化結(jié)構(gòu)。這些結(jié)構(gòu)與變分推斷框架的迭代和模塊化性質(zhì)自然契合。這種整合展示了馬爾可夫范疇如何連接抽象的數(shù)學(xué)基礎(chǔ)與實(shí)際的機(jī)器學(xué)習(xí)應(yīng)用，從而提高了貝葉斯模型的效率和表達(dá)能力。通過利用范疇方法，可以構(gòu)建用于函數(shù)空間（如高斯過程）上參數(shù)化和非參數(shù)化貝葉斯推理的模型，并在對稱幺半弱閉范疇內(nèi)分析性地定義推斷映射。這些發(fā)展凸顯了馬爾可夫范疇為監(jiān)督學(xué)習(xí)和一般隨機(jī)過程提供統(tǒng)一且穩(wěn)健基礎(chǔ)的潛力。

從代數(shù)角度來看，文獻(xiàn)[75]引入了范疇體和函子體的概念來刻畫條件獨(dú)立性的普遍性質(zhì)。范疇體擴(kuò)展了傳統(tǒng)范疇以適應(yīng)概率結(jié)構(gòu)，而函子體則推廣了函子以捕捉條件獨(dú)立性的關(guān)系。如前所述，關(guān)于擬博雷爾空間（它是笛卡爾閉的）的研究支持高階函數(shù)和連續(xù)分布，為概率推理提供了一個穩(wěn)健的框架[60]。這種方法與 Curry-Howard 同構(gòu)相一致，為有限離散分布提供了通用表示。這些先進(jìn)技術(shù)的整合促進(jìn)了復(fù)雜模型和推理算法的發(fā)展，用于處理概率查詢和為復(fù)雜事件分配概率[72]。

在應(yīng)用方面，文獻(xiàn)[76]利用單子結(jié)構(gòu)對包含多個可訓(xùn)練變量的靜態(tài)類型函數(shù)進(jìn)行反向模式自動微分。

4. 基于不變性與等價性的學(xué)習(xí)進(jìn)展

在機(jī)器學(xué)習(xí)中，不變性與等價性是關(guān)鍵概念，它們確保模型在圖像分割、縮放或旋轉(zhuǎn)等變換下產(chǎn)生一致的結(jié)果。這些變換通常反映了數(shù)據(jù)的幾何結(jié)構(gòu)，數(shù)據(jù)被視為位于流形上。同樣，分析共享網(wǎng)絡(luò)組件如何影響數(shù)據(jù)，或者在訓(xùn)練過程中語義如何演變，對于理解等價性至關(guān)重要。盡管存在差異，但這些概念都與某種形式的不變性或等價性相關(guān)。

范疇論提供了兩種主要方法來研究這些概念。第一種方法使用函子，函子在保持結(jié)構(gòu)關(guān)系的同時在范疇之間進(jìn)行映射。這種方法直接、計算效率高且實(shí)用。第二種方法涉及高階范疇——如拓?fù)渌?、疊或無窮范疇——以捕捉復(fù)雜的關(guān)系和多尺度依賴。這些方法雖然強(qiáng)大，但計算密集且實(shí)現(xiàn)難度更大。后續(xù)章節(jié)將探討這兩種方法及其與機(jī)器學(xué)習(xí)的相關(guān)性。我們簡要介紹常見的同調(diào)方法論，重點(diǎn)關(guān)注：
? Shiebler 的工作 [77,78]，利用了函子構(gòu)造；
? 其他基于函子構(gòu)造的方法；
? 用于分析數(shù)據(jù)中拓?fù)涮卣鞯某掷m(xù)同調(diào)方法 [79,80]。

在深入細(xì)節(jié)之前，我們將傳統(tǒng)的不變學(xué)習(xí)方法與新穎的范疇方法進(jìn)行比較，突出它們在理論表述和計算復(fù)雜度上的差異。

傳統(tǒng)方法依賴于明確定義變換群（例如旋轉(zhuǎn)、平移）以確保模型不變性。例如，CNN 使用共享濾波器實(shí)現(xiàn)平移不變性。然而，將這種方法擴(kuò)展到其他對稱性（如旋轉(zhuǎn)或縮放）需要添加額外的層或數(shù)據(jù)增強(qiáng)，從而增加了計算開銷和設(shè)計復(fù)雜性。范疇方法利用范疇論對這些變換進(jìn)行抽象。數(shù)據(jù)點(diǎn)及其變換不是被手動應(yīng)用，而是在范疇內(nèi)被表示為對象和態(tài)射。函子和自然變換捕捉這些對象之間的關(guān)系，使模型能夠泛化到預(yù)定義變換之外。這種抽象簡化了處理復(fù)雜對稱性的過程，無需進(jìn)行特定的修改。

在閱讀本節(jié)時，可以思考一個實(shí)際例子，如圖像識別。傳統(tǒng)的 CNN 使用卷積濾波器在圖像上滑動處理圖像數(shù)據(jù)，檢測對空間平移不變的特征。然而，要使模型對旋轉(zhuǎn)或縮放保持不變，需要額外的機(jī)制，增加了復(fù)雜性。平移、旋轉(zhuǎn)和縮放等變換不是直接應(yīng)用于數(shù)據(jù)，而是被表示為圖像對象之間的態(tài)射。函子捕捉這些變換之間的關(guān)系，使模型能夠泛化到不同的對稱性，而無需額外的層。范疇方法通過函子和態(tài)射抽象變換，提供了更大的靈活性和效率，減少了對顯式定義的需求，并增強(qiáng)了對復(fù)雜數(shù)據(jù)和對稱性的可擴(kuò)展性。

4.1. 函子構(gòu)造與性質(zhì)

文獻(xiàn)[81]的論文探討了機(jī)器學(xué)習(xí)系統(tǒng)的組合性與函子結(jié)構(gòu)，重點(diǎn)關(guān)注假設(shè)、問題和模型如何相互作用并適應(yīng)變化。它解決了兩個關(guān)鍵問題：模型的結(jié)構(gòu)如何反映其訓(xùn)練數(shù)據(jù)集？看似不同的機(jī)器學(xué)習(xí)系統(tǒng)是否可能具有共同的結(jié)構(gòu)？

Shiebler [77] 將層次化重疊聚類算法建模為通過單純復(fù)形范疇進(jìn)行分解的函子。他定義了一對伴隨函子，將單純復(fù)形與聚類算法的輸出聯(lián)系起來。在文獻(xiàn)[78]中，他基于層次聚類函子，將流形學(xué)習(xí)算法刻畫為將度量空間映射到優(yōu)化目標(biāo)的函子。這種方法證明了細(xì)化界限，并根據(jù)其等變性質(zhì)將流形學(xué)習(xí)算法組織成一個層次結(jié)構(gòu)。

通過根據(jù)特定準(zhǔn)則對這些算法進(jìn)行投影，可以推導(dǎo)出新的流形學(xué)習(xí)算法。

在本節(jié)中，我們主要介紹從無標(biāo)簽數(shù)據(jù)中提取結(jié)構(gòu)的算法，即無監(jiān)督學(xué)習(xí)。研究這些算法的性質(zhì)有助于理解它們?nèi)绾螐脑肼曋蟹蛛x信號，重點(diǎn)關(guān)注函子的不變性和等變性。

下面，我們首先介紹基本概念，然后深入探討核心思想。

4.1.1. 預(yù)備知識與基本概念

在許多學(xué)習(xí)系統(tǒng)中，尤其是在流形學(xué)習(xí)中，數(shù)據(jù)集被表示為有限點(diǎn)集。同時，不變性和等變性被表達(dá)為“保持點(diǎn)之間的距離”。超度量空間允許無窮距離以及非相同點(diǎn)之間距離為零的情況。

。。。。。。。。。。。。。。。。。。

原文鏈接：https://www.mdpi.com/2075-1680/14/3/204