非參數(shù)分布匹配的免似然自適應(yīng)貝葉斯推斷方法

Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching

https://arxiv.org/pdf/2505.04603

摘要

當(dāng)似然函數(shù)在解析上不可得且計(jì)算上難以處理時(shí)，近似貝葉斯計(jì)算 (ABC) 已成為一種廣泛使用的近似后驗(yàn)推斷方法；然而，在高維設(shè)置或擴(kuò)散先驗(yàn)下，它存在嚴(yán)重的計(jì)算效率低下問(wèn)題。為了克服這些限制，我們提出了自適應(yīng)貝葉斯推斷框架。該框架繞過(guò)了傳統(tǒng)的數(shù)據(jù)空間差異度量，轉(zhuǎn)而通過(guò)在后驗(yàn)空間內(nèi)進(jìn)行非參數(shù)分布匹配來(lái)直接比較分布。通過(guò)利用一種新穎的針對(duì)后驗(yàn)測(cè)度的邊際增強(qiáng)切片Wasserstein距離并挖掘其分位數(shù)表示，ABI 將衡量后驗(yàn)分布間差異的難題轉(zhuǎn)化為一系列易于處理的一維條件分位數(shù)回歸任務(wù)。此外，我們引入了一種新的自適應(yīng)拒絕抽樣方案，該方案通過(guò)生成式密度估計(jì)更新提議分布，從而迭代地精化后驗(yàn)近似。在理論上，我們建立了修剪后 MSW 距離的參數(shù)化收斂速率，并證明當(dāng)容差閾值趨近于零時(shí)，ABI 后驗(yàn)收斂于真實(shí)后驗(yàn)。通過(guò)廣泛的實(shí)證評(píng)估，我們證明 ABI 顯著優(yōu)于基于數(shù)據(jù)的 Wasserstein ABC、基于摘要統(tǒng)計(jì)量的 ABC 以及最先進(jìn)的免似然模擬器，尤其是在高維或觀測(cè)數(shù)據(jù)存在依賴(lài)關(guān)系的場(chǎng)景中。

關(guān)鍵詞：近似貝葉斯計(jì)算；免似然推斷；基于模擬器的推斷；條件分位數(shù)回歸；非參數(shù)分布匹配；自適應(yīng)拒絕抽樣；生成式建模；Wasserstein 距離

1 引言

貝葉斯建模在自然科學(xué)與工程學(xué)科中被廣泛使用。它使研究人員能夠通過(guò)前向抽樣技術(shù)輕松構(gòu)建任意復(fù)雜的概率模型，同時(shí)通過(guò)融入先驗(yàn)知識(shí)來(lái)穩(wěn)定病態(tài)問(wèn)題。然而，在許多場(chǎng)景中，似然函數(shù)可能難以評(píng)估或完全無(wú)法獲?。╖eng 等人，2019；Chiachío-Ruano 等人，2021），這導(dǎo)致基于馬爾可夫鏈的算法——如 Metropolis-Hastings 及更廣泛的馬爾可夫鏈蒙特卡洛方法——不再適用于后驗(yàn)推斷。當(dāng)模型參數(shù)的精確后驗(yàn)推斷不可行時(shí)，近似貝葉斯計(jì)算 (ABC) 成為一種引人注目的方法（Tavaré，2018）。由于其最少的建模假設(shè)和易于實(shí)現(xiàn)的特點(diǎn)，ABC 在多個(gè)貝葉斯領(lǐng)域廣受歡迎，包括免似然推斷（Markram 等人，2015；Alsing 等人，2018）、貝葉斯反問(wèn)題（Chatterjee 等人，2021）以及基于模擬器的隨機(jī)系統(tǒng)后驗(yàn)估計(jì)（Wood，2010）。ABC 通過(guò)一個(gè)基于拒絕的過(guò)程生成一組具有高后驗(yàn)密度的參數(shù)：它為不同的參數(shù)抽取模擬生成虛假數(shù)據(jù)集，并僅保留那些產(chǎn)生的數(shù)據(jù)與觀測(cè)值足夠相似的參數(shù)。

然而，當(dāng)數(shù)據(jù)維度較高或先驗(yàn)分布對(duì)觀測(cè)數(shù)據(jù)信息量不足時(shí)，ABC 變得極其低效，通常需要大量拒絕才能保留一個(gè)樣本。事實(shí)上，引理 B.1 和 B.2 表明，保留一個(gè)樣本所需的期望模擬次數(shù)會(huì)隨著數(shù)據(jù)維度的增加而呈指數(shù)級(jí)增長(zhǎng)。為了提高計(jì)算效率，研究人員常采用低維摘要統(tǒng)計(jì)量，并在摘要統(tǒng)計(jì)量空間中進(jìn)行拒絕抽樣（Fearnhead 和 Prangle，2012）。然而，Pitman-Koopman-Darmois 定理規(guī)定，低維充分統(tǒng)計(jì)量?jī)H存在于指數(shù)族中。因此，實(shí)際問(wèn)題通常需要大量判斷來(lái)選擇適當(dāng)?shù)恼y(tǒng)計(jì)量，且通常以問(wèn)題特定的方式進(jìn)行（Wood，2010；Marin 等人，2012）。此外，使用可能非充分的摘要統(tǒng)計(jì)量來(lái)評(píng)估差異，可能導(dǎo)致 ABC 近似雖然有用，但相對(duì)于原始后驗(yàn)分布會(huì)造成信息的系統(tǒng)性損失。例如，F(xiàn)earnhead 和 Prangle (2011) 以及 Jiang 等人 (2017) 提出了一種采用后驗(yàn)均值近似作為摘要統(tǒng)計(jì)量的半自動(dòng)方法；然而，該方法僅確保一階精度。

由此，本次討論引出了兩個(gè)基本問(wèn)題：什么構(gòu)成了信息量充分的摘要統(tǒng)計(jì)量集合？以及，什么是衡量數(shù)據(jù)集間差異的適當(dāng)度量？為解決上述問(wèn)題，我們提出了自適應(yīng)貝葉斯推斷框架，它通過(guò)分布匹配直接比較后驗(yàn)分布，并通過(guò)拒絕抽樣自適應(yīng)地精化估計(jì)的后驗(yàn)。ABI 的核心在于，它繞過(guò)基于觀測(cè)的比較，而是選擇那些由合成數(shù)據(jù)誘導(dǎo)出的后驗(yàn)與目標(biāo)后驗(yàn)緊密對(duì)齊的參數(shù)，這一過(guò)程我們稱(chēng)之為非參數(shù)分布匹配。為此，ABI 通過(guò)利用 Wasserstein 距離與條件分位數(shù)回歸之間的聯(lián)系，在后驗(yàn)空間而非觀測(cè)空間中學(xué)習(xí)一個(gè)差異度量，從而將任務(wù)轉(zhuǎn)化為一個(gè)易于處理的監(jiān)督學(xué)習(xí)問(wèn)題。然后，ABI 在連續(xù)迭代中同時(shí)精化后驗(yàn)估計(jì)和近似后驗(yàn)差異。

從摘要統(tǒng)計(jì)量框架來(lái)看，我們提出的方法提供了一種原則性方法來(lái)計(jì)算一個(gè)與模型無(wú)關(guān)的一維核統(tǒng)計(jì)量。從差異度量框架來(lái)看，我們的方法近似了后驗(yàn)空間上的一個(gè)積分概率度量，從而繞過(guò)了基于數(shù)據(jù)的 IPM 評(píng)估的局限性，如樣本量小和觀測(cè)值之間的依賴(lài)性。

貢獻(xiàn)我們的工作主要有三點(diǎn)貢獻(xiàn)。首先，我們引入了一種新穎的積分概率度量——邊際增強(qiáng)切片Wasserstein距離，它定義在后驗(yàn)概率測(cè)度空間上。然后，我們將 ABI 近似后驗(yàn)刻畫(huà)為通過(guò)以那些誘導(dǎo)出的后驗(yàn)落在目標(biāo)后驗(yàn)的預(yù)設(shè) MSW 容差范圍內(nèi)的數(shù)據(jù)集為條件而獲得的參數(shù)分布。傳統(tǒng)方法依賴(lài)于經(jīng)驗(yàn)數(shù)據(jù)分布上的積分概率度量，而我們的基于后驗(yàn)的差異度量即使在觀測(cè)樣本量 n n小、樣本依賴(lài)結(jié)構(gòu)復(fù)雜以及參數(shù)不可識(shí)別的情況下也能保持穩(wěn)健。我們進(jìn)一步論證，考慮軸對(duì)齊的邊際分布有助于提高基于均勻切片的 Wasserstein 距離的投影效率。其次，我們證明了后驗(yàn) MSW 距離可以通過(guò)條件分位數(shù)回歸來(lái)準(zhǔn)確估計(jì)，這是通過(guò)利用單變量 Wasserstein 距離與分位數(shù)差異之間的等價(jià)性實(shí)現(xiàn)的。這一新穎的洞見(jiàn)將傳統(tǒng)上在后驗(yàn)空間中操作的挑戰(zhàn)性任務(wù)簡(jiǎn)化為一個(gè)監(jiān)督分布回歸任務(wù)，我們使用深度神經(jīng)網(wǎng)絡(luò)高效地解決了該任務(wù)。同一公式自然地適應(yīng)了多維參數(shù)，并通過(guò)拒絕抽樣實(shí)現(xiàn)了便捷的順序精化。第三，我們提出了一種順序版本的拒絕-ABC 方法，據(jù)我們所知，這是第一個(gè)非基于蒙特卡洛的順序 ABC。文獻(xiàn)中現(xiàn)有的順序精化方法通常依賴(lài)于自適應(yīng)重要性抽樣技術(shù)，例如序貫蒙特卡洛（Del Moral 等人，2012；Bonassi 和 West，2015）和群體蒙特卡洛（Beaumont 等人，2009）。這些方法，特別是其基本實(shí)現(xiàn)，通常受限于從先驗(yàn)樣本中得出的經(jīng)驗(yàn)分布的支撐集。

盡管更先進(jìn)的變體理論上可以通過(guò)新生步驟和 MCMC 移動(dòng)探索超出這一初始支撐集的區(qū)域，但它們?nèi)孕柚?jǐn)慎選擇轉(zhuǎn)移核和輔助反向轉(zhuǎn)移核（Del Moral 等人，2012）。相比之下，ABI 通過(guò)拒絕抽樣迭代地精化后驗(yàn)分布：它使用來(lái)自前一步驟的生成式后驗(yàn)近似（通過(guò)生成模型學(xué)習(xí)得到，請(qǐng)注意不要與免似然設(shè)置中的原始模擬器混淆）來(lái)更新提議分布?；谏赡Ｐ偷暮篁?yàn)推斷方法利用神經(jīng)網(wǎng)絡(luò)的表達(dá)能力來(lái)捕捉復(fù)雜的概率結(jié)構(gòu)，而無(wú)需顯式的分布設(shè)定。這一生成式學(xué)習(xí)階段使 ABI 能夠超越經(jīng)驗(yàn)參數(shù)分布的受限支撐集，并且消除了對(duì)顯式先驗(yàn)密度評(píng)估的需求（與 Papamakarios 和 Murray (2016) 不同），從而適應(yīng)先驗(yàn)分布本身可能也難以處理的情況。

我們刻畫(huà)了 MSW 距離的拓?fù)浜徒y(tǒng)計(jì)行為，確立了其參數(shù)化收斂速率及其在后驗(yàn)測(cè)度空間上的連續(xù)性。我們的證明采用了一種新穎的基于鞅的論證方法，訴諸 Doob 定理，這為現(xiàn)有的基于勒貝格微分定理（Barber 等人，2015）的證明提供了一種替代技術(shù)。這一新技術(shù)對(duì)于研究其他順序算法的收斂性可能具有獨(dú)立的理論意義。然后我們證明，當(dāng)容差閾值趨近于零時(shí)（觀測(cè)數(shù)據(jù)固定），ABI 后驗(yàn)依分布收斂于真實(shí)后驗(yàn)。最后，我們推導(dǎo)了近似拒絕抽樣過(guò)程引起的偏差的有限樣本界。通過(guò)全面的實(shí)證實(shí)驗(yàn)，我們證明 ABI 相比基于數(shù)據(jù)的 Wasserstein ABC 以及幾種最新的、最先進(jìn)的免似然后驗(yàn)?zāi)M器，實(shí)現(xiàn)了極具競(jìng)爭(zhēng)力的性能。

1.1 近似貝葉斯計(jì)算

我們首先簡(jiǎn)要回顧經(jīng)典的近似貝葉斯計(jì)算。給定閾值 ? > 0 ，以及摘要統(tǒng)計(jì)量 s ( ? )
上的一個(gè)距離度量 D ( ? , ? )
，經(jīng)典 ABC 從以下近似后驗(yàn)中生成樣本：

關(guān)于在 ABC 中使用充分統(tǒng)計(jì)量時(shí)的收斂速率和偏差-成本權(quán)衡的結(jié)果，參見(jiàn) Barber 等人 (2015)，他們通過(guò)勒貝格微分定理建立了 ABC 后驗(yàn)期望的一致性。

1.2 切片 Wasserstein 距離

1.3 條件分位數(shù)回歸

1.4 生成式密度估計(jì)

1.5 文章結(jié)構(gòu)與相關(guān)文獻(xiàn)

論文組織本文剩余部分結(jié)構(gòu)如下。第 2 節(jié)介紹 ABI 框架及其算法組成。第 3 節(jié)建立所提出的 MSW 距離的經(jīng)驗(yàn)收斂速率，刻畫(huà)其拓?fù)湫再|(zhì)，并證明當(dāng)容差閾值趨近于零時(shí)，ABI 后驗(yàn)收斂于目標(biāo)后驗(yàn)。第 4 節(jié)通過(guò)廣泛的實(shí)證評(píng)估展示了 ABI 的有效性。最后，第 5 節(jié)總結(jié)全文并概述未來(lái)的研究方向。技術(shù)結(jié)果的證明和額外的模擬細(xì)節(jié)見(jiàn)附錄。

2 自適應(yīng)貝葉斯推斷

在本節(jié)中，我們介紹所提出的自適應(yīng)貝葉斯推斷方法。ABI 的基本思想是通過(guò)直接在后驗(yàn)空間中操作，以超越基于觀測(cè)的比較。具體來(lái)說(shuō)，我們將目標(biāo)后驗(yàn)近似為：

利用這一等價(jià)關(guān)系，我們的核心洞見(jiàn)在于：通過(guò)在后驗(yàn)測(cè)度上應(yīng)用一個(gè)分布度量，將無(wú)限維的后驗(yàn)映射“壓縮”成一個(gè)一維核統(tǒng)計(jì)量——從而保留其本質(zhì)的幾何結(jié)構(gòu)，這在概念上類(lèi)似于“核技巧”。我們通過(guò)新穎的邊際增強(qiáng)切片 Wasserstein 距離來(lái)具體實(shí)現(xiàn)這一想法。MSW 距離保留了邊際結(jié)構(gòu)并緩解了維度災(zāi)難，當(dāng) p = 1 時(shí)可以達(dá)到參數(shù)化收斂速率（見(jiàn)第 3.4 節(jié)）。此外，MSW 與經(jīng)典的 Wasserstein 距離拓?fù)涞葍r(jià)，保留了其幾何性質(zhì)，例如能度量弱收斂。

2.1.2 通過(guò)深度條件分位數(shù)回歸估計(jì)修整后 MSW 距離

為了緩解 Wasserstein 距離和切片 Wasserstein 距離對(duì)重尾眾所周知的敏感性，我們采用了一種穩(wěn)健的、修整后的 MSW 距離變體，這是在 Alvarez-Esteban 等人 (2008) 和 Manole 等人 (2022) 工作的基礎(chǔ)上進(jìn)行的擴(kuò)展。為了為我們的多元推廣奠定基礎(chǔ)，我們首先回顧一維情形下修整 Wasserstein 距離的定義。對(duì)于單變量概率測(cè)度 μ μ和 ν ν，以及修整參數(shù) δ ∈ [ 0 , 1 / 2 ) ， δ δ-修整 W p
距離定義為：

休整后的 MSW 距離由兩個(gè)組成部分構(gòu)成：切片 Wasserstein 項(xiàng)（通過(guò)對(duì)單位球面上的隨機(jī)投影捕捉聯(lián)合交互作用）和邊際增強(qiáng)項(xiàng)（用于衡量沿坐標(biāo)軸的分布差異）。加入邊際項(xiàng)增強(qiáng)了 MSW 距離對(duì)每個(gè)坐標(biāo)軸上差異的敏感性，彌補(bǔ)了標(biāo)準(zhǔn) SW 投影由于從均勻隨機(jī)采樣的非信息方向而導(dǎo)致的效率低下問(wèn)題。此外，由于 SW 距離是通過(guò)蒙特卡洛近似的，因此明確考慮坐標(biāo)方向的邊際分布尤為重要，因?yàn)檫@些邊際分布直接決定了相應(yīng)的后驗(yàn)可信區(qū)間。納入軸對(duì)齊邊際分布的價(jià)值在最近的研究中也得到了強(qiáng)調(diào)（Moala 和 O'Hagan，2010；Drovandi 等人，2024；Chatterjee 等人，2025；Lu 等人，2025）。為簡(jiǎn)潔起見(jiàn)，除非另有說(shuō)明，在本節(jié)后續(xù)部分中，我們將修整后的 MSW 距離簡(jiǎn)稱(chēng)為 MSW 距離。

定義 2.3 (MSW 距離的分位數(shù)表示)。定義 2.2 中定義的修整后 MSW 距離可以等價(jià)地用分位數(shù)表示為：

基于定義 2.3，我們將后驗(yàn)比較重新表述為給定 X = x 時(shí) θ 的條件分位數(shù)回歸問(wèn)題。具體而言，MSW 距離是依據(jù)分布的一維投影來(lái)構(gòu)建的，以利用單變量 Wasserstein 距離評(píng)估可用的閉式表達(dá)式。通過(guò)用 K 個(gè)蒙特卡洛采樣的方向近似球面積分，計(jì)算 MSW 距離因此簡(jiǎn)化為擬合一系列條件分位數(shù)回歸，每個(gè)回歸對(duì)應(yīng)一個(gè)不同的單維投影。

總的來(lái)說(shuō)，本節(jié)中的內(nèi)容構(gòu)成了我們所提方法中非參數(shù)分布匹配部分的核心。分布匹配的相應(yīng)算法過(guò)程總結(jié)在算法 3 中。

原文鏈接：https://arxiv.org/pdf/2505.04603