An efficient Monte Carlo method for valid prior-free possibilistic statistical inference

無先驗可能性推斷的高效蒙特卡洛方法

https://arxiv.org/pdf/2501.10585

摘要

推斷模型(IMs)提供了一種無需先驗、類似貝葉斯后驗的信度，專為統(tǒng)計推斷設(shè)計，其特點是具有類似頻率派的校準性質(zhì)，確保了所述推斷的可靠性。關(guān)鍵在于，IM的信度是可能性的而非概率性的，并且由于常見的蒙特卡洛方法近似的是概率量，因此將該框架付諸實踐面臨著巨大的計算挑戰(zhàn)。本文通過開發(fā)一種新的、專門設(shè)計用于近似可能性IM輸出的蒙特卡洛方法，克服了這些挑戰(zhàn)。該提議基于對可能性IM信度集的一個刻畫，該刻畫將IM的“最佳概率近似”識別為一個可以方便地近似并從中采樣的混合分布。然后，這些樣本可以轉(zhuǎn)化為對可能性IM的近似。數(shù)值結(jié)果展示了所提出近似方法的準確性和計算效率。

關(guān)鍵詞：置信分布；信度集；高斯可能性；推斷模型；內(nèi)部概率近似。

1 引言
多年來，人們?yōu)橥苿淤M希爾的信仰推斷愿景做出了許多努力。在這些努力中，可以說“2010年代原創(chuàng)性的統(tǒng)計創(chuàng)新之一”(Cui and Hannig 2024)是Martin and Liu (2013, 2015a,c)提出、后經(jīng)Martin and Liu (2015b)綜合的推斷模型(IM)框架。IM框架的獨特之處在于其輸出采用了一種不精確概率的形式——具體來說，是一種可能性測度——因此，推斷基于可能性推理：被賦予小可能性的假設(shè)被數(shù)據(jù)反駁，而其補集被賦予小可能性的假設(shè)則被數(shù)據(jù)確證。這種從概率論到可能性論的轉(zhuǎn)變有其原則性的動機：IM的可能性滿足一種頻率派風(fēng)格的有效性性質(zhì)，而貝葉斯/信仰概率不滿足該性質(zhì)，即賦予真實假設(shè)的IM可能性傾向于不小，因此，數(shù)據(jù)驅(qū)動的IM輸出反駁真實假設(shè)或確證錯誤假設(shè)是一個可證明的罕見事件。關(guān)于IM及其性質(zhì)的更多細節(jié)將在下面的第2節(jié)中提供；關(guān)于可能性論的一些基本背景在附錄A中給出。盡管IM框架提供了諸多優(yōu)點，但其推廣速度一直很慢，主要原因是計算上的挑戰(zhàn)。事實上，正如Jacob等人(2021)最近所示，用于近似普通概率的常見蒙特卡洛方法不足以近似不精確概率；需要更多的東西。本文的目標就是為可能性IM識別上述“更多的東西”，并開發(fā)相應(yīng)的計算機制，使IM框架能夠易于在應(yīng)用的日常使用中訪問。

本文的出發(fā)點是這樣的事實：所有（連貫的）不精確概率，包括可能性IM的輸出，都對應(yīng)于一組成非空的普通或精確概率，稱為信度集。不同種類的不精確概率有其自身的數(shù)學(xué)性質(zhì)，而這種區(qū)別的一種體現(xiàn)方式就在于對其相關(guān)信度集施加的約束類型。可能性測度是最簡單的不精確概率之一，反過來，它們的信度集具有相對簡單的刻畫。特別是，像下面的定理1中的結(jié)果使得相對容易地識別信度集中“最佳近似”IM可能性輸出的概率分布。這種最佳近似在數(shù)學(xué)上相對簡單，但可能難以計算；幸運的是，可以進行進一步的近似。這種第二層次的近似可以采取多種形式，但受Martin and Williams (2025)中漸近結(jié)果的啟發(fā)，這里我將采用Cella and Martin (2025)中提出的一系列高斯近似。正如Cella和Martin所承認的，這些單個的高斯近似本身并不完全令人滿意，因為它們僅能確保有限意義上的準確性。如果這些單個的近似能夠被恰當?shù)仄唇悠饋?，那么將給出一個整體準確的近似——但Cella和Martin未能提供合適的拼接程序。在這里，利用定理1，我提出了一種實現(xiàn)相關(guān)統(tǒng)計和計算需求的拼接程序，從而填補了Cella和Martin留下的關(guān)鍵空白，并為IM輸出提供了一種有原則的概率近似。我還展示了如何將這個概率近似轉(zhuǎn)換回一個既易于計算又能準確近似目標IM輸出的可能性測度。

本文的其余部分安排如下。第2節(jié)提供了關(guān)于可能性IM的必要背景，強調(diào)了現(xiàn)有的計算瓶頸。信度集刻畫和提議的蒙特卡洛策略在第3節(jié)中介紹。第4節(jié)中展示了三個說明性示例，包括邏輯斯蒂回歸和一個涉及刪失數(shù)據(jù)的半?yún)?shù)問題。在這些例子中，直接但樸素的IM計算代價高昂但并非不可及，因此可以評估所提出近似方法的準確性。第5節(jié)通過實證表明，與標準的貝葉斯和基于似然的解相比，所提出的IM近似表現(xiàn)良好。第6節(jié)考慮了一個更高維的邏輯斯蒂回歸例子，其中所提出的IM近似可以在幾秒鐘內(nèi)輕松解決一個在IM文獻中以往努力幾乎無法觸及的問題。本文的見解和成果構(gòu)成了為實踐者創(chuàng)建IM工具箱所需的一系列發(fā)展中的重要第一步。第7節(jié)的 concluding remarks 描述了我的愿景，即這些發(fā)展能夠且需要走向何方。相關(guān)的技術(shù)細節(jié)在附錄/補充材料中給出。

2 背景

最初的IM發(fā)展依賴于隨機集及其相應(yīng)的信任函數(shù)。Martin (2022b)在Martin (2015, 2018)的基礎(chǔ)上進行的最新發(fā)展，通過將概率到可能性的變換應(yīng)用于模型的相對似然，定義了可能性IM。這一轉(zhuǎn)變在哲學(xué)上很重要，但本綜述側(cè)重于該可能性IM的細節(jié)、性質(zhì)和計算。

這種純粹由似然驅(qū)動的可能性具有許多理想的性質(zhì)，這里我不打算深入探討。然而，它所缺乏的是，為何賦予關(guān)于 Θ 的假設(shè)的這些“可能性”具有形成信念的推斷權(quán)重，對此缺乏合理性依據(jù)。在空無先驗信息的情況下，這些可能性賦值背后沒有貝葉斯依據(jù)，因此合理性只能來自類似頻率派的校準性質(zhì)——即賦予真實假設(shè)小的可能性是一個可證明的罕見事件——但純粹基于似然的可能性賦值無法以實際有用的方式滿足這一要求。因此，雖然相對似然在模型擬合方面提供了一種自然的、數(shù)據(jù)驅(qū)動的參數(shù)排序，但這對于有原則且可靠的統(tǒng)計推斷來說是不夠的。

然而幸運的是，在概念上，通過應(yīng)用 Martin (2022a) 所稱的“validification”——一種概率到可能性的變換（例如，Dubois et al. 2004; Hose 2022）——來實現(xiàn)所需的校準是直接的。具體來說，對于觀測數(shù)據(jù) Z = z ，可能性IM的輪廓定義為

3 用于IM的蒙特卡洛方法 3.1 對可能性IM的概率近似

原文鏈接：https://arxiv.org/pdf/2501.10585