Finite Sample Valid Inference via Calibrated Bootstrap

通過校準自舉實現(xiàn)有限樣本有效推斷

https://arxiv.org/pdf/2408.16763

摘要
盡管自助法（bootstrap method）被廣泛用作不確定性量化的一般方法，但在實際應用中卻面臨諸多困難，引發(fā)了對其有效性的擔憂。本文提出了一種新的基于重采樣的方法，稱為校準自助法（calibrated bootstrap），旨在從大小為 n n 的樣本中生成有限樣本有效（finite sample-valid）的參數(shù)推斷。其核心思想是對一種 m m-out-of- n n重采樣方案進行校準，其中校準參數(shù) m m 根據(jù)參數(shù)估計中損失函數(shù)累積分布函數(shù)所導出的推斷樞軸量（inferential pivotal quantities）來確定。

本文通過帶或不帶 L1 懲罰的線性回歸模型，在高維設定和真實數(shù)據(jù)應用場景下對所提方法進行了說明，并與現(xiàn)有方法進行了比較。最后，文章就若干值得進一步研究的開放性問題提出了評論。

關鍵詞：貝葉斯自助法；L1 懲罰；樞軸量；輪廓似然；隨機逼近。

1 引言
自助法旨在通過對觀測數(shù)據(jù)進行重采樣，來估計所關注統(tǒng)計量的抽樣分布。自 Efron（1979）的開創(chuàng)性論文（另見 Efron, 2003）以來，由于其簡潔性和高效性（參見如 Efron 和 Tibshirani, 1993），自助法已成為統(tǒng)計推斷與預測領域不可或缺的工具。它也激發(fā)了其他相關領域的研究，包括其貝葉斯對應方法（參見 Rubin, 1981；Efron, 1982；Newton 和 Raftery, 1994；Efron, 2012；Newton 等, 2021 及其中參考文獻）。

然而，在缺乏理論保證的情形下，實踐者可能會誤用自助法（Shao 和 Tu, 2012）。在具體應用中必須謹慎（Martin, 2015）。首先，自助法的理論基礎主要圍繞其漸近有效性展開。具體而言，研究者主要致力于證明：當樣本量趨于無窮時，自助法能一致地估計目標統(tǒng)計量的抽樣分布（參見如 Bickel 和 Freedman, 1981；Singh, 1981；Wellner 和 Zhan, 1996；van der Vaart 和 Wellner, 1996；Kosorok, 2008；Efron 和 Tibshirani, 1993 及其中參考文獻）。其次，已有研究表明，即使在基于大樣本理論設計的應用場景中，自助法仍可能失效（參見如 Bickel 和 Freedman, 1983；Abrevaya 和 Huang, 2005；Chernozhukov 等, 2023 及其中參考文獻）。例如，在高維線性回歸設定中（當 n → ∞ 而 p / n → c > 0 ，其中 p p 為預測變量個數(shù)），自助法被證明無法一致估計回歸系數(shù)的真實抽樣分布；數(shù)值實驗也表明，現(xiàn)有自助法對回歸系數(shù)向量 β β 的推斷效果極差（El Karoui 和 Purdom, 2018）。

為克服標準自助法（即采用 n n-out-of- n n 有放回重采樣）在某些情形下的局限性，研究者探索了替代性的重采樣方法。這些替代方法同樣需具備漸近有效性的理論支撐，包括有放回和無放回的 m m-out-of- n n 重采樣——后者亦稱子集抽樣（subset sampling）（Politis 和 Romano, 1994；Bickel 和 Sakov, 2008；Bickel 等, 2012），其思想可追溯至 Bretagnolle（1983）。然而，據(jù)我們所知，目前關于基于重采樣的有限樣本有效推斷方法的理論支持仍存在顯著空白。

為獲得理想的有限樣本性能，重采樣方案可能需要根據(jù)具體模型和觀測數(shù)據(jù)進行自適應調(diào)整。本文旨在探索適用于有限樣本情形、具有自適應性且計算可行的重采樣方法，以實現(xiàn)對模型參數(shù)的有效頻率學派推斷（valid frequentist inference）。也就是說，對于給定模型，該推斷方法應能控制第一類錯誤率。例如，所構(gòu)造的參數(shù) 95% 置信區(qū)間應在至少（并接近）95% 的情況下覆蓋真實參數(shù)值。為此，我們沿著近期統(tǒng)計推斷基礎理論的發(fā)展脈絡（Fisher, 1973；Shafer, 1976；Dempster, 2008；Singh 等, 2007；Xie 和 Singh, 2013；Hannig, 2009；Hannig 等, 2016；Martin 和 Liu, 2013, 2015；Martin, 2015；Cella 和 Martin, 2022），開發(fā)具有堅實理論依據(jù)的計算方法，并盡可能沿用人們熟悉的樞軸量方法（pivotal method）的基本思想。

理論上合理的有限樣本有效推斷方法在現(xiàn)有文獻中已有深入研究。然而，能夠?qū)嶋H應用于求解此類問題的計算工具通常缺失，尤其在高維場景下往往不可行（Martin, 2015）。本文的主要目標是提出一種計算高效、基于重采樣的數(shù)值策略，以逼近理想的理論解。從哲學角度看，通過重采樣進行推斷至少是微妙的，因為重采樣帶來的變異性與推斷中的不確定性評估是兩個不同的概念。本文的關鍵思想在于：將重采樣所產(chǎn)生的變異性與推斷所需的不確定性相匹配。

2 有效推斷的基礎：概述

2.1 參數(shù)推斷的廣義關聯(lián)方法

為了在構(gòu)建置信區(qū)域的背景下表述清晰，我們正式定義了面向置信度的推斷過程的有效性（validity），該定義與自助法文獻中用于考慮大樣本基礎上有效性的定義一致。

2.2 T-置信分布

3 校準自助法

在本節(jié)中，我們提出一種計算上可行的方法，通過自適應重采樣程序?qū)崿F(xiàn)有效的參數(shù)推斷。該方法稱為校準自助法（Calibrated Bootstrap, CB），包含兩個步驟：重采樣近似（Resampling Approximation, RA）和分布重采樣（Distributional Resampling, DR）。RA 步驟針對一組預設的置信系數(shù)，搜索能夠最佳逼近參數(shù) θ ∈ Θ精確置信區(qū)域的重采樣方案。DR 步驟則從 RA 步驟獲得的自助估計樣本中選取部分樣本，用于構(gòu)建感興趣未知參數(shù)的置信分布。這兩個步驟被總結(jié)為兩個算法，并在第 3.1 節(jié)和第 3.4 節(jié)中詳細討論。

3.1 重采樣近似

3.2 簡單示例下的 RA 方法

3.3 線性回歸示例下的 RA 方法

為說明所提出的方法，此處我們展示一項在高維設定下關于線性回歸的研究。算法 1 的其他應用將在第 4 節(jié)中進一步說明。

例 2（高維線性回歸）. 考慮線性回歸模型：

3.5 邊際參數(shù)推斷

4 L1懲罰線性回歸的應用

回顧例 2 中所述的線性回歸模型（16）。此處考慮 β β 的 L1 懲罰估計量，即廣為人知且被廣泛使用的 Lasso 估計量（Tibshirani, 1996），可表示為

其中 λ > 0
為調(diào)優(yōu)參數(shù)。Lasso 估計量在 p > n 的情形下尤其有用，因為它可以通過將部分系數(shù)收縮至零來實現(xiàn)變量選擇。由于引入了正則化項，相較于普通最小二乘（OLS）估計量，Lasso 估計量通常更穩(wěn)健，預測能力更強。

盡管 Lasso 在真實數(shù)據(jù)分析場景中被廣泛應用（例如全基因組關聯(lián)研究 GWAS，Uffelmann 等, 2021；Zeng 等, 2015），但由于加入了懲罰項，設計一種有效且高效的推斷程序通常被認為較為困難�；谥夭蓸拥姆椒ǎ缱灾ê椭脫Q檢驗（Arbet 等, 2017），是模型推斷中最常用的方法。然而，先前的理論研究表明，即使在漸近情形下，Lasso 的自助法推斷程序的有效性也難以確立（Fu 和 Knight, 2000；Chatterjee 和 Lahiri, 2010, 2011）。

所提出的 CB 方法的一個顯著優(yōu)勢在于，它能夠為像 Lasso 這類數(shù)學上難以推導有效推斷的統(tǒng)計方法提供有效的頻率學派推斷程序。我們首先將在第 4.1 節(jié)通過模擬研究展示所提方法的效率，然后在第 4.2 節(jié)通過一個真實數(shù)據(jù)示例將我們的方法與其他方法進行比較。

4.1 模擬研究

4.2 真實數(shù)據(jù)示例

Lasso 得到一個包含七個變量的模型：性別、BMI、MAP、S1、S3、S5 和 S6。對于這些選定的變量，我們將我們提出的 CB 方法所獲得的置信區(qū)間與標準自助法所得結(jié)果進行比較。我們還納入了 Lee 等人（2016）提出的一種近期方法——我們稱之為“精確 POSI”——該方法專為 Lasso 的后選擇推斷設計，能夠在給定所選模型的條件下，為 Lasso 所選預測變量構(gòu)造有效的置信區(qū)間。三種方法構(gòu)建的 95% 置信區(qū)間如圖 5 所示。對于這三種方法，我們的方法確保在包含全部 10 個預測變量的完整模型下，覆蓋率至少達到 95%，而精確 POSI 僅保證在包含七個選定預測變量的模型下條件覆蓋率達到這一水平。

標準自助法不能保證 95% 的覆蓋率。我們的 CB 方法所得置信區(qū)間長度與其他方法相當，但相較于精確 POSI 在 S6 上的區(qū)間明顯更短。結(jié)果還表明，所有方法在 S6 不顯著這一點上達成了一致。

5 結(jié)論性評述

本文提出了一種重采樣近似方法，該方法能夠基于似然函數(shù)實現(xiàn)有效的有限樣本聯(lián)合推斷，并基于輪廓似然實現(xiàn)邊際推斷。該方法可輕松推廣至使用一般損失函數(shù)進行點估計的情形。通過校準重采樣與精煉步驟，所提方法避免了傳統(tǒng)自助法的局限性，并被證明能夠獲得有效的推斷結(jié)果。據(jù)我們所知，這是首次將重采樣方法用于適應有限樣本情形下的有效推斷。

盡管所提出的方法相較于傳統(tǒng)自助法涉及更高的計算成本，但其在計算上仍是可行的。此外，該方法可方便地在現(xiàn)代計算機集群上并行化執(zhí)行，從而進一步提升其計算可行性與效率。

我們在發(fā)展基于重采樣的有限樣本有效推斷方法時的核心思想是：尋找一種重采樣方案，使得針對預設置信水平所得置信區(qū)域具有有效性保證。在所提出的 CB 方法中，我們構(gòu)建了一種隨機逼近算法，以尋找自適應的 m m-out-of- n n 重采樣方案。未來的研究與應用中，可以考慮其他重采樣方案以及生成自助估計樣本的替代方式。例如，可考慮從自適應的 Dirichlet( δ 1 δ1) 分布中抽取權(quán)重，構(gòu)造加權(quán)最大似然估計量，其中 δ δ 代表校準參數(shù)。該方法預計在觀測樣本量較小時尤為有用。

然而值得注意的是，對單個參數(shù)獲得精確的邊際推斷可能是一項復雜任務，尚需進一步研究。這凸顯了在復雜模型中開展有限樣本有效推斷所面臨的普遍挑戰(zhàn)。本文采用 Martin（2015, 2023b）提出的思想來“邊緣化”干擾參數(shù)，所提出的方法已被證明在理論上有效且經(jīng)驗上高效。這一思路指明了一個富有潛力的方向，鼓勵人們就邊際推斷這一難題——對所有現(xiàn)有學派而言均具挑戰(zhàn)性——展開更具創(chuàng)造性的思考。

本文的主要焦點在于開發(fā)促進高效參數(shù)推斷的計算方法。Cella 和 Martin（2022）則在非參數(shù)背景下，為風險最小化器的近似推斷構(gòu)建了一個推斷模型（IM）框架。鑒于許多現(xiàn)代機器學習應用需要基于未知模型或損失函數(shù)進行推斷，一個引人興趣的未來方向是：探索本文所得洞見是否能有效適配于 Cella 和 Martin（2022）所提出的框架，以實現(xiàn)高效的推斷。

原文鏈接：https://arxiv.org/pdf/2408.16763