Asymptotics of Nonparametric Estimation under general non-monotone MAR missingness: A Bayesian Approach

非單調(diào)缺失機制下非參數(shù)估計的漸近性：貝葉斯視角

https://arxiv.org/pdf/2603.23449

摘要

缺失值在（數(shù)據(jù)）科學(xué)中無處不在，可能對任何統(tǒng)計分析產(chǎn)生潛在的有害后果。因此，近年來開發(fā)了大量方法和理論結(jié)果。盡管如此，許多問題仍未解決，特別是在一般非單調(diào)隨機缺失（MAR）的情況下。在這項工作中，我們將非參數(shù)貝葉斯理論擴展到此 MAR 設(shè)置。我們引入了一個 MAR 下后驗收縮的一般定理以及一個額外的溫和正性條件。利用這一結(jié)果，我們能夠表明，盡管存在缺失值，無污染數(shù)據(jù)的密度可以用極小極大后驗收縮率（直至對數(shù)因子）進行估計。據(jù)我們所知，這是第一個非參數(shù)結(jié)果，表明在 Rubin 的 MAR 定義下可以一致地估計無污染分布。因此，我們獲得了一種算法，該算法接受受缺失值污染的數(shù)據(jù)，并返回來自無污染分布的可證明一致估計的樣本。

1 引言

缺失數(shù)據(jù)是現(xiàn)代數(shù)據(jù)科學(xué)應(yīng)用中的一個普遍問題，也是一個活躍的研究領(lǐng)域。在存在缺失數(shù)據(jù)的情況下，人們不再觀測到完整的數(shù)據(jù)點，而只觀測到部分值，以及觀測條目所在的位置。通常，這需要引入一個缺失數(shù)據(jù)機制（MDM）模型，該機制決定哪些值缺失。一種經(jīng)典且有效的方法由 Rubin (1976) 引入，即使用滿足隨機缺失（MAR）屬性的條件分布來建模 MDM——意味著缺失概率僅取決于觀測值——并將 MDM 與數(shù)據(jù)模型分開參數(shù)化。在這種建模選擇下，MDM 在某種意義上變得可忽略，即在完整聯(lián)合模型上最大化觀測值及其位置的似然性，與僅最大化觀測值的邊緣似然性，所得到的數(shù)據(jù)參數(shù) θ θ 估計量完全相同。這一原則也擴展到貝葉斯推斷（當假設(shè)數(shù)據(jù)和 MDM 參數(shù)之間先驗獨立時），極大地簡化了缺失數(shù)據(jù)分析領(lǐng)域的推斷和計算。

盡管“可忽略性”原則具有直觀吸引力并被廣泛采用（允許研究人員和從業(yè)者在不建模潛在復(fù)雜缺失機制的情況下估計 θ ），但其理論基礎(chǔ)幾十年來仍有些未定。確實，雖然 MAR MDM 模型在最大似然估計量 (MLE) 的定義中使缺失機制可忽略，但這本身并不能保證基于所謂可忽略似然的推斷的統(tǒng)計有效性。Rubin 具有影響力的表述具有說服力，并塑造了缺失數(shù)據(jù)的大部分應(yīng)用和方法論文獻；然而，嚴格的數(shù)學(xué)論證直到相對最近才大量出現(xiàn)。正如 Takai 和 Kano (2013) 所強調(diào)的，許多基礎(chǔ)文本——包括著名的專著 Little 和 Rubin (2019)——呈現(xiàn)基于不完整數(shù)據(jù)似然的推斷，仿佛它自然繼承了完整數(shù)據(jù)推斷的大樣本性質(zhì)，而沒有為所得估計量提供一致性或漸近正態(tài)性的形式證明。在一項顯著的貢獻中，Takai 和 Kano (2013) 通過證明在標準正則條件下，忽略 MDM 的 MLE 確實是一致的且漸近正態(tài)的，解決了這一差距，前提是真實的缺失數(shù)據(jù)機制本身是 MAR 的。在這個意義上，Takai 和 Kano (2013) 的結(jié)果為長期以來的主張?zhí)峁┝死碚擈炞C，即真實缺失數(shù)據(jù)機制的 MAR 性質(zhì)是基于可忽略似然的推斷可靠的關(guān)鍵條件。

雖然這解決了規(guī)則參數(shù)模型的 MLE 的情況，但幾個基本問題仍未解決：

• 首先，在可比條件下，貝葉斯推斷是否享有類似的保證？
• 其次，基于可忽略似然的推斷的統(tǒng)計有效性能否擴展到參數(shù)設(shè)置之外？

這些問題推動了本項工作。我們表明，豐富的貝葉斯理論結(jié)合 Kullback-Leibler (KL) 散度的自然使用，允許在 MAR 缺失下獲得一般非參數(shù)收斂結(jié)果。特別是，我們表明可以在一般非單調(diào) MAR 缺失和溫和正性假設(shè)下非參數(shù)地估計完整密度。因此，我們自然地得到了一種方法，該方法能夠接受 MAR 缺失數(shù)據(jù)，并從先前被缺失性掩蓋的（未觀測到的）基礎(chǔ)分布中產(chǎn)生新樣本。盡管缺失性文獻浩瀚，這似乎是一般非單調(diào) MAR 的第一個非參數(shù)一致性結(jié)果。由于 MAR 概念已有 30 多年歷史，且被一些人視為已解決的問題，這似乎令人驚訝。確實，鏡像 MLE 情況下關(guān)于 MAR 的討論，論文經(jīng)常聲稱"X 在 MAR 下有效”。然而，正如 Seaman 等人 (2013); N?f 等人 (2026) 和其他人所討論的，這種印象可能部分源于對 MAR 條件本身的混淆。理論上確實已在較弱的缺失條件下獲得結(jié)果，例如缺失概率取決于數(shù)據(jù)中始終觀測到的子集。此外，在結(jié)構(gòu)化問題情況下出現(xiàn)了大量理論結(jié)果，例如具有缺失性的特定回歸問題，通常與此類簡化缺失機制結(jié)合，參見例如 Wang 和 Rao (2002); Qin 等人 (2009); Yuan 和 Dong (2019); Chen 和 Yu (2016); Liu 和 Fan (2023); Zhao 和 Candès (2025)。然而，據(jù)我們所知，(參數(shù)) MLE 之外的一般 MAR 下的一致性結(jié)果此前尚未開發(fā)。事實上，即使嘗試將忽略原則擴展到 M 估計，通常也會產(chǎn)生不一致的估計量，參見例如 Frahm 等人 (2020)。

本文其余部分組織如下：在第 2 節(jié)中，我們介紹了關(guān)于缺失值、MAR 條件和可忽略性的詳細背景，并介紹了我們的符號。在介紹 MAR 條件和相關(guān)符號后，我們在第 3 節(jié)更詳細地討論了相關(guān)文獻并概述了我們的貢獻。第 4 節(jié)隨后提出了 MAR 缺失下的一般后驗收縮結(jié)果。第 5 節(jié)將這些結(jié)果應(yīng)用于 上的密度估計，從而得出極小極大估計結(jié)果。最后，第 6 節(jié)提供了一個小型模擬研究，第 7 節(jié)得出結(jié)論。

2 背景與符號

2.1 隨機缺失

本文專注于某一特定族的缺失機制，通常被稱為隨機缺失，其由以下假設(shè)刻畫：

上述使用的 MAR 屬性，形式上陳述缺失機制（即給定 X X 時 M M 的條件分布）不依賴于缺失值本身（給定觀測值），是文獻中存在的幾種隨機缺失變體的一個特例（始終隨機缺失），參見例如，Mealli 和 Rubin (2015)；N?f 等人 (2026) 以及其中的文獻。我們注意到，假設(shè) 2.1 接近但不完全等同于 Rubin (1976) 的原始 MAR 版本。至關(guān)重要的是，與文獻中使用的替代方案相比，它是最弱的 MAR 假設(shè)之一。例如，通常假設(shè) P ( M = m ∣ X )
僅依賴于一組完全觀測的變量，這是一個強得多的假設(shè)（參見例如，N?f 等人 (2026) 中的討論）。

2.2 MAR 下基于似然推斷的可忽略性

2.3 符號

我們現(xiàn)在介紹并總結(jié)全文中使用的符號。

3 問題陳述與貢獻

在本節(jié)中，我們首先深入探討相關(guān)文獻，然后討論我們的貢獻。

3.1 相關(guān)文獻

術(shù)語 MAR（隨機缺失）一直是文獻中頻繁引起混淆的原因，正如大量僅僅討論 MAR 定義的論文所表明的那樣，例如 Seaman 等人 (2013)；Mealli 和 Rubin (2015)；N?f 等人 (2026)。文獻中常聲稱“在 MAR 下，可忽略的基于似然的推斷是有效的”。然而，這類陳述往往模棱兩可。事實上，頻率學(xué)派的有效性（即一致性意義下）迄今為止尚未在一般模型中正式確立，且僅在相對最近才針對規(guī)則參數(shù)完整數(shù)據(jù)模型得到解決。Rubin (1976) 明確確立的是關(guān)于 θ θ 的完整與可忽略基于似然推斷之間的等價性，前提是缺失數(shù)據(jù)機制的模型是 MAR（且參數(shù)互異）——無論真實缺失機制的性質(zhì)如何。然而，當真實缺失數(shù)據(jù)機制是 MAR（如假設(shè) 2.1 所表述）時，這種方法是否仍然在統(tǒng)計上有效，則是一個不同且直到最近仍未解決的問題。

相反，雖然目前已有豐富的參數(shù)和非參數(shù)理論致力于處理缺失值，但針對一般非單調(diào) MAR 情況的保證顯著稀缺。雖然在 MLE 估計（Takai 和 Kano (2013)）和插補（Wang 和 Robins (1998)；Guan 和 Yang (2024)）的參數(shù)情況下有一些有趣的結(jié)果，但我們并不知曉在此情況下有一般的非參數(shù)結(jié)果。例如，在 M 估計的背景下，F(xiàn)rahm 等人 (2020) 表明，簡單的忽略估計量不再保證在 MAR 下是一致的。這也在第 5.1 節(jié)中得到了說明。一種直觀的補救措施是重加權(quán)方法，該方法利用條件概率 P ( M = m ∣ X = x )
的估計值對數(shù)據(jù)進行重加權(quán)，從而產(chǎn)生逆概率加權(quán)（IPW）估計量。然而，在非單調(diào) MAR 下，這種方法并不直接。例如，Sun 和 Tchetgen (2018) 討論了此設(shè)置下 IPW 估計量的困難，并提出了一種缺失概率的參數(shù)模型，允許對數(shù)據(jù)進行重加權(quán)以獲得一致的結(jié)果。然而，這種參數(shù)形式似乎相當有限，且基于 IPW 的估計量需要估計模式概率，這在我們的設(shè)置中可能難以處理，因為在我們的設(shè)置中可能僅能偶爾觀測到某種模式。因此，IPW 估計量的理論似乎主要是在單調(diào)缺失的背景下發(fā)展的（參見例如，Seaman 和 Vansteelandt (2018)）。

對此的一個顯著例外，也是極少數(shù)能夠在 MCAR 之外為一般非單調(diào)模式下的 M 估計提供漸近保證的論文之一，是開創(chuàng)性的論文 Daniel Malinsky 和 Tchetgen (2022)。然而，他們研究的是無自刪失（no-self-censoring）機制，這與 MAR 有著根本的不同。此外，他們再次要求用逆概率對其觀測點進行復(fù)雜的重加權(quán)。在另一篇重要的近期論文 Chen 和 Sadinle (2019) 中，利用核密度估計器和識別條件估計了缺失值下多元樣本的完整分布 P θ ?
。他們提供了由此分布估計導(dǎo)出的一致估計量甚至漸近正態(tài)性的一般保證。這在精神上與我們作為理論的自然應(yīng)用而獲得的密度估計器相近。然而，他們再次關(guān)注單調(diào)缺失。雖然他們也討論了非單調(diào)缺失的可能性，但這需要相當復(fù)雜的識別條件，這些條件比 MAR 更強。特別是，他們的方法不能用于第 5.1 節(jié)中的例子。因此，雖然他們的方法很有希望，但也展示了非單調(diào)缺失的困難。相比之下，我們的方法相當直接，即使在 MAR 下也是有效的。從技術(shù)角度來看，正如完整數(shù)據(jù)的情況一樣，與核密度估計器相比，貝葉斯密度估計方法還具有能夠適應(yīng)更高平滑度速率的優(yōu)勢，參見例如 (Ghosal 和 van der Vaart, 2017, 第 9 章)。

如上所述，關(guān)于正式 MAR 結(jié)果的文獻稀缺并不完全令人驚訝。正如 N?f 等人 (2026) 詳細討論的那樣，假設(shè) 2.1 中的 MAR 處理起來相當復(fù)雜。特別是，在第 5.1 節(jié)中我們證明，即使在三維情況下，當從一種模式切換到另一種模式時，也會出現(xiàn)復(fù)雜的分布偏移。這可能是 MAR 條件在一定程度上失寵，轉(zhuǎn)而考慮穩(wěn)健 MCAR 版本的原因之一 Ma 等人 (2024)；Chérif-Abdellatif 和 N?f (2025)。另一方面，鑒于 Rubin (1976)；Takai 和 Kano (2013) 的結(jié)果，MAR 似乎自然地與似然最大化對齊，特別是與 KL 散度最小化對齊。這在插補背景下的機器學(xué)習(xí)領(lǐng)域也得到了認可（Mattei 和 Frellsen, 2019; Yu 等人, 2025），盡管嚴格的統(tǒng)計結(jié)果似乎仍然缺乏。

3.2 貢獻

在具有完整數(shù)據(jù)的規(guī)則參數(shù)模型中，貝葉斯方法的頻率學(xué)派有效性現(xiàn)已確立。眾所周知，當最大似然估計量（MLE）具有一致性和漸近正態(tài)性時，在對先驗的溫和條件下，后驗分布通常集中在真實值周圍并滿足 Bernstein–von Mises (BvM) 定理。這些屬性可以非正式地視為一致性和漸近正態(tài)性的貝葉斯對應(yīng)物，確保后驗表現(xiàn)得像一個良好的頻率學(xué)派估計量。然而，在存在缺失數(shù)據(jù)的情況下，尚不清楚這些屬性是否仍然成立。特別是，基于（可忽略）似然的貝葉斯推斷在數(shù)據(jù)未完全觀測時是否仍然有效，即使是在 MAR 假設(shè)下，仍是一個開放性問題。

在參數(shù)模型之外，貝葉斯方法的頻率學(xué)派驗證已通過所謂的先驗質(zhì)量與測試框架得以發(fā)展。該方法提供了確保非參數(shù)模型中后驗集中性的一般條件，并具有可量化的速率。關(guān)鍵要素包括：(a) 真實值的 KL 鄰域內(nèi)具有足夠的先驗質(zhì)量；(b) 存在合適的檢驗；(c) 先驗集中在篩法（sieve）上。該理論在標準設(shè)置中現(xiàn)已得到充分理解，但其擴展到具有缺失數(shù)據(jù)的模型在很大程度上仍未被探索。因此，我們這里考慮的問題是，此類一般非參數(shù)結(jié)果是否可以擴展到僅觀測到不完整數(shù)據(jù)且真實缺失機制為 MAR 的情況。特別是，我們感興趣的問題是，在這種情況下是否可以恢復(fù)完整密度。

一個基本結(jié)果斷言，在獨立同分布（i.i.d.）數(shù)據(jù)下，且當 Θ Θ 是由 Hellinger 距離度量的概率測度空間時，(b) 中合適檢驗的存在性得到保證（參見例如，(Ghosal 和 van der Vaart, 2017, 附錄 B)）。我們表明，有些令人驚訝的是，這在 MAR 缺失和正性條件下仍然成立。我們通過為任何密度組合構(gòu)建特定檢驗來實現(xiàn)這一點，靈感來源于 (Ghosal 和 van der Vaart, 2017, 附錄 B) 中的思想。此外，由于在我們的框架中，先驗和篩法（Sieve）均不因缺失值而改變，(c) 成立當且僅當它在完整數(shù)據(jù)情況下成立。然而，再次有些令人驚訝的是，KL 鄰域中的先驗質(zhì)量在存在缺失值時可能不成立，即使在完整數(shù)據(jù)情況下成立。因此，雖然 (b) 對于 Hellinger 距離成立，且 (c) 可以通過完整數(shù)據(jù)進行檢查，但 (a) 需要針對缺失數(shù)據(jù)進行仔細研究。我們表明，盡管如此，在上貝葉斯密度估計的非常一般的情況下，如果真實密度滿足 H?lder 條件，(c) 是可以驗證的 [注：原文此處為 (c)，根據(jù)上下文邏輯疑似應(yīng)為 (a)]。利用 KL 散度、似然性與 MAR 條件之間的聯(lián)系，我們的一般結(jié)果允許推導(dǎo)出一個易于實現(xiàn)的密度估計器，同時達到極小極大收縮率。隨后可以從估計的無污染分布中采樣，以便在第二步中獲得密度的任何連續(xù)函數(shù)。

因此，我們的貢獻有四個方面：

1. 我們將一般后驗收縮結(jié)果擴展到了非單調(diào) MAR 缺失的情況。
2. 我們證明，即使在非單調(diào) MAR 缺失下，針對 Hellinger 距離的合適檢驗始終存在。
3. 我們應(yīng)用這些結(jié)果表明，在 H?lder 條件下使用 Dirichlet 先驗進行的密度估計，其后驗收縮率達到了與估計的極小極大速率相對應(yīng)（直至對數(shù)因子）的水平。
4. 我們推導(dǎo)并實現(xiàn)了一種算法以獲得該估計，該算法能夠接受受缺失值污染的數(shù)據(jù)，并生成來自無污染分布的樣本，這些樣本可用于第二步中的任何感興趣參數(shù)。

我們注意到，我們的密度估計應(yīng)用僅觸及表面，因為第 1 點和第 2 點中的結(jié)果可能具有更廣泛的適用性。

4 MAR 下的后驗收縮速率

本節(jié)提供了本文的主要結(jié)果。我們首先介紹一種適應(yīng)于缺失數(shù)據(jù)設(shè)置的 Kullback-Leibler 散度的新變體，然后在著名的先驗質(zhì)量與檢驗框架下陳述一個一般性定理。最后，我們將此結(jié)果特化應(yīng)用于 Hellinger 距離下的估計情形。

4.1 定義

我們首先引入以下 KL 散度的適應(yīng)性定義：

4.2 一般后驗收縮結(jié)果

我們現(xiàn)在可以表述我們的第二組假設(shè)：

該條件類似于貝葉斯非參數(shù)文獻中通常的檢驗假設(shè)，其顯著區(qū)別在于，在標準方法中，檢驗統(tǒng)計量通常是利用完整數(shù)據(jù)集構(gòu)建的，而我們這里僅依賴于不完整的觀測數(shù)據(jù)。在這些假設(shè)下，可以建立一個類似于完整數(shù)據(jù)設(shè)置下的收斂速率：

雖然這可能足以證明類似于（Ghosal 和 van der Vaart, 2017，定理 6.23）的 Schwartz 型結(jié)果，即證明無任何速率的一致性，但這不足以證明我們此處希望證明的更強結(jié)果。原因是完整數(shù)據(jù)和缺失數(shù)據(jù)量之間的相同關(guān)系對 eV 不成立，因此尚不清楚在完整數(shù)據(jù)情況下滿足先驗質(zhì)量假設(shè)是否也意味著在 MAR 缺失下滿足假設(shè) 4.1 i)。我們現(xiàn)在將這些一般結(jié)果應(yīng)用于上的密度估計情況。

5 MAR 缺失下的密度估計

憑借這一有些令人驚訝的結(jié)果，我們自然地得到了一種方法，該方法能夠接受 MAR 缺失數(shù)據(jù)，并從先前被缺失性掩蓋的（未觀測到的）基礎(chǔ)分布中生成新樣本。另一方面，在第 5.1 節(jié)中，處理復(fù)雜 MAR 情況的一種方法是嘗試使用非參數(shù)插補，通過以恢復(fù) X X 的無污染分布的方式填補缺失值。我們的方法與這種方法并行，盡管我們注意到這嚴格來說并不是一種插補方法，因為它生成的是全新的樣本，而不是保持觀測樣本完整。在插補文獻中，這傳統(tǒng)上被視為可疑的。例如，在最近的插補基準 Grzesiak 等人 (2025) 中，更改觀測數(shù)據(jù)會導(dǎo)致錯誤。然而，我們認為我們的方法提供了一個有趣的視角：新方法學(xué)允許我們根據(jù)需要從估計的未掩碼密度中采樣任意多的點，并可用于估計任何感興趣的屬性。事實上，最近的論文隱式或顯式地論證了插補是一項分布任務(wù)，即人們所能希望做到的最好的事情是通過插補恢復(fù)原始的未掩碼分布。這反映了缺失值通常無法恢復(fù)且不應(yīng)嘗試恢復(fù)這一事實。正如 Van Buuren (2018, 第 2.6 章) 所述：“插補不是預(yù)測”。因此，我們的方法將這一思想向前推進了一步，從未掩碼分布中生成全新的樣本，承認在大多數(shù)應(yīng)用中我們真正感興趣的是分布的各個方面，而不是原始樣本。

6 模擬研究

在本節(jié)中，我們的目標是實證證明，在算法 1 中實現(xiàn)的帶有缺失值的理論算法，其性能與使用完整數(shù)據(jù)的同一算法大致相同。當然，這不是一個公平的比較，因為完整數(shù)據(jù)算法比算法 1 能訪問更多的數(shù)據(jù)。盡管如此，相對于 d = 3 的維度，我們使用了相對較大的樣本量（ n ∈ { 500 , 1000 } ），這應(yīng)該能揭示出兩者相似的性能。

圖 3 - 5 展示了結(jié)果。由于我們使用正態(tài)分布的 Dirichlet 混合，前兩個設(shè)置對于我們的方法是理想的，盡管我們注意到這仍然與簡單地使用參數(shù)方法不同。因此，我們的算法表現(xiàn)非常好，無論是在分位數(shù) (1) 的估計方面，還是在能量距離 (2) 方面。特別是，盡管存在棘手的 MAR 機制和信息損失，其性能與能夠訪問完整數(shù)據(jù)的算法相當。正如預(yù)期的那樣，mice_rf 也具有很強的競爭力，盡管它在分位數(shù)估計方面有些吃力。另一方面，對于均勻分布示例，正態(tài)分布的 Dirichlet 混合自然表現(xiàn)不佳，因為該方法試圖用光滑的高斯分布來近似非光滑密度。盡管如此，對于 n = 1 , 000 ，我們提出的帶有缺失值的算法與能夠訪問完整數(shù)據(jù)的同一算法的性能再次相當。

7 結(jié)論

在這項工作中，我們將貝葉斯后驗收縮結(jié)果適應(yīng)于一般非單調(diào) MAR 缺失的情況。我們表明，當向 MAR 添加正性假設(shè)時，Hellinger 距離仍然自動滿足檢驗條件，提供了一個可以移除檢驗條件的結(jié)果版本。然后我們將該理論應(yīng)用于密度估計，給出了在該一般 MAR 條件下看似首個非參數(shù)一致性結(jié)果。我們還在算法 1 中實現(xiàn)了該方法。

我們相信這項工作僅觸及了表面。特別是，定理 4.3 可能比僅用于獨立同分布數(shù)據(jù)下的密度估計具有更廣泛的適用性。此外，一個自然的直接問題是是否可以推導(dǎo)出一（半?yún)?shù)）Bernstein-von-Mises 結(jié)果。這樣的結(jié)果將使得能夠用多元高斯分布漸近地近似感興趣參數(shù)的后驗分布，從而允許在 MAR 缺失值下進行基于原理的不確定性量化。我們打算在后續(xù)工作中研究這些問題。最后，雖然提出的密度估計算法在我們的模擬中效果很好，但更靈活的版本在實踐中可能會獲得更好的結(jié)果。例如，針對每種模式變化協(xié)方差矩陣 Σ ，而不是在所有模式上固定它，可能會提高更復(fù)雜數(shù)據(jù)集的性能。

原文鏈接：https://arxiv.org/pdf/2603.23449