Estimation of Over-parameterized Models from an Auto-Modeling Perspective

從自動建模視角估計過參數(shù)化模型

https://arxiv.org/pdf/2206.01824

摘要

從模型構(gòu)建的角度出發(fā)，我們提出一種適用于過參數(shù)化模型擬合的范式轉(zhuǎn)變。在理念上，其核心思想是將模型擬合于未來觀測值，而非已觀測的樣本。在技術(shù)上，給定一種用于生成未來觀測值的插補方法，我們通過對目標(biāo)期望損失函數(shù)的近似進行優(yōu)化來擬合過參數(shù)化模型，該近似基于其樣本對應(yīng)形式和一個自適應(yīng)對偶函數(shù)。所需的插補方法也采用相同的估計技術(shù)，并結(jié)合一種自適應(yīng)的 m m-out-of- n n 自助法予以構(gòu)建。我們通過多重正態(tài)均值問題、 n < p 的線性回歸以及基于神經(jīng)網(wǎng)絡(luò)的 MNIST 手寫數(shù)字圖像分類等應(yīng)用加以說明。數(shù)值結(jié)果表明，該方法在這些多樣化任務(wù)中均展現(xiàn)出優(yōu)越性能。盡管本文主要為闡述性質(zhì)，但仍對相關(guān)理論問題進行了深入探討，并在最后就若干開放性問題提出評述。

關(guān)鍵詞：自助法；交叉驗證；未來觀測；圖像分類；重采樣

1 引言

過度參數(shù)化模型，如神經(jīng)網(wǎng)絡(luò)，在統(tǒng)計分析中起著至關(guān)重要的作用。它們的主要優(yōu)勢在于能夠靈活且高效地近似不同結(jié)構(gòu)中的非線性函數(shù)。然而，應(yīng)用過度參數(shù)化模型可能會帶來挑戰(zhàn)（參見，Nalisnick等人（2019））。主要挑戰(zhàn)出現(xiàn)在模型估計過程中，這通常涉及基于觀測數(shù)據(jù)最小化損失函數(shù)（Vapnik，1991）。在這種情況下，對觀測數(shù)據(jù)看似樂觀的性能未能推廣到總體數(shù)據(jù)，導(dǎo)致因存在泛化差距而廣為人知的過擬合問題。這種過擬合問題也是定義過度參數(shù)化的主要特征（參見，例如，Oneto等人，2023）。

傳統(tǒng)上，為了在提高過度參數(shù)化模型的有效性的同時減輕其相關(guān)挑戰(zhàn)，以預(yù)測為導(dǎo)向的模型選擇至關(guān)重要。預(yù)測方法的實施通?；诤唵斡行У慕徊骝炞C思想，主要參考文獻有Stone（1974，1977）、Geisser（1975）和Efron和Tibshirani（1994，第255頁，以及其中引用）。在現(xiàn)代機器學(xué)習(xí)時代，正則化技術(shù)（Bühlmann和Van De Geer，2011）通常用于通過使過度參數(shù)化模型“更簡單”來防止過擬合。正則化過程通常涉及選擇超參數(shù)，使模型選擇過程本質(zhì)上成為超參數(shù)優(yōu)化任務(wù)。

盡管簡單且總體有效，但當(dāng)前擬合過度參數(shù)化模型的框架存在某些局限性。首先，模型估計和模型選擇過程是分開的。這種分離通常需要限制候選模型的數(shù)量以確保計算可行性。例如，在L1懲罰模型中，通常采用網(wǎng)格搜索方法來探索有限范圍的超參數(shù)值（以下簡稱為λ）。這種方法可能導(dǎo)致估計模型的不一致性，源于候選集選擇的變化。其次，超參數(shù)調(diào)整過程可能不適應(yīng)觀測數(shù)據(jù)。例如，在K折交叉驗證方法中，相同的調(diào)整后的超參數(shù)用于K個模型，每個模型都基于不同的觀測數(shù)據(jù)擬合，以及使用完整觀測數(shù)據(jù)的最終模型（參見Tibshirani和Tibshirani，2009，以及其中引用）。此外，最近的研究，如Bates等人（2024），指出交叉驗證存在問題，表明它可能無法充分估計預(yù)測誤差。而且，也許最重要的是，當(dāng)使用高維超參數(shù)以充分利用過度參數(shù)化模型的能力時，似乎需要新的方法。

在這里，我們采取模型構(gòu)建的視角，提出了一個新的框架，自動建模（AM），用于估計過度參數(shù)化模型。從哲學(xué)上講，這種思維方式是將模型擬合到未來的觀測，而不是觀測樣本。技術(shù)上，給定一種生成未來觀測的插補方法，我們通過優(yōu)化期望損失函數(shù)的近似來擬合這些未來觀測的過度參數(shù)化模型。這種優(yōu)化基于經(jīng)驗對應(yīng)物和自適應(yīng)對偶函數(shù)，該函數(shù)擴展了具有可估計超參數(shù)的懲罰函數(shù)。所需的插補方法也使用相同的估計技術(shù)，采用自適應(yīng)m-out-of-n自舉方法開發(fā)。

所提出的估計框架本身似乎適用于使用自舉方法創(chuàng)建插補模型，自舉總體作為未來觀測，自舉樣本作為觀測數(shù)據(jù)。

然而，由于標(biāo)準(zhǔn)（n-out-of-n）自舉方法在高維問題中的困難（參見，Jiang等人，2024，以及其中引用），我們使用基于自適應(yīng)m-out-of-n自舉的插補方法。值得注意的是，所提出的最終估計方法在過度參數(shù)化的背景下，是結(jié)合基于重采樣結(jié)果的真正方法；參見備注2。

AM通過各種應(yīng)用進行說明，包括多正態(tài)均值問題、n < p線性回歸和基于神經(jīng)網(wǎng)絡(luò)的MNIST數(shù)字圖像分類。數(shù)值結(jié)果表明，對于多正態(tài)均值問題，AM在大多數(shù)情況下優(yōu)于其他流行方法。對于線性回歸，AM產(chǎn)生的模型參數(shù)估計導(dǎo)致性能大大改善，通過較低的預(yù)測誤差和增強的預(yù)測區(qū)間覆蓋率，與領(lǐng)先技術(shù)相比。在MNIST圖像分類中，當(dāng)應(yīng)用于標(biāo)準(zhǔn)模型結(jié)構(gòu)時，AM顯著超越了幾種常用的正則化方法。

在本文的其余部分，我們將在第2節(jié)中全面探討所提出的AM框架。所需的數(shù)值算法在第3節(jié)中討論。第4節(jié)提供了相關(guān)的理論結(jié)果。第5節(jié)給出了三種不同示例中該方法的應(yīng)用。第6節(jié)以一些備注結(jié)束。

2 總體框架

2.1 設(shè)置

作為損失函數(shù)。從第1節(jié)中詳細(xì)闡述的建模角度來看，我們將 θ 的最優(yōu)估計定義為一組 θ -值，這些值最小化了相對于總體的期望損失。也就是說，這樣的 θ -值形成集合

2.2 模型估計的新方法

正如第1節(jié)中所闡述的，現(xiàn)有的框架如ERM可能存在某些局限性。這促使我們尋找一個近似解決方案來

2.3 通過數(shù)據(jù)分割和自適應(yīng)重采樣進行插補

在本文中，我們主要關(guān)注給定觀測協(xié)變量的插補。更準(zhǔn)確地說，我們通過多次插補生成未來的觀測

以一種簡單而高效的方式檢驗條件（12），引導(dǎo)我們采用 Kolmogorov–Smirnov 檢驗（KS 檢驗，Massey (1951)；另見 Liu (2023)）來評估插補模型的有效性。具體而言，KS 檢驗所得的 p 值——用于比較（12）中所述的插補分布與標(biāo)準(zhǔn)均勻分布——被用作有效性的度量指標(biāo)。這一度量反過來成為選擇合適重抽樣方案以估計插補模型的關(guān)鍵指導(dǎo)。

為便于理解，圖1給出了所提出框架主要組成部分的圖示說明。補充材料S.1中提供了一個簡單的示例。AM的清晰性和計算效率將在以下注釋中進一步闡述。

注釋2：估計過程（算法1）也可視為將多個獨立的插補模型組合成一個單一模型，類似于bootstrap和貝葉斯平均方法。這種方法在過參數(shù)化模型中尤其相關(guān)，因為在這些模型中，bootstrap和類貝葉斯平均方法的有效性存疑。

注釋3：所提出的插補方法在概念上與現(xiàn)有的集成技術(shù)（尤其是Bagging和Stacking）具有相似之處，這兩種技術(shù)在統(tǒng)計學(xué)和機器學(xué)習(xí)領(lǐng)域已得到廣泛確立（Breiman, 1996; Wolpert, 1992）。然而，由于我們的方法不同于集成方法，其動機源于統(tǒng)計建模，并且僅保留單個模型。正因這一關(guān)鍵差異，我們的方法顯著提升了模型解釋與推斷的便捷性。

3 數(shù)值優(yōu)化方法
在本節(jié)中，我們?yōu)?AM 估計量開發(fā)高效的數(shù)值優(yōu)化算法。
為便于分析，我們假設(shè)損失函數(shù)和對偶函數(shù)的正則性條件（詳見補充材料 S.2.1）均成立。由于使用算法 2 和算法 3 實現(xiàn)的插補步驟與使用算法 1 實現(xiàn)的估計步驟涉及相同的優(yōu)化問題，本節(jié)將聚焦于估計步驟。
具體而言，我們的目標(biāo)是求解：

可以開發(fā)出算法 4 的多種變體。例如，通過將 θ 和 λ 的更新步驟替換為隨機梯度下降（SGD）更新或 ADAM 更新（Kingma 和 Ba, 2014），即可輕松獲得一種隨機坐標(biāo)下降算法，作為算法 4 的隨機變體。該變體在第 5.3 節(jié)的神經(jīng)網(wǎng)絡(luò)應(yīng)用中被采用。對于本文所有的數(shù)值示例，算法 4 及其變體均產(chǎn)生了令人滿意的收斂結(jié)果。這些數(shù)值方法的正式理論性質(zhì)將另文報告。

4 理論考量

4.1 模型有效性與估計有效性

現(xiàn)代過參數(shù)化模型在大數(shù)據(jù)應(yīng)用中的成功，使我們相信，同時考慮樣本量增大時的建模過程，并引入一種新的“有效性”概念（或更準(zhǔn)確地說，是關(guān)于潛在建模策略的“有效性”）至關(guān)重要。正是在此背景下，本節(jié)將給出有效性的數(shù)學(xué)定義，以確保第 4.2 節(jié)所呈現(xiàn)結(jié)果的清晰性；參見注釋 1 以了解類似觀點。

從概念上講，定義 1 放松了傳統(tǒng)假設(shè)——即模型在任何有限樣本量下都必須精確指定，這種假設(shè)通常用于建立模型的漸近“正確性”。接下來的命題 1 和 2 將說明此模型有效性定義如何與傳統(tǒng)的統(tǒng)計假設(shè)相關(guān)聯(lián)。首先，我們引入“模型泛化”的概念，以供后續(xù)參考。

4.2 AM 的估計有效性

5 應(yīng)用

5.1 多個正態(tài)均值的同時估計

表1總結(jié)的結(jié)果表明，盡管在最初的簡單示例中DPMM優(yōu)于AM，但在兩個更具挑戰(zhàn)性的示例中，AM的表現(xiàn)超越了包括DPMM在內(nèi)的所有其他方法。這些結(jié)果展示了AM在多正態(tài)均值問題中捕捉復(fù)雜數(shù)據(jù)生成結(jié)構(gòu)的能力。在這些具有挑戰(zhàn)性的情境下，AM相較于g-建模和DPMM的優(yōu)越表現(xiàn)，也暗示了當(dāng)應(yīng)用類似模型結(jié)構(gòu)時，其估計效率更高。關(guān)于底層μ不服從正態(tài)分布情形的額外數(shù)值結(jié)果，詳見補充材料S.10.6。

5.2 n < p 的線性回歸

結(jié)果匯總于表2和表3中。我們可以看到，無論使用何種對偶函數(shù)，AM在均方誤差（ME）方面均顯著優(yōu)于所有其他方法。

此外，AM 在所有設(shè)定下均能提供令人滿意的 95% 預(yù)測區(qū)間覆蓋率，而其他所有方法均表現(xiàn)出顯著的覆蓋率不足。

5.3 基于神經(jīng)網(wǎng)絡(luò)的圖像分類

為展示所提出方法在神經(jīng)網(wǎng)絡(luò)模型中的應(yīng)用，我們考慮一個使用著名 MNIST 數(shù)據(jù)集（LeCun 等，1998）進行圖像分類的數(shù)值示例。MNIST 數(shù)據(jù)庫是一個大型手寫數(shù)字?jǐn)?shù)據(jù)庫，常用于訓(xùn)練各類圖像處理系統(tǒng)。其訓(xùn)練集和測試集的樣本量分別為 60,000 和 10,000。每個手寫數(shù)字（0–9）的圖像大小為 28 × 28 像素，像素值以灰度級表示，范圍從 0 到 255。因此，對于每個觀測，表示圖像，表示標(biāo)簽或數(shù)字。該分類問題的目標(biāo)是根據(jù)預(yù)測 。

第 2.3 節(jié)提出的 AM 插補-估計方案在此示例中的具體實施在此簡要總結(jié)，以增強清晰性。插補過程（算法 2）包括擬合用于對訓(xùn)練圖像預(yù)測新標(biāo)簽的模型。這些訓(xùn)練圖像與其新預(yù)測的標(biāo)簽共同構(gòu)成插補后的“未來觀測”，并用于算法 1 的最終估計過程。從概念上講，數(shù)據(jù)集中的每張圖像都與多個（可能變化的）標(biāo)簽相關(guān)聯(lián)，這有助于有效防止模型對單一標(biāo)簽過擬合。

為考察所提方法的效率，我們采用了兩種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。第一種結(jié)構(gòu)是一個前饋神經(jīng)網(wǎng)絡(luò)，包含兩個全連接層。兩個隱藏層的節(jié)點數(shù)分別設(shè)為 400、800 和 1600（即分別進行三種配置實驗）。輸出層采用多變量邏輯鏈接（softmax），返回 10 個類別的概率。這種經(jīng)典結(jié)構(gòu)在文獻中常被用于評估模型訓(xùn)練策略。第二種結(jié)構(gòu)參考了 Jarrett 等人（2009）的描述：它將卷積神經(jīng)網(wǎng)絡(luò)（CNN）特征提取器的輸出作為第一種結(jié)構(gòu)的輸入。該特征提取器由兩個卷積層構(gòu)成，分別包含 32 和 64 個通道，每個卷積層后接一個 2 × 2 的最大池化層。每個 CNN 層的濾波器尺寸設(shè)為 5 × 5，全連接層的隱藏節(jié)點數(shù)設(shè)為 200。所有結(jié)構(gòu)均采用修正線性單元（ReLU）激活函數(shù)。

所有方法在四種不同模型下的測試誤差結(jié)果如表4所示。當(dāng)使用AM時，可觀察到顯著的性能提升。值得注意的是，AM的性能超過了當(dāng)前最先進的正則化技術(shù)Dropconnect（Mobiny等，2021；Wan等，2013），且模型結(jié)構(gòu)相同，正如Wan等（2013）和Mobiny等（2021）所報告的那樣。與他們的方法相比，AM不僅表現(xiàn)出更快的收斂速度，還提供了更直接的實現(xiàn)方式。AM估計過程的詳細(xì)信息及所得參數(shù)詳見補充材料S.6.4。作為AM的一個附加優(yōu)勢，它能夠檢測標(biāo)簽錯誤的數(shù)據(jù)（詳見補充材料S.6.5）。

需要說明的是，本文引入的插補算法并不生成新的圖像（x），而若采用能夠生成新圖像的插補算法，性能可能會進一步提升。例如，數(shù)據(jù)增強方法（如隨機形變，Simard等，2003），已被證明在實踐中有效，可用于生成更多圖像。近年來一種流行的技術(shù)——生成對抗網(wǎng)絡(luò)（GAN, Goodfellow等，2020）——也為此方向提供了一種潛在策略。為簡化起見，本文未開展此類擴展實驗，相關(guān)結(jié)果將在其他地方報告。

6 結(jié)論性評述

本文從建模視角提出了一種用于過參數(shù)化模型估計的有前景的方法。未來的研究可聚焦于其應(yīng)用，以進一步提升機器學(xué)習(xí)與統(tǒng)計學(xué)中過參數(shù)化及非過參數(shù)化模型的性能。例如，多正態(tài)均值示例中的數(shù)值結(jié)果表明，當(dāng)過參數(shù)化與所提出的估計方法相結(jié)合時，能有效增強模型的靈活性與適用性，從而提高對未來觀測的預(yù)測效率。這些見解與深度神經(jīng)網(wǎng)絡(luò)取得成功的廣泛共識相一致。我們相信，針對實踐中廣泛使用的統(tǒng)計模型深入探究這一現(xiàn)象，有望帶來引人入勝且具有價值的理論進展，這些進展將不僅強化、甚至可能超越傳統(tǒng)的基于似然的推斷方法。

在技術(shù)層面，對偶函數(shù)的設(shè)定與插補方法仍有進一步改進的空間。鑒于本文主要關(guān)注建模的基礎(chǔ)性問題，我們選擇采用一種強調(diào)模型檢驗的自適應(yīng)自助法（adaptive bootstrapping）實現(xiàn)策略。盡管這種數(shù)據(jù)驅(qū)動的實現(xiàn)已展現(xiàn)出良好效果，但在穩(wěn)健性與效率方面仍可能遭遇意料之外的局限——這在重抽樣方法中較為常見，尤其在高維問題中（Liu 等，2024）。因此，探索替代性的插補方法是值得的。例如，合成數(shù)據(jù)生成技術(shù)可能特別有用，因其已在多種任務(wù)中被證明有效，尤其是在處理復(fù)雜模型和高維數(shù)據(jù)方面（Liu 等，2024；Shen 等，2024；Tian 和 Shen，2024）。此外，反向考察所提出方法如何反過來改進此類模型也頗具意義——特別是結(jié)合第 5.3 節(jié)的圖像分類示例，并從 Box（1980）關(guān)于建模是一個迭代過程的視角出發(fā)（參見補充材料 S.12）。

漸進地，開發(fā)更高效的計算技術(shù)將進一步推動我們所提方法的成功，特別是在實現(xiàn)對大規(guī)模數(shù)據(jù)集更有效且有效的分析方面。最后，包括保形預(yù)測（conformal prediction）在內(nèi)的統(tǒng)計推斷方法（參見 Cella 和 Martin，2022 及其中參考文獻）可在我們提出的框架內(nèi)得到有效應(yīng)用與發(fā)展。

原文鏈接： https://arxiv.org/pdf/2206.01824