數(shù)據(jù)同化相關(guān)反問題的平滑性及其他超參數(shù)估計(jì)

Smoothness and other hyperparameter estimation for inverse problems related to data assimilation

https://arxiv.org/pdf/2602.18328

摘要

本文研究由偏微分方程和隨機(jī)偏微分方程控制的動(dòng)力系統(tǒng)在數(shù)據(jù)同化中出現(xiàn)的貝葉斯反問題。我們聯(lián)合推斷時(shí)空相關(guān)場(chǎng)以及先驗(yàn)密度和似然密度的靜態(tài)參數(shù)。特別關(guān)注控制先驗(yàn)光滑性和正則性的超參數(shù)，這對(duì)確保問題適定性、塑造后驗(yàn)結(jié)構(gòu)以及確定預(yù)測(cè)不確定性至關(guān)重要。通常該參數(shù)被假定為先驗(yàn)已知且固定，但在本文中我們將采用分層貝葉斯框架，將光滑性及其他超參數(shù)視為未知并賦予超先驗(yàn)。后驗(yàn)推斷使用適用于高維的Metropolis-within-Gibbs抽樣進(jìn)行，其中超參數(shù)估計(jì)幾乎不增加計(jì)算負(fù)擔(dān)。該方法在Navier-Stokes方程和隨機(jī)對(duì)流擴(kuò)散方程的反問題中得到驗(yàn)證，涵蓋稀疏和密集觀測(cè)情形，并使用具有不同協(xié)方差結(jié)構(gòu)的高斯先驗(yàn)。數(shù)值結(jié)果表明，聯(lián)合估計(jì)光滑性可顯著降低因光滑性設(shè)定錯(cuò)誤而導(dǎo)致的不確定性量化和參數(shù)估計(jì)誤差，其性能可與已知真實(shí)光滑性的場(chǎng)景相媲美。

1 引言
在氣象學(xué)、海洋學(xué)與大氣科學(xué)、水文學(xué)、地球物理學(xué)等領(lǐng)域，需要估計(jì)各種時(shí)空相關(guān)的動(dòng)態(tài)量并用于預(yù)測(cè)；參見[6, 20, 5, 4]的綜述。這些量通常采用流體動(dòng)力學(xué)中的物理模型進(jìn)行建模，表述為偏微分方程，最近也開始使用隨機(jī)偏微分方程，描述諸如速度、溫度、氣壓、風(fēng)或洋流的湍流、鹽度等大氣量的演變[62, 3, 35]。過去幾十年中，從遙感衛(wèi)星或原位傳感器獲取的時(shí)空數(shù)據(jù)集規(guī)模日益增大，例如[24]。衛(wèi)星能夠生成地球物理變量的高分辨率圖像，如平流層臭氧、海面高度風(fēng)等，這些圖像被用于從季節(jié)周期估計(jì)到長(zhǎng)期趨勢(shì)識(shí)別的多種任務(wù)[54, 53]。數(shù)據(jù)同化提供了一個(gè)框架，將這些觀測(cè)數(shù)據(jù)與動(dòng)力學(xué)模型相結(jié)合，以準(zhǔn)確估計(jì)和預(yù)測(cè)這些狀態(tài)。數(shù)值天氣預(yù)報(bào)的核心目標(biāo)之一——預(yù)報(bào)，可以通過推斷狀態(tài)的初始條件并向前傳播其控制動(dòng)力學(xué)來實(shí)現(xiàn)。由于這些模型軌跡會(huì)迅速偏離真實(shí)狀態(tài)，我們需引入觀測(cè)數(shù)據(jù)來修正這種偏差，詳見[46, 4, 6]。除了被稱為動(dòng)力學(xué)變量的狀態(tài)外，還存在一些靜態(tài)參數(shù)，它們決定了模型方程及其屬性，如光滑性、噪聲幅度、旋轉(zhuǎn)角度等。這些參數(shù)也需要從數(shù)據(jù)中估計(jì)，本文將考慮對(duì)動(dòng)態(tài)變量和靜態(tài)變量進(jìn)行聯(lián)合貝葉斯推斷[1, 7]。

數(shù)據(jù)同化問題自然地被表述為貝葉斯反問題：這在氣象學(xué)、大氣科學(xué)與海洋學(xué)等領(lǐng)域已很常見，例如參見[6, 20]。受這些應(yīng)用啟發(fā)，我們采用貝葉斯觀點(diǎn)，從含噪觀測(cè)中推斷一個(gè)定義在合適可分向量空間(V, ∥·∥V)上的向量場(chǎng)v = (v(t, x); t ∈ [0, T ], x ∈ X)。過去十年中，得益于基于模擬的算法的發(fā)展和強(qiáng)大計(jì)算能力的普及，貝葉斯反問題的應(yīng)用顯著增長(zhǎng)[25]。在此框架下，我們旨在通過抽象貝葉斯法則從數(shù)據(jù)y學(xué)習(xí)后驗(yàn)分布μ：

1.2 主要貢獻(xiàn)

• 我們針對(duì)偏微分方程和隨機(jī)偏微分方程的反問題，提出了一種高效的 MwG 算法。對(duì)于狀態(tài)變量，我們使用 pCN 算法；對(duì)于超參數(shù)，我們采用吉布斯采樣或吉布斯 MCMC 核，與文獻(xiàn)[7]類似。我們強(qiáng)調(diào)，考慮超參數(shù)所帶來的計(jì)算開銷非常小。

• 我們特別關(guān)注光滑度參數(shù)對(duì)狀態(tài)推斷和預(yù)測(cè)的影響，這在先前的文獻(xiàn)中常常被忽略。為此，我們證明了，與依賴固定光滑度假設(shè)的標(biāo)準(zhǔn)方法相比，我們的方法在估計(jì)和預(yù)測(cè)的不確定性量化方面均有改進(jìn)。我們還探討了光滑度對(duì)其他參數(shù)估計(jì)的影響。

本文的結(jié)構(gòu)如下：第2節(jié)介紹了問題表述、使用的符號(hào)以及將要研究的兩個(gè)不同問題。第3節(jié)描述了我們?cè)诟呔S設(shè)置下考慮的Metropolis-within-Gibbs算法及其在每個(gè)案例研究中的具體實(shí)現(xiàn)。隨后，第4節(jié)展示了數(shù)值結(jié)果。最后，第5節(jié)進(jìn)行總結(jié)并討論未來工作。附錄包含補(bǔ)充材料和額外的數(shù)值實(shí)驗(yàn)。

2.2 案例研究 1：推斷確定性 Navier-Stokes 方程的初始條件

2.3 案例研究 2：基于隨機(jī)對(duì)流擴(kuò)散方程的數(shù)據(jù)同化

現(xiàn)在，我們研究一個(gè)模型，其中狀態(tài)動(dòng)力學(xué)遵循上的線性隨機(jī)偏微分方程。

3 用于濾波和反問題的蒙特卡洛方法 3.1 馬爾可夫鏈蒙特卡洛方法

MCMC 是一種迭代過程，通過模擬一個(gè)遍歷的、時(shí)間齊次的、以 μ 為不變分布的馬爾可夫鏈的長(zhǎng)時(shí)間運(yùn)行，來從目標(biāo)分布 μ 中采樣。經(jīng)過一個(gè)預(yù)熱期后，鏈的樣本構(gòu)成 μ 的經(jīng)驗(yàn)近似。有多種馬爾可夫鏈方法可用于從給定的目標(biāo)后驗(yàn)分布 μ 中采樣，例如吉布斯采樣器或 Metropolis-Hastings 算法；概述可參見文獻(xiàn)[59]。

我們的設(shè)置需要在希爾伯特空間上定義的分布中進(jìn)行采樣，并且后驗(yàn)分布位于無限維狀態(tài)空間中。對(duì)于關(guān)于 v 的反問題，我們不容易利用條件依賴性來開發(fā)吉布斯類型的采樣器以更新系數(shù)塊并提高效率。在實(shí)踐中，我們使用高維離散化，但我們的方法仍然需要對(duì)網(wǎng)格細(xì)化具有穩(wěn)健性。在給定 ? , θ , y 的條件下，直接從 v 的滿條件分布中采樣是不可能的，因此我們使用適用于高維的 MCMC 方法。對(duì)于具有高斯先驗(yàn)的目標(biāo)分布，隨機(jī)游走 Metropolis 算法不是有效的選擇，因?yàn)殡S著維度的增加，它們的譜隙會(huì)必然崩潰[22]。文獻(xiàn)[59]提出了對(duì)先驗(yàn)分布保持不變的自回歸提議分布。這些提議分布最近被重新命名為預(yù)條件 Crank–Nicolson，并在文獻(xiàn)[10, 55]中引入用于高維反問題的推斷。文獻(xiàn)[22]證實(shí)，與隨機(jī)游走方法相比，pCN 的譜隙以及因此方法的混合速度不會(huì)隨著維度增長(zhǎng)而崩潰，并且克服了標(biāo)準(zhǔn) MCMC 在高維中遇到的一些混合緩慢問題。我們將 ? , θ
固定為當(dāng)前估計(jì)值，并在 v v的滿條件分布上運(yùn)行 pCN 迭代。偽代碼如算法 1 所示。

可以使用直接從上述每個(gè)條件分布中采樣的方法，或者如果無法直接采樣，則可以采用少量針對(duì)上述每個(gè)密度的 Metropolis 迭代1。后者被稱為 MwG。當(dāng)可用時(shí)，推薦使用基于共軛關(guān)系的直接采樣以加速采樣過程。

4 數(shù)值結(jié)果

4.1 案例研究1：Navier-Stokes逆問題

平穩(wěn)態(tài)

我們現(xiàn)在在圖 3 中繪制估計(jì)渦度的方差，以全面評(píng)估算法的不確定性量化。從數(shù)值范圍可以看出，方差受 α 的選擇影響很大。只有在使用 MwG 時(shí)，我們才能恢復(fù)出已知真實(shí) α 時(shí)的方差量級(jí)。當(dāng) α 被高估和低估時(shí)，不確定性分別被低估和高估。實(shí)踐者常常為了改進(jìn)點(diǎn)估計(jì)而犧牲不確定性量化，反之亦然。在我們的框架內(nèi)，可以通過調(diào)整 α 的先驗(yàn)來實(shí)現(xiàn)這一點(diǎn)。但請(qǐng)注意，我們將使用高粘度，這會(huì)降低系統(tǒng)的能量；這樣一來，這種平穩(wěn)狀態(tài)使得我們的方差估計(jì)變得不那么關(guān)鍵，并且所有算法在少數(shù)時(shí)間步后的預(yù)測(cè)能力都相似。下面我們將在粘度較低、觀測(cè)更頻繁且信息量更大的“混沌”狀態(tài)下重復(fù)此實(shí)驗(yàn)，以研究其中的差異。

混沌狀態(tài)

我們?cè)趨?shù)估計(jì)中獲得了與平穩(wěn)狀態(tài)類似的好結(jié)果，見圖9。圖10所示的渦度點(diǎn)估計(jì)也是如此。這些圖可以在附錄C.2節(jié)中找到。在圖4中，我們展示了與之前圖3類似的結(jié)果。在未觀測(cè)位置，渦度估計(jì)方差的量級(jí)與之前相同，但觀測(cè)引入了空間相關(guān)性。似然在信息量大的觀測(cè)位置附近是尖峭的，這降低了這些位置速度后驗(yàn)的方差，也降低了后驗(yàn)對(duì)先驗(yàn)的依賴。對(duì)于較高的 α 值，這種空間相關(guān)性更為明顯，因?yàn)橄鄳?yīng)的先驗(yàn)方差被平滑了。因此，較高的 α 導(dǎo)致先驗(yàn)方差的信息量減少，進(jìn)一步增加了后驗(yàn)對(duì)似然的依賴。這就是為什么方差像在平穩(wěn)設(shè)置中一樣，僅在未觀測(cè)位置受到 α 的影響。從觀測(cè)時(shí)刻速度估計(jì)的軌跡圖中也可以看出這一點(diǎn)。由于混沌狀態(tài)具有高能量，軌跡圖顯示方差的差異不會(huì)隨時(shí)間消失，進(jìn)而影響估計(jì)的預(yù)測(cè)能力。 α = 3 導(dǎo)致未觀測(cè)位置的方差被低估：在觀測(cè)之后很短的時(shí)間步內(nèi)，置信區(qū)間就無法捕捉真實(shí)值。在觀測(cè)位置，預(yù)測(cè)表現(xiàn)良好，這意味著似然足以修正錯(cuò)誤設(shè)定的先驗(yàn)。至于 α = 1.5
，方差被高估，導(dǎo)致在所有時(shí)間點(diǎn)的不確定性量化都很差。在觀測(cè)位置，其預(yù)測(cè)直到最后一次觀測(cè)前表現(xiàn)良好，但其預(yù)測(cè)能力隨著方差的爆炸而迅速下降。那么，使用 α = 1.5
的 pCN 在不確定性量化方面表現(xiàn)不佳，尤其是對(duì)于未觀測(cè)狀態(tài)和預(yù)測(cè)。這表明，即使在似然影響最大的地方，先驗(yàn)仍然影響著算法的預(yù)測(cè)能力。最后，MwG 重現(xiàn)了與假設(shè)正確 α α值的算法相似的性能，即使在預(yù)測(cè)中也表現(xiàn)同樣出色。

5 結(jié)論

原文鏈接：https://arxiv.org/pdf/2602.18328