在計(jì)算機(jī)視覺(jué)的貝葉斯深度學(xué)習(xí)中，我們需要哪些不確定性？

https://proceedings.neurips.cc/paper_files/paper/2017/file/2650d6089a6d640c5e85b2b88265dc2b-Paper.pdf

摘要
我們可以建模的不確定性主要有兩類：偶然不確定性（Aleatoric uncertainty）用于刻畫觀測(cè)數(shù)據(jù)中固有的噪聲；而認(rèn)知不確定性（Epistemic uncertainty）則用于刻畫模型本身的不確定性——這種不確定性在獲得足夠數(shù)據(jù)后可以被消除。傳統(tǒng)上，計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)φJ(rèn)知不確定性的建模十分困難，但隨著新型貝葉斯深度學(xué)習(xí)工具的發(fā)展，目前已成為可能。我們研究了在視覺(jué)任務(wù)的貝葉斯深度學(xué)習(xí)模型中，分別建模認(rèn)知不確定性與偶然不確定性的益處。為此，我們提出了一種貝葉斯深度學(xué)習(xí)框架，將輸入依賴的偶然不確定性與認(rèn)知不確定性結(jié)合起來(lái)。我們?cè)谠摽蚣芟路謩e對(duì)逐像素語(yǔ)義分割與深度回歸任務(wù)進(jìn)行了模型研究。進(jìn)一步地，我們對(duì)不確定性的顯式建模導(dǎo)出了這些任務(wù)的新?lián)p失函數(shù)，可將其解釋為學(xué)習(xí)得到的衰減（learned attenuation）。這使損失函數(shù)對(duì)含噪數(shù)據(jù)更具魯棒性，同時(shí)在分割與深度回歸基準(zhǔn)任務(wù)上取得了新的最先進(jìn)（state-of-the-art）結(jié)果。

1 引言
理解模型“不知道什么”是許多機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵組成部分。如今，深度學(xué)習(xí)算法已能夠?qū)W習(xí)強(qiáng)大的表征，實(shí)現(xiàn)從高維數(shù)據(jù)到多種輸出的映射。然而，人們往往盲目信任這些映射，并假定其準(zhǔn)確無(wú)誤，而事實(shí)并非總是如此。近期兩個(gè)實(shí)例即凸顯了這一問(wèn)題的嚴(yán)重后果：2016年5月，某輔助駕駛系統(tǒng)發(fā)生了首例致死事故，其感知系統(tǒng)將一輛拖車的白色側(cè)面誤判為明亮天空[1]；另一例中，某圖像分類系統(tǒng)錯(cuò)誤地將兩名非洲裔美國(guó)人識(shí)別為大猩猩[2]，引發(fā)了對(duì)種族歧視的擔(dān)憂。倘若這兩個(gè)算法能對(duì)其錯(cuò)誤預(yù)測(cè)賦予較高的不確定性，則系統(tǒng)本可能做出更優(yōu)決策，從而避免災(zāi)難。

在計(jì)算機(jī)視覺(jué)應(yīng)用中，量化不確定性可大致分為兩類場(chǎng)景：回歸任務(wù)（如深度估計(jì)）和分類任務(wù)（如語(yǔ)義分割）?，F(xiàn)有在計(jì)算機(jī)視覺(jué)中建模不確定性的方法包括粒子濾波與條件隨機(jī)場(chǎng)[3, 4]。然而，諸多現(xiàn)代應(yīng)用要求采用深度學(xué)習(xí)以實(shí)現(xiàn)最先進(jìn)的性能[5]，而大多數(shù)深度學(xué)習(xí)模型本身無(wú)法表征不確定性。例如，在回歸任務(wù)中，深度學(xué)習(xí)通常無(wú)法表征不確定性；而在分類任務(wù)中，深度學(xué)習(xí)模型輸出的常是歸一化的得分向量，未必能反映模型的不確定性。針對(duì)上述兩類任務(wù)，貝葉斯深度學(xué)習(xí)方法均可提供一種實(shí)用框架，用于理解深度學(xué)習(xí)模型中的不確定性[6]。

在貝葉斯建模中，可建模的不確定性主要有兩類[7]：

• 偶然不確定性（Aleatoric uncertainty）刻畫觀測(cè)數(shù)據(jù)中固有的噪聲。例如傳感器噪聲或運(yùn)動(dòng)噪聲，即使收集更多數(shù)據(jù)，此類不確定性亦無(wú)法降低。
• 認(rèn)知不確定性（Epistemic uncertainty）刻畫模型參數(shù)的不確定性——即我們對(duì)“何種模型生成了所收集數(shù)據(jù)”這一問(wèn)題的無(wú)知。這種不確定性可通過(guò)獲得足夠數(shù)據(jù)得以消除，常被稱為模型不確定性

偶然不確定性還可進(jìn)一步劃分為：

• 同方差不確定性（homoscedastic uncertainty）：對(duì)不同輸入保持恒定的不確定性；
• 異方差不確定性（heteroscedastic uncertainty）：依賴于模型輸入的不確定性，不同輸入可能導(dǎo)致輸出噪聲程度不同。

異方差不確定性在計(jì)算機(jī)視覺(jué)中尤為重要：例如在深度回歸任務(wù)中，紋理豐富且具有顯著消失線的輸入圖像理應(yīng)產(chǎn)生高置信度預(yù)測(cè)；而對(duì)無(wú)特征墻面的輸入圖像，預(yù)測(cè)則應(yīng)具有極高不確定性。

本文指出，在諸多大數(shù)據(jù)場(chǎng)景下（如圖像數(shù)據(jù)的深度學(xué)習(xí)常見(jiàn)情形），對(duì)偶然不確定性（無(wú)法通過(guò)更多數(shù)據(jù)消除的不確定性）進(jìn)行建模最為有效；相較而言，認(rèn)知不確定性在機(jī)器視覺(jué)中通常因數(shù)據(jù)量龐大而被大幅削弱。我們進(jìn)一步表明，僅建模偶然不確定性具有一定代價(jià)：對(duì)于分布外（out-of-distribution）樣本（本可由認(rèn)知不確定性識(shí)別出），僅靠偶然不確定性則無(wú)法識(shí)別。

為此，我們提出一種統(tǒng)一的貝葉斯深度學(xué)習(xí)框架，可在學(xué)習(xí)從輸入數(shù)據(jù)到偶然不確定性的映射的同時(shí)，將其與認(rèn)知不確定性的近似估計(jì)進(jìn)行組合。我們?yōu)榛貧w與分類兩類任務(wù)推導(dǎo)了該框架，并在逐像素深度回歸與語(yǔ)義分割任務(wù)上給出了實(shí)驗(yàn)結(jié)果（參見(jiàn)圖1及補(bǔ)充視頻中的示例）。我們說(shuō)明了：在回歸任務(wù)中對(duì)偶然不確定性的建?？捎糜趯?shí)現(xiàn)損失衰減的學(xué)習(xí)（learning loss attenuation）；并進(jìn)一步為分類任務(wù)提出了互補(bǔ)方法。這驗(yàn)證了我們的方法在困難且大規(guī)模任務(wù)上的有效性。

本工作的主要貢獻(xiàn)如下：

1. 我們對(duì)偶然不確定性與認(rèn)知不確定性給出了準(zhǔn)確的理解，尤其針對(duì)分類任務(wù)提出了一種新穎方法；
2. 通過(guò)對(duì)偶然不確定性的顯式建模，獲得隱含的衰減機(jī)制，從而降低含噪數(shù)據(jù)的影響，相較非貝葉斯基線模型，性能提升1–3%；
3. 我們通過(guò)刻畫兩類不確定性的特性，并比較模型性能與推理時(shí)間，系統(tǒng)研究了建模偶然不確定性與認(rèn)知不確定性之間的權(quán)衡取舍。

2 相關(guān)工作

現(xiàn)有的貝葉斯深度學(xué)習(xí)方法僅單獨(dú)捕捉認(rèn)知不確定性，或僅單獨(dú)捕捉偶然不確定性[6]。這些不確定性分別被形式化為模型參數(shù)或模型輸出上的概率分布。認(rèn)知不確定性通過(guò)在模型權(quán)重上施加先驗(yàn)分布進(jìn)行建模，并試圖捕捉在給定某些數(shù)據(jù)的情況下，這些權(quán)重的變化程度。另一方面，偶然不確定性則通過(guò)對(duì)模型輸出施加分布進(jìn)行建模。例如，在回歸任務(wù)中，我們的輸出可能被建模為受高斯隨機(jī)噪聲污染的值。在這種情況下，我們感興趣的是學(xué)習(xí)噪聲方差作為不同輸入的函數(shù)（此類噪聲也可對(duì)所有數(shù)據(jù)點(diǎn)使用恒定值建模，但其實(shí)際意義較?。?。在本節(jié)中，我們將更詳細(xì)地解釋貝葉斯深度學(xué)習(xí)背景下的這些不確定性。

2.1 貝葉斯深度學(xué)習(xí)中的認(rèn)知不確定性

為了捕捉神經(jīng)網(wǎng)絡(luò)（NN）中的認(rèn)知不確定性，我們?cè)谄錂?quán)重上施加一個(gè)先驗(yàn)分布，例如高斯先驗(yàn)分布：W ~ N(0, I)。

通過(guò)觀察更多數(shù)據(jù)可以減少權(quán)重中的不確定性。這種不確定性通過(guò)邊緣化（近似）權(quán)重后驗(yàn)分布引入預(yù)測(cè)不確定性。

2.2 異方差偶然不確定性

在上文中，我們通過(guò)近似分布 p(W|X, Y) 捕捉了模型不確定性——即關(guān)于模型參數(shù)的不確定性。為了在回歸中捕捉偶然不確定性，我們需要調(diào)整觀測(cè)噪聲參數(shù) σ。

同方差回歸假設(shè)每個(gè)輸入點(diǎn) x 的觀測(cè)噪聲 σ 是恒定的。而異方差回歸則假設(shè)觀測(cè)噪聲可以隨輸入 x 變化 [17, 18]。當(dāng)觀測(cè)空間中的某些部分可能比其他部分具有更高的噪聲水平時(shí)，異方差模型非常有用。在非貝葉斯神經(jīng)網(wǎng)絡(luò)中，該觀測(cè)噪聲參數(shù)通常作為模型權(quán)重衰減的一部分被固定，并被忽略。然而，當(dāng)使其成為數(shù)據(jù)依賴時(shí)，它可以被學(xué)習(xí)為數(shù)據(jù)的一個(gè)函數(shù)：

其中加入了由 λ 參數(shù)化的權(quán)重衰減項(xiàng)（對(duì)于 L1 損失同理）。需注意，此處與前述方法不同：我們并非對(duì)權(quán)重執(zhí)行變分推斷，而是進(jìn)行最大后驗(yàn)概率（MAP）推斷——即為模型參數(shù) θ 尋找一個(gè)單一取值。該方法無(wú)法捕捉認(rèn)知模型不確定性，因?yàn)檎J(rèn)知不確定性是模型本身的屬性，而非數(shù)據(jù)的屬性。

在下一節(jié)中，我們將把這兩種不確定性（偶然不確定性與認(rèn)知不確定性）整合到一個(gè)統(tǒng)一模型中。我們將看到，異方差噪聲可被解釋為模型的衰減機(jī)制，并為分類情形開(kāi)發(fā)一種與之互補(bǔ)的方法。

3 在一個(gè)模型中結(jié)合偶然不確定性與認(rèn)知不確定性

在上一節(jié)中，我們描述了現(xiàn)有的貝葉斯深度學(xué)習(xí)技術(shù)。在本節(jié)中，我們將提出新穎的貢獻(xiàn)，以擴(kuò)展現(xiàn)有文獻(xiàn)。我們開(kāi)發(fā)了若干模型，使我們能夠研究?jī)H建模偶然不確定性、僅建模認(rèn)知不確定性，或在一個(gè)單一模型中同時(shí)建模兩種不確定性所帶來(lái)的影響。隨后，我們觀察到：在回歸任務(wù)中，偶然不確定性可被解釋為學(xué)習(xí)得到的損失衰減機(jī)制——這使得損失函數(shù)對(duì)含噪數(shù)據(jù)更具魯棒性。接著，我們將異方差回歸的思想擴(kuò)展至分類任務(wù)，從而也能為分類任務(wù)學(xué)習(xí)損失衰減機(jī)制。

3.1 結(jié)合異方差偶然不確定性與認(rèn)知不確定性

我們希望在一個(gè)視覺(jué)模型中同時(shí)捕捉認(rèn)知不確定性與偶然不確定性。為此，我們將 §2.2 中的異方差神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為貝葉斯神經(jīng)網(wǎng)絡(luò)，方法是在其權(quán)重上施加分布；本節(jié)中的構(gòu)造特別針對(duì)視覺(jué)模型的情形1。

我們需要推斷一個(gè)貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN）模型 f 的后驗(yàn)分布，該模型將輸入圖像 x 映射為一個(gè)標(biāo)量輸出 ? ∈ ?，以及一個(gè)由方差 σ2 給出的偶然不確定性度量。我們使用 §2.1 中的工具，通過(guò) Dropout 變分分布來(lái)近似 BNN 的后驗(yàn)分布。與之前一樣，我們從近似后驗(yàn)分布 W ～ q(W) 中采樣模型權(quán)重，以獲得模型輸出——但這一次的輸出同時(shí)包含預(yù)測(cè)均值與預(yù)測(cè)方差：

其中，D 是對(duì)應(yīng)于輸入圖像 x 的輸出像素 y? 的數(shù)量，由索引 i 標(biāo)識(shí)（此外，損失函數(shù)包含權(quán)重衰減項(xiàng)，為簡(jiǎn)潔起見(jiàn)此處省略）。例如，對(duì)于圖像級(jí)回歸任務(wù)，我們可以設(shè) D = 1；而對(duì)于密集預(yù)測(cè)任務(wù)（即對(duì)每個(gè)輸入圖像像素預(yù)測(cè)一個(gè)標(biāo)量值），D 等于像素總數(shù)。σ??2 是 BNN 輸出的第 i 個(gè)像素的預(yù)測(cè)方差。

該損失函數(shù)由兩部分組成：一部分是通過(guò)模型隨機(jī)采樣得到的殘差回歸項(xiàng)——利用了參數(shù)上的不確定性；另一部分是不確定性正則化項(xiàng)。我們無(wú)需“不確定性標(biāo)簽”來(lái)學(xué)習(xí)不確定性，而只需監(jiān)督回歸任務(wù)的學(xué)習(xí)過(guò)程即可。我們從損失函數(shù)中隱式地學(xué)習(xí)方差 σ2。第二項(xiàng)正則化項(xiàng)防止網(wǎng)絡(luò)對(duì)所有數(shù)據(jù)點(diǎn)預(yù)測(cè)無(wú)限大的不確定性（從而導(dǎo)致零損失）。

在實(shí)踐中，我們訓(xùn)練網(wǎng)絡(luò)以預(yù)測(cè)對(duì)數(shù)方差 s? := log σ??2：

3.2 異方差不確定性作為學(xué)習(xí)得到的損失衰減機(jī)制

我們觀察到：允許網(wǎng)絡(luò)預(yù)測(cè)不確定性，實(shí)質(zhì)上使其能夠依據(jù)數(shù)據(jù)，通過(guò)因子 exp(?s?) 有效調(diào)節(jié)殘差損失項(xiàng)的大小。這一機(jī)制類似于一種智能的魯棒回歸函數(shù)。它使網(wǎng)絡(luò)能夠自適應(yīng)地調(diào)整殘差項(xiàng)的權(quán)重，甚至可學(xué)習(xí)削弱錯(cuò)誤標(biāo)簽的影響，從而增強(qiáng)模型對(duì)含噪數(shù)據(jù)的魯棒性：對(duì)于模型學(xué)習(xí)到應(yīng)預(yù)測(cè)高不確定性的輸入，其對(duì)損失函數(shù)的貢獻(xiàn)將更小。

模型被阻止對(duì)所有數(shù)據(jù)點(diǎn)一概預(yù)測(cè)高不確定性（即實(shí)質(zhì)上忽略數(shù)據(jù)），這一約束由損失中的 log σ2 項(xiàng)實(shí)現(xiàn)——較大的不確定性會(huì)增大該項(xiàng)的貢獻(xiàn)，從而對(duì)模型施加懲罰：模型確實(shí)可以學(xué)習(xí)忽略數(shù)據(jù)，但會(huì)因此受到懲罰。同時(shí)，模型也被阻止對(duì)具有高殘差誤差的樣本預(yù)測(cè)極低的不確定性，因?yàn)檩^小的 σ2 會(huì)放大殘差項(xiàng)的貢獻(xiàn)，進(jìn)而懲罰模型。需要強(qiáng)調(diào)的是，這種學(xué)習(xí)得到的衰減機(jī)制并非人為設(shè)計(jì)的特設(shè)構(gòu)造，而是模型概率解釋的自然結(jié)果。

3.3 分類任務(wù)中的異方差不確定性

異方差神經(jīng)網(wǎng)絡(luò)在回歸任務(wù)中所展現(xiàn)出的這種學(xué)習(xí)損失衰減特性，對(duì)于分類模型而言同樣是理想的效果。然而，分類任務(wù)中的異方差神經(jīng)網(wǎng)絡(luò)是較為特殊的一類模型——從技術(shù)上講，任何分類任務(wù)本身都具有輸入依賴的不確定性。盡管如此，上述思想仍可從回歸情形下的異方差神經(jīng)網(wǎng)絡(luò)，自然擴(kuò)展至分類情形下的異方差神經(jīng)網(wǎng)絡(luò)。

為此，我們調(diào)整標(biāo)準(zhǔn)分類模型，使其在logit空間上對(duì)中間的異方差回歸不確定性進(jìn)行邊緣化處理。因此，我們明確將所提出的模型變體稱為異方差分類神經(jīng)網(wǎng)絡(luò)（heteroscedastic classification NN）。

對(duì)于分類任務(wù)，我們的神經(jīng)網(wǎng)絡(luò)為每個(gè)像素 i 預(yù)測(cè)一個(gè)向量 f?，該向量經(jīng)過(guò) softmax 操作后形成概率向量 p?。我們通過(guò)在該向量上施加高斯分布來(lái)修改模型：

4 實(shí)驗(yàn)

本節(jié)中，我們通過(guò)逐像素深度回歸與語(yǔ)義分割任務(wù)對(duì)所提方法進(jìn)行評(píng)估。下一節(jié)將對(duì)實(shí)驗(yàn)結(jié)果展開(kāi)分析。為展示我們所學(xué)損失衰減機(jī)制的魯棒性——這一機(jī)制是建模不確定性所帶來(lái)的附帶效應(yīng)——我們?cè)诙鄠€(gè)主流數(shù)據(jù)集（CamVid、Make3D 和 NYUv2 Depth）上給出了實(shí)驗(yàn)結(jié)果，并在這些數(shù)據(jù)集上刷新了當(dāng)前最先進(jìn)（state-of-the-art）的性能基準(zhǔn)。

后續(xù)實(shí)驗(yàn)中，我們采用 DenseNet 架構(gòu) [19]，并依據(jù) [20] 的改進(jìn)將其適配于密集預(yù)測(cè)任務(wù)。我們使用 TensorFlow [21] 獨(dú)立實(shí)現(xiàn)了該架構(gòu)（其性能略優(yōu)于原作者在 CamVid 上的實(shí)現(xiàn)，高出 0.2%，參見(jiàn)表 1a）。所有實(shí)驗(yàn)均以批量大小為 4 的 224 × 224 圖像裁剪塊進(jìn)行訓(xùn)練，隨后在整幅圖像上以批量大小為 1 進(jìn)行微調(diào)。優(yōu)化器選用 RMSProp，學(xué)習(xí)率固定為 0.001，權(quán)重衰減系數(shù)為 10??。

我們對(duì)比了 §3 中所述的貝葉斯神經(jīng)網(wǎng)絡(luò)模型結(jié)果：

• 認(rèn)知不確定性建模采用蒙特卡洛 Dropout方法（§2.1），DenseNet 架構(gòu)在每個(gè)卷積層后設(shè)置 Dropout（丟棄率 p = 0.2）；參照 [22]，我們采用 50 次蒙特卡洛 Dropout 采樣；
• 偶然不確定性建模采用 MAP 推斷，分別對(duì)回歸與分類任務(wù)使用損失函數(shù)（8）與（附錄中的 12）（§2.2）；
• 但不同于 §3 推導(dǎo)中使用的高斯先驗(yàn)，我們此處改用拉普拉斯先驗(yàn)（Laplacian prior）推導(dǎo)損失函數(shù)，因其對(duì)應(yīng)殘差項(xiàng)的 L1 距離度量；在視覺(jué)回歸任務(wù)中，我們通常發(fā)現(xiàn) L1 損失優(yōu)于 L2 損失；
• 最后，依據(jù) §3 中提出的方法，我們進(jìn)一步驗(yàn)證了同時(shí)建模認(rèn)知不確定性與偶然不確定性所帶來(lái)的增益。

4.1 語(yǔ)義分割

為驗(yàn)證我們的語(yǔ)義分割方法，我們使用了兩個(gè)數(shù)據(jù)集：CamVid [8] 和 NYUv2 [23]。

• CamVid 是一個(gè)道路場(chǎng)景理解數(shù)據(jù)集，包含 367 張訓(xùn)練圖像與 233 張測(cè)試圖像，涵蓋白天與黃昏場(chǎng)景，共 11 個(gè)類別。我們將其圖像統(tǒng)一縮放至 360 × 480 像素用于訓(xùn)練與評(píng)估。表 1a 展示了本架構(gòu)的結(jié)果：我們的方法以平均交并比（mean IoU）刷新了該數(shù)據(jù)集的最先進(jìn)性能紀(jì)錄。我們觀察到，同時(shí)建模偶然與認(rèn)知不確定性優(yōu)于基線模型；其中，偶然不確定性損失帶來(lái)的隱式衰減效應(yīng)比單純建模認(rèn)知不確定性貢獻(xiàn)更大；而二者結(jié)合則進(jìn)一步提升了性能。這表明，對(duì)于該任務(wù)，建模偶然不確定性更為關(guān)鍵——暗示在此類大數(shù)據(jù)場(chǎng)景下，認(rèn)知不確定性大部分已被數(shù)據(jù)充分“解釋掉”。
• NYUv2 [23] 是一個(gè)極具挑戰(zhàn)性的室內(nèi)場(chǎng)景分割數(shù)據(jù)集，涵蓋 40 個(gè)語(yǔ)義類別，共 1449 張 640 × 480 分辨率圖像，來(lái)自 464 個(gè)不同的室內(nèi)場(chǎng)景。表 1b 給出了實(shí)驗(yàn)結(jié)果。相比 CamVid，該數(shù)據(jù)集難度顯著更高：一方面，室內(nèi)場(chǎng)景結(jié)構(gòu)遠(yuǎn)少于街景；另一方面，語(yǔ)義類別數(shù)量大幅增加。我們以 DeepLab-LargeFOV [24] 作為基線模型。實(shí)驗(yàn)結(jié)果呈現(xiàn)類似趨勢(shì)（定性結(jié)果見(jiàn)圖 4）：通過(guò)賦予模型估計(jì)不確定性并衰減損失的能力，我們提升了基線性能；性能提升幅度更為顯著——或許正因該數(shù)據(jù)集難度更高所致。

4.2 逐像素深度回歸

我們使用兩個(gè)廣為采用的單目深度回歸數(shù)據(jù)集——Make3D [25] 和 NYUv2 Depth [23]——驗(yàn)證本方法在回歸任務(wù)中的有效性。

• Make3D 數(shù)據(jù)集包含 400 張訓(xùn)練圖像與 134 張測(cè)試圖像，由三維激光掃描儀采集得到。我們遵循 [26] 的標(biāo)準(zhǔn)評(píng)估協(xié)議，將圖像縮放至 345 × 460 像素，并僅在深度值小于 70 米的像素上進(jìn)行評(píng)估。
• NYUv2 Depth 數(shù)據(jù)集與前述分類任務(wù)使用的是同一數(shù)據(jù)源，包含來(lái)自 464 個(gè)不同室內(nèi)場(chǎng)景的 RGB-D 圖像序列。

我們?cè)诒?2a（Make3D）與表 2b（NYUv2 Depth）中將本方法與先前工作進(jìn)行對(duì)比，采用標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)（指標(biāo)說(shuō)明參見(jiàn) [27]）。

結(jié)果表明，偶然不確定性能夠有效捕捉該任務(wù)中諸多固有難點(diǎn)。例如，在圖 5 與圖 6 的定性結(jié)果中，我們觀察到：大深度區(qū)域、反光表面以及圖像中的遮擋邊界處，偶然不確定性顯著升高——這些情形正是單目深度估計(jì)算法常見(jiàn)的失效模式 [26]。另一方面，這些定性結(jié)果也顯示，認(rèn)知不確定性主要反映了由數(shù)據(jù)缺失導(dǎo)致的困難：例如在圖 5 的第三個(gè)示例中，對(duì)于訓(xùn)練集中罕見(jiàn)的物體（如人物），模型呈現(xiàn)出更高的認(rèn)知不確定性。

綜上所述，我們已證明：本模型可通過(guò)隱式學(xué)習(xí)對(duì)系統(tǒng)性噪聲及困難概念的衰減機(jī)制，超越非貝葉斯基線模型的性能。例如，我們觀察到模型對(duì)遠(yuǎn)距離物體、物體表面以及遮擋邊界處均給出了較高的偶然不確定性。

5 分析：偶然不確定性與認(rèn)知不確定性分別捕捉了什么？

在第 4 節(jié)中，我們已表明：建模偶然不確定性與認(rèn)知不確定性均可提升預(yù)測(cè)性能，而二者結(jié)合的表現(xiàn)更佳。本節(jié)將進(jìn)一步研究建模這兩種不確定性的有效性，尤其旨在量化這些不確定性度量的性能，并分析它們各自所捕捉的內(nèi)容。

5.1 不確定性度量的質(zhì)量

首先，圖 2 展示了回歸與分類模型的精確率-召回率曲線（precision-recall curves）。這些曲線描述了：當(dāng)我們逐步移除不確定性大于不同百分位閾值的像素時(shí)，模型性能如何隨之提升。該圖揭示了偶然不確定性與認(rèn)知不確定性度量的兩類行為：

第一，所有曲線均為嚴(yán)格遞減函數(shù)，說(shuō)明不確定性度量與預(yù)測(cè)準(zhǔn)確率之間存在良好相關(guān)性——即模型對(duì)某些像素越不確定，整體精確率越低。

第二，僅含認(rèn)知不確定性或僅含偶然不確定性的模型所對(duì)應(yīng)的曲線極為相似。這表明：在缺失另一種不確定性的情況下，任一不確定性度量對(duì)像素置信度的排序與另一種高度一致；換言之，當(dāng)僅顯式建模其中一種不確定性時(shí)，該不確定性會(huì)盡可能地補(bǔ)償另一種不確定性缺失所造成的信息空缺。

其次，圖 3 通過(guò)在測(cè)試集上繪制校準(zhǔn)曲線（calibration plots）來(lái)分析我們不確定性度量的質(zhì)量：

• 對(duì)分類模型，我們將模型輸出的所有類別、所有像素的預(yù)測(cè)概率離散化為若干區(qū)間（bins），再對(duì)每個(gè)概率區(qū)間統(tǒng)計(jì)其預(yù)測(cè)標(biāo)簽的正確頻率，并繪制成圖。更優(yōu)的不確定性估計(jì)應(yīng)使校準(zhǔn)曲線更貼近理想直線 y = x。
• 對(duì)回歸模型，可通過(guò)比較殘差落在預(yù)測(cè)分布不同置信區(qū)間內(nèi)的實(shí)際頻率來(lái)構(gòu)建校準(zhǔn)曲線。

圖 3 展示了我們分類與回歸不確定性估計(jì)的校準(zhǔn)效果。

5.2 不確定性與偏離訓(xùn)練數(shù)據(jù)距離的關(guān)系

本節(jié)展示兩個(gè)關(guān)鍵結(jié)果：

1. 偶然不確定性無(wú)法通過(guò)增加數(shù)據(jù)量而被消除（即無(wú)法被“解釋掉”）；
2. 對(duì)于分布外樣本（即與訓(xùn)練集情形不同的樣本），偶然不確定性不會(huì)升高，而認(rèn)知不確定性則會(huì)顯著上升。

表 3 給出了在逐步增大的訓(xùn)練子集上訓(xùn)練所得模型的準(zhǔn)確率與不確定性結(jié)果?？梢?jiàn)：隨著訓(xùn)練集規(guī)模增大，認(rèn)知不確定性持續(xù)下降；而偶然不確定性則基本保持穩(wěn)定，無(wú)法通過(guò)更多數(shù)據(jù)予以消除。當(dāng)使用不同測(cè)試集進(jìn)行評(píng)估時(shí)（表中底部?jī)尚校切┻h(yuǎn)離訓(xùn)練數(shù)據(jù)分布的測(cè)試樣本上，認(rèn)知不確定性顯著上升。

這些結(jié)果進(jìn)一步證實(shí)：認(rèn)知不確定性可在數(shù)據(jù)充足時(shí)被消除，但其對(duì)于捕捉訓(xùn)練中未遇見(jiàn)過(guò)的情形至關(guān)重要。這一點(diǎn)在安全攸關(guān)系統(tǒng)中尤為關(guān)鍵——認(rèn)知不確定性是檢測(cè)模型從未見(jiàn)過(guò)的新情境所必需的。

5.3 實(shí)時(shí)應(yīng)用

我們基于 DenseNet [20] 的模型可在 NVIDIA Titan X GPU 上以 150 毫秒處理一幅 640 × 480 分辨率的圖像。其中，偶然不確定性模型帶來(lái)的額外計(jì)算開(kāi)銷可忽略不計(jì)；但認(rèn)知不確定性模型需進(jìn)行耗時(shí)的蒙特卡洛 Dropout 采樣。

• 對(duì)于 ResNet 等架構(gòu) [4]，該操作尚可高效實(shí)現(xiàn)，因其僅最后幾層包含 Dropout；
• 而對(duì)于 DenseNet 等架構(gòu)，則需對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行采樣，受限于 GPU 顯存，難以并行化，常導(dǎo)致推理速度下降約 50 倍（以 50 次采樣為例）。

6 結(jié)論

我們提出了一種新穎的貝葉斯深度學(xué)習(xí)框架，能夠從輸入數(shù)據(jù)中學(xué)習(xí)到偶然不確定性的映射，并將其構(gòu)建于認(rèn)知不確定性模型之上。我們?yōu)榛貧w與分類兩類任務(wù)推導(dǎo)了該框架。結(jié)果表明，建模偶然不確定性在以下場(chǎng)景中尤為重要：

• 大數(shù)據(jù)情境：此時(shí)認(rèn)知不確定性已被數(shù)據(jù)充分“解釋掉”；
• 實(shí)時(shí)應(yīng)用：因偶然不確定性模型無(wú)需昂貴的蒙特卡洛采樣即可構(gòu)建。

而建模認(rèn)知不確定性則在以下情形中至關(guān)重要：

• 安全攸關(guān)應(yīng)用：因其對(duì)識(shí)別與訓(xùn)練數(shù)據(jù)分布不同的樣本（即分布外樣本）必不可少；
• 小規(guī)模數(shù)據(jù)集：當(dāng)訓(xùn)練數(shù)據(jù)稀疏時(shí)，認(rèn)知不確定性可有效反映模型的無(wú)知程度。

然而，偶然不確定性與認(rèn)知不確定性模型并非互斥。我們已證明，二者的結(jié)合能在深度回歸與語(yǔ)義分割基準(zhǔn)任務(wù)上取得新的最先進(jìn)性能。

本文開(kāi)篇提到了兩起近期災(zāi)難——若當(dāng)時(shí)具備實(shí)時(shí)貝葉斯深度學(xué)習(xí)工具，或可避免。因此，我們提出：開(kāi)發(fā)適用于深度學(xué)習(xí)的實(shí)時(shí)認(rèn)知不確定性建模方法，是未來(lái)一項(xiàng)重要且亟待探索的研究方向。

原文： https://proceedings.neurips.cc/paper_files/paper/2017/file/2650d6089a6d640c5e85b2b88265dc2b-Paper.pdf