在自動駕駛汽車和協(xié)作機器人的世界里，機器能夠準(zhǔn)確判斷人體姿態(tài)并非易事，更難的是讓機器知道＂它不確定的程度＂。想象一輛自動駕駛汽車需要判斷行人是否將要橫穿馬路，或工業(yè)機器人需要確認(rèn)工人的手臂位置以避免碰撞，如果估計錯誤，后果可能不堪設(shè)想。本文介紹了一項突破性研究，通過同時量化兩種關(guān)鍵不確定性——認(rèn)知不確定性（數(shù)據(jù)本身的隨機性）和模型不確定性（模型對未知情況的把握程度），讓人工智能系統(tǒng)能夠＂知道它不知道什么＂。研究者發(fā)現(xiàn)，通過特別的校準(zhǔn)技術(shù)，可以讓機器生成可靠的置信區(qū)間，在面對模糊圖像、遮擋或未知場景時做出更謹(jǐn)慎的判斷，這對于安全關(guān)鍵應(yīng)用而言無異于一場靜默的革命。姿態(tài)識別的雙重挑戰(zhàn)

人體姿態(tài)估計技術(shù)，簡單來說就是讓計算機能夠從圖像或視頻中識別出人體各個關(guān)節(jié)點的位置。這項技術(shù)已經(jīng)廣泛應(yīng)用在自動駕駛、工業(yè)安全、人機交互等多個領(lǐng)域。想象一下，當(dāng)一輛自動駕駛汽車在城市道路行駛時，需要實時判斷行人的動作意圖——是將要橫穿馬路還是只是站在路邊等待？又或者，一個協(xié)作機器人需要知道工人的手臂位置，以避免在工廠環(huán)境中發(fā)生碰撞事故。

在這些安全關(guān)鍵的場景中，人工智能系統(tǒng)不僅需要給出準(zhǔn)確的姿態(tài)估計結(jié)果，更重要的是需要知道自己的估計有多可靠。2023年，布拉姆拉格等研究者在國際計算機視覺會議（ICCV）上提出了一個關(guān)鍵問題：如何讓機器不僅給出預(yù)測，還能準(zhǔn)確表達(dá)對預(yù)測的確信程度？

這里面涉及兩種核心的不確定性。第一種是認(rèn)知不確定性（aleatoric uncertainty），它來源于數(shù)據(jù)本身的隨機性，比如圖像模糊、低對比度或遮擋造成的信息丟失。這種不確定性即使收集再多的數(shù)據(jù)也無法消除。就像投擲一枚硬幣，即使你知道硬幣的一切物理特性，也無法百分百預(yù)測它會正面朝上還是反面朝上。

第二種是模型不確定性（epistemic uncertainty），它反映了模型對所處理數(shù)據(jù)的陌生程度。當(dāng)模型遇到訓(xùn)練中從未見過的場景時，這種不確定性就會增加。比如，一個在白天道路場景訓(xùn)練的姿態(tài)估計模型，當(dāng)遇到夜間或雨雪天氣的圖像時，會因為不熟悉而產(chǎn)生較高的模型不確定性。隨著更多樣本數(shù)據(jù)的收集和模型的更新，這種不確定性可以逐漸減少。

大多數(shù)現(xiàn)有的姿態(tài)估計方法只關(guān)注預(yù)測的準(zhǔn)確性，卻忽略了不確定性的量化。這就好比一個氣象預(yù)報員總是自信滿滿地預(yù)測＂明天一定是晴天＂，而不是更謹(jǐn)慎地說＂明天有80%的概率是晴天＂。在安全關(guān)鍵應(yīng)用中，這種過度自信可能導(dǎo)致災(zāi)難性后果。

研究表明，目前主流的深度學(xué)習(xí)模型普遍存在＂過度自信＂問題。即使在面對模型完全不熟悉的場景，它們也會給出看似確定的預(yù)測，而沒有任何對不確定性的提示。在布拉姆拉格的研究中，他們發(fā)現(xiàn)即使是那些被設(shè)計用來表達(dá)不確定性的模型，其原始輸出也往往不夠可靠，需要額外的校準(zhǔn)步驟。

一個典型的例子是，當(dāng)一個人體姿態(tài)估計模型面對部分被遮擋的人體時，如果沒有不確定性量化機制，模型會＂裝作＂自己看到了被遮擋的關(guān)節(jié)，給出一個虛假的確定位置。而具備不確定性量化能力的模型則會表明：＂這個關(guān)節(jié)位置我不太確定，可能在這個區(qū)域范圍內(nèi)＂，這對下游決策系統(tǒng)至關(guān)重要。

在2021年的一項研究中，研究人員測試了多種人體姿態(tài)估計模型在面對遮擋、模糊和域偏移（比如從室內(nèi)場景到室外場景）時的表現(xiàn)。結(jié)果顯示，幾乎所有模型在這些挑戰(zhàn)條件下都會產(chǎn)生錯誤預(yù)測，但更嚴(yán)重的是，它們并沒有給出任何關(guān)于預(yù)測不可靠的警告信號。

雙重量化新方法

那么，如何讓人工智能系統(tǒng)同時量化這兩種不確定性呢？布拉姆拉格團(tuán)隊提出了兩種方法進(jìn)行比較：最大后驗估計（MAP）結(jié)合蒙特卡洛丟棄法，以及一種較新的方法——深度證據(jù)回歸（DER）。

最大后驗估計是一種被廣泛應(yīng)用的方法。它不僅預(yù)測人體關(guān)節(jié)的位置，還預(yù)測與每個關(guān)節(jié)相關(guān)的方差。簡單來說，它讓神經(jīng)網(wǎng)絡(luò)不僅輸出＂我認(rèn)為手腕在這里＂，還輸出＂我對這個預(yù)測的不確定程度是多少＂。這個方差就代表了認(rèn)知不確定性。

為了同時獲取模型不確定性，研究者使用了蒙特卡洛丟棄法。這聽起來很復(fù)雜，但基本原理很直觀：通過在神經(jīng)網(wǎng)絡(luò)的多個層中隨機＂關(guān)閉＂一部分神經(jīng)元，然后多次運行同一輸入，觀察輸出的變化程度。如果網(wǎng)絡(luò)對同一輸入給出的預(yù)測差異很大，說明模型對這類輸入的不確定性高。

研究團(tuán)隊在實驗中，對模型的最后三層應(yīng)用了50次隨機丟棄，并計算這些樣本的方差作為模型不確定性的度量。這就像讓50位略有不同訓(xùn)練背景的專家看同一張圖片，然后觀察他們意見的分歧程度。分歧越大，模型不確定性越高。

另一種方法是深度證據(jù)回歸（DER），這是一種更為新穎的方法。DER的獨特之處在于它能夠在單次前向傳播中同時估計兩種不確定性，而不需要昂貴的多次采樣步驟。DER通過擬合正態(tài)逆伽瑪分布的參數(shù)來實現(xiàn)這一點。對于非專業(yè)人士來說，可以把它想象成這樣：DER不僅預(yù)測了關(guān)節(jié)位置的分布，還預(yù)測了這個分布本身的可靠性。

在數(shù)學(xué)上，DER輸出四個參數(shù)：μ（位置）、λ（精度）、α（形狀）和β（尺度）。從這四個參數(shù)中，可以計算出認(rèn)知不確定性E[σ] = β/（α-1）和模型不確定性Var[μ] = β/λ（α-1）。雖然公式看起來復(fù)雜，但實際上，這讓模型能夠在一次計算中同時表達(dá)＂我認(rèn)為答案是什么＂和＂我對自己的答案有多確定＂。

對于多變量的情況（比如同時考慮x、y、z三個坐標(biāo)軸上的不確定性），兩種方法都有各自的擴展版本。多變量MAP方法通過估計精度矩陣的Cholesky分解來確保數(shù)值穩(wěn)定性。而多變量DER則使用正態(tài)-逆威沙特分布作為多變量高斯分布的共軛先驗。

在實際應(yīng)用中，DER方法顯示出明顯的計算效率優(yōu)勢。由于不需要多次采樣，DER在訓(xùn)練和推理過程中的速度比MAP快了約三倍。這對于需要實時處理的應(yīng)用，如自動駕駛或工業(yè)安全監(jiān)控，具有重要意義。

研究者在多個數(shù)據(jù)集（包括MS-COCO、MPII、H36M和自創(chuàng)的SIM數(shù)據(jù)集）上測試了這兩種方法。結(jié)果表明，兩種方法在準(zhǔn)確性方面表現(xiàn)相近，但DER在計算效率和不確定性估計的質(zhì)量上略勝一籌。特別是在對模糊圖像、遮擋和域偏移這類常見挑戰(zhàn)的處理上，DER顯示出更符合直覺的不確定性估計。

具體來說，當(dāng)研究者向圖像中添加人為遮擋（比如遮住手腕）時，DER能夠正確地增加被遮擋關(guān)節(jié)的認(rèn)知不確定性估計，而模型不確定性的增加相對較小。這符合我們的直覺：遮擋導(dǎo)致的信息丟失主要影響認(rèn)知不確定性，而非模型不確定性。

數(shù)字校準(zhǔn)的藝術(shù)

當(dāng)我們談?wù)摍C器學(xué)習(xí)模型的不確定性預(yù)測時，有一個現(xiàn)實問題必須面對：大多數(shù)深度學(xué)習(xí)模型天生就是＂過度自信＂的。就像一個從未出過國的人信誓旦旦地描述巴黎的細(xì)節(jié)一樣，神經(jīng)網(wǎng)絡(luò)往往會對自己不確定的事情給出看似確定的答案。布拉姆拉格團(tuán)隊在2023年的研究中清晰地展示了這一點——無論是采用最大后驗估計（MAP）還是深度證據(jù)回歸（DER），模型輸出的原始不確定性估計都不夠可靠。

那么，什么是＂可靠＂的不確定性估計呢？以天氣預(yù)報為例，如果氣象局預(yù)測明天有70%的概率下雨，那么從長期來看，在所有預(yù)測為70%概率下雨的日子里，實際下雨的比例應(yīng)該接近70%。這就是所謂的校準(zhǔn)（calibration）。在人體姿態(tài)估計領(lǐng)域，如果模型說某個關(guān)節(jié)有90%的概率在特定區(qū)域內(nèi)，那么實際上該關(guān)節(jié)應(yīng)該有90%的時間確實落在這個區(qū)域內(nèi)。

研究者發(fā)現(xiàn)，使用MAP和DER方法得到的直接不確定性估計往往不滿足這一標(biāo)準(zhǔn)。具體來說，對于一個完全校準(zhǔn)的模型，當(dāng)我們繪制預(yù)測的置信區(qū)間與實際經(jīng)驗累積密度函數(shù)（CDF）的關(guān)系圖時，應(yīng)該看到一條完美的對角線。但實際上，研究結(jié)果顯示原始的不確定性估計曲線明顯偏離了對角線，這表明模型的不確定性預(yù)測過度自信或過度保守。

為了解決這個問題，布拉姆拉格團(tuán)隊采用了一種稱為等滲回歸（isotonic regression）的技術(shù)進(jìn)行校準(zhǔn)。這種方法非常直觀：它基于驗證數(shù)據(jù)集，找出模型預(yù)測的置信水平與實際觀察到的準(zhǔn)確率之間的映射關(guān)系，然后使用這個映射關(guān)系來調(diào)整新數(shù)據(jù)的不確定性預(yù)測。

在實踐中，研究者創(chuàng)建了一個校準(zhǔn)數(shù)據(jù)集，其中包含每個樣本的預(yù)測累積密度函數(shù)值和實際經(jīng)驗累積密度函數(shù)值的對應(yīng)關(guān)系?；谶@個數(shù)據(jù)集，他們訓(xùn)練了一個輔助的等滲回歸模型，該模型能夠?qū)⒃嫉闹眯艆^(qū)間映射到校準(zhǔn)后的置信區(qū)間。

值得注意的是，校準(zhǔn)分別針對每個關(guān)節(jié)和每個坐標(biāo)維度進(jìn)行，這確保了校準(zhǔn)的精確性。實驗結(jié)果令人振奮：校準(zhǔn)后，所有模型的期望校準(zhǔn)誤差（ECE）顯著降低。例如，在MS-COCO數(shù)據(jù)集上，單變量DER模型的認(rèn)知不確定性ECE從0.204降至0.025，而模型不確定性ECE從0.054降至0.006。類似的改進(jìn)在其他數(shù)據(jù)集上也有體現(xiàn)。

校準(zhǔn)后的置信區(qū)間不僅在數(shù)學(xué)上更加可靠，在實際應(yīng)用中也更具解釋性。想象一個自動駕駛系統(tǒng)能夠準(zhǔn)確地報告：＂我有95%的把握認(rèn)為行人的右手在這個區(qū)域內(nèi)＂，而不是給出一個看似精確但實際上可能完全錯誤的點估計。這種可靠的不確定性表達(dá)對于安全關(guān)鍵應(yīng)用至關(guān)重要。

除了校準(zhǔn)之外，研究者還評估了預(yù)測的不確定性與實際誤差之間的相關(guān)性。理想情況下，預(yù)測的不確定性應(yīng)該與實際誤差成正比——當(dāng)預(yù)測錯誤較大時，模型應(yīng)該表現(xiàn)出較高的不確定性。在MS-COCO數(shù)據(jù)集上的實驗表明，單變量DER模型在認(rèn)知不確定性方面展現(xiàn)出最強的相關(guān)性（0.87的皮爾遜相關(guān)系數(shù)），而多變量MAP模型在模型不確定性方面表現(xiàn)最佳（0.92的相關(guān)系數(shù)）。

這些相關(guān)性分?jǐn)?shù)不僅超過了之前的研究成果，還證明了所提出的方法能夠有效地捕捉預(yù)測誤差與不確定性之間的關(guān)系。簡單來說，這意味著當(dāng)模型＂不確定＂時，它通常確實是錯的，而當(dāng)它＂確定＂時，它通常是對的。這種一致性對于構(gòu)建可信的人工智能系統(tǒng)至關(guān)重要。

不確定性的真實考驗

證明模型能夠產(chǎn)生數(shù)學(xué)上可靠的不確定性估計是一回事，但在真實世界的復(fù)雜情況下驗證這些估計的合理性則是另一回事。為此，布拉姆拉格團(tuán)隊設(shè)計了一系列實驗，專門挑戰(zhàn)模型在常見困難場景下的不確定性估計能力?？紤]到DER方法的穩(wěn)定性和計算效率優(yōu)勢，他們將這些深入實驗集中在單變量DER模型上。

第一個實驗聚焦于標(biāo)簽噪聲注入。在現(xiàn)實世界中，訓(xùn)練數(shù)據(jù)的標(biāo)簽往往存在誤差——人工標(biāo)注者可能對關(guān)節(jié)位置有不同的判斷，或者標(biāo)注工具本身可能存在精度限制。這種標(biāo)簽噪聲是典型的認(rèn)知不確定性來源，理論上應(yīng)該主要影響模型的認(rèn)知不確定性估計，而非模型不確定性估計。

為了測試這一點，研究者在自己創(chuàng)建的SIM數(shù)據(jù)集上進(jìn)行了實驗。SIM數(shù)據(jù)集是一個模擬的街景數(shù)據(jù)集，包含11個攝像頭視角和3D掃描的人物，最重要的是，它具有一致的高質(zhì)量標(biāo)簽。研究者在這個基礎(chǔ)上添加了不同水平的高斯噪聲（標(biāo)準(zhǔn)差從0.0到0.5不等），然后使用這些帶噪聲的數(shù)據(jù)訓(xùn)練DER模型。

實驗結(jié)果證實了研究者的假設(shè)：隨著添加標(biāo)簽噪聲的增加，模型預(yù)測的認(rèn)知不確定性顯著上升，而模型不確定性僅有輕微增加。具體來說，當(dāng)標(biāo)簽噪聲的標(biāo)準(zhǔn)差增加到0.5時，平均預(yù)測的認(rèn)知方差增加了約5倍，而模型不確定性的增加不到1倍。這表明DER能夠正確地將標(biāo)簽噪聲歸因于認(rèn)知不確定性。

實驗還揭示了一個有趣的現(xiàn)象：在零噪聲情況下，模型仍然預(yù)測了少量的認(rèn)知不確定性。這可以解釋為數(shù)字化過程中不可避免的少量誤差，比如當(dāng)邊界框小于網(wǎng)絡(luò)輸入所需尺寸時進(jìn)行上采樣造成的偽影。

第二個實驗專注于遮擋問題，這是人體姿態(tài)估計中最常見且最具挑戰(zhàn)性的情況之一。研究者在所有數(shù)據(jù)集的圖像上放置了人工遮擋物（白色、灰色和高斯模糊），遮擋物的大小從邊界框?qū)蔷€的10%到50%不等。遮擋物主要放置在手腕關(guān)節(jié)上，但有時也會影響到其他關(guān)節(jié)。

這個實驗的結(jié)果非常直觀：隨著遮擋物尺寸的增加，被遮擋關(guān)節(jié)的預(yù)測認(rèn)知不確定性也相應(yīng)增加。當(dāng)遮擋物尺寸達(dá)到邊界框?qū)蔷€的50%時，預(yù)測的認(rèn)知不確定性比無遮擋情況下高3-4倍。模型不確定性也有所增加，但增幅較小，且與認(rèn)知不確定性的相對增長率相似。

這種模式在遮擋關(guān)節(jié)數(shù)量增加時也有類似表現(xiàn)。當(dāng)多個關(guān)節(jié)被遮擋時，整體的認(rèn)知和模型不確定性都有所增加，但以認(rèn)知不確定性的增加更為顯著。這符合我們的直覺：遮擋導(dǎo)致的信息丟失主要是一個認(rèn)知不確定性問題，因為即使是理想的模型也無法準(zhǔn)確定位完全被遮擋的關(guān)節(jié)。

這兩個實驗結(jié)果強化了DER方法在實際應(yīng)用中的可行性。它不僅能夠在數(shù)學(xué)上產(chǎn)生校準(zhǔn)的不確定性估計，還能夠在面對現(xiàn)實世界的挑戰(zhàn)（如標(biāo)簽噪聲和遮擋）時做出符合直覺的反應(yīng)。這使得DER成為資源受限平臺上進(jìn)行不確定性量化的有吸引力的候選方法。

值得注意的是，研究者也觀察到一個潛在的局限性：在某些情況下，DER對兩種不確定性的區(qū)分可能不夠徹底。這可能是因為DER的不確定性分解依賴于單個λ參數(shù)，這一點在之前的研究中也有所提及。盡管如此，總體而言，DER仍然展示了令人印象深刻的不確定性估計能力，特別是考慮到它不需要昂貴的蒙特卡洛采樣步驟。

參考資料：

1. Bramlage， L.， Karg， M.， &； Curio， C. （2023）. Plausible Uncertainties for Human Pose Regression. ICCV 2023.

2. Kendall， A.， &； Gal， Y. （2017）. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision？

3. Amini， A.， et al. （2020）. Deep Evidential Regression.

4. Kuleshov， V.， Fenner， N.， &； Ermon， S. （2018）. Accurate Uncertainties for Deep Learning Using Calibrated Regression.