我們正處在一個信息過載的社會—— 信息量爆炸性增長，科技的迭代不斷重塑我們的生活方式和信仰觀念。我們面對的是復(fù)雜的、動態(tài)變化的系統(tǒng)，傳統(tǒng)的線性思維模式和決策框架變得不再適用。

在這種時代背景下，貝葉斯方法成為一種重要的計算和思維工具，提供了一種量化不確定性，做出概率推斷的方法。它不尋求絕對的確定性，而是承認(rèn)不確定性的存在，并以此為基礎(chǔ)構(gòu)建知識和決策。

對企業(yè)而言，不確定性也是數(shù)據(jù)驅(qū)動面臨的核心挑戰(zhàn)。無論是用戶的行為、產(chǎn)品的偏好、還是系統(tǒng)的自動駕駛決策，都存在著難以預(yù)測的因素：來自于數(shù)據(jù)的不完整性、變化的用戶偏好、海量的參數(shù)等等的不確定性。貝葉斯方法讓公司能夠把先驗知識（比如專家經(jīng)驗或歷史數(shù)據(jù)）和新收集的數(shù)據(jù)相結(jié)合，通過計算后驗概率來不斷更新對某個問題的理解和預(yù)測。

比如電商利用貝葉斯方法來更新對用戶偏好的理解，將用戶的歷史行為和實時反饋結(jié)合起來，動態(tài)調(diào)整推薦算法；Netflix對于新用戶或新上線的電影，由于缺乏足夠的數(shù)據(jù)，使用貝葉斯方法來整合先驗信息（如電影類型、導(dǎo)演、演員等）和用戶反饋，不斷調(diào)整推薦引擎；又比如，在谷歌的自動駕駛汽車項目中，復(fù)雜的道路條件和司機的不可預(yù)測行為帶來了巨大不確定性。于是谷歌通過貝葉斯方法來整合來自傳感器的信息，即時評估不同行動方案的后驗概率，做出最可靠的駕駛決策。

貝葉斯統(tǒng)計不僅是一種計算方法，更是一種思維方式。它教我們?nèi)绾卧谝延械闹R基礎(chǔ)上，不斷利用新的證據(jù)更新我們的認(rèn)識。幫助我們量化不確定性，提供了一種讓我們在不確定性中尋找最佳路徑的方法論。

1

生活中處處存在的貝葉斯思維

假設(shè)你正在計劃著去哪家餐廳吃飯：基于以往的經(jīng)驗（比如哪家上菜快，哪家肉質(zhì)新鮮等）已經(jīng)有了初步?jīng)Q策。然而你在手機上做攻略時又看到了一些負面用戶體驗反饋，改變了想法，更新了目的地決策；當(dāng)你前往決策的餐廳用餐后，又會某種程度上基于新的經(jīng)驗更新原有的決策策略。

這個日常中最平常的思維過程本質(zhì)上正是貝葉斯更新的一個實例：你將過去的知識（對餐廳的先驗印象）和新的證據(jù)（最近的評論和評分）相結(jié)合，形成了一個更新的信念，作出適應(yīng)當(dāng)前情況的決策。簡單來講就是：老認(rèn)知 +新證據(jù)= 新認(rèn)知。

就像哲學(xué)家約翰·杜威（John Dewey）說的：“如果我們做出的決策沒有通過行動的結(jié)果來檢驗，那么這些決策就不過是一種賭博。”杜威正是在強調(diào)行動和結(jié)果之間反饋環(huán)路的重要性，也就是通過觀察實際結(jié)果來驗證和調(diào)整行動的思維框架。

這種糾錯機制，其底層正是一種貝葉斯哲學(xué)：形成初步判斷（先驗概率）> 觀察新信息 > 更新信念（后驗概率） > 做出決策 >觀察結(jié)果并反饋，然后在周而復(fù)始的循環(huán)中修正認(rèn)知。

2

揭開貝葉斯的面紗

首先，我們講講貝葉斯到底是什么：

貝葉斯統(tǒng)計是概率論的一個分支，提供了一種在不確定性中做決策的框架，告訴我們?nèi)绾胃鶕?jù)新的證據(jù)來更新對某個假設(shè)的信念。

貝葉斯定理可以這樣表達：后驗概率（一個事件在給定證據(jù)后發(fā)生的概率）等于該事件的先驗概率（在考慮證據(jù)前該事件發(fā)生的概率）乘以該證據(jù)出現(xiàn)的可能性，除以證據(jù)本身出現(xiàn)的概率：

我們可以把貝葉斯公式理解為這是一種基于現(xiàn)有的可靠證據(jù)（比如一些觀察、數(shù)據(jù)、信息），對所持信念（比如一些假設(shè)、主張或觀點）進行更新迭代的方法。這能讓我們更好地理解和量化不確定性，根據(jù)新的信息和數(shù)據(jù)不斷學(xué)習(xí)和適應(yīng)這個充滿不確定性的世界。

3

貝葉斯方法的起源

可以說，貝葉斯定理的真正潛力是在近半個世紀(jì)里（貝葉斯去世兩個多世紀(jì)之后）才被充分挖掘和實現(xiàn)的。

（Thomas Bayes, c.1702-1761)

當(dāng)年，托馬斯·貝葉斯其實是在解決一個「逆概率」問題時發(fā)明了貝葉斯定理：即如何在給定新數(shù)據(jù)后更新對事件概率的估計。

我們知道，傳統(tǒng)的概率問題通常是已知原始條件去計算結(jié)果發(fā)生的概率。而這個「逆概率」問題嘗試解決的是：在已知某些結(jié)果時，怎樣去推斷原始的概率條件。這是一個反轉(zhuǎn)傳統(tǒng)概率問題的思考方式，貝葉斯在這個問題上的思考產(chǎn)生了現(xiàn)在被稱為貝葉斯定理的數(shù)學(xué)公式?？上У氖?，貝葉斯定理其實是在他去世后才由他的朋友理查德·普萊斯（Richard Price）整理并提交給皇家學(xué)會的。這個原理在提交給皇家學(xué)會時被稱為「關(guān)于偶然事物的問題的解」，在1763年發(fā)表在《哲學(xué)事務(wù)錄》上。

20世紀(jì)70年代和80年代，隨著馬爾可夫蒙特卡洛的引入和普及（Markov Chain Monte Carlo），貝葉斯網(wǎng)絡(luò)、貝葉斯優(yōu)化和概率編程等技術(shù)開始廣泛應(yīng)用于醫(yī)學(xué)、生物學(xué)、工程、經(jīng)濟學(xué)和社會科學(xué)等。如今，貝葉斯方法不僅是統(tǒng)計學(xué)和數(shù)據(jù)分析的重要工具，也是機器學(xué)習(xí)和人工智能領(lǐng)域的基礎(chǔ)。

4

貝葉斯的關(guān)鍵工具：馬爾可夫鏈蒙特卡羅

然而，在應(yīng)用貝葉斯方法時（尤其是在面對復(fù)雜模型或大量數(shù)據(jù)時）計算后驗分布會因為涉及到的復(fù)雜多維積分求解而消耗巨大的計算資源。對此，馬爾可夫鏈蒙特卡羅（MCMC）剛好提供了高效的解決方案。也就是說，貝葉斯方法是在理論上定義如何利用數(shù)據(jù)來更新對不確定參數(shù)的認(rèn)知，而MCMC提供了一種在實踐中實現(xiàn)貝葉斯推斷的計算工具。隨著計算機性能的提高，數(shù)據(jù)的收集及處理技術(shù)已經(jīng)遠遠超過人腦，在處理大量復(fù)雜模型和應(yīng)對數(shù)據(jù)稀疏情況下，MCMC的優(yōu)勢開始顯現(xiàn)。

MCMC是一種基于隨機抽樣的計算算法，可以用來近似復(fù)雜的后驗分布，能夠在實際應(yīng)用中處理復(fù)雜的貝葉斯模型，進行概率推斷和決策。

簡單來說， MCMC就是讓我們通過構(gòu)建一個隨機過程（馬爾可夫鏈），在參數(shù)空間中進行隨機抽樣，生成樣本集合，這些樣本集合可以用來估計后驗分布的特性（如均值、方差、置信區(qū)間等）。核心思想就是通過隨機抽樣評估樣本的“好壞”（概率密度），以及根據(jù)當(dāng)前樣本來指導(dǎo)未來的抽樣（馬爾可夫鏈），讓我們可以逐步探索和理解一個復(fù)雜的概率分布。即使剛開始我們對這個分布一無所知，但通過這種方法，我們能夠逐步逼近并揭露分布的本質(zhì)特征。

MCMC就像是通過隨機游走來尋找寶藏的過程。

想象你有一張公園的地圖，上面標(biāo)記著可能藏有寶藏的地點。但寶藏的具體位置是未知的。地圖上有些區(qū)域?qū)毑乜赡苄源?，有些區(qū)域可能性小，整個地圖就代表著所有可能藏寶地點的概率分布：

Step1: 起點（初始化）

你隨機選擇一個地點開始尋找，這就像在MCMC中隨機初始化一個起始點。

Step2: 探索步驟（構(gòu)建馬爾可夫鏈）

你根據(jù)手中的地圖和直覺，從當(dāng)前位置移動到附近的某個地方尋找寶藏。每次移動都是基于你當(dāng)前的位置和對地圖的理解，這類似于MCMC中從當(dāng)前樣本生成下一個樣本的過程。

Step3: 決定是否移動（Metropolis-Hastings準(zhǔn)則）

如果你發(fā)現(xiàn)一個新地點比現(xiàn)在的更有可能藏有寶藏，你就會轉(zhuǎn)移到那個地點。如果新地點看起來不那么有希望，你也可能以一定的較低的概率轉(zhuǎn)移過去，這樣做是為了防止自己只在一個區(qū)域徘徊，而忽略了其他可能的區(qū)域。在MCMC中，這個決策過程通過接受率來實現(xiàn)，也就是Metropolis-Hastings準(zhǔn)則。

Step4: 重復(fù)探索（迭代）

你會不斷地重復(fù)這個探索過程，每次都根據(jù)當(dāng)前位置和地圖來決定下一步怎么走。在MCMC中，這個過程就是不斷地生成信息樣本。

Step5: 找到寶藏（收斂）

經(jīng)過足夠多次的探索后，你會發(fā)現(xiàn)自己越來越頻繁地回到某些特定的地點，這些地點很可能就是寶藏的位置。在MCMC中，這就表示樣本開始在概率分布的高概率區(qū)域聚集，算法開始收斂。

Step6：確定寶藏位置（結(jié)果分析）

最終，通過分析你訪問各個地點的頻率，你可以確定寶藏最可能的位置（訪問最頻繁的區(qū)域），以及寶藏可能的分布范圍（經(jīng)常訪問的區(qū)域）。在MCMC中，我們通過分析樣本來估計概率分布的特性，如期望值和方差。

所以總結(jié)下來，MCMC就是讓我們在探索過程中逐漸了解了環(huán)境（概率分布），不斷根據(jù)新信息迭代認(rèn)知和決策概率，最終找到寶藏最可能的位置。

8

萬物皆可“貝葉斯”：貝葉斯蘊含的5個頂級思維模型

貝葉斯方法與MCMC不僅在統(tǒng)計學(xué)和計算領(lǐng)域中應(yīng)用廣泛，也吸引了許多哲學(xué)家和物理學(xué)家的興趣，研究它是如何跨越數(shù)學(xué)的邊界，滲透到我們思維的深處，概括了我們探索世界、積累知識的思維模式，幫助我們在不確定性中做出更好的決策。

亞裔法國數(shù)學(xué)家黃黎原在《貝葉斯的博弈：數(shù)學(xué)、思維與人工智能》書中就把貝葉斯公式稱為“智慧方程”，評價貝葉斯公式為一個充滿生命力的思維工具。

用貝葉斯的眼光看世界，你會發(fā)現(xiàn)萬物皆可“貝葉斯”。

1. 探索與利用的平衡

探索與利用（Exploration vs. Exploitation）的平衡是一個經(jīng)典的決策問題。比如谷歌、臉書等科技公司其廣告系統(tǒng)和內(nèi)容推薦算法中使用此策略來平衡新內(nèi)容的探索和現(xiàn)有內(nèi)容的利用：在強化學(xué)習(xí)和多臂老虎機（multi-armed bandit）問題中，貝葉斯方法可以用來平衡探索（嘗試不確定的選項以獲得更多信息）和利用（選擇當(dāng)前最佳的選項以最大化即時收益）。通過更新信念的概率模型，決策者可以在探索未知和利用已知之間做出更合理的決策。

2. 追求長期效益而非短期收益

貝葉斯決策理論通常考慮的是長期效益。在更新信念時，它不僅僅考慮當(dāng)前的觀測數(shù)據(jù)，而是將其與先前的知識（先驗概率）結(jié)合起來。這種方法強調(diào)了信息的積累和長期知識的構(gòu)建，而非只依賴一次觀測結(jié)果做出決策。橋水基金的創(chuàng)始人Dalio在他的著作《原則》中提到：“接受不確定性，并利用一系列的原則和系統(tǒng)來做決策”的理念就是受貝葉斯啟發(fā)。

3. 從局部到全局的視角

貝葉斯方法通過考慮先驗知識和新的觀測數(shù)據(jù)來更新信念。這種方法從具體的單次觀測（局部）出發(fā)，通過不斷更新信念，逐步構(gòu)建對整體情況的理解（全局）。接受不確定性，用概率支持決策：貝葉斯統(tǒng)計本質(zhì)上是概率性的，它不尋求確定性的結(jié)論，而是提供一個概率框架來表達不確定性。在貝葉斯框架中，知識和不確定性通過概率分布進行表達，決策是基于這些概率分布，充分考慮了不確定性。

4. 持續(xù)迭代與自我修正

貝葉斯推斷是一個迭代過程。每接收到新的數(shù)據(jù)，就會更新信念（后驗概率）。這個過程可以不斷重復(fù)，使得信念隨著數(shù)據(jù)的積累而逐漸精確。這也是敏捷開發(fā)方法論的核心思想之一，強調(diào)通過小步快跑，持續(xù)迭代來改進產(chǎn)品。

5

最后

生活就是由一系列不確定事件構(gòu)成的。

羅素說過這樣一句話：“知識的增長應(yīng)該是一個不斷調(diào)整我們的世界觀以適應(yīng)我們已經(jīng)證實的事實的過程。”羅素的這句話與貝葉斯更新信念的概念不謀而合，強調(diào)了在面對新證據(jù)時調(diào)整和更新信念的重要性。

我們?nèi)祟悓Υ_定性的渴望是刻在基因里的，但這個世界沒有涇渭分明，一勞永逸的答案。貝葉斯主義也許正是最適宜這個不確定性時代的知識哲學(xué)，至少能讓我們在這流動性過程里，變得更加從容平和。

就像黃黎原在書里提到的：“根據(jù)貝葉斯定理，任何理論都不完美。取而代之的是一項未盡的工作，它永遠處于推敲與測試之中。”

來源：DataCafe

編輯：一毫

轉(zhuǎn)載內(nèi)容僅代表作者觀點

不代表中科院物理所立場

如需轉(zhuǎn)載請聯(lián)系原公眾號