On Predictive Planning and Counterfactual Learning in Active Inference

論主動推理中的預(yù)測性規(guī)劃與反事實學(xué)習(xí)

https://www.mdpi.com/1099-4300/26/6/484

摘要：

鑒于人工智能的快速發(fā)展，理解智能行為的基礎(chǔ)正變得日益重要。主動推理，被視為一種通用行為理論，提供了一種原則性的方法來探究規(guī)劃和決策中復(fù)雜性的基礎(chǔ)。本文考察了主動推理中基于“規(guī)劃”和“從經(jīng)驗中學(xué)習(xí)”的兩種決策方案。此外，我們還引入了一種混合模型，該模型駕馭了這些策略之間的數(shù)據(jù)復(fù)雜性權(quán)衡，利用兩者的優(yōu)勢來促進(jìn)平衡的決策。我們在一個具有挑戰(zhàn)性的網(wǎng)格世界場景中評估了我們提出的模型，該場景需要智能體具備適應(yīng)性。此外，我們的模型提供了分析各種參數(shù)演變的機會，提供了有價值的見解，并有助于形成一個用于智能決策的可解釋框架。

關(guān)鍵詞： 主動推理；決策；數(shù)據(jù)復(fù)雜性權(quán)衡；混合模型

1. 引言

定義并從而將智能“智能體”與其具身的“環(huán)境”分離開來，隨后環(huán)境向智能體提供反饋，這對于建模智能行為至關(guān)重要。 流行的方法，如強化學(xué)習(xí)（RL），大量采用這種包含智能體 - 環(huán)境循環(huán)的模型，這將問題歸結(jié)為智能體試圖在給定的不確定環(huán)境中最大化獎勵 [1]。 主動推理作為神經(jīng)科學(xué)中一種生物學(xué)上合理的框架出現(xiàn) [2]，與其他當(dāng)代方法如 RL 相比，它采用了一種不同的方法來建模智能行為。在主動推理框架中，智能體在其生命周期內(nèi)積累并最大化模型證據(jù)，以進(jìn)行感知、學(xué)習(xí)和決策 [3–5]。然而，當(dāng)智能體遇到與其生成（世界）模型有關(guān)的高度“熵”觀測（即意外觀測）時，最大化模型證據(jù)變得具有挑戰(zhàn)性 [3–5]。這個看似棘手的最小化遇到觀測的熵（或最大化模型證據(jù)）的目標(biāo)，可以通過最小化觀測熵的一個上界來實現(xiàn)，稱為變分自由能 [3,4]。鑒于這一通用基礎(chǔ)，主動推理 [6] 在為給定問題定義生成模型結(jié)構(gòu)方面提供了極好的靈活性，并且它在各個領(lǐng)域吸引了許多關(guān)注 [7,8]。 在這項工作中，我們通過結(jié)合“規(guī)劃”和“從經(jīng)驗中學(xué)習(xí)”，開發(fā)了一種基于主動推理的高效決策方案。在下一節(jié)對生成世界模型進(jìn)行一般性介紹之后，我們將更仔細(xì)地查看主動推理的決策方面。然后，我們總結(jié)了主動推理文獻(xiàn)中的兩種主導(dǎo)方法：第一種基于規(guī)劃（第 2.3.1 節(jié)），第二種基于反事實學(xué)習(xí)（參見第 2.3.2 節(jié)）。我們比較了這兩種現(xiàn)有主動推理方案的計算復(fù)雜性和數(shù)據(jù)效率（參見第 3.2 節(jié)），并提出了一種平衡這兩種互補方案的混合模型（第 3.3 節(jié)）。我們提出的混合模型不僅在需要適應(yīng)性的環(huán)境中表現(xiàn)良好（在第 3.5 節(jié)），而且還提供了關(guān)于使用模型參數(shù)進(jìn)行決策可解釋性的見解（在第 3.6 節(jié)）。

2. 方法

2.1. 主動推理中的智能體 - 環(huán)境循環(huán)

生成模型是在主動推理模型中建立智能體 - 環(huán)境循環(huán)的核心。假設(shè)智能體擁有一個外部世界的縮小模型，使智能體能夠預(yù)測外部動態(tài)和未來觀測。然后智能體可以使用其可用動作來追求未來結(jié)果，確保生存。在本文中，我們堅持使用基于部分觀測馬爾可夫決策過程（POMDP）的生成模型 [9]。POMDP 是馬爾可夫決策過程（MDP）[10] 的一般情況，它是可控馬爾可夫鏈，適于建模離散狀態(tài)空間中的隨機系統(tǒng) [11]。在下一節(jié)中，我們提供基于 POMDP 的生成模型的具體細(xì)節(jié)。

2.2. 基于 POMDP 的生成模型

在主動推理中，智能體通過最小化變分自由能來教導(dǎo)生成模型了解外部狀態(tài)并優(yōu)化其決策。POMDP（部分可觀測馬爾可夫決策過程）是一個用于建模離散狀態(tài)空間環(huán)境的通用框架，其中似然和狀態(tài)轉(zhuǎn)移被表示為易處理的分類分布 [12]。因此，我們采用 POMDP 作為我們要研究的智能體的生成模型?；?POMDP 的生成模型在形式上被定義為一個有限集的元組 ( S , O , T , U , B , A , D , E )
，使得：

F 的變分提供了關(guān)于狀態(tài)和參數(shù)的恰當(dāng)后驗期望。一些可選參數(shù)，取決于所使用的具體決策方案，包括：

這些參數(shù)用于對動作 u 的分布進(jìn)行參數(shù)化，并且動作是通過變分自由能最小化來優(yōu)化的。更多細(xì)節(jié)將在后續(xù)章節(jié)中解釋。

2.3. 主動推理中的決策方案

主動推理下的決策被表述為最小化未來時間步的（期望）變分自由能 [15–17]。這使得智能體能夠部署一種基于規(guī)劃的決策方案，其中智能體預(yù)測可能的結(jié)果并做出決策，以達(dá)到最小化期望自由能（EFE）的狀態(tài)和觀測。傳統(tǒng)上，主動推理優(yōu)化策略——即時間上的動作序列——而不是像強化學(xué)習(xí)（RL）中的 Q-Learning [1] 等方法中的狀態(tài) - 動作映射，以選擇最小化 EFE 的策略 [4]。然而，這樣的表述限制智能體只能解決具有低維狀態(tài)空間的環(huán)境 [4,13]。

隨后對該框架進(jìn)行了幾項改進(jìn)，包括最近的精密推理方案 [18]，它使用自由能的遞歸形式來減輕策略搜索的計算復(fù)雜性。精密推理方法使用時間上的前向樹搜索來評估 EFE；然而，由于計算復(fù)雜性，它限制了智能體的規(guī)劃深度 [18]。更創(chuàng)新的算法如動態(tài)規(guī)劃可用于使規(guī)劃線性化 [3,19]。提出的線性化規(guī)劃方法在 [19] 中被稱為期望自由能動態(tài)規(guī)劃（DPEFE）。該 DPEFE 算法在類似于網(wǎng)格世界任務(wù)的環(huán)境 [13] 中，表現(xiàn)與基準(zhǔn)強化學(xué)習(xí)方法如 Dyna-Q [20] 相當(dāng)（參見第 2.3.1 節(jié)了解 DPEFE 方法的技術(shù)細(xì)節(jié)）。DPEFE 算法的一個泛化最近被提出為“歸納推理”，以模擬智能體中的“意向行為”[21]。

另一項最近的工作偏離了這種預(yù)測規(guī)劃的經(jīng)典方法，并采用“從經(jīng)驗中學(xué)習(xí)”來確定最優(yōu)決策 [14]。該方案在數(shù)學(xué)上等價于一類特定的神經(jīng)網(wǎng)絡(luò)，伴隨著一些突觸可塑性的神經(jīng)調(diào)節(jié) [14,22]。它使用反事實學(xué)習(xí)（本文中的 CL 方法）來基于環(huán)境反饋隨時間積累一種“風(fēng)險”度量。隨后使用體外神經(jīng)網(wǎng)絡(luò)實驗驗證該方案的工作最近也出現(xiàn)了 [23]。

以下總結(jié)了兩種方案的關(guān)鍵算法細(xì)節(jié)：第 2.3.1 節(jié)中的 DPEFE 和第 2.3.2 節(jié)中的 CL 方案。兩種方案都是基于常規(guī) POMDP 提出的。

2.3.1. DPEFE 方案與動作精度

本文中的 DPEFE 方案基于 [13] 中的工作。該方案在論文 [19] 中被泛化到 POMDP 設(shè)置。使用的模型參數(shù)如第 2.2 節(jié)所示。DPEFE 方案中的動作 - 感知循環(huán)包括感知（即識別導(dǎo)致觀測的狀態(tài)）、規(guī)劃、動作選擇和學(xué)習(xí)模型參數(shù)。在本文中，所有環(huán)境都是完全可觀測的，因為我們的重點是決策而不是感知，因此 O = S。

DPEFE 方案中的動作選擇實現(xiàn)如下：在使用動態(tài)規(guī)劃評估未來觀測的期望自由能（EFE, G）后（參見 [19]），智能體評估選擇動作 u 的概率分布為

這里， σ 是經(jīng)典的 softmax 函數(shù)，使得具有較小 EFE 的動作以較大的概率被選中。動作精度參數(shù) ( α ) 可以調(diào)整以增加/減少智能體的動作選擇置信度。關(guān)于 EFE ( G ) 的評估和 DPEFE 算法的詳細(xì)描述，我們參考文獻(xiàn) [19]（第 5 節(jié)）。

2.3.2. CL 方法與風(fēng)險參數(shù)

不同于嘗試直接最小化 EFE，在反事實學(xué)習(xí)（CL）方法中，智能體學(xué)習(xí)一個狀態(tài) - 動作映射 CL。這個狀態(tài) - 動作映射是通過一個更新方程學(xué)習(xí)的，該方程由如 [14] 中定義的“風(fēng)險”項介導(dǎo)：

這里，是智能體接收到正的環(huán)境獎勵的時刻。因此，智能體越快到達(dá)期望狀態(tài)， Γ t
（即風(fēng)險）收斂到零的速度就越快（關(guān)于生成模型和自由能的確切形式，我們參考文獻(xiàn) [22]）。

論文中定義的所有更新規(guī)則都可以從智能體嘗試相對于生成模型最小化（變分）自由能（公式 (3)）這一公設(shè)推導(dǎo)出來 [14,19]。在本文的其余部分，我們調(diào)查了兩種方案——即 DPEFE 和 CL 方法——的性能，并考慮了一種結(jié)合它們的方案。下一節(jié)探討了這兩種方案在給定環(huán)境中的表現(xiàn)。

3. 結(jié)果

我們現(xiàn)在在基準(zhǔn)環(huán)境中測試兩種決策方案（DPEFE 和 CL）的性能，例如來自 OpenAIGym [24] 的 Cart Pole-v1（圖 1）。所有模擬都使用不同的隨機種子進(jìn)行 100 次或更多次試驗，以確保結(jié)果的可復(fù)現(xiàn)性。

3.1. Cart Pole—v1（OpenAI Gym 任務(wù)）

在 Cart Pole—v1 環(huán)境 [25] 中，智能體通過側(cè)向移動小車來保持桿子直立（在可接受范圍內(nèi)），從而獲得獎勵（圖 1A）。當(dāng)桿子或小車超出可接受范圍時（桿子為 ±12 度，小車為 ±2.4 個單位幀大??；圖 1B），回合終止。這個問題本質(zhì)上是自發(fā)性的，不需要控制器進(jìn)行規(guī)劃，智能體必須對小車和桿子的當(dāng)前狀況做出反應(yīng)。

然后，我們在一個突變設(shè)置中測試主動推理，其中環(huán)境突變?yōu)橐粋€更具挑戰(zhàn)性的版本，桿子和小車位置的可接受范圍均減半（桿子為 ±6 度，小車為 ±1.2 個單位幀大?。?。具有不同規(guī)劃能力的主動推理智能體的性能總結(jié)在圖 2A 中。

正如預(yù)期的那樣，CL 方法智能體優(yōu)于其他主動推理方案（因為該問題需要自發(fā)控制，傾向于狀態(tài) - 動作映射而非規(guī)劃）。智能體迅速學(xué)習(xí)了必要的狀態(tài) - 動作映射，并且比其他基于規(guī)劃的方案更有效地平衡了桿子。我們在第 100 回合環(huán)境發(fā)生突變后也觀察到了這一點。CL 方法智能體在突變后的性能提升值得進(jìn)一步調(diào)查；然而，這可以歸因于突變后失敗率增加導(dǎo)致的反饋頻率增加。需要注意的是，我們在本文中并未聲稱相對于不同的強化學(xué)習(xí)智能體具有更好的性能。我們使用 Dyna-Q 智能體與突變?nèi)蝿?wù)中重點關(guān)注的主動推理智能體進(jìn)行定性比較。

在圖 2B 中，我們看到了風(fēng)險項（Γ）的演變。隨著智能體對環(huán)境了解更多，風(fēng)險 Γ 穩(wěn)定到小于 0.5 的值。有趣的是，如圖 2B 所示，當(dāng)面對環(huán)境突變時，正如預(yù)期的那樣，Γ 出現(xiàn)了增加。在圖 2B 中，我們觀察到 CL 方法中的風(fēng)險項（Γ）減少直到第 100 回合。值得注意的是，CL 方法智能體在圖 2A 中的性能提升與風(fēng)險的減少方式相同。在第 100 回合，我們在環(huán)境中引入突變，導(dǎo)致所有智能體的性能崩潰。我們觀察到性能隨時間恢復(fù)，CL 方法智能體中的風(fēng)險項也是如此（圖 2B）。我們還觀察到風(fēng)險項在下半段達(dá)到了甚至更低的范圍，這與性能提升相關(guān)。這些觀察結(jié)果突顯了 CL 方法智能體中參數(shù)的可解釋性。

接下來，我們在一個根本不同的環(huán)境中測試智能體——迷宮任務(wù)——這需要為未來進(jìn)行規(guī)劃。

3.2. 復(fù)雜迷宮任務(wù)與數(shù)據(jù)復(fù)雜性權(quán)衡

為了比較兩個智能體在戰(zhàn)略任務(wù)中的性能，我們在標(biāo)準(zhǔn)網(wǎng)格世界任務(wù) [26] 中模擬性能，如圖 3A 所示。該網(wǎng)格問題的最優(yōu)解如圖 3B 所示。這是一個復(fù)雜的網(wǎng)格世界，與過去文獻(xiàn)中用于解決的網(wǎng)格世界任務(wù) [4] 相比并非易事，因為如果采取隨機動作而非長度為 47 的最優(yōu)路線，智能體需要大約九千步才能到達(dá)目標(biāo)狀態(tài)。

性能評估是根據(jù)智能體多快能夠完成一個回合（即到達(dá)目標(biāo)狀態(tài)的回合長度（越低越好））來進(jìn)行的。顯示 DPEFE 和 CL 智能體性能的模擬結(jié)果繪制在圖 4A 中。這些結(jié)果表明，基于預(yù)測規(guī)劃的 DPEFE 智能體可以快速學(xué)習(xí)（即在十個回合內(nèi)）來導(dǎo)航這個網(wǎng)格。從圖 4A 來看，DPEFE 智能體的性能似乎在回合長度為一千左右飽和，并且它從未學(xué)會最優(yōu)路線。然而，在模擬中，DPEFE 智能體使用的動作精度是代入公式 (4) 的 α = 1
。對于更高的動作精度 ( σ )，智能體傾向于在更低的時間步長內(nèi)導(dǎo)航，始終堅持最優(yōu)動作。此外，我們觀察到 CL 方法智能體需要更長的時間來學(xué)習(xí)最優(yōu)路徑。這個結(jié)果（圖 4A）表明，CL 智能體需要在環(huán)境中有更多的經(jīng)驗（即更多的數(shù)據(jù)）來解決它。

在圖 4B 中，我們比較了與決策規(guī)劃相關(guān)的主要主動推理算法的計算復(fù)雜性。與其他流行的主動推理方案 [4,18] 相比，DPEFE 算法在計算上更為高效。請注意，該圖還強調(diào)了 CL 方法沒有與規(guī)劃相關(guān)的計算復(fù)雜性。因此，很明顯 CL 方法智能體比 DPEFE 智能體在計算上更便宜，因為沒有規(guī)劃組件。如圖 4B 所示，DPEFE 智能體的計算復(fù)雜性與規(guī)劃深度（規(guī)劃的時間視界，T）相關(guān)。需要注意的是，圖 4B 中的 y 軸是對數(shù)刻度。DPEFE 的計算復(fù)雜性僅與規(guī)劃時間視界線性相關(guān)，而 CL 智能體沒有規(guī)劃復(fù)雜性，這兩者在計算上都比其他主動推理算法更高效。此外，上述觀察結(jié)果表明 DPEFE 和 CL 方案之間存在數(shù)據(jù)復(fù)雜性權(quán)衡。

這一認(rèn)識促使我們轉(zhuǎn)向一種混合模型，在此我們提議開發(fā)一種智能體，它能夠根據(jù)智能體可用的資源來平衡這兩種方案。從神經(jīng)生物學(xué)的角度來看，這非常有意義，因為生物智能體不斷地試圖平衡用于學(xué)習(xí)和規(guī)劃未來的資源與它們已經(jīng)擁有的經(jīng)驗。這一想法也與強化學(xué)習(xí)中經(jīng)典的探索-利用困境（exploration–exploitation dilemma）有關(guān) [27]。

3.3. 整合兩種決策方法

為了使智能體能夠平衡其預(yù)測未來結(jié)果和利用先前經(jīng)驗的能力，我們在模型中引入了一個隨經(jīng)驗演變的狀態(tài)依賴偏差參數(shù) ( β ( s , t ) ∈ [ 0 , 1 ]
)。這一增加的動機基于這樣一個假設(shè)：智能體保持一種偏差感，用于量化其在過去那個特定狀態(tài)下做決策經(jīng)驗的置信度。

當(dāng)暴露于一個新環(huán)境時，智能體對 DPEFE（預(yù)測性規(guī)劃，原文誤作 DEEFE）和 CL 方案起始具有相等的偏差，由先驗偏差參數(shù) β prior = 0.5
表示。

給定這些分布，智能體現(xiàn)在可以使用它們的香農(nóng)熵 ( H ( X )
) 來評估它們有多“有用”。這一度量是有益的，因為它代表了特定分布對于在那些狀態(tài)下做出決策有多“確定”。也就是說，如果智能體對某個特定動作有信心，動作分布傾向于是一個有利于該自信動作的獨熱向量（one-hot vector）；因此，與具有最大熵的均勻分布（不偏向任何動作）相比，該分布的熵趨于零。因此，比較這一數(shù)量使得能夠從不同方案的集合中選擇最自信的策略。

基于這一觀察，隨著時間的推移，智能體可以使用這一熵度量來更新 β ( s , t ) 的值，如下所示：

描述所提出的基于 POMDP 的混合模型的“智能體-環(huán)境”循環(huán)的流程圖如圖 5 所示（關(guān)于混合模型中各種參數(shù)的詳細(xì)描述，請參閱第 2.2、2.3.1 和 2.3.2 節(jié)）。

3.4. 從變分自由能推導(dǎo)混合模型的更新方程

公式 (8) 和 (9) 可以從 POMDP 生成模型下的變分自由能最小化推導(dǎo)出來?；旌夏Ｐ偷淖兎肿杂赡芏x為

因此，混合模型的更新規(guī)則（公式 (8) 和 (9)）可以從變分自由能最小化中形式化推導(dǎo)出來。

3.5. 混合模型在突變迷宮環(huán)境中的性能

我們使用一個突變網(wǎng)格環(huán)境來測試基于混合模型的智能體的性能。這個突變網(wǎng)格方案如圖 6 所示。智能體始于一個更易通行的網(wǎng)格版本，其最優(yōu)路徑為四步（圖 6A）。在 300 個回合之后，環(huán)境突變?yōu)樯弦还?jié)所示的復(fù)雜網(wǎng)格版本（參見圖 6B）。這種設(shè)置還使我們能夠研究智能體對新的環(huán)境變化具有多大的適應(yīng)性。

性能總結(jié)如圖 7 所示。我們觀察到，所有三個混合模型智能體（具有不同水平的規(guī)劃能力）都在前十個回合內(nèi)學(xué)會了導(dǎo)航簡單網(wǎng)格（圖 7A）。然而，當(dāng)環(huán)境在第 300 回合突變?yōu)閺?fù)雜網(wǎng)格時，智能體的學(xué)習(xí)表現(xiàn)類似于我們在單獨導(dǎo)航該網(wǎng)格時觀察到的情況（見圖 7B，即具有 900 個狀態(tài)的復(fù)雜網(wǎng)格）。直接比較圖 4A 和圖 7B 有助于我們觀察到，混合模型智能體的速度既不像 DPEFE 智能體那樣快，也不像 CL 智能體那樣慢?；旌夏Ｐ椭悄荏w成功地平衡了這種數(shù)據(jù)復(fù)雜性權(quán)衡。

我們還觀察到，與其他兩個智能體相比，具有更高規(guī)劃能力的智能體學(xué)習(xí)導(dǎo)航網(wǎng)格的速度更快且更自信。由于混合模型智能體也結(jié)合了 CL 方法，更高的規(guī)劃視界并不總是能帶來性能提升。事實上，在較低的規(guī)劃視界下仍能保持相當(dāng)?shù)男阅?，這是所提出的混合模型的一個額外優(yōu)勢，這在并不總是需要進(jìn)行大量規(guī)劃的情況下非常有用。這一結(jié)果表明，所提出的混合模型使智能體能夠在主動推理框架中平衡這兩種決策方法。

3.6. 主動推理模型的可解釋性

所提出的混合模型（以及基于 POMDP 的生成模型）的一個額外優(yōu)勢在于，我們可以探究模型參數(shù)，通過主動推理的視角 [28–30] 來理解智能體所展現(xiàn)出的智能行為的基礎(chǔ)。那些依賴人工神經(jīng)網(wǎng)絡(luò)（ANNs）來擴(kuò)展模型規(guī)模的模型 [31] 在解釋智能體如何做出決策方面能力有限，尤其是在面對不確定性時。

在圖 8A 中，我們可以探究并觀察模型中風(fēng)險（ Γ t
）的演變（這與 [14] 中定義的 CL 方法相關(guān)）。我們可以觀察到，當(dāng)呈現(xiàn)并解決簡單網(wǎng)格時，模型的風(fēng)險迅速趨于零；然而，當(dāng)面對環(huán)境突變時，風(fēng)險會急劇上升。

4. 討論

本文徹底比較和對比了主動推理框架內(nèi)兩種不同的決策方案。通過評估每種方法的優(yōu)缺點，我們在需要自發(fā)決策的任務(wù)（以 Cart Pole 任務(wù)為例）和戰(zhàn)略決策任務(wù)（以導(dǎo)航迷宮任務(wù)為例）上測試了它們的有效性。這使我們能夠評估一種整合了兩種決策方案要素的混合方法。據(jù)假設(shè)，生物有機體的大腦利用類似的機制，根據(jù)上下文在多種策略之間切換 [32]。我們的模型在揭示大腦中高效決策的潛在機制、識別其神經(jīng)元基礎(chǔ)以及開發(fā)計算高效的仿生智能體方面具有重大前景。從這項工作中獲得的見解有望增強用于控制任務(wù)的算法，尤其是在機器人技術(shù)和人工智能領(lǐng)域利用主動推理方案的興趣日益增長的背景下 [33]。

未來的工作自然將涉及對行為表現(xiàn)如何依賴于模型內(nèi)各種參數(shù)以及魯棒性 [34,35] 的詳細(xì)分析。擴(kuò)展模型以在要求更高、更復(fù)雜的環(huán)境中有效運行將是關(guān)鍵的下一步。與結(jié)合人工神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行系統(tǒng)比較，正如 [31,36] 的研究結(jié)果所強調(diào)的那樣，代表了進(jìn)一步研究的一個有前景的途徑。此類比較將有助于闡明不同建模方法的相對優(yōu)勢和劣勢，并可能促使開發(fā)更穩(wěn)健、更多樣化的決策系統(tǒng)。

原文鏈接：https://www.mdpi.com/1099-4300/26/6/484