實用好奇心：一種基于主動推理的混合學習優(yōu)化范式

Pragmatic Curiosity:A Hybrid Learning-Optimization Paradigm via Active Inference

https://arxiv.org/abs/2602.06104

摘要

許多工程和科學工作流程依賴于昂貴的黑盒評估，要求決策能夠同時提高性能并減少不確定性。貝葉斯優(yōu)化（BO）和貝葉斯實驗設計（BED）提供了強大但基本分離的目標尋求與信息尋求處理方式，對于學習與優(yōu)化內(nèi)在耦合的混合場景，它們提供的指導有限。我們提出了實用好奇心（pragmatic curiosity），這是一種源自主動推斷的混合學習 - 優(yōu)化范式，其中動作通過最小化期望自由能來選擇——這是一個將實用效用與認知信息增益耦合的單一目標。我們在各種現(xiàn)實世界混合任務上展示了實用好奇心的實際有效性和靈活性，包括約束系統(tǒng)辨識、目標主動搜索以及具有未知偏好的復合優(yōu)化。在這些基準測試中，實用好奇心持續(xù)優(yōu)于強大的 BO 型和 BED 型基線，實現(xiàn)了更高的估計精度、更好的關鍵區(qū)域覆蓋以及改進的最終解質(zhì)量。

1. 引言

工程和科學應用通常依賴于昂貴的黑盒評估，以識別高性能設計或理想的系統(tǒng)狀態(tài)。當主要目標是達到指定目標時，貝葉斯優(yōu)化（BO）加速了這一過程（Shahriari 等人，2016；Frazier，2018），而貝葉斯實驗設計（BED）則優(yōu)先獲取關于未知系統(tǒng)參數(shù)的信息（Rainforth 等人，2023）。兩種方法都利用概率模型和采集準則，量化評估未知配置的效用，針對優(yōu)化或?qū)W習目標量身定制。盡管它們各自取得了成功且各領域研究爆炸式增長，但它們的脫節(jié)為一大類混合問題造成了真空，這些問題通常需要同步尋求知識和實現(xiàn)目標。

對于許多現(xiàn)實世界應用，如目標導向規(guī)劃（Lookman 等人，2019）、環(huán)境監(jiān)測（Konakovic Lukovic 等人，2020）和針對性材料設計（Matsumoto 等人，2025），學習和優(yōu)化不是獨立的階段，而是深度交織的目標。這一挑戰(zhàn)根本性地出現(xiàn)在具有日益復雜性的任務中，就認知考慮（即從參數(shù)模型到非參數(shù)模型）和實用評估（即從已知目標到未知目標）而言：(1) 約束系統(tǒng)辨識，其中精確學習系統(tǒng)參數(shù)的認知愿望受限于將實驗保持在安全或有效操作范圍內(nèi)的實用需求（例如，避免傳感器飽和或危險化學反應）。此類任務可見于眾多應用，包括環(huán)境監(jiān)測（Konakovic Lukovic 等人，2020）和催化劑設計（Zhong 等人，2020）。(2) 目標主動搜索，其中發(fā)現(xiàn)符合特定標準區(qū)域（例如，系統(tǒng)故障模式或特定性能范圍）的實用目標需要認知好奇心來探索區(qū)域的形狀、大小和邊界。應用示例可見于故障發(fā)現(xiàn)（Ramanagopal 等人，2018）和醫(yī)療監(jiān)控（Malkomes 等人，2021）。(3) 復合貝葉斯優(yōu)化，其中實用目標是根據(jù)用戶的隱藏偏好找到最優(yōu)設計——這是一項如果不首先對用戶目標本身產(chǎn)生認知好奇心就不可能完成的任務。此類場景常見于基于模擬的設計（González & Zavala，2025；Coelho 等人，2025）和 A/B 測試（Bakshy 等人，2018）。

傳統(tǒng)上，為解決這些混合問題，從業(yè)者被迫在專用工具之間選擇，并通過利用信息增益準則來增強優(yōu)化（反之亦然）以適應特定問題的調(diào)整。在 BO 方面，Russo & Van Roy（2018）將信息導向采樣（IDS）提出用于在線優(yōu)化問題。Hvarfner 等人（2023）將基于統(tǒng)計距離的主動學習（SAL）準則引入 BO 循環(huán)，即使在搜索最優(yōu)解時也主動學習模型超參數(shù)。在 BED（也稱為貝葉斯主動學習，BAL）方面，Smith 等人（2023）提出了預期預測信息增益（EPIG）準則，專注于模型預測中的信息增益，通過考慮輸入數(shù)據(jù)分布，減輕了經(jīng)典 BAL 選擇分布外或低相關性查詢的傾向。這些方法突顯了優(yōu)化與學習之間日益增長的協(xié)同作用，但它們?nèi)匀皇翘囟ㄓ谌蝿盏?，且很少跨類別泛化。

在本文中，我們提出實用好奇心：一種源自主動推斷（AIF）（Friston，2010；Friston 等人，2017）的混合學習 - 優(yōu)化范式。AIF 通過最小化期望自由能（EFE）規(guī)定動作選擇，這是一個單一目標，結(jié)合了 (i) 偏好首選結(jié)果的實用項和 (ii) 偏好信息增益的認知項。我們證明 EFE 最小化提供了各種采集策略的統(tǒng)一視角：通過指定偏好、觀測模型和近似，所得準則將 BO 類和 BED 類行為作為極限機制恢復。

在此范式下，尋求知識和實現(xiàn)目標不被視為競爭目標，而是最小化 EFE 這一單一指令的兩個不可分割的方面。這兩種驅(qū)動力由一個稱為好奇心的系數(shù)平衡，該系數(shù)設定了學習與優(yōu)化之間的權衡。好奇心在保證自洽學習（即后驗收斂于真理）和無遺憾優(yōu)化（即具有有界累積遺憾）方面的正式作用在 Li 等人（2026）中提供了理論支持。本文轉(zhuǎn)而展示該范式在處理廣泛一類復雜混合問題上的實際有效性和靈活性，這些問題常被標準方法忽略，包括具有演化目標（條件隨時間變化）和隱式目標（目標未先驗定義）的任務。我們圍繞上述三類問題結(jié)構進行實驗，借鑒的應用包括羽流場中的環(huán)境監(jiān)測（Konakovic Lukovic 等人，2020）、自動駕駛場景中的故障檢測（Ramanagopal 等人，2018）和電網(wǎng)中的分布式能源資源分配（Kianmehr 等人，2019）。

實證結(jié)果揭示了一貫的優(yōu)越性能模式，表明我們的框架在解決復雜混合目標方面具有優(yōu)勢。在約束系統(tǒng)辨識任務中，我們的算法實現(xiàn)了近乎完美的估計精度，同時所需的查詢次數(shù)比其他方法少高達 40%。對于目標主動搜索任務，它展示了一種更有效的探索策略，在相同預算內(nèi)多發(fā)現(xiàn)了關鍵失敗區(qū)域中至關重要的 10%。最值得注意的是，在具有未知用戶偏好的任務中，我們的方法總是成功學習了潛在目標，而其他基線方法則未能捕捉到?？傊?，這些發(fā)現(xiàn)驗證了我們統(tǒng)一方法的強大效力，表明實用驅(qū)動力與認知驅(qū)動力之間的原則性平衡能夠在多樣且具有挑戰(zhàn)性的問題設置中帶來實質(zhì)性的收益。

綜上所述，我們的主要貢獻如下：

? 通過主動推斷的視角，對各種采集策略提供了統(tǒng)一的觀點。

? 提出了一種針對通用混合學習 - 優(yōu)化問題的實用好奇心范式。

? 在三個具有多樣混合學習 - 優(yōu)化目標的典型現(xiàn)實世界問題類別上進行了全面的實證驗證。

2. 預備知識

2.1. 貝葉斯優(yōu)化

2.2. 貝葉斯實驗設計

3. 采集策略的統(tǒng)一視角

BO 中的采集策略通常導致目標導向的行為，其中（隱式的）目標是某個（未知）目標函數(shù)的最優(yōu)值。相反，BED 中的采集策略鼓勵信息尋求行為，旨在收集關于某些感興趣參數(shù)的最大信息量。盡管兩者都可以被視為自適應采樣（Di Fiore 等人，2023）的實現(xiàn)，但由于指令不同（Hvarfner 等人，2025），這兩個領域之間不存在可遷移的方法。

在本節(jié)中，我們表明這兩個看似競爭的指令可以通過主動推斷（AIF）的原則自然地平衡。

3.1. 作為期望自由能最小化的主動推斷

我們指定一個概率代理模型 q ( ? )
來捕捉結(jié)果 y 與決策變量 x 基于一組感興趣參數(shù) s 之間的關系，該關系分解為

其中最后一個不等式遵循琴生不等式（Jensen's inequality），該不等式指出對數(shù)的期望總是小于或等于期望的對數(shù)。

公式 (1) 的右邊被稱為變分自由能（VFE），其名稱源于 F F 類似于物理學中的亥姆霍茲自由能這一事實。我們可以看到 VFE 總是大于或等于驚異（即，它是驚異的上界）。在機器學習中，VFE 的符號通常被反轉(zhuǎn)，使其成為證據(jù)下界（ELBO）。最大化 ELBO 是機器學習中常用的一種優(yōu)化方法（Titsias, 2009）。

為了制定決策策略，我們需要考慮決策變量 x 以及由動作選擇導致的結(jié)果。由于未來結(jié)果尚未發(fā)生，我們轉(zhuǎn)而考察基于預測分布 q ( y ∣ x )
的預測結(jié)果上的驚異期望：

其中公式 (2) 的右側(cè)記為期望自由能（EFE）。

我們可以看到，通過構造，EFE 在某些先驗偏好下平衡了信息尋求和目標導向行為。它界定了認知價值（關于參數(shù)）與實用價值（關于結(jié)果）之間的差異，這捕捉到了在與環(huán)境交互時最大化認知價值（即關于潛在狀態(tài)的信息增益）的指令，同時關于先驗偏好最大化實用價值（即期望偏好對齊）。AIF 的這一關鍵方面有效地解決了“探索 - 利用困境”，因為探索和利用的指令只是 EFE 的兩個方面：

實用價值（利用）：這一項通過偏好預期能產(chǎn)生首選結(jié)果的動作來鼓勵目標導向行為。它由對期望觀測的先驗分布編碼，其功能類似于強化學習中的效用或獎勵函數(shù)（Millidge 等人，2020），驅(qū)動智能體利用其當前知識來實現(xiàn)其目標。

認知價值（探索）：這一項通過偏好預期能最大程度減少關于底層系統(tǒng)不確定性的動作來促進信息尋求行為。它量化了關于模型參數(shù)的期望信息增益，驅(qū)動智能體探索環(huán)境以完善其世界模型。

3.2. BO 和 BED 中采集策略的重新詮釋

至關重要的是，最小化 EFE 作為一個統(tǒng)一的 umbrella 原則。BO 和 BED 中的許多經(jīng)典采集策略可以重新詮釋為最小化 EFE 的特例，如表 1 所示。

表 1 中大多數(shù)采集策略的重新詮釋根據(jù)其定義是直截了當?shù)摹Ｈ欢?，將相當直觀的 GP-UCB 策略置于該框架中似乎較為隱式。為了揭示它們之間的聯(lián)系，我們依賴于以下引理：

這揭示了 GP-UCB 與 AIF 之間的緊密聯(lián)系，表明即使是像 GP-UCB 這樣看似純粹直觀的策略，其背后也有著相當嚴謹?shù)臄?shù)學基礎。

4. 推導采集函數(shù)的新范式

表 1 中的偏好分布 p ( y )
可以解釋為針對結(jié)果的時變價值函數(shù)的 softmax 變換。從這一觀察推廣開來，我們提出了一種推導采集函數(shù)的新范式，該范式適用于除傳統(tǒng) BO 和 BED 之外更廣泛的一類混合問題。

好奇心 β t
在平衡學習與優(yōu)化的性能方面起著重要作用。Li 等人 (2026) 推導出了在充分好奇心條件下后驗一致性和有界累積遺憾的形式化理論保證，并提供了在不同設置中選擇 β t的實用設計指南。

本文轉(zhuǎn)而考察問題依賴的能量函數(shù) h ( y ∣ D t ) 如何提供一種靈活的機制，以顯式地表示關于目標本身的不確定性。這種增強的表達能力使得能夠為標準方法經(jīng)常忽略的一大類復雜設置進行采集設計，包括具有演化目標（條件隨時間變化）和隱式目標（未先驗指定）的任務。這種公式化在此類任務上的有效性和通用性將在下一節(jié)中展示。

5. 實驗

在本節(jié)中，我們通過跨三個彼此顯著不同的類別進行實驗，來舉例說明所提出的采集策略的優(yōu)勢和可變性。這些問題源于 BO 和 BED 領域內(nèi)不同的文獻，且它們都不是典型的 BO 或 BED 任務。因此，每一個任務都針對適合該特定任務的一組不同的 BO 型（專注于優(yōu)化）和 BED 型（專注于學習）基線進行評估，以確保公平且嚴謹?shù)谋容^。

5.1. 具有已知不變目標的參數(shù)模型

任務。 我們在二維羽流場（2D plume fields）中的現(xiàn)實環(huán)境監(jiān)測問題上進行實驗，其中傳感器具有飽和閾值 （詳細設置和超參數(shù)選擇見附錄 D.2）。我們考慮三種類型的監(jiān)測任務：(a) 定位未知源位置；(b) 估計未知風向和強度；以及 (c) 識別多源場中的活躍源。

基線方法。 我們將我們提出的采集策略（AIF）與針對此任務定制的 BO 型和 BED 型基線方法進行比較：(a) 隨機（Random）；(b) 通過選擇導致違反約束概率最小的點來進行貪婪選擇（BO 型）；以及 (c) 關于未知參數(shù)的期望信息增益（EIG，BED 型）。

評估。 我們從認知和實用兩個角度評估性能：(a) 估計精度；以及 (b) 約束違反情況。

結(jié)果。 圖 1 顯示，我們的方法在遵守所有操作約束的同時，比基線方法實現(xiàn)了持續(xù)更強的查詢效率，且累積約束違反始終為零。這一優(yōu)勢在源定位任務中尤為明顯，在該任務中，獲取信息的驅(qū)動力與滿足約束的需求產(chǎn)生了相互對立的壓力。通過解決這一沖突，我們的方法使用的查詢次數(shù)比競爭方法少高達 40%，達到了近乎完美的估計。

5.2. 具有已知演化目標的非參數(shù)模型

接下來，我們考慮一個更具挑戰(zhàn)性的設定，其中任務條件會演化，且模型完全是黑盒的，以至于我們需要訴諸于非參數(shù)模型（例如，高斯過程 GP）。一個這樣的例子是多目標設計問題中的目標主動搜索。目標被視為度量指標，其中特定范圍具有特殊意義，而目標是設計實驗以最大化這些重要區(qū)域 S 的覆蓋率。

任務。 我們在自動駕駛場景中的現(xiàn)實故障發(fā)現(xiàn)問題上進行實驗，其中感知模塊（一個 YOLO 檢測器）可能因多種原因失效，這潛在地可能導致碰撞（3D 輸入-2D 輸出）。我們考慮三個體積遞減的目標集，即目標集 1 ? 目標集 2 ? 目標集 3（詳細設置和超參數(shù)選擇見附錄 D.3）。

基線方法。 我們再次將我們提出的采集策略（AIF）與針對此任務定制的 BO 型和 BED 型基線方法進行比較：(a) 隨機（Random）；(b) 通過最大化度量空間中的覆蓋體積來進行貪婪選擇（BO 型）；以及 (c) 通過最大化參數(shù)空間中的覆蓋體積來進行期望信息增益（EIG，BED 型）。

結(jié)果。 如圖 2 所示，我們的 AIF 算法有效地平衡了參數(shù)空間和度量空間的覆蓋。這種能力對于搜索更為困難的較小目標集尤其具有顯著影響。在最具有挑戰(zhàn)性的情況（目標集 3）下，與領先的基線方法相比，我們的方法識別出了近 10% 更多的關鍵故障區(qū)域。

5.3. 具有未知目標的非參數(shù)模型

最后，我們要研究最困難的設定，即模型和目標都是黑盒的。

一個實際場景源于多目標優(yōu)化問題中的復合貝葉斯優(yōu)化。目標由一個偏好函數(shù) g ( y )
進行加權，該函數(shù)是先驗未知的，并且必須在優(yōu)化過程中被同時學習。

任務。 我們在三個現(xiàn)實世界問題上進行實驗，包括車輛安全（5 維輸入 -3 維輸出）、青霉素生產(chǎn)模擬器（7 維輸入 -3 維輸出）和電網(wǎng)中的分布式能源資源分配（40 維輸入 -4 維輸出）（詳細設置和超參數(shù)選擇見附錄 D.4）。

評估。 我們通過使用真實偏好函數(shù) g ( y )
檢查所有收集結(jié)果中的最佳偏好來評估它們的性能。

結(jié)果。 圖 3 展示了我們的 AIF 方法在學習未知偏好函數(shù)方面的卓越能力，這是相對于常因查詢方向不當而失敗的基線方法的一個關鍵優(yōu)勢。隨著任務變得更加復雜且噪聲更大（從 (a) 到 (c)），我們的結(jié)果表明，采集函數(shù) (4) 的每個組件在實現(xiàn)最優(yōu)性能方面都發(fā)揮著不可替代的作用。這一優(yōu)勢在能源資源分配任務中最為顯著，在該任務中，競爭方法未能捕捉到任何有意義的偏好模型，而我們的方法始終成功。

聯(lián)合學習與優(yōu)化的優(yōu)勢。 為了強調(diào)聯(lián)合學習和優(yōu)化而非將其分階段進行的好處，我們將我們的方法與 Lin 等人 (2022) 中使用不同階段設計選擇的幾種 BOPE 變體進行比較。詳細的實驗設置、設計選擇、圖表和分析見附錄 D.4.3。結(jié)果表明，我們的方法在每一步自然地平衡探索與利用，并持續(xù)發(fā)現(xiàn)更高偏好的區(qū)域，而 BOPE 變體對階段的配置方式高度敏感。因此，像 BOPE 這樣的分階段方法需要仔細手動調(diào)整這些選擇，而我們的統(tǒng)一公式自動化了這一權衡，因此更適用于高階分層模型。

6. 結(jié)論與局限性

我們提出了實用好奇心，這是一種基于 AIF 的范式，用于在昂貴黑盒評估下進行混合學習 - 優(yōu)化。通過最小化 EFE 來選擇動作，該方法在單一采集目標內(nèi)統(tǒng)一了目標尋求和信息尋求。在約束系統(tǒng)辨識、目標主動搜索和具有未知偏好的復合優(yōu)化中，實用好奇心始終優(yōu)于強大的 BO 型和 BED 型基線，在固定預算下提高了估計精度、關鍵區(qū)域覆蓋率和最終解質(zhì)量。

我們方法的局限性源于問題依賴的能量/偏好模型的指定；錯誤指定可能會使采集產(chǎn)生偏差并降低性能。性能也繼承了底層代理和觀測模型的假設；嚴重的模型不匹配或非平穩(wěn)性可能會損害不確定性量化和偏好誘導的指導。未來的工作包括將該范式的評估擴展到多智能體、長視野或多保真度設置。

原文鏈接：https://arxiv.org/pdf/2602.06104