導語

從有限數(shù)據(jù)中推導最優(yōu)解是科學發(fā)現(xiàn)的終極目標，人工智能為加速這一過程提供了有效途徑?，F(xiàn)有方法受數(shù)據(jù)集規(guī)模、目標函數(shù)假設及傳統(tǒng)機器學習技術所限，僅適用于低維或數(shù)據(jù)充足的問題。本文提出一款優(yōu)化框架，可高效解決有限數(shù)據(jù)下的復雜高維優(yōu)化問題：該方法利用深度神經(jīng)網(wǎng)絡作為代理模型，迭代地搜索最優(yōu)解，并引入多種機制以避免陷入局部最優(yōu)，從而顯著降低所需樣本量。實驗結(jié)果表明，該方法可在高達 2000 維的問題中穩(wěn)定找到優(yōu)于現(xiàn)有方法的解，而傳統(tǒng)方法通常受限于約 100 維且需要更多數(shù)據(jù)。該框架在多種真實系統(tǒng)中均表現(xiàn)出色，性能超越現(xiàn)有算法，不僅推動了高效的知識發(fā)現(xiàn)，也為構(gòu)建新一代自驅(qū)動實驗室提供了方法基礎。

關鍵詞：DANTE、深度主動優(yōu)化（Deep active optimization）、高維優(yōu)化（High-dimensional optimization）、黑箱優(yōu)化（Black-box optimization）、主動學習（Active learning）、深度神經(jīng)網(wǎng)絡（Deep neural networks）

鄭鴻盛丨作者

趙思怡丨審校

論文題目：Deep active optimization for complex systems 論文鏈接：https://www.nature.com/articles/s43588-025-00858-x 發(fā)表時間：2025年8月25日 論文來源：nature computational science

為什么高維、有限數(shù)據(jù)的優(yōu)化問題如此困難？

從有限數(shù)據(jù)中推導最優(yōu)解，是科學發(fā)現(xiàn)與工程設計中的核心目標。在材料科學、生命科學和復雜工程系統(tǒng)中，研究者往往需要在極高維參數(shù)空間中尋找最優(yōu)方案，而每一次性能評估都依賴昂貴實驗或高精度仿真。人工智能因此被寄予厚望，期望通過更智能的試驗選擇策略顯著降低試錯成本，加速科學發(fā)現(xiàn)進程。

然而，現(xiàn)有優(yōu)化方法在高維、數(shù)據(jù)稀缺場景下普遍受限。多數(shù)經(jīng)典算法依賴大規(guī)模數(shù)據(jù)或?qū)δ繕撕瘮?shù)作出較強的連續(xù)性與平滑性假設，在真實復雜系統(tǒng)中難以成立。貝葉斯優(yōu)化（Bayesian Optimization, BO）雖適用于黑箱問題，但其有效性通常局限于低維空間；基于蒙特卡洛樹搜索（MCTS）或強化學習（Reinforcement Learning, RL）的方法則依賴累積獎勵結(jié)構(gòu)和大量交互數(shù)據(jù)，難以處理非累積目標和高成本評估問題。與此同時，傳統(tǒng)代理模型在高維非線性條件下要么依賴強先驗、要么易發(fā)生過擬合，進一步制約了優(yōu)化性能。

一種面向有限數(shù)據(jù)的高維優(yōu)化新框架：

DANTE

針對有限數(shù)據(jù)、非累積目標條件下的高維復雜優(yōu)化問題，研究提出了“深度主動優(yōu)化結(jié)合神經(jīng)代理引導樹探索（DANTE）”算法。該方法并非試圖精確重建目標函數(shù)，而是以“如何更高效地分配有限試錯資源”為核心出發(fā)點，構(gòu)建了一套數(shù)據(jù)驅(qū)動的閉環(huán)優(yōu)化框架。

整體流程以深度神經(jīng)網(wǎng)絡（Deep Neural Network, DNN）作為代理模型，學習輸入?yún)?shù)與目標性能之間的復雜映射關系；在此基礎上，通過神經(jīng)代理引導樹探索（Neural-surrogate-guided Tree Exploration, NTE）策略，對高維搜索空間進行結(jié)構(gòu)化探索；利用數(shù)據(jù)驅(qū)動的上置信界（Data-driven Upper Confidence Bound, DUCB）機制平衡探索與利用；最終將篩選出的高價值候選樣本送入真實驗證源（如實驗、第一性原理計算或高精度仿真）進行評估，并將新獲得的標注數(shù)據(jù)反饋至數(shù)據(jù)庫，更新代理模型，形成持續(xù)迭代的優(yōu)化循環(huán)。

圖1 整體框架示意，該圖展示了DANTE的閉環(huán)優(yōu)化流程：數(shù)據(jù)庫中的初始樣本用于訓練深度代理模型；代理模型引導樹搜索模塊在參數(shù)空間中生成候選解；真實驗證源對候選解進行評估；新數(shù)據(jù)回流至數(shù)據(jù)庫并更新模型。該流程強調(diào)“模型—搜索—驗證”的協(xié)同演化，是典型的主動優(yōu)化（Active Optimization）框架。

值得注意的是，DANTE在方法設計上突破了現(xiàn)有優(yōu)化算法的維度限制。實驗結(jié)果表明，該算法能夠穩(wěn)定處理高達 2000 維的優(yōu)化問題，而多數(shù)主流方法的有效維度通常受限于 100 維左右。同時，DANTE在樣本利用效率上具有顯著優(yōu)勢，能夠在有限數(shù)據(jù)條件下持續(xù)逼近甚至達到全局最優(yōu)解。

DANTE 如何在高維空間中避免“走錯路”？

DANTE的方法創(chuàng)新集中體現(xiàn)在神經(jīng)代理引導樹探索（NTE）模塊及其配套機制上，這些設計均針對高維、有限數(shù)據(jù)場景下的核心難題進行優(yōu)化。首先，算法引入條件選擇機制與局部反向傳播機制，以解決傳統(tǒng)樹搜索中常見的“價值衰減問題”和局部最優(yōu)陷阱。條件選擇通過比較根節(jié)點與子節(jié)點的潛在價值，避免搜索過程在低價值區(qū)域盲目擴展；局部反向傳播則僅在有限范圍內(nèi)更新訪問信息，減弱早期錯誤判斷對后續(xù)搜索路徑的長期約束。

其次，研究將傳統(tǒng)上置信界（UCB）推廣為數(shù)據(jù)驅(qū)動的 DUCB，將深度神經(jīng)網(wǎng)絡的節(jié)點價值預測直接納入置信界計算中。這一改進有效避免了高維場景下 UCB 因訪問次數(shù)為零而產(chǎn)生的無窮值問題，同時顯著降低了對大量隨機模擬的依賴，從而減少計算成本。進一步地，算法引入自適應探索機制，在發(fā)現(xiàn)高價值數(shù)據(jù)點時主動增強探索強度，實現(xiàn)探索與利用之間的動態(tài)平衡。

此外，DANTE還提出了頂級訪問采樣策略，在候選樣本選擇階段綜合考慮模型預測性能與節(jié)點訪問頻率，從而提升代理模型在后續(xù)迭代中的泛化能力。在代理模型選擇上，深度神經(jīng)網(wǎng)絡被證明是DANTE成功的關鍵因素之一。相比高斯過程、決策樹等傳統(tǒng)模型，DNN 更擅長擬合高維非線性分布，能夠捕捉復雜系統(tǒng)中的隱含結(jié)構(gòu)關系。

圖2 神經(jīng)代理引導樹探索（NTE）機制示意。深度神經(jīng)網(wǎng)絡為搜索節(jié)點提供潛在價值評估，數(shù)據(jù)驅(qū)動的上置信界（DUCB）據(jù)此調(diào)控搜索方向。通過條件選擇與局部反向傳播機制的協(xié)同作用，算法能夠避免在高維空間中陷入局部最優(yōu)，并逐步向全局最優(yōu)解推進。

從方法論角度看，DANTE與 BO、MCTS、RL 形成了明確區(qū)分：其無需訓練策略網(wǎng)絡，不依賴累積獎勵結(jié)構(gòu)，且在高維、大初始數(shù)據(jù)集條件下表現(xiàn)出更優(yōu)的收斂特性。

從數(shù)學基準到真實系統(tǒng)：

DANTE 的效果如何？

為系統(tǒng)評估DANTE的性能，研究從合成函數(shù)基準測試和真實世界任務兩個層面展開了大規(guī)模實驗，對比對象涵蓋 11 類主流的啟發(fā)式、貝葉斯及樹基優(yōu)化算法。在合成測試中，研究選取了 20 至 2000 維范圍內(nèi)的 6 類經(jīng)典非線性非凸函數(shù)（包括 Ackley、Rastrigin、Rosenbrock 等）作為驗證基準。結(jié)果顯示，DANTE在 80%–100% 的測試案例中，以極少樣本成功達到全局最優(yōu)，而多數(shù)對比算法在樣本受限條件下無法收斂至全局最優(yōu)。

在無噪聲、數(shù)據(jù)易獲取的真實任務中，DANTE被應用于神經(jīng)網(wǎng)絡架構(gòu)搜索、復雜合金性能優(yōu)化、月球著陸最優(yōu)控制以及透射電子顯微鏡（TEM）圖像分辨率優(yōu)化等跨學科問題。實驗結(jié)果表明，DANTE在關鍵性能指標上普遍優(yōu)于現(xiàn)有方法 10%–20%，在部分場景中（如 TEM 參數(shù)優(yōu)化）甚至超越了人類專家的經(jīng)驗選擇。在與強化學習算法（如 PPO）的對比中，DANTE在初始階段表現(xiàn)出明顯優(yōu)勢，體現(xiàn)了其對有限數(shù)據(jù)場景的適配能力。

圖3 基準測試與真實任務結(jié)果，該圖系統(tǒng)展示了DANTE在高維合成函數(shù)和真實科學任務中的收斂行為。相比其他方法，DANTE在更少樣本下更快逼近最優(yōu)解，驗證了其在數(shù)據(jù)效率與高維適應性方面的優(yōu)勢。

在高成本、高維、帶噪聲的復雜真實任務中，如結(jié)構(gòu)材料設計、環(huán)肽結(jié)合體設計以及高維合金輸運性能優(yōu)化，DANTE在樣本數(shù)量更少的前提下，實現(xiàn)了 9%–33% 的性能提升，進一步證明了其方法的通用性與穩(wěn)健性。

從算法到范式：高維優(yōu)化的新可能

通過系統(tǒng)的理論設計與多維度實驗驗證，研究表明，深度學習與樹搜索機制的有機結(jié)合能夠有效應對有限數(shù)據(jù)、高維非線性優(yōu)化問題。DANTE的核心優(yōu)勢在于其對高維場景的高度適配性，以及在樣本受限條件下穩(wěn)定收斂的能力，使其成為解決復雜系統(tǒng)優(yōu)化問題的一種高效工具。

研究同時指出，當前DANTE的性能瓶頸主要受限于代理模型的表達能力和計算機內(nèi)存資源，而非算法框架本身。未來，隨著更先進代理模型的引入以及計算資源的提升，DANTE有望進一步突破 2000 維以上的優(yōu)化限制。在應用層面，該方法不僅適用于材料科學、物理和計算機科學等基礎研究領域，也可擴展至金融優(yōu)化等多種量化場景。尤其是在與機器人系統(tǒng)和自動化實驗平臺相結(jié)合后，DANTE有潛力推動自主化實驗室的發(fā)展，加速材料發(fā)現(xiàn)與藥物研發(fā)等科學過程的智能化進程，成為跨學科高維非線性優(yōu)化的重要通用方法。

計算神經(jīng)科學第三季讀書會

從單個神經(jīng)元的放電到全腦范圍的意識涌現(xiàn)，理解智能的本質(zhì)與演化始終是一個關于尺度的問題。更值得深思的是，無論是微觀的突觸可塑性、介觀的皮層模塊自組織，還是宏觀的全局信息廣播，不同尺度的動力學過程都在共同塑造著認知與意識。這說明，對心智的研究從最初就必須直面一個核心挑戰(zhàn)：局部的神經(jīng)活動如何整合為統(tǒng)一的體驗？局域的網(wǎng)絡連接又如何支撐靈活的智能行為？

繼「」與「」讀書會后，集智俱樂部聯(lián)合來自數(shù)學、物理學、生物學、神經(jīng)科學和計算機的一線研究者共同發(fā)起，跨越微觀、介觀與宏觀的視角，探索意識與智能的跨尺度計算、演化與涌現(xiàn)。重點探討物理規(guī)律與人工智能如何幫助我們認識神經(jīng)動力學，以及神經(jīng)活動跨尺度的計算與演化如何構(gòu)建微觀與宏觀、結(jié)構(gòu)與功能之間的橋梁。

詳情請見：

1.

2.

3.

4.

5.

6.

7.