作者 | Sergio De Simone

譯者 | 張衛(wèi)濱

如今已進(jìn)入穩(wěn)定狀態(tài)的 Ax 是 Meta 推出的一個(gè) 開(kāi)源平臺(tái)，它的目標(biāo)是幫助研究人員和工程師將機(jī)器學(xué)習(xí)應(yīng)用于 復(fù)雜且資源密集型的實(shí)驗(yàn)場(chǎng)景。過(guò)去幾年中，Meta 已廣泛使用 Ax 來(lái)改進(jìn) AI 模型、加速機(jī)器學(xué)習(xí)研究、調(diào)優(yōu)生產(chǎn)基礎(chǔ)設(shè)施等。

Ax 特別針對(duì)那些需要理解和優(yōu)化 AI 模型或其他具有復(fù)雜配置系統(tǒng)的研究人員。Meta 的研究人員指出，在這類場(chǎng)景中，可能的配置組合數(shù)量極其龐大，幾乎不可能通過(guò)線性方式高效地逐一評(píng)估。解決方案是采用自適應(yīng)實(shí)驗(yàn)（adaptive experimentation），即系統(tǒng)會(huì)按順序自動(dòng)評(píng)估配置，并利用先前評(píng)估結(jié)果中的洞察來(lái)指導(dǎo)對(duì)解空間的探索。

自適應(yīng)實(shí)驗(yàn)非常強(qiáng)大，但實(shí)施起來(lái)很有挑戰(zhàn)性。這類實(shí)驗(yàn)不僅需要借助先進(jìn)的機(jī)器學(xué)習(xí)方法驅(qū)動(dòng)優(yōu)化過(guò)程，還依賴專門(mén)的基礎(chǔ)設(shè)施來(lái)管理實(shí)驗(yàn)狀態(tài)、自動(dòng)化編排流程、提供有效的分析與診斷等功能。

Meta 在內(nèi)部使用 Ax 解決的問(wèn)題包括：機(jī)器學(xué)習(xí)中的超參數(shù)優(yōu)化與神經(jīng)架構(gòu)搜索、為訓(xùn)練 AI 模型發(fā)現(xiàn)最優(yōu)的數(shù)據(jù)混合比例、基礎(chǔ)設(shè)施調(diào)優(yōu)、編譯器標(biāo)記（compiler flags）優(yōu)化等。

其中一項(xiàng)尤為引人注目的應(yīng)用是大語(yǔ)言模型（LLM）。Meta 研究人員已提供了全面的 介紹，展示了如何利用 Ax 來(lái)編寫(xiě)更有效的提示詞（prompts）、選擇最高效的樣例供 AI 遵循等場(chǎng)景。

優(yōu)化過(guò)程中還存在另外一項(xiàng)挑戰(zhàn)，那就是研究人員通常希望在滿足約束條件和安全邊界的前提下，同時(shí)優(yōu)化多個(gè)目標(biāo)指標(biāo)。Meta 研究人員舉了一個(gè)例子，他們?cè)褂?Ax 進(jìn)行“多目標(biāo)優(yōu)化”，即在提升機(jī)器學(xué)習(xí)模型準(zhǔn)確率的同時(shí)，盡可能降低其資源消耗。

除了優(yōu)化本身，Meta 研究人員強(qiáng)調(diào)，Ax 還是一個(gè)深入理解被優(yōu)化系統(tǒng)的高效工具：

Ax 提供了一整套分析功能（如圖表、表格等），幫助用戶了解優(yōu)化進(jìn)展、通過(guò)帕累托前沿（Pareto frontier）觀察不同指標(biāo)間的權(quán)衡、可視化一兩個(gè)參數(shù)在整個(gè)輸入空間中的影響，并通過(guò)敏感性分析（sensitivity analysis）解釋每個(gè)輸入?yún)?shù)對(duì)最終結(jié)果的貢獻(xiàn)程度。

Ax 基于 PyTorch 和 BoTorch，采用貝葉斯優(yōu)化（Bayesian optimization）方法迭代測(cè)試候選配置。它使用一個(gè)代理模型（surrogate model）來(lái)識(shí)別下一個(gè)最值得評(píng)估的配置，并不斷重復(fù)該過(guò)程，直到達(dá)成目標(biāo)或耗盡計(jì)算預(yù)算。典型的代理模型是高斯過(guò)程（Gaussian Process），因?yàn)樗軓臉O少量數(shù)據(jù)點(diǎn)中做出帶有不確定性量化（uncertainty quantification）的預(yù)測(cè)而被廣泛采用。

Meta 研究人員特別強(qiáng)調(diào)了 Ax 中具有表述性的 API，使其能夠探索復(fù)雜的搜索空間，同時(shí)處理多個(gè)目標(biāo)、約束條件和含噪聲的觀測(cè)結(jié)果。除此之外，Ax 支持并行評(píng)估多個(gè)不同的配置，并可在任意時(shí)刻中止實(shí)驗(yàn)。Ax 的一大優(yōu)勢(shì)在于提供了合理的默認(rèn)設(shè)置，讓非優(yōu)化專家也能輕松使用高級(jí)的技術(shù)。

Ax 并不是唯一的開(kāi)源黑盒自適應(yīng)優(yōu)化平臺(tái)。其他可選方案 包括 SMAC、Nevergrad、Optuna、Dragonfly 等。Meta 研究人員表示，Ax 提供了更廣泛的功能，例如支持對(duì)參數(shù)和結(jié)果施加約束、處理帶噪聲的測(cè)量數(shù)據(jù)等。此外，Ax 以及許多同類工具均可與 Ray Tune、Hydra 等編排框架集成使用。

Meta's Optimization Platform Ax 1.0 Streamlines LLM and System Optimization(https://www.infoq.com/news/2025/12/ax-hyperparameter-optimization/)

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。