作者 | 論文團(tuán)隊(duì)

編輯 | ScienceAI

原子級(jí)模擬為材料性質(zhì)的預(yù)測(cè)與虛擬篩選提供了重要手段，其核心在于準(zhǔn)確描述體系的勢(shì)能面（PES）。相比于傳統(tǒng) PES 的計(jì)算所依賴的方法——從頭算量子化學(xué)方法（如密度泛函理論 DFT）與經(jīng)驗(yàn)力場(chǎng)而言，機(jī)器學(xué)習(xí)原子間勢(shì)函數(shù)可以更好權(quán)衡精度與效率，通過從 DFT 數(shù)據(jù)中學(xué)習(xí)原子間相互作用，對(duì) PES 進(jìn)行準(zhǔn)確構(gòu)建。

近年來，隨著數(shù)據(jù)和模型規(guī)模的擴(kuò)大，基于數(shù)百萬(wàn) DFT 計(jì)算訓(xùn)練的基座勢(shì)能（foundation potentials, FPs）進(jìn)一步展現(xiàn)出跨化學(xué)空間的泛化潛力，已被廣泛用于聲子譜預(yù)測(cè)、相圖構(gòu)建、催化篩選與分子動(dòng)力學(xué)模擬等下游任務(wù)，為多尺度材料建模奠定了新的基礎(chǔ)。

然而，絕大多數(shù) FPs 依然是在大量低精度 GGA/GGA+U 的 DFT 泛函數(shù)據(jù)上訓(xùn)練的，隨著我們對(duì)于下游任務(wù)提出更高的模擬精度的需求，經(jīng)低精度數(shù)據(jù)預(yù)訓(xùn)練的模型亟待通過對(duì)于高精度數(shù)據(jù)（如 r2SCAN、HSE06 泛函）的遷移學(xué)習(xí)，構(gòu)造為精度更高的模型。

為應(yīng)對(duì)這一跨泛函遷移挑戰(zhàn)，來自加州大學(xué)伯克利分校（UCB）的黃旭，鄧博文，鐘佩辰及 Gerbrand Ceder 教授等，在名為 CHGNet 的基座勢(shì)能框架內(nèi)分析了這一跨泛函由低精度數(shù)據(jù)到高精度數(shù)據(jù)遷移學(xué)習(xí)問題的挑戰(zhàn)及解決方案。

該研究以「Cross-functional transferability in foundation machine learning interatomic potentials」為題，于 2025 年 10 月 21 日刊登于《npj Computational Materials》。

論文鏈接：https://www.nature.com/articles/s41524-025-01796-y

基座勢(shì)能在當(dāng)前訓(xùn)練數(shù)據(jù)的局限及跨泛函遷移的挑戰(zhàn)

目前用于晶體材料的基座勢(shì)能（FPs）訓(xùn)練的數(shù)據(jù)集主要是 GGA 和 GGA+U 水平的 DFT 泛函數(shù)據(jù)組成。

首先，GGA/GGA + U 泛函在不同化學(xué)鍵環(huán)境下的遷移能力較低，整體計(jì)算精度較低。其次，為減少 GGA 中的自相互作用誤差而施加的 Hubbard U 校正，本質(zhì)上是半經(jīng)驗(yàn)性的且具有非普適性?！缸顑?yōu)」U 值并沒有明確的定義，線性響應(yīng)法等方法表明，這樣的最優(yōu) U 值通常依賴于具體體系。

然而，GGA/GGA + U 的 FP 數(shù)據(jù)集在生成時(shí)，對(duì)每種元素都使用相同的 U 值，而不考慮局部環(huán)境或形式價(jià)態(tài)。再次，我們通常采用一種粗粒度的方案將 GGA 與 GGA + U 混合以構(gòu)建 FPs 訓(xùn)練集。這樣的混合方式可能引發(fā)問題，例如在這些訓(xùn)練數(shù)據(jù)之間移動(dòng)時(shí)，原子間勢(shì)能可能會(huì)出現(xiàn)數(shù)百 meV 的突躍，這是不利于平滑勢(shì)能面構(gòu)建的。

在多精度 DFT 數(shù)據(jù)集之間實(shí)現(xiàn)顯式或隱式的跨泛函可遷移性的主要策略有三種：遷移學(xué)習(xí)（transfer learning）、多精度學(xué)習(xí)（multi-fidelity learning）以及混合多精度訓(xùn)練（mixed multi-fidelity training）。

這三種方法有各自的優(yōu)勢(shì)及挑戰(zhàn)，其中，遷移學(xué)習(xí)指的是先在大規(guī)模的低精度數(shù)據(jù)集上對(duì)一個(gè)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后將該網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重用于初始化在更小規(guī)模的高精度數(shù)據(jù)集上的機(jī)器學(xué)習(xí)任務(wù)。這種方法在計(jì)算和數(shù)據(jù)利用上都非常高效。然而，如果不同精度數(shù)據(jù)集之間的相關(guān)性不夠強(qiáng)，遷移學(xué)習(xí)的效果就會(huì)變差，甚至可能導(dǎo)致性能下降，這種現(xiàn)象被稱為「負(fù)遷移」（negative transfer）。

MP-r2SCAN 數(shù)據(jù)集

研究團(tuán)隊(duì)構(gòu)建了一個(gè)來自 Materials Project 數(shù)據(jù)庫(kù)的 r2SCAN 弛豫軌跡解析而成的 r2SCAN 數(shù)據(jù)集（MP-r2SCAN），用于高精度訓(xùn)練任務(wù)，包含 34,927 個(gè)材料 ID 和 238,247 個(gè)結(jié)構(gòu)。與 MPtrj 數(shù)據(jù)集（包含 145,923 個(gè)材料 ID 和 1,580,395 個(gè)結(jié)構(gòu)）相比，MP-r2SCAN 的數(shù)據(jù)規(guī)模顯著更小。

如下圖圖 b 所示，r2SCAN 與 GGA/GGA + U 的總能量分布在不同的數(shù)值范圍上。從 GGA/GGA + U 到 r2SCAN 的能量偏移量在 0–70 eV/atom 的量級(jí)，這遠(yuǎn)大于勢(shì)函數(shù)能量精度（約 30 meV/atom），這表明這些 r2SCAN 能量標(biāo)簽若沒有合適的參考或歸一化處理，是無法直接有效遷移使用的。

使用不同原子參考能量的遷移學(xué)習(xí)及基準(zhǔn)測(cè)試

對(duì)于在具有基于 GGA/GGA + U 總能量擬合的 AtomRef 的勢(shì)函數(shù) FP 上進(jìn)行的跨泛函遷移學(xué)習(xí)，可以重新擬合該 FP 的 AtomRef（用基于 r2SCAN 能量擬合得到的 AtomRef 替換原有的基于 GGA/GGA + U 的 AtomRef），從而將 FP 遷移前后圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的能量預(yù)測(cè)部分對(duì)齊到相近的數(shù)值尺度，并提升預(yù)訓(xùn)練與微調(diào)數(shù)據(jù)集之間的相關(guān)性，克服遷移學(xué)習(xí)中「負(fù)遷移」的挑戰(zhàn)。實(shí)際上，Pearson 相關(guān)系數(shù) ρ 從未修正的 GGA/GGA + U 與 r2SCAN 數(shù)據(jù)集之間的 0.0917，提高到了在分別減去各自 AtomRef 后的 r2SCAN 能量與 GGA/GGA + U 能量之間的 0.9250。此外，此種方法也減少了微調(diào)開始階段梯度過大導(dǎo)致的訓(xùn)練不穩(wěn)定性。由下圖可以觀察到，不重新擬合 AtomRef 的方法的初始梯度幅值至少比重新擬合 AtomRef 的方法大一個(gè)數(shù)量級(jí)，且重新擬合 AtomRef 后，模型的訓(xùn)練過程更加穩(wěn)定且可靠。

在基準(zhǔn)測(cè)試方面，該研究將重新擬合原子參考能量進(jìn)行遷移學(xué)習(xí)的方法和其他幾個(gè)遷移學(xué)習(xí)方法以及從頭用 r2SCAN 數(shù)據(jù)訓(xùn)練（無遷移學(xué)習(xí)）的方法進(jìn)行了對(duì)比，得到在能量、原子間作用力、應(yīng)力、磁矩、熱力學(xué)穩(wěn)定性（形成能、分解能）、密度預(yù)測(cè)方面都更準(zhǔn)確可靠的 FPs。如下圖所示，方法 4（即重新擬合原子參考能量的遷移學(xué)習(xí)）在密度預(yù)測(cè)（與實(shí)驗(yàn)密度數(shù)據(jù)對(duì)比）方法顯著優(yōu)于其他方法。此外，實(shí)驗(yàn)值與預(yù)測(cè)值之比的分布顯示，基于 GGA 預(yù)訓(xùn)練的 CHGNet 模型更傾向于低估密度，而方法 4 所得到的分布相比其他方法更緊密地集中在理想值（比值 = 1）附近。上述結(jié)果表明，從 GGA 向 r2SCAN 的遷移學(xué)習(xí)方法是有效的，并且使用 r2SCAN 數(shù)據(jù)、通過方法 4 訓(xùn)練得到的模型在實(shí)際體積與密度預(yù)測(cè)中具有更高的精度潛力。

除了從 GGA/GGA+U 到 r2SCAN 泛函數(shù)據(jù)遷移學(xué)習(xí)，團(tuán)隊(duì)也研究了從 GGA/GGA+U 到鹵化物范德華數(shù)據(jù)集和 HSE06 數(shù)據(jù)集的遷移學(xué)習(xí)（見論文中的補(bǔ)充信息），證明了這種遷移方法的普適有效性。

擴(kuò)展定律

為評(píng)估重新擬合原子參考能量的遷移學(xué)習(xí)方法的數(shù)據(jù)效率提升，研究團(tuán)隊(duì)進(jìn)行了擴(kuò)展定律研究（下圖）。線性擬合結(jié)果表明，無論是從頭用 r2SCAN 數(shù)據(jù)訓(xùn)練（無遷移學(xué)習(xí)）還是遷移學(xué)習(xí)（藍(lán)色），都表現(xiàn)出線性擴(kuò)展規(guī)律的行為。僅使用 1K 個(gè)高精度數(shù)據(jù)點(diǎn)進(jìn)行遷移學(xué)習(xí)，就能超越在超過 10K 個(gè)高精度數(shù)據(jù)點(diǎn)上從頭訓(xùn)練的模型性能，這意味著通過 GGA 預(yù)訓(xùn)練步驟獲得了超過十倍的數(shù)據(jù)效率提升。有趣的是，研究團(tuán)隊(duì)觀察到，即使在包含 24 萬(wàn)個(gè)結(jié)構(gòu)的完整 MP-r2SCAN 數(shù)據(jù)集上，遷移學(xué)習(xí)相較于從頭訓(xùn)練的優(yōu)勢(shì)仍未飽和，表現(xiàn)出出色的數(shù)據(jù)效率。

總結(jié)與展望

研究團(tuán)隊(duì)通過在 MP-r2SCAN 數(shù)據(jù)集上對(duì)不同 TL 方法進(jìn)行得到在能量、原子間作用力、應(yīng)力、磁矩、熱力學(xué)穩(wěn)定性（形成能、分解能）、密度預(yù)測(cè)方面的基準(zhǔn)測(cè)試，證明了 FPs 遷移學(xué)習(xí)中重新擬合原子參考能量的重要性及此方法的有效性。并且，通過比較具有和不具有低精度數(shù)據(jù)集預(yù)訓(xùn)練的擴(kuò)展定律，研究表明了得當(dāng)?shù)倪w移學(xué)習(xí)方法可以實(shí)現(xiàn)顯著的數(shù)據(jù)效率提升。