來源：市場資訊

（來源：圖靈人工智能）

您想知道的人工智能干貨，第一時間送達

來自Berkeley，Pennsylvania，Harvard，New York，Stanford大學等多位頂尖學者聯合發(fā)表綜述【文獻1】，為深度學習的科學理論做奠基。

觀點

論文開篇提出，一個能刻畫神經網絡訓練過程、隱藏表征、最終權重和性能的科學理論正在形成。

作者整合了五個主要研究方向作為證據：

1）可求解的理想化模型；2）提供洞見的極限分析；3）描述宏觀量的簡單定律；4）對超參數的理論解耦；5）跨系統(tǒng)的普遍行為。

這些工作的共同點是，關注訓練動態(tài)過程、描述粗粒化統(tǒng)計量、強調可證偽的定量預測。

論文將這一新興理論命名為“學習力學”，并主張它應該是一門數學化、基于第一性原理、能精確預測與實證的學科，最終像物理學那樣對整個機器學習領域產生廣泛影響。

1. 引言

深度學習是當前最強大也最令人費解的黑箱方法，理論落后于實踐，模型仍靠大量試錯訓練。論文主張：

一個深度學習的科學理論，正以學習力學的形態(tài)浮現。

1.1 什么是學習力學？

1.2 學習力學為什么重要

2. 證據

深度學習的運動方程是顯式且高度可測量的，核心挑戰(zhàn)是高維非線性帶來的復雜性。

2.1 存在可解析的理想化模型

通過研究簡化但不失代表性的模型來構建直覺，是物理學的成功范式，深度學習亦然。

2.2 富有洞察的極限揭示基本行為

復雜系統(tǒng)在無限大的極限下常會簡化，就像理想氣體定律在粒子數無限的熱力學極限下導出，卻能夠描述現實氣體。這一思路是深度學習理論的核心工具。

無限寬度與惰性核/富特征二分：

其他極限：

無限深度、上下文長度等極限同樣存在。不同變量的聯合縮放極限尤其重要，如將參數和數據量同時推向無窮，是理論解釋計算最優(yōu)縮放定律的關鍵。

離散化假說：

一個普遍信念是，真實網絡可被理解為無限大理想模型的有噪、有限離散化版本。這暗示著，有限寬度、深度等效應通常只是對理想性能的擾動和成本妥協，而不是帶來根本性的優(yōu)勢。

2.3 簡單的經驗定律捕捉有意義的宏觀統(tǒng)計量

科學史上許多重要定律（例如牛頓三定律、歐姆定律）都是先作為經驗規(guī)律被發(fā)現。深度學習同樣具備這一條件。

粗粒化與潛表征權重：

包括神經坍縮，網絡末層特征會形成規(guī)則的幾何結構；神經特征假設，首層權重的結構與輸入梯度的外積相關；以及守恒定律，源自參數化中的對稱性。

2.4 超參數可以被解耦和理解

架構超參數：

最大更新參數化（μP）是這個方向的典范。它在寬度放大時，通過理論設定每一層的初始化方差和學習率縮放，保證了超參數在不同模型尺寸間的可遷移性，使得用小模型搜索最優(yōu)超參數并直接用于大模型成為可能，極大降低了調參成本。

2.5 普遍現象

許多非平凡的行為不止出現一次，而是在不同架構、數據集和任務中反復涌現，或許是理論存在最根本的證據。有三類普遍現象：

3. 視角

3.1 統(tǒng)計和信息論

3.2 機制可解釋性

機制可解釋性可以比作深度學習的生物學，目的是通過解剖神經網絡，在神經元和回路層面理解具體的內部機制，例如特定的安全或不安全的計算環(huán)路。

學習力學則可以比作深度學習的物理學，目的是尋找支配網絡學習、特征形成和動態(tài)演化的普遍第一性原理，就像物理學為所有物質提供底層規(guī)律一樣。

3.3 共生關系

這兩種視角應是共生、互相支持的。

4. 異見

作者坦承，構建這樣的理論很困難，且學界對理論能走到多遠存在合理質質疑。論文逐一回應四種核心反對意見。

4.1 網絡有數十億參數，動態(tài)高度非線性和耦合，不可能有簡潔理論。

4.2 當前理論多基于無限寬度、梯度流、高斯數據等假設，與現實脫節(jié)。

4.3 真實世界的數據分布無比復雜且無法刻畫，理論注定無法處理。

4.4 深度學習進步靠的是算力、工程和直覺，理論并無實際用處。

5. 方向

綜述列舉十個方向展示學習力學當前面臨的挑戰(zhàn)的深度和廣度，吸引不同背景的研究者參與。

為離散化假說建立嚴格基礎：

2.2節(jié)真實網絡是有噪離散近似，需要將這個概念數學化，并定量計算出有限寬度、深度、學習率等引入的修正項，證明它們在有利情況下確實很小。

理解分布式訓練和同步的作用：

大規(guī)模訓練多采用數據并行等分布式策略，這會改變噪聲結構和有效批量大小。理論需要告訴我們分布式訓練何時會改變學習的結果，以及如何最優(yōu)地設置并行度。

與人腦和生物學習建立聯系：

作為長遠愿景，學習力學揭示的約束和最優(yōu)策略，可能會對理解生物大腦的學習規(guī)則和計算原則提供深刻的規(guī)范性洞見。

6. 組織

大家可以找到組織了：learningmechanics.pub 。

對照

與筆者的大模型數理框架對照分析：

與“學習力學”意圖一致，筆者通過數理框架刻畫訓練動力學、表征結構與泛化行為之間的關系，本質上是高維統(tǒng)計系統(tǒng)的演化規(guī)律。

這是筆者心目中的整體圖景：

大模型是一個在高維概率空間中，通過重整化流演化、借助Attention進行粗�；�，并通過對稱性破缺形成范疇結構的統(tǒng)計物理系統(tǒng)。

這個框架不僅良好匹配前沿的大模型行為，也在神經生物學新發(fā)現中不斷得到驗證。讀者可以參考《清熙》的相應文章。

文獻1，There Will Be a Scientific Theory of Deep Learning，https://arxiv.org/pdf/2604.21691