摘要

在物理測量中，從實驗數(shù)據(jù)中估計連續(xù)參數(shù)的精度受限于系統(tǒng)所攜帶的費舍信息（FI）——它刻畫了未知參數(shù)在觀測數(shù)據(jù)中的可辨識度。隨著人工神經網絡被廣泛引入實驗測量與反演分析，理解它們在內部如何處理、傳遞并保留這些與參數(shù)相關的信息，成為一個關鍵問題。本文提出了一種方法，用于監(jiān)測費舍信息在神經網絡中的流動過程，從輸入層到輸出層進行追蹤。研究表明，當網絡達到最優(yōu)估計性能時，F(xiàn)I傳輸達到最大；若繼續(xù)訓練，信息反而開始損失，對應過擬合的出現(xiàn)。該工作不僅揭示了神經網絡學習的物理機制，還提出了一種基于FI的“無模型早?！睖蕜t，為深度學習的高效與可解釋訓練提供了新思路。

關鍵詞：費舍信息（Fisher Information, FI），人工神經網絡（Artificial Neural Networks, ANNs），信息流（Information Flow），無模型的早停準則（model-free stopping criterion），參數(shù)估計（Parameter Estimation）

趙思怡丨作者

論文題目：Fisher Information Flow in Artificial Neural Networks 論文鏈接：https://journals.aps.org/prx/abstract/10.1103/kn3z-rmm8 發(fā)表時間：2025年9月16日 論文來源：Physical Review X

費舍信息視角下的神經網絡：

信息流動的物理圖景

在現(xiàn)代科學研究中，人工神經網絡（ ANNs）已成為從實驗數(shù)據(jù)中提取規(guī)律、估計參數(shù)的重要工具。無論是在光學成像、量子測量，還是復雜材料建模中，神經網絡都展現(xiàn)出超越傳統(tǒng)算法的強大表現(xiàn)。然而，研究者們提出了一個極具洞察力的問題：

當神經網絡學習估計一個物理參數(shù)時，信息是如何在層與層之間流動、損失或被壓縮的？

近期，來自維也納工業(yè)大學、格拉斯哥大學、魯爾大學波鴻和法國格勒諾布爾大學的研究團隊提出了一種全新的分析框架，利用費舍信息（FI）來定量追蹤神經網絡中與待估參數(shù)相關的信息流動。他們發(fā)現(xiàn)，網絡的學習過程可被視為費舍信息逐步守恒的演化過程；當信息傳輸達到最大化時，網絡也恰好實現(xiàn)最優(yōu)的估計性能。相關成果為深度學習提供了一個具有物理意義的解釋路徑，并提出了無需驗證集的“信息早?！睖蕜t。

從互信息到費舍信息：

量化信息流的新方法

傳統(tǒng)的信息論研究通常依賴互信息（Mutual Information, MI）衡量輸入與輸出之間共享的信息量，但在高維連續(xù)空間中，互信息的計算往往極其困難，并可能在確定性映射中出現(xiàn)發(fā)散。相比之下，FI關注的是系統(tǒng)對未知連續(xù)參數(shù)的響應靈敏度，直接與參數(shù)估計的精度極限——克拉美–羅下界（Cramér–Rao Lower Bound, CRLB）相關。

本研究的出發(fā)點在于：不僅僅考察網絡參數(shù)的不確定性，而是追蹤輸入數(shù)據(jù)中關于物理參數(shù)的信息在網絡內部的傳輸過程。為此，研究團隊提出了一個可計算的近似指標——線性費舍信息（Linear Fisher Information, LFI）。LFI只依賴樣本的均值與協(xié)方差即可估計信息量，無需顯式知道數(shù)據(jù)的概率分布，從而能夠在復雜的深度網絡中高效計算并逐層追蹤信息變化。

實驗驗證：

在噪聲主導的光學成像中追蹤信息流

為驗證理論框架，研究團隊設計了一個具有代表性的物理實驗：在光學顯微鏡下，對一個印有“Space Invader”圖案的微小物體進行水平位移測量（如圖1）。實驗條件被刻意設置為極低信噪比（約 13%），以模擬在噪聲主導環(huán)境下的極限參數(shù)估計問題。

圖1：左側光源發(fā)出的光束照射在刻有“space invader”圖案的玻璃載片上。透過物鏡到達相機的光場強度包含關于目標水平位置 θ 的FI。實驗所得圖像被輸入ANN進行訓練，用于預測參數(shù)。神經網絡需盡可能保留FI，才能實現(xiàn)對 θ 的高精度估計。

在這一任務中，神經網絡被訓練來預測物體的水平位置參數(shù) θ。研究者在訓練過程中實時計算各層的LFI，以監(jiān)測信息在網絡中的傳播規(guī)律。結果表明：

• 在訓練初期，隨機初始化的權重導致大量費舍信息在非線性層中損失；

• 隨著訓練的推進，網絡逐步優(yōu)化內部映射，使得信息傳輸效率顯著提升；

• 當模型性能達到最優(yōu)時，輸出層的FI接近輸入層，表明網絡幾乎保留了輸入數(shù)據(jù)中關于參數(shù)的全部有效信息。

在模擬數(shù)據(jù)中，這種“信息守恒”關系幾乎完美成立；而在真實實驗數(shù)據(jù)中，約有80%的信息得以保留，主要受限于實驗噪聲和參數(shù)取值范圍（如圖2）。

圖2：數(shù)值模擬數(shù)據(jù)的LFI最大化過程。曲線顯示LFI在連續(xù)高維嵌入下的變化趨勢。虛線為理論計算的真實FI，用于驗證算法收斂性。

信息約束下的最優(yōu)訓練：

無需驗證集的早停準則

深度學習中，判斷訓練何時結束是一項長期存在的挑戰(zhàn)。通常做法依賴驗證集監(jiān)控誤差變化，但這一經驗性方法缺乏理論依據(jù)。本文基于FI框架提出了一個物理意義明確的早停判據(jù)：當模型的均方誤差（MSE）達到由FI決定的克拉美–羅下限CRLB時，網絡已提取完全部可用信息。此時若繼續(xù)訓練，網絡將開始擬合噪聲，導致過擬合現(xiàn)象。

這一條件可通過簡單的乘積形式：MSE × I ≈ 1來檢驗。實驗表明，該準則預測的最佳停止時刻與驗證集誤差最小點高度一致，但無需額外數(shù)據(jù)集即可實現(xiàn)訓練控制，為信息驅動的模型優(yōu)化提供了實用工具（如圖3）。

圖3：歸一化均方誤差（MSE）隨訓練歷元的變化。 (a) 為帶高斯噪聲的模擬數(shù)據(jù)，(b) 為實驗數(shù)據(jù)。深色曲線為驗證損失，淺色曲線為訓練損失。虛線表示 MSE×I=1的位置，對應訓練的最佳停止點。

意義與前景：

以信息流為核心的神經網絡理解

這項研究為理解深度學習的內部機制提供了新的定量化視角。通過追蹤費舍信息在神經網絡中的傳播路徑，研究者揭示了一個可能的普遍規(guī)律：神經網絡的學習過程可被理解為費舍信息逐步趨于守恒的過程。

這一觀點不僅有助于解釋網絡在不同訓練階段的表現(xiàn)差異，也為模型結構設計提供了新的啟發(fā)。未來，研究者計劃將這一框架擴展至帶有殘差連接的ResNet結構、物理神經網絡（Physical Neural Networks）及更廣泛的實驗數(shù)據(jù)分析任務中。

在更宏觀的意義上，這項工作展示了信息論與深度學習、實驗物理的融合潛力。當信息流動被視為科學系統(tǒng)的共同約束原則，我們或許能夠在人工智能與自然智能之間，找到一種更深層次的對應關系。

大模型可解釋性讀書會

集智俱樂部聯(lián)合上海交通大學副教授張拳石、阿里云大模型可解釋性團隊負責人沈旭、彩云科技首席科學家肖達、北京師范大學碩士生楊明哲和浙江大學博士生姚云志共同發(fā)起。本讀書會旨在突破大模型“黑箱”困境，嘗試從以下四個視角梳理大語言模型可解釋性的科學方法論：

自下而上：Transformer circuit 為什么有效？

自上而下：神經網絡的精細決策邏輯和性能根因是否可以被嚴謹、清晰地解釋清楚？

復雜科學：滲流相變、涌現(xiàn)、自組織等復雜科學理論如何理解大模型的推理與學習能力？

系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實踐中創(chuàng)造價值？

五位發(fā)起人老師會帶領大家研讀領域前沿論文，現(xiàn)誠邀對此話題感興趣的朋友，一起共創(chuàng)、共建、共享「大模型可解釋性」主題社區(qū)，通過互相的交流與碰撞，促進我們更深入的理解以上問題。無論您是致力于突破AI可解釋性理論瓶頸的研究者，探索復雜系統(tǒng)與智能本質的交叉學科探索者，還是追求模型安全可信的工程實踐者，誠邀您共同參與這場揭開大模型“黑箱”的思想盛宴。

讀書會已于2025年6月19日啟動，每周四晚19:30-21:30，預計持續(xù)分享8-10周左右。

詳情請見：

1.

2.

3.

4.

5.

6.