Complex-Valued Probability Measures and Their Applications in Information Theory

復(fù)值概率測(cè)度及其在信息論中的應(yīng)用

https://arxiv.org/abs/2603.12297

摘要

本文介紹了用于復(fù)值概率測(cè)度的一個(gè)綜合框架，并探討了它們?cè)谛畔⒄摵徒y(tǒng)計(jì)分析中的新穎應(yīng)用。我們將復(fù)概率測(cè)度定義為經(jīng)典概率測(cè)度的相位調(diào)制擴(kuò)展。在此基礎(chǔ)之上，我們提出了三個(gè)基本信息論量：復(fù)熵，它通過相位相干性量化分布均勻性；復(fù)散度，一種分布間差異性的非對(duì)稱度量；以及復(fù)度量，一種滿足三角不等式的對(duì)稱距離函數(shù)。我們針對(duì)連續(xù)和離散概率分布嚴(yán)格建立了這些概念，證明了關(guān)鍵性質(zhì)，如有界性、總變差收斂下的連續(xù)性以及清晰的極值行為。與經(jīng)典測(cè)度（香農(nóng)熵和 Kullback-Leibler 散度）的詳細(xì)比較分析突出了所提出框架的獨(dú)特幾何和解釋優(yōu)勢(shì)，特別是其通過可調(diào)相位參數(shù)對(duì)分布形狀的敏感性。我們闡明了復(fù)熵積分與量子力學(xué)的費(fèi)曼路徑積分表述之間深刻的形式類比，暗示了一個(gè)更深層次的概念橋梁。最后，我們通過非參數(shù)雙樣本假設(shè)檢驗(yàn)中的一個(gè)詳細(xì)應(yīng)用展示了復(fù)度量的實(shí)用效用，概述了測(cè)試程序、優(yōu)勢(shì)、局限性，并提供了一個(gè)概念性模擬。這項(xiàng)工作通過復(fù)分析和干涉現(xiàn)象的視角為分析概率分布開辟了新途徑，對(duì)信息論、統(tǒng)計(jì)推斷和機(jī)器學(xué)習(xí)具有潛在影響。

關(guān)鍵詞：復(fù)散度，復(fù)熵，復(fù)測(cè)度，復(fù)概率，信息論。

1 引言

概率論自 1933 年柯爾莫哥洛夫公理化以來 [6]，其根本基礎(chǔ)一直扎根于實(shí)數(shù)域和非負(fù)測(cè)度。該框架在建模不確定性、隨機(jī)性和跨科學(xué)的推斷方面已被證明極其成功。然而，眾多自然現(xiàn)象和工程現(xiàn)象本質(zhì)上由復(fù)數(shù)描述，其中相位、旋轉(zhuǎn)和干涉是基本特征。量子力學(xué)依賴于復(fù)概率幅，信號(hào)處理利用復(fù)指數(shù)來表示波中的相位信息，而調(diào)和分析則依賴于復(fù)平面來分解函數(shù)。復(fù)數(shù)在描述自然世界中的這種普遍作用促使我們提出一個(gè)基礎(chǔ)性問題：概率本身的數(shù)學(xué)結(jié)構(gòu)能否有意義地?cái)U(kuò)展到復(fù)數(shù)域？

本文通過構(gòu)建一個(gè)復(fù)值概率測(cè)度的連貫框架，對(duì)此給出了肯定的回答。我們將此類測(cè)度 Q 定義為由全局相位因子調(diào)制的經(jīng)典（非負(fù)）概率測(cè)度 P：dQ = eiθdP，其中符號(hào)"i"代表虛數(shù)單位。雖然 Q 的總變差（其"模"）與 P 相同，但相位的引入使我們能夠?qū)⒏怕史植记度氲綇?fù)向量空間中。這不僅僅是一種形式上的練習(xí)，而是提供了一個(gè)強(qiáng)大的新視角。通過進(jìn)一步通過像 eiβp(x) 這樣的項(xiàng)，將局部相位角設(shè)定為與概率密度函數(shù)（PDF）或概率質(zhì)量函數(shù)（PMF）本身成正比，我們可以定義新的量來度量不同概率結(jié)果之間的相干性和干涉。

信息論由香農(nóng)于 1948 年創(chuàng)立 [11]，為量化信息、通信和不確定性提供了一個(gè)數(shù)學(xué)框架。該框架的核心是熵和散度的概念，這些概念已在其原始的通信理論根源之外得到了顯著發(fā)展。香農(nóng)熵被引入作為一種不確定性或信息內(nèi)容的度量。它量化了與隨機(jī)變量相關(guān)的平均不確定性或"驚喜"。在連續(xù)情形下，微分熵?cái)U(kuò)展了這一概念，盡管具有不同的解釋性質(zhì)。隨后，Kullback 和 Leibler 于 1951 年 [7] 引入了 Kullback-Leibler（KL）散度，為度量概率分布之間的差異提供了一種工具。幾十年來，這些概念已被擴(kuò)展、推廣并應(yīng)用于遠(yuǎn)超其初始范圍的領(lǐng)域，成為現(xiàn)代科學(xué)和工程學(xué)科（尤其是機(jī)器學(xué)習(xí)，如生成對(duì)抗網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)和聚類）中不可或缺的工具。KL 散度最常用的推廣是 Bregman 散度 [2] 和 f-散度 [3]。Rényi [8] 引入了以香農(nóng)熵為特例的一族熵，其在密碼學(xué)、生態(tài)學(xué)和多重分形分析中找到應(yīng)用。Tsallis [12] 提出了傳統(tǒng)熵的一種非可加推廣，這在統(tǒng)計(jì)物理和復(fù)雜系統(tǒng)中具有影響力。

隨著大數(shù)據(jù)和人工智能的發(fā)展，現(xiàn)有的信息論框架在理論和應(yīng)用上似乎都顯得有些不足。我們引入了新的熵和散度概念，希望在某些特定問題上取得比傳統(tǒng)方法更好的結(jié)果。我們的想法是將空間從實(shí)數(shù)擴(kuò)展到復(fù)數(shù)，并通過輻角的變化來定義信息的模。

直觀上，它類似于量子物理學(xué)中的路徑積分。

本工作的核心貢獻(xiàn)有三方面。首先，我們定義并分析了復(fù)熵，這是一種分布均勻性的度量，被解釋為在對(duì)相位加權(quán)概率求和時(shí)相長(zhǎng)干涉的程度。其次，我們推導(dǎo)了復(fù)散度和復(fù)度量，它們?yōu)楸容^兩個(gè)分布提供了幾何直觀的工具，其中后者滿足真實(shí)距離度量的所有公理。第三，我們嚴(yán)格建立了這些量在連續(xù)和離散情形下的性質(zhì)，與香農(nóng)熵和 f-散度進(jìn)行了富有啟發(fā)性的比較，并揭示了與量子力學(xué)路徑積分之間顯著的形式類比。為展示實(shí)際相關(guān)性，我們呈現(xiàn)了復(fù)度量在非參數(shù)雙樣本假設(shè)檢驗(yàn)中的詳細(xì)應(yīng)用。

本文結(jié)構(gòu)如下。第 2 節(jié)提供了關(guān)于復(fù)測(cè)度的必要背景。第 3 節(jié)正式定義了復(fù)概率測(cè)度和隨機(jī)變量。第 4 節(jié)介紹了復(fù)熵，深入探討了其幾何直觀，詳述了其在連續(xù)和離散情形下的性質(zhì)，并與香農(nóng)熵進(jìn)行了比較分析。第 5 節(jié)定義了復(fù)散度和復(fù)度量，建立了它們的性質(zhì)，將其與 KL 散度及其他散度進(jìn)行比較，并闡述了與路徑積分的深刻聯(lián)系。第 6 節(jié)展示了在統(tǒng)計(jì)檢驗(yàn)中的一個(gè)充實(shí)應(yīng)用。第 7 節(jié)總結(jié)并概述了未來研究的有前景方向。

2 數(shù)學(xué)預(yù)備知識(shí)：復(fù)測(cè)度

我們首先回顧一些關(guān)于復(fù)測(cè)度的標(biāo)準(zhǔn)理論（參見 [5, 9]），這構(gòu)成了我們框架的數(shù)學(xué)基石。

每個(gè)復(fù)測(cè)度 ν 都可以分解為其實(shí)部 νr 和虛部 νi，二者均為有限符號(hào)測(cè)度。這種分解使我們能夠以自然的方式定義積分。

一個(gè)核心概念是總變差測(cè)度 |ν|，它刻畫了復(fù)測(cè)度的“?！薄?/p>

3 復(fù)概率測(cè)度與隨機(jī)變量

3.1 定義與解釋

我們現(xiàn)在引入本研究的核心對(duì)象：一個(gè)取值于復(fù)平面的概率測(cè)度，其靈感來源于物理學(xué)中波函數(shù)的定義（參見 [1, 10]）。

3.2 復(fù)隨機(jī)變量

在定義了復(fù)概率測(cè)度之后，我們現(xiàn)在可以考慮映射到這個(gè)新結(jié)構(gòu)的隨機(jī)變量。

4 復(fù)熵：一種均勻性度量

在奠定了正式基礎(chǔ)之后，我們現(xiàn)在引入第一個(gè)主要應(yīng)用。即一種概率分布均勻性的新穎度量，我們稱之為復(fù)熵。

4.1 定義與幾何直觀（連續(xù)情形）

與香農(nóng)熵和微分熵相比，我們對(duì)復(fù)熵的定義對(duì)概率密度函數(shù)（PDF）的要求最低。每一個(gè)連續(xù)分布都可以計(jì)算復(fù)熵，因?yàn)榉e分總是有限的。然而，當(dāng)積分發(fā)散時(shí)，微分熵可能是無窮大。

例 4.1（幾何解釋：向量求和類比）。這一定義背后的直觀是非常幾何化的。將樣本空間中的每個(gè)點(diǎn) x x 視為在復(fù)平面中貢獻(xiàn)一個(gè)向量。該向量的長(zhǎng)度是"概率" p ( x ) 。其方向（相位角）由 β p ( x )
給出。關(guān)鍵在于，該角度與"概率"本身成正比。于是，復(fù)熵便是所有這些貢獻(xiàn)的向量和的模。

4.2 離散復(fù)熵

這一概念自然地?cái)U(kuò)展到離散分布，這些分布在實(shí)踐中經(jīng)常遇到。

4.3 示例與極限行為

為了具體展示復(fù)熵的行為特性，我們考察兩個(gè)基本的分布族：均勻分布和高斯分布。此外，我們分析了當(dāng)這些分布趨近于退化（點(diǎn)質(zhì)量）分布時(shí)復(fù)熵的極限行為，并著重強(qiáng)調(diào)了極限值對(duì)收斂模式的依賴性。

4.3.1 均勻分布

因此，任何均勻分布的復(fù)熵恰好為 1，與區(qū)間長(zhǎng)度和參數(shù) β β 均無關(guān)。這驗(yàn)證了均勻分布達(dá)到了可能的最大復(fù)熵，與定理 4.1 一致。

4.3.2 高斯分布及通過縮放趨近退化

該積分沒有簡(jiǎn)單的閉式形式，但其當(dāng) σ → 0 時(shí)（即分布變得越來越集中在零附近時(shí)）的漸近行為在解析上是可處理的，并且特別富有啟發(fā)性。

4.4 與香農(nóng)熵的比較分析

本質(zhì)上，香農(nóng)熵衡量的是不確定性的程度（即我們“不知道”多少），而復(fù)熵衡量的是已知概率分布的均勻程度，這一點(diǎn)體現(xiàn)在它們?cè)谔囟ㄏ嗫臻g中進(jìn)行相長(zhǎng)干涉的能力上。它們是互補(bǔ)的度量，分別捕捉了分布結(jié)構(gòu)的不同側(cè)面。

定理 4.2 指出，混合分布的復(fù)熵以各分量縮放復(fù)熵的加權(quán)平均為上界，其中縮放因子為混合系數(shù)。從物理角度來看，混合兩個(gè)分布通常會(huì)引入相位干涉，從而降低由復(fù)熵度量的整體相干性。僅當(dāng)兩個(gè)分量均為均勻分布且它們的相位完美對(duì)齊時(shí)，混合才能保持相干性。

推論 4.1。如果在其各自支撐集上均為均勻分布，那么在定理 4.2 的條件下，

這些示例和性質(zhì)加深了對(duì)復(fù)熵的理解，即它是一種不僅對(duì)概率散布敏感，還對(duì)分布的精細(xì)結(jié)構(gòu)敏感的度量，且由參數(shù) β 調(diào)制。極限分析強(qiáng)調(diào)了在復(fù)熵語境下考慮分布收斂時(shí)，所選拓?fù)涞闹匾浴?/p>

4.6 數(shù)值計(jì)算

復(fù)熵可以重寫為

上述模擬是計(jì)算復(fù)雜積分的標(biāo)準(zhǔn)方法。重要性采樣可以進(jìn)一步提高近似精度。

5 復(fù)散度與復(fù)度量：分布比較

除了分析單個(gè)分布之外，我們還開發(fā)了用于比較兩個(gè)分布的工具，從而引出了復(fù)散度和復(fù)度量的概念。

5.1 定義

5.2 復(fù)度量的性質(zhì)

復(fù)度量具有良好的數(shù)學(xué)性質(zhì)，使其成為統(tǒng)計(jì)分析中的一個(gè)穩(wěn)健工具。

6 應(yīng)用

為了展示所提出框架的實(shí)際效用，我們呈現(xiàn)了一個(gè)在統(tǒng)計(jì)假設(shè)檢驗(yàn)中的詳細(xì)應(yīng)用，具體而言是非參數(shù)雙樣本問題。

6.1 問題設(shè)置與方法論

7 結(jié)論與未來工作

本文開發(fā)了一個(gè)用于復(fù)值概率測(cè)度的綜合框架，并從中推導(dǎo)出了新穎的信息論量：復(fù)熵、復(fù)散度和復(fù)度量。通過引入與分布本身成正比的相位結(jié)構(gòu)，我們創(chuàng)造了通過相干疊加和干涉的視角來度量分布均勻性和相似性的工具。主要成就包括：

• 為連續(xù)和離散分布提供了嚴(yán)格的定義。
• 建立了基本性質(zhì)，如有界性、連續(xù)性和清晰的極值原理。
• 與香農(nóng)熵和 KL 散度等經(jīng)典度量進(jìn)行了富有洞察力的比較，突出了我們度量的歸一化、以幾何為中心的性質(zhì)。
• 揭示了與量子力學(xué)路徑積分的深刻形式類比，暗示了概率論與量子物理學(xué)之間更深層次的概念橋梁。
• 通過在非參數(shù)假設(shè)檢驗(yàn)中的詳細(xì)應(yīng)用展示了其實(shí)用性。

該框架為未來研究開辟了許多令人興奮的途徑：

• 高維和多變量擴(kuò)展：推廣定義并研究其在多變量設(shè)置中的行為并非易事，但對(duì)于現(xiàn)代數(shù)據(jù)應(yīng)用至關(guān)重要。維數(shù)災(zāi)難和高維中相位的解釋是關(guān)鍵挑戰(zhàn)。
• 統(tǒng)計(jì)估計(jì)理論：開發(fā)并分析基于有限樣本的

的估計(jì)量。這包括推導(dǎo)收斂速度、漸近分布和高效計(jì)算算法。

• 信息幾何：研究復(fù)度量在統(tǒng)計(jì)流形上誘導(dǎo)的幾何結(jié)構(gòu)。它是否定義了黎曼度量？它的測(cè)地線是什么？
• 機(jī)器學(xué)習(xí)應(yīng)用：探索將復(fù)散度用作生成模型（例如，變分自編碼器、生成對(duì)抗網(wǎng)絡(luò)）中的損失函數(shù)，或?qū)?fù)度量用作基于核的方法中的核。這種相位敏感的性質(zhì)可能有助于對(duì)復(fù)雜數(shù)據(jù)分布進(jìn)行建模。
• 量子啟發(fā)算法：利用路徑積分類比來設(shè)計(jì)用于采樣、優(yōu)化或分布分析的新量子或經(jīng)典算法。
• 理論物理聯(lián)系：進(jìn)一步形式化與路徑積分的聯(lián)系。復(fù)概率測(cè)度能否在量子理論的某些半經(jīng)典或隨機(jī)極限中獲得物理解釋？

總之，通過將概率擴(kuò)展到復(fù)數(shù)域，我們不僅豐富了其數(shù)學(xué)結(jié)構(gòu)，還提供了一組具有獨(dú)特解釋力和實(shí)用潛力的新工具。我們相信，該框架為信息論、統(tǒng)計(jì)分析及其他領(lǐng)域提供了一個(gè)全新的視角。

原文鏈接：https://arxiv.org/pdf/2603.12297