科學(xué)在探索自然界的基本規(guī)律，數(shù)學(xué)在不斷建立新的定理以拓展舊知，而工程學(xué)則致力于解決人類(lèi)的實(shí)際需求。這三者相互依賴(lài)，卻又各自獨(dú)立。能在這三方面都做出核心貢獻(xiàn)的人屈指可數(shù)，而克勞德·香農(nóng)（Claude Shannon）正是其中的罕見(jiàn)天才。

盡管香農(nóng)的名字不像愛(ài)因斯坦或者費(fèi)曼那樣家喻戶(hù)曉，甚至他沒(méi)有獲得過(guò)諾貝爾獎(jiǎng)，可是在 70 多年前，他用一篇論文奠定了整個(gè)信息時(shí)代的基礎(chǔ)。

香農(nóng) 1916 年出生于美國(guó)密歇根州蓋洛德，父親是商人，母親是教師。他在密歇根大學(xué)取得電氣工程和數(shù)學(xué)雙學(xué)位后，進(jìn)入麻省理工學(xué)院攻讀碩士。他的碩士論文將一種叫作布爾代數(shù)的數(shù)學(xué)體系應(yīng)用到電路的分析與設(shè)計(jì)中，這項(xiàng)工作徹底改變了電路設(shè)計(jì)的方式，讓電路從一門(mén)藝術(shù)變成了一門(mén)科學(xué)，也被認(rèn)為是數(shù)字電路設(shè)計(jì)的起點(diǎn)。

向通信進(jìn)軍

接下來(lái)，香農(nóng)將目光投向了一個(gè)更宏大的目標(biāo)——通信。

通信是人類(lèi)最基本的需求之一。從煙霧信號(hào)、信鴿傳書(shū)到電話(huà)、電視，人類(lèi)始終在追求更遠(yuǎn)、更快、更可靠的交流方式。但過(guò)去的通信工程往往依賴(lài)于具體的媒介和物理信號(hào)。香農(nóng)提出了一個(gè)大膽的問(wèn)題：“通信是否也有一套普適的基本規(guī)律？”

1939 年，他在寫(xiě)給導(dǎo)師范內(nèi)瓦·布什的信中，就提到自己正在思考“智能傳遞系統(tǒng)的基本特性”。經(jīng)過(guò)十年思考，他終于在 1948 年發(fā)表了劃時(shí)代的論文《通信的數(shù)學(xué)理論》（A Mathematical Theory of Communication）。

論文的核心思想是一個(gè)極為簡(jiǎn)潔但極具普適性的通信模型：發(fā)射端將信息編碼成信號(hào) → 信號(hào)在傳輸中受到噪聲干擾 → 接收端對(duì)信號(hào)進(jìn)行解碼。

別看這個(gè)模型簡(jiǎn)單，它包含了兩個(gè)關(guān)鍵洞見(jiàn)：

• 將“信息”和“噪聲”獨(dú)立于通信系統(tǒng)來(lái)研究，

• 把它們都用概率來(lái)刻畫(huà)。

在香農(nóng)之前，人們把通信問(wèn)題當(dāng)作一個(gè)信號(hào)還原問(wèn)題——如何去除失真、還原原始信號(hào)。香農(nóng)卻意識(shí)到，通信的關(guān)鍵在于不確定性。

香農(nóng)首次把通信問(wèn)題從物理層面抽象出來(lái)，用概率去描述信息的不確定性。這一思路讓當(dāng)時(shí)的工程師們大吃一驚。

摘自香農(nóng)論文中的通信模型示意圖

信息的不確定性與極限

在這種概率框架下，香農(nóng)系統(tǒng)地推導(dǎo)出了通信的基本極限。

他的結(jié)論可以概括為三個(gè)部分，而貫穿其中的核心單位是 “比特”（bit）。這不僅是“二進(jìn)制位”（binary digit）的縮寫(xiě)，更是衡量信息與不確定性的標(biāo)尺。在香農(nóng)的定義中，1 比特代表了消除一個(gè)“二選一”等概率事件（例如拋硬幣的正反面）不確定性所需的信息量。

• 信息量的公式：熵率本質(zhì)上是在衡量“平均需要多少個(gè)二選一的問(wèn)題才能猜出結(jié)果”。香農(nóng)提出了一個(gè)公式來(lái)計(jì)算每秒傳遞信息的最小比特?cái)?shù)，他稱(chēng)之為信息的熵（

  H

  ）。熵越高，信息的不確定性越大，也就越難壓縮；反之越小，就越容易壓縮。例如，每分鐘輸入 100 個(gè)英文字母，理論上相當(dāng)于從 261?? 種可能的組合中選擇一種。如果所有組合概率相等，熵大約是 比特/分鐘；但由于某些字母組合更常見(jiàn)，實(shí)際熵更低，也就意味著更高的壓縮效率。

• 通信容量的公式：他又推導(dǎo)出在噪聲干擾下，系統(tǒng)每秒可以可靠傳輸?shù)淖畲蟊忍財(cái)?shù)，稱(chēng)為容量（

  C

  ）。這相當(dāng)于通信的速度極限。

• 可靠通信的條件：只要信息的熵小于信道容量（

  H < C

  ），就能在有噪聲的情況下實(shí)現(xiàn)可靠通信。香農(nóng)用一個(gè)生動(dòng)的比喻說(shuō)明這一點(diǎn)：信息就像水，只要流速低于管道的容量，水流就能順暢通過(guò)。

因此，香農(nóng)不僅提出了一種通信理論，也開(kāi)創(chuàng)了一門(mén)全新的學(xué)科——信息論。

超越直覺(jué)的發(fā)現(xiàn)

香農(nóng)的理論帶來(lái)了許多出人意料的結(jié)果。比如在嘈雜的地方講話(huà)，直覺(jué)上我們會(huì)不斷重復(fù)，以提高聽(tīng)清的概率。但香農(nóng)指出，這種方法雖然提高了可靠性，卻極大降低了傳輸速度。真正高效的做法是使用編碼——通過(guò)設(shè)計(jì)不同的編碼方案，可以在保持可靠性的同時(shí)，讓通信速度逼近理論極限 C。如今，從手機(jī)信號(hào)到衛(wèi)星通信，都在應(yīng)用這種思路。

更令人驚訝的是，無(wú)論信息的內(nèi)容是什么，莎士比亞的詩(shī)、貝多芬的交響曲，還是黑澤明的電影，最有效的傳輸方式都是先把它們轉(zhuǎn)化為比特。這意味著，即便廣播信號(hào)或聲音波形本質(zhì)上是模擬的，將它們數(shù)字化后再發(fā)送，不僅能更抗干擾，還能被無(wú)損重構(gòu)，消除了模擬信號(hào)在長(zhǎng)距離傳輸中不可避免的噪聲積累。這一結(jié)論成為數(shù)字信息時(shí)代的基石，比特成為信息的通用貨幣。

科學(xué)家、數(shù)學(xué)家與工程師

香農(nóng)的通信理論如此自然，以至于人們覺(jué)得他像是在發(fā)現(xiàn)通信的自然法則，而不是發(fā)明它。

他為了描述這些法則，創(chuàng)造了新的數(shù)學(xué)概念，如概率模型的熵，這些概念后來(lái)在數(shù)學(xué)的許多領(lǐng)域（例如遍歷論、動(dòng)力系統(tǒng)研究）都有應(yīng)用。

但最根本的，香農(nóng)是一名工程師。他的理論源于工程問(wèn)題的實(shí)際需求。直到今天，無(wú)論是光纖網(wǎng)絡(luò)還是深空通信，人類(lèi)構(gòu)建的每一套通信系統(tǒng)，其邏輯內(nèi)核依然是香農(nóng)理論。

最典型的例子是 5G 標(biāo)準(zhǔn)：它采納了 LDPC 碼和極化碼（Polar Codes）。這兩種編碼技術(shù)之所以被選中，正是因?yàn)樗鼈冊(cè)诠こ躺媳蛔C明能夠逼近理論上的“香農(nóng)極限”——這是人類(lèi)在追求通信效率道路上的一座里程碑。

香農(nóng)的思想遺產(chǎn)

香農(nóng)一生性格低調(diào)，卻極富創(chuàng)造力。他喜歡在工作中融入游戲精神。比如他曾造出一個(gè)名為 Theseus 的電子老鼠，可以自己在迷宮中找到出口。他也喜歡自制機(jī)械玩具和遙控設(shè)備。

圖中他正和自己制作的電子老鼠“Theseus”以及它的迷宮合影

香農(nóng)于 2001 年去世，但他的思想依舊影響著今天的世界。從互聯(lián)網(wǎng)、無(wú)線(xiàn)通信，到我們手中的智能手機(jī)，幾乎所有信息技術(shù)都在他的理論框架中運(yùn)行。

他成功的秘訣在于：“聚焦問(wèn)題的本質(zhì)，忽略一切無(wú)關(guān)細(xì)節(jié)?！彼耐ㄐ拍Ｐ驼w現(xiàn)了這種極簡(jiǎn)而深刻的思維方式。香農(nóng)專(zhuān)注于研究可能性，而非眼前的實(shí)用性。

“最好的科研不是讓知識(shí)之樹(shù)枝繁葉茂，而是修剪它，使其結(jié)構(gòu)更清晰。”香農(nóng)正是這樣的人，他把通信工程中紛繁復(fù)雜的技巧，化為一棵統(tǒng)一而優(yōu)美的知識(shí)之樹(shù)。而這棵樹(shù)，至今仍在為一代又一代的科學(xué)家、數(shù)學(xué)家和工程師結(jié)出新果實(shí)。

《通信的數(shù)學(xué)理論》上市！

1948 年，香農(nóng)發(fā)表了著名論文《通信的數(shù)學(xué)理論》（A mathematical theory of communication），首次提出“信息熵”的概念，從此，一切抽象的信息都可被數(shù)學(xué)化度量，這篇論文也被視為信息論的開(kāi)山之作。

此后，伊利諾伊大學(xué)出版社以圖書(shū)形式再版了這部劃時(shí)代的杰作，至今（英文版）銷(xiāo)量已超過(guò) 40 000 冊(cè)，是通信領(lǐng)域經(jīng)久不衰的經(jīng)典讀物。

這本書(shū)不像科幻小說(shuō)那樣刺激，但讀懂它，你會(huì)明白我們生活的這個(gè)世界，本質(zhì)上是一場(chǎng)宏大的信息傳遞，而香農(nóng)，就是第一個(gè)揭示這場(chǎng)游戲規(guī)則的人。

可以說(shuō)理解這本書(shū)，就是理解信息時(shí)代的起點(diǎn)。

《通信的數(shù)學(xué)理論》

克勞德·E.香農(nóng)， 沃倫·韋弗 | 著

李錫涵 | 譯

信息論領(lǐng)域的奠基之作，本書(shū)分兩部分詳細(xì)解釋了通信的數(shù)學(xué)理論基礎(chǔ)。第一部分提供了通信領(lǐng)域的全景式概述，為讀者進(jìn)入更深入的數(shù)學(xué)理論部分作鋪墊。第二部分深入探討了通信理論的數(shù)學(xué)基礎(chǔ)，包括離散和連續(xù)信源、信道容量、編碼理論等核心概念，并討論了這些理論在通信系統(tǒng)中的實(shí)際應(yīng)用。

作者簡(jiǎn)介

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon），美國(guó)數(shù)學(xué)家，美國(guó)國(guó)家工程院院士、美國(guó)國(guó)家科學(xué)院院士、美國(guó)藝術(shù)與科學(xué)院院士，信息論創(chuàng)始人，生前是麻省理工學(xué)院名譽(yù)教授。

他于1936年（20歲）獲得密歇根大學(xué)學(xué)士學(xué)位，1940年（24歲）獲得麻省理工學(xué)院碩士和博士學(xué)位，1940年~1941年任普林斯頓高等研究院研究員，1941年~1972年任職于貝爾實(shí)驗(yàn)室，1958年~1978年任麻省理工學(xué)院Donnor科學(xué)教授，1978年從麻省理工學(xué)院退休，成為麻省理工學(xué)院名譽(yù)教授。他提出了信息熵的概念，為信息論和數(shù)字通信奠定了基礎(chǔ)。

沃倫·韋弗（Warren Weaver），美國(guó)數(shù)學(xué)家，為機(jī)器翻譯的早期研究者之一，是美國(guó)許多科學(xué)研究的推動(dòng)者。

譯者簡(jiǎn)介

李錫涵，倫敦大學(xué)學(xué)院（UCL）計(jì)算機(jī)系博士研究生，谷歌開(kāi)發(fā)者專(zhuān)家（機(jī)器學(xué)習(xí)領(lǐng)域），圖書(shū)《簡(jiǎn)明的TensorFlow 2》作者。研究方向?yàn)閷W(xué)習(xí)優(yōu)化，曾在NeurIPS、CIKM、AAMAS等會(huì)議以第一作者身份發(fā)表論文。個(gè)人主頁(yè)：https://snowkylin.github.io

本書(shū)贊譽(yù)

無(wú)論是人與人，還是人與機(jī)器，凡是關(guān)心高效信息傳遞的人，皆不可錯(cuò)過(guò)這部必讀經(jīng)典。

——《計(jì)算數(shù)學(xué)》

這本書(shū)是生物學(xué)家、心理學(xué)家乃至物理學(xué)家的至寶。

——《泰晤士報(bào)》

這是一部跨學(xué)科的杰作，它將分散的物理科學(xué)分支統(tǒng)一在同一理論之下。韋弗博士以遠(yuǎn)見(jiàn)卓識(shí)，將這種統(tǒng)一拓展至語(yǔ)義學(xué)與語(yǔ)用學(xué)，開(kāi)啟新的學(xué)術(shù)旅程。

——《哲學(xué)評(píng)論》

如果你關(guān)心語(yǔ)言、交流與意義，這本書(shū)定會(huì)激發(fā)你深刻而持久的思考。

——《生物學(xué)季刊》

這本書(shū)不僅是相關(guān)領(lǐng)域?qū)＜业谋刈x之選，就連并無(wú)直接興趣的學(xué)者，也會(huì)被它的魅力深深吸引。

——S. Whitehead，《英國(guó)應(yīng)用物理學(xué)雜志》

在此之前，沒(méi)有一種通用方法來(lái)衡量信息的復(fù)雜性或傳輸能力。這部數(shù)學(xué)巨著堪稱(chēng)罕見(jiàn)，對(duì)科學(xué)家和工程師而言無(wú)比珍貴。

——《科學(xué)美國(guó)人》