作者：David Tse
編譯：子曦

2020年底，斯坦福大學工程學院的 David Tse 教授在知名的在線科普出版物《量子雜志》（Quanta Magazine）上發(fā)表 專欄文章 ，紀念美國數(shù)學家、電子工程師和密碼學家、信息論的創(chuàng)始人克勞德·香農(nóng)（Claude Shannon）博士。確實，給我們今天的生活帶來極大便利的全球互聯(lián)網(wǎng)和高速無線通信網(wǎng)絡(luò)的開創(chuàng)和發(fā)展，都要歸功于香農(nóng)于1948年創(chuàng)立的現(xiàn)代信息理論。香農(nóng)如此大名鼎鼎，卻又異常低調(diào)，乃至許多學生和學者以為他是早已作古的先驅(qū)。在1985年的IEEE信息學年會上，當與會者得知香農(nóng)現(xiàn)身在會議中時，會場一片轟動。當年的會議主席回憶：“就好像牛頓出現(xiàn)在物理學會議中?！毕戕r(nóng)最終于2001年去世，終年84歲。巨星隕落，但他的學術(shù)遺產(chǎn)已經(jīng)由一代又一代的科學家、數(shù)學家和工程師所繼承和發(fā)揚，繼續(xù)照耀人類前進的道路。特此翻譯此文，向先驅(qū)致敬！

感謝一位獨到的天才的開創(chuàng)性工作，讓今天的信息時代成為可能。

科學尋求自然的基本定律。數(shù)學在舊的基礎(chǔ)上尋找新的定理。工程學構(gòu)建解決人類需求的系統(tǒng)。這三個學科相互依存但又截然不同。很少有個人同時在這三個學科做出核心貢獻 —— 但是克勞德·香農(nóng)就是這樣一個難得的個人。

雖然是最近的紀錄片《 比特玩家 》(The Bit Player) 的主角 —— 而他的工作和研究理念也激發(fā)了我自己的職業(yè)生涯 —— 香農(nóng)并不是一個家喻戶曉的人物。他從未獲得過諾貝爾獎，而且在2001年去世前后，他都不是像阿爾伯特·愛因斯坦或理查德·費曼那樣的名人。然而70多年前，在一篇劃時代的論文中，他為構(gòu)成現(xiàn)代信息時代根本的通信基礎(chǔ)設(shè)施奠基。

香農(nóng)于1916年出生于密歇根州的蓋洛德市，是一位當?shù)厣倘撕鸵幻處煹膬鹤印拿苄髮W獲得電氣工程和數(shù)學學位后，他在麻省理工學院撰寫了一篇 碩士論文 ，將名為布爾代數(shù)的數(shù)學理論應(yīng)用于開關(guān)電路的分析和綜合。這是一項變革性的工作，將電路設(shè)計從一門藝術(shù)變成了科學，現(xiàn)在被認為是數(shù)字電路設(shè)計的起點。

年輕的克勞德·香農(nóng)

接下來，香農(nóng)將目光投向了一個更大的目標：通信。

通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話和電視，人類一直在尋求更遠、更快和更可靠的通信方法。但是，通信系統(tǒng)的工程學過去總是與特定的信息源和物理介質(zhì)相關(guān)聯(lián)。而香農(nóng)提出的問題是：“是否有一個大一統(tǒng)的通信理論？”1939年，在給導師萬尼瓦爾·布什（Vannevar Bush）的信中，香農(nóng)概述了他關(guān)于“用于情報傳遞的通用系統(tǒng)的基本特性”的一些初步想法。經(jīng)過十年的研究，香農(nóng)終于在1948年發(fā)表了他的開創(chuàng)性杰作《 通信的數(shù)學理論 》。

他的理論的核心是一個簡單但非常通用的通信模型：發(fā)送器將信息編碼為信號，該信號會被噪聲破壞，然后被接收器解碼。雖然簡單，香農(nóng)的模型融合了兩個關(guān)鍵見解：將信息源和噪聲源與要設(shè)計的通信系統(tǒng)隔離開來，并對這兩個源進行概率建模。他設(shè)想信息源會生成許多可能的消息來進行通信，每條消息都有一定的概率。概率化噪聲進一步增加了接收器解析的隨機性。

在香農(nóng)之前，通信問題主要被視為確定性信號重建問題：如何轉(zhuǎn)換被物理介質(zhì)扭曲的接收信號，以盡可能準確地重建原始信號。香農(nóng)的天才在于，他洞察到通信的關(guān)鍵是不確定性。畢竟，如果你提前知道了我在本專欄中對你說的話，那么還有什么必要寫它呢？

香農(nóng)的通信模型示意圖

這一觀察將通信從實體問題轉(zhuǎn)向到抽象問題，從而使香農(nóng)可以使用概率對不確定性進行建模。這給當時的通信工程師們帶來了極大的沖擊。

確定了不確定性和概率論的框架，香農(nóng)在其具有里程碑意義的論文中著手系統(tǒng)地確定通信的基本限定。他的回答分為三個部分。在這三個方面都扮演著重要角色的，是信息“比特”（bit) 的概念。香農(nóng)將其用作不確定性的基本單位。比特好比是“二進制數(shù)字”的兩格式旅行箱，可以是1或0，香農(nóng)的論文是第一個使用該詞的人（盡管他說數(shù)學家約翰·圖基（John Tukey）先在一個備忘錄中用到了該詞）。

首先，香農(nóng)提出了一個用于表示信息量的每秒最少比特數(shù)的公式，這個數(shù)字他稱之為熵率 H。該數(shù)字量化了確定信息源將生成哪個消息所涉及的不確定性。熵率越低，不確定性越小，因此將消息壓縮成較短的內(nèi)容越容易。例如，以每分鐘100個英文字母的速率發(fā)送短信，意味著每分鐘發(fā)送有26100種可能的消息，每條消息均由100個字母的序列表示。因為2470≈26100，人們可以將所有這些可能性編碼為470比特。如果所有序列的可能性相同，那么香農(nóng)的公式表明熵率確切值是每分鐘470比特?，F(xiàn)實中，由于某些序列比其他序列出現(xiàn)的可能性高得多，所以熵率要低得多，可以進行更大的壓縮。

其次，他給出了一個噪聲條件下可以可靠通信的每秒最大比特數(shù)的公式，他將其稱為系統(tǒng)的容量 C。這是接收機可以有效解析消息不確定性的最大速率，也就是實際上的通信速度的上限。

最后，他表明當且只當 H

雖然這是一種通信理論，但同時也是一種有關(guān)信息如何產(chǎn)生和轉(zhuǎn)換的理論—— 信息論 。因此，香農(nóng)現(xiàn)在被譽為“信息論之父”。

他的定理得出了一些與直覺相反的結(jié)論。假設(shè)你在嘈雜的地方講話，確保你的消息能夠傳達的最佳方法是什么？也許重復(fù)多次？當然，這是每個人在喧嘩的餐廳中的第一個本能，但事實證明這不是很有效。當然，你重復(fù)自己的次數(shù)越多，通信越可靠。但是你犧牲了速度來換取可靠性。香農(nóng)向我們展示了我們可以做得更好。重復(fù)消息只是使用編碼傳輸消息的一個例子，通過使用不同且更復(fù)雜的編碼，可以在維持既定可靠性的同時，快速地通信——直到速度上限 C。

香農(nóng)的理論得出的另一個意外結(jié)論是，無論信息的特質(zhì)是什么——莎士比亞十四行詩、貝多芬第五交響曲的錄音、還是黑澤明的電影——在傳輸之前，將其編碼為比特總是最有效的。因此以無線電系統(tǒng)為例，即使初始的聲音和通過空中發(fā)送的電磁信號都是模擬波形式的，香農(nóng)定理也表明最好先將聲波數(shù)字化為比特，然后將這些比特映射到電磁波。這一令人驚訝的結(jié)果是現(xiàn)代數(shù)字信息時代的基石，在這個時代里，作為信息通用貨幣的比特無所不在。

香農(nóng)的通用信息理論是如此自然，以至于他似乎發(fā)現(xiàn)了宇宙的通信定律，而不是發(fā)明了它們。他的理論與自然界的物理定律一樣基本。從這個意義上說，他是一名科學家。

香農(nóng)發(fā)明了新的數(shù)學來描述通信定律。他引入了一些新思想，比如概率模型的熵率，這些新思想已應(yīng)用于研究動力學系統(tǒng)長期行為的遍歷數(shù)學等廣泛的數(shù)學分支。從這個意義上說，香農(nóng)是一個數(shù)學家。

但最重要的是，香農(nóng)是一名工程師。他的理論受到實際工程問題的啟發(fā)。盡管對當時的工程師來說是深奧的，但香農(nóng)的理論現(xiàn)已成為所有現(xiàn)代通信系統(tǒng)（光學、水下、甚至行星際）基礎(chǔ)的標準框架。就我個人而言，我很幸運地參與了將香農(nóng)的理論應(yīng)用和擴展到無線通信的全球性努力中，歷經(jīng)幾代標準將通信速度提高了兩個數(shù)量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的編碼，它們被證明可以達到香農(nóng)的速度上限。

晚年香農(nóng)手持土星的照片

香農(nóng)在70多年前就為所有這一切奠定了基礎(chǔ)。他是怎么做到的？通過不懈地專注于問題的根本特征，忽略所有其它方面。他的通信模型的簡單性就是這種風格的很好例證。他還知道要專注于可能，而不是立即可行的事情。

香農(nóng)的工作說明了頂級科學研究的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作是修剪知識樹，而不是擴張知識樹。那時候我不知道該怎么做；我一直認為研究人員的工作就是添加自己的樹枝。但是在我的職業(yè)生涯中，由于我有機會在自己的工作中運用這種思想，我開始理解了。

當香農(nóng)開始研究通信時，工程師已經(jīng)掌握了大量技術(shù)。正是他的統(tǒng)一工作，將所有這些知識枝條修剪成了一棵貫通而優(yōu)美的樹——這棵樹為幾代科學家、數(shù)學家和工程師帶來了累累碩果。