★置頂zzllrr小樂公眾號(hào)（主頁右上角）數(shù)學(xué)科普不迷路！

本月初的一篇討論AI的紐約客文章似乎引起了數(shù)學(xué)讀者們的眾“怒”，又有一位教授“炮轟”它，捍衛(wèi)矩陣乘法的美感。另請(qǐng)參閱：

作者：James Propp（馬薩諸塞大學(xué)教授，數(shù)學(xué)家）2025-11-21

譯者：zzllrr小樂（數(shù)學(xué)科普公眾號(hào)）2025-11-24

幾周前，我正悠閑地閱讀一篇關(guān)于AI人工智能的文章，文章寫得很好，內(nèi)容也很翔實(shí) https://www.newyorker.com/magazine/2025/11/03/inside-the-data-centers-that-train-ai-and-drain-the-electrical-grid 。突然，文章中的一段話讓我感到惱火。這就是對(duì)記者討論的話題了解太多的弊端之一：記者常常會(huì)犯一些大多數(shù)讀者不會(huì)注意到的錯(cuò)誤，但這些錯(cuò)誤卻會(huì)讓那些了解內(nèi)情的人感到憤怒，或者至少會(huì)讓他們血壓飆升。

這篇文章發(fā)表在 《紐約客》雜志上。作者斯蒂芬·維特（Stephen Witt）在文中描述了典型的“大語言模型”（LLM）如何從一張白紙（或者更確切地說，是一張布滿隨機(jī)涂鴉的白紙）開始，學(xué)習(xí)關(guān)于世界（或者更確切地說，是關(guān)于被稱為互聯(lián)網(wǎng)的虛擬世界）的知識(shí)。在整個(gè)訓(xùn)練過程中，數(shù)十億個(gè)被稱為權(quán)重的數(shù)值會(huì)被反復(fù)更新，從而穩(wěn)步提升模型的性能。

想象一下，一個(gè)微型芯片上蝕刻著電子在通道中高速運(yùn)動(dòng)，然后慢慢放大畫面：每個(gè)服務(wù)器節(jié)點(diǎn)中都有許多這樣的芯片，每個(gè)機(jī)架中也有許多這樣的節(jié)點(diǎn)，機(jī)架排列成行，每個(gè)大廳有好幾行，每棟樓有好幾個(gè)大廳，每個(gè)園區(qū)又有好幾棟樓。這就像是計(jì)算機(jī)時(shí)代的博爾赫斯《巴別圖書館》。而所有這些無數(shù)電路執(zhí)行的權(quán)重更新過程，都高度依賴于一種被稱為矩陣乘法（matrix multiplication）的運(yùn)算。

維特對(duì)此解釋得清晰準(zhǔn)確，直到他的文章出現(xiàn)了一個(gè)非常奇怪的轉(zhuǎn)折。

釘釘子

以下是維特接下來對(duì)矩陣乘法的論述：

“美是首要的檢驗(yàn)標(biāo)準(zhǔn)：丑陋的數(shù)學(xué)在這個(gè)世界上沒有一席之地，”數(shù)學(xué)家G. H. 哈代在1940年寫道。然而，我們文明如今投入如此多資源的矩陣乘法，卻如同釘釘子般笨拙不堪。它既不美觀，也不對(duì)稱：事實(shí)上，在矩陣乘法中， a乘以b并不等于b乘以a ?！?/p>

最后一句話讓我覺得很奇怪，完全不合邏輯，有點(diǎn)像在說“數(shù)字加法既不美觀也不對(duì)稱，因?yàn)楫?dāng)你把兩個(gè)數(shù)字倒過來寫時(shí)，它們的新和并不是它們?cè)瓉淼暮偷惯^來寫；例如，17 加 34 等于 51，但 71 加 43 不等于 15?！?/p>

第二天，我給雜志社寄了以下這封信：

“我贊賞斯蒂芬·維特（Stephen Witt）聚焦于矩陣，矩陣如今比以往任何時(shí)候都更值得關(guān)注：它們?cè)谏鷳B(tài)學(xué)、經(jīng)濟(jì)學(xué)、物理學(xué)以及現(xiàn)在的人工智能領(lǐng)域都扮演著重要角色（《信息過載》

Information Overload

矩陣代數(shù)是對(duì)稱和變換的語言， a 后接 b 與 b 后接 a 的區(qū)別并不令人驚訝；期望這兩種變換完全一致，就好比在錯(cuò)誤的地方尋找對(duì)稱——就像以狗的尾巴是否像它的頭來評(píng)判它的美丑一樣。矩陣代數(shù)起源于中國，擁有兩千年的歷史，它在數(shù)學(xué)中占據(jù)了永久的地位，并且完美地通過了‘美’的考驗(yàn)。事實(shí)上，矩陣在數(shù)論中非常常見，而數(shù)論正是哈代最鐘愛的純數(shù)學(xué)分支。”

將我的回復(fù)限制在150字以內(nèi)需要一些技巧。例如，請(qǐng)注意開頭一句就起到了雙重作用：它用幾句贊揚(yáng)之詞緩和了我大量的負(fù)面批評(píng)，并強(qiáng)調(diào)了主題的重要性，從而預(yù)先反駁了那些可能認(rèn)為我的修改過于晦澀難懂而不值得發(fā)表的編輯。（注意，“預(yù)先pre?mptively”中類似《紐約客》的分音符diaresis：既然我要批評(píng)，那我干脆就批評(píng)一下分音符吧。）

我還沒收到編輯的回復(fù)，估計(jì)也不會(huì)有。不過，維特的誤解值得更詳盡的解釋，150字遠(yuǎn)遠(yuǎn)不夠。咱們看看用1500字和幾張圖片能寫出什么來。

變換的幾何學(xué)

作為靜態(tài)對(duì)象，矩陣“僅僅”是數(shù)字的矩形陣列，但這并不能概括它們的本質(zhì)。如果必須用一個(gè)詞來表達(dá)矩陣的精髓，那就是“變換”。

變換的一個(gè)例子是操作 f ，它將平面上的圖像從左到右翻轉(zhuǎn)，就像在垂直鏡子中一樣。

另一個(gè)例子是運(yùn)算 g ，它將平面上的圖像沿從左下角到右上角的對(duì)角線進(jìn)行反射。

這里需要注意的關(guān)鍵是，先用 f 再用 g 的效果與先用 g 再用 f 的效果不同。為了理解這一點(diǎn)，在一張正方形紙的一側(cè)寫一個(gè)大寫字母 R——最好使用深色馬克筆和/或半透明紙，這樣即使紙翻過來也能看到 R——然后先用 f 再用 g ；你會(huì)得到原先的 R 順時(shí)針旋轉(zhuǎn) 90 度。但是，如果從原先的 R 開始，先用 g 再用 f ，你會(huì)得到原先的 R 逆時(shí)針旋轉(zhuǎn) 90 度。

同樣的兩個(gè)操作，不同的結(jié)果！用符號(hào)表示為 g ? f ≠ f ? g ，其中 g ? f 表示“先執(zhí)行 f ，再執(zhí)行 g ”，而 f ? g 表示“先執(zhí)行 g ，再執(zhí)行 f ”。符號(hào) ? 表示稱為合成（composition）的元操作（對(duì)操作符的操作，對(duì)運(yùn)算符的運(yùn)算）。我知道這種約定乍一看可能有點(diǎn)反常，但這就是 ? 的定義。

這要?dú)w咎于那些最初使用“l(fā)og x ”和“cos x ”這類符號(hào)的人，他們把 x 放在運(yùn)算名稱之后。這導(dǎo)致了f(x)的記法，用來表示將函數(shù) f 應(yīng)用于數(shù)字 x 的結(jié)果。然后，將 g 應(yīng)用于 f 應(yīng)用于 x 的結(jié)果，其符號(hào)為 g(f(x))；即使 f 先于 g 執(zhí)行，“f” 也出現(xiàn)在“g”的右側(cè)。由此，將x傳遞給g(f(x)) 的函數(shù)自然而然地寫成了“g ? f”。

變換的順序會(huì)影響結(jié)果，這并不奇怪。畢竟，做沙拉時(shí)，如果你在撒上碎奶酪后才淋上沙拉醬，客人的用餐體驗(yàn)就會(huì)與你先淋沙拉醬的情況截然不同。同樣，創(chuàng)作旋律時(shí)，先用升 C 后用 D 與先用 D 后用升 C 是不同的。只要數(shù)學(xué)家們還在使用“組合”（composition）而非“乘法”（multiplication）這個(gè)詞，就不會(huì)有人覺得順序在很多情況下至關(guān)重要有什么矛盾之處。

矩陣代數(shù)

我們?nèi)绾斡脭?shù)值方式表示前面描述的幾何變換 f 和 g 呢？我們不妨使用一個(gè)正方形，并選擇中心坐標(biāo)，使得 (0,0) 位于正方形的中心。為了方便起見，我們將其設(shè)為 2×2 的正方形，四個(gè)角的坐標(biāo)分別為 (±1,±1)。不難看出，如果在點(diǎn) (x,y) 和點(diǎn) (?x,y) 處分別標(biāo)記一個(gè)點(diǎn)，那么在應(yīng)用變換 f 后，這兩個(gè)點(diǎn)的位置會(huì)互換；例如，正方形的右上角和左上角會(huì)互換位置 (x = y = 1)。

我們可以將幾何變換 f 與代數(shù)替換聯(lián)系起來，該代數(shù)替換對(duì)于所有介于 ?1 和 1 之間的 x 和 y 都改變 x 的符號(hào)，或者用數(shù)學(xué)家的話來說，就是“將 (x,y) 映射到 (?x,y) 的函數(shù)”。這個(gè)函數(shù)可以用下面 2×2 數(shù)組表示。

更一般地說，數(shù)組

表示將 (x,y) 映射到 (ax+by, cx+dy) 的函數(shù)，其中 a、b、c、d 為任意實(shí)數(shù)。（選擇 a = -1、 b = 0、 c = 0 和 d = 1 即可得到特定的數(shù)組 A。 ）

類似地，當(dāng)應(yīng)用運(yùn)算 g 時(shí)，即沿連接左下角和右上角的對(duì)角線翻轉(zhuǎn)正方形，(x,y) 處的點(diǎn)最終會(huì)與 (y,x) 處的點(diǎn)交換位置。我們將 g 與交換 x 和 y 的代數(shù)替換聯(lián)系起來，或者說是“將 (x,y) 映射到 (y,x) 的函數(shù)”，用下面 2×2 數(shù)組表示。

這類數(shù)組稱為矩陣（matrices）。當(dāng)我們想將兩個(gè)運(yùn)算（例如 f 和 g） 組合在一起時(shí)，只需根據(jù)以下規(guī)則組合相關(guān)的矩陣：矩陣

合成，等于矩陣

關(guān)于這個(gè)公式的由來，請(qǐng)參閱我的博客（數(shù)學(xué)魔法

Mathematical Enchantments

有一點(diǎn)我可以理解 Stephen Witt 的觀點(diǎn)：如果兩個(gè)矩陣的乘積僅僅是將第一個(gè)矩陣中的每個(gè)元素乘以第二個(gè)矩陣中對(duì)應(yīng)的元素，那么矩陣乘法就會(huì)更簡潔：

這種乘積被稱為哈達(dá)瑪乘積（Hadamard product，即點(diǎn)乘、點(diǎn)積），它在數(shù)學(xué)中確實(shí)扮演著一定的角色，但遠(yuǎn)不如常見的矩陣乘積那么普遍。哈達(dá)瑪乘積過于對(duì)稱，實(shí)用性不高，而常見的矩陣乘積則在簡潔性和通用性之間取得了完美的平衡。

存在一類矩陣，其哈達(dá)瑪乘積與標(biāo)準(zhǔn)乘積相等，即對(duì)角矩陣。以下是對(duì)角矩陣的乘法運(yùn)算：

在神經(jīng)網(wǎng)絡(luò)領(lǐng)域，這類矩陣對(duì)應(yīng)于一種簡單的數(shù)據(jù)處理方式，其中每個(gè)輸出變量都只是特定輸入變量乘以一個(gè)常數(shù)。變量之間不存在串?dāng)_或交互作用。一般矩陣比對(duì)角矩陣更有用之處在于，對(duì)于一般矩陣，每個(gè)輸出都可能受到每個(gè)輸入的影響。

用一種略顯夸張但并非完全不準(zhǔn)確的方式來描述，當(dāng)無法預(yù)先知道哪些輸出取決于哪些輸入時(shí)，矩陣是建模的首選工具。當(dāng)然，我們不應(yīng)指望矩陣是萬能的；畢竟，線性代數(shù)要求每個(gè)輸出都是輸入的線性函數(shù)（這也是它名稱的由來）。線性（linearity）是一個(gè)很大的限制。然而，奇妙的是，盡管存在這樣的限制，線性代數(shù)仍然是所有科學(xué)領(lǐng)域中如此有用的工具。

2×2 矩陣并沒有什么特別之處；你可以用兩個(gè) 3×3 矩陣，甚至兩個(gè) 1000×1000 矩陣來合成。反過來（從小到大），如果你觀察 1×1 矩陣，它們的合成方式是：(a)和(b)合成，就是(ab)。

因此，普通的乘法運(yùn)算可以看作是矩陣合成的一種特殊情況；反過來，我們可以把矩陣合成看作是一種廣義的乘法運(yùn)算。所以，19世紀(jì)中期的數(shù)學(xué)家們開始使用“乘法”和“乘積”這樣的詞來代替“合成”這樣的詞，也就不足為奇了。大約在同一時(shí)期，他們停止使用“替換”和“表格”這樣的術(shù)語，轉(zhuǎn)而開始使用“矩陣”這個(gè)詞。

19世紀(jì)的代數(shù)學(xué)家們將沿用數(shù)百年的數(shù)字乘法符號(hào)引入新興的線性代數(shù)學(xué)科時(shí)，他們實(shí)際上是在說“矩陣的行為有點(diǎn)像數(shù)字”，但也有例外，“除非它們并非如此”。維特說當(dāng) A 和 B 是矩陣時(shí)， A 乘以 B 并不總是等于 B 乘以 A ，這沒錯(cuò)。但他錯(cuò)在斷言這是線性代數(shù)的缺陷。

許多數(shù)學(xué)家認(rèn)為線性代數(shù)是數(shù)學(xué)史上最優(yōu)雅的分支學(xué)科之一，它常常被視為新興數(shù)學(xué)學(xué)科應(yīng)努力達(dá)到的簡潔典范。如果你因?yàn)?AB 并不總是等于 BA 而討厭矩陣乘法，那是因?yàn)槟氵€沒有真正理解矩陣乘法在數(shù)學(xué)、物理以及許多其他學(xué)科中的用途。

具有諷刺意味的是，維特援引對(duì)稱的概念來貶低矩陣乘法，因?yàn)榫仃嚴(yán)碚摵鸵婚T稱為群論的相關(guān)學(xué)科是數(shù)學(xué)家用來充實(shí)我們?cè)谒囆g(shù)和科學(xué)中產(chǎn)生的關(guān)于對(duì)稱性的直覺想法的工具。

那么，像維特這樣聰明的人怎么會(huì)誤入歧途呢？

證明 vs 計(jì)算

我猜想維特的部分困惑源于這樣一個(gè)事實(shí)：將數(shù)字矩陣相乘得到更大的數(shù)字矩陣的過程非常繁瑣，而繁瑣在心理上往往與厭惡和丑陋感密切相關(guān)。但矩陣乘法的繁瑣與其對(duì)稱性（維特錯(cuò)誤地否認(rèn)了這種對(duì)稱性的存在）息息相關(guān)。

當(dāng)你以直接的方式將兩個(gè) n×n 矩陣 A 和 B 相乘時(shí)，你必須以相同的不變方式計(jì)算 n2 個(gè)數(shù) ，而這 n2 個(gè)數(shù)中的每一個(gè)都是 n項(xiàng)之和，而這 n項(xiàng)中的每一項(xiàng)又可以簡單地表示為 A 的一個(gè)元素與 B 的一個(gè)元素的乘積。

由于這個(gè)過程如此重復(fù)，人們很容易感到厭倦、注意力不集中，從而導(dǎo)致錯(cuò)誤。我們往往將對(duì)稱和美視為同義詞，但有時(shí)過度的對(duì)稱會(huì)滋生厭倦；過度的重復(fù)也會(huì)令人反感。想象一下《巴別圖書館》，以及畫面感所喚起的那種存在主義式的恐懼。

維特引用的著名論斷出自 G. H. 哈代之口。哈代從事定理證明，他更傾向于概念性證明而非計(jì)算性證明。如果你給他看一個(gè)定理證明，其中論證的關(guān)鍵在于用五頁紙驗(yàn)證某個(gè)矩陣乘積的特定值，他會(huì)說你根本沒理解自己的定理；他會(huì)斷言你應(yīng)該尋找更具概念性的論證，然后把你的窮舉證明扔進(jìn)垃圾桶。

但哈代對(duì)窮舉的厭惡僅限于數(shù)學(xué)證明領(lǐng)域，這與計(jì)算年金最優(yōu)定價(jià)、計(jì)算飛機(jī)機(jī)翼風(fēng)切變或微調(diào)人工智能權(quán)重等數(shù)學(xué)應(yīng)用相去甚遠(yuǎn)。此外，哈代對(duì)你的證明的反對(duì)意見會(huì)集中在計(jì)算的冗長程度上，而不是計(jì)算是否涉及矩陣。即使你給他看一個(gè)用了 5頁冗長乏味的 19世紀(jì)以前的計(jì)算方法，而且一次也沒有提到矩陣的證明，他仍然會(huì)說：“你的證明只是一種臨時(shí)的數(shù)學(xué)；它讓讀者相信你的定理是正確的，卻沒有真正解釋為什么這個(gè)定理是正確的?！?/p>

如果你用槍指著我，逼我把兩個(gè) 5×5 的矩陣相乘，我會(huì)非常不高興，不僅僅是因?yàn)槟阃{我的生命；這項(xiàng)任務(wù)本身就令人厭惡。但如果你讓我把一百個(gè)隨機(jī)的兩位數(shù)相加，情況也一樣。矩陣乘法或數(shù)字加法本身并不丑陋；而是這種重復(fù)性的任務(wù)與哈代所熱愛、我也同樣熱愛的概念性思維截然相反。

任何數(shù)學(xué)內(nèi)容，一旦被剝奪了意義，淪為機(jī)械的苦差事，都會(huì)變得枯燥乏味。但這并不影響其背后的概念。當(dāng)我們把數(shù)字加法或矩陣乘法外包給計(jì)算機(jī)時(shí)，我們理所當(dāng)然地把這令人窒息的勞動(dòng)交給了沒有靈魂的電路。如果我們能夠窺視那些執(zhí)行矩陣乘法的電路內(nèi)部，我們確實(shí)會(huì)看到一幅噩夢般的、博爾赫斯式的景象：數(shù)十億根釘子一遍又一遍地釘入數(shù)十億塊木板。但請(qǐng)不要把這種勞作與數(shù)學(xué)混為一談。

歡迎前往Hacker News加入對(duì)本文的討論！https://news.ycombinator.com/item?id=46009660

本文與我正在撰寫的一本書的第十章（“走出子宮”Out of the Womb）相關(guān)，這本書暫定名為《數(shù)字究竟是什么？：加法和乘法的更奇特冒險(xiǎn)》What Can Numbers Be?: The Further, Stranger Adventures of Plus and Times。如果您對(duì)此感興趣，并希望幫助我改進(jìn)這本書，請(qǐng)?jiān)L問http://jamespropp.org/readers.pdf。一如既往，歡迎您在“數(shù)學(xué)魔法”（Mathematical Enchantments）WordPress 網(wǎng)站上對(duì)本文發(fā)表評(píng)論！

參考資料

https://mathenchant.wordpress.com/2025/11/21/is-matrix-multiplication-ugly/

https://www.newyorker.com/magazine/2025/11/03/inside-the-data-centers-that-train-ai-and-drain-the-electrical-grid

https://news.ycombinator.com/item?id=46009660

http://jamespropp.org/readers.pdf

小樂數(shù)學(xué)科普近期文章

出版社和作家自薦通道

小樂數(shù)學(xué)科普薦書

·開放 · 友好 · 多元 · 普適 · 守拙·

讓數(shù)學(xué)

更加

易學(xué)易練

易教易研

易賞易玩

易見易得

易傳易及

歡迎評(píng)論、點(diǎn)贊、在看、在聽

收藏、分享、轉(zhuǎn)載、投稿

查看原始文章出處

點(diǎn)擊zzllrr小樂

公眾號(hào)主頁

右上角

置頂加星★

數(shù)學(xué)科普不迷路！