★加星zzllrr小樂公眾號，與君共賞數(shù)學的奧妙！

數(shù)學家Tai-Danae Bradley（泰達娜·布拉德利）正在使用范疇論來嘗試理解人類和AI人工智能生成的語言。

圖源：Monica Almeida/Quanta Magazine

作者：Joseph Howlett（量子雜志特約撰稿人）2025-4-9

譯者：zzllrr小樂（數(shù)學科普公眾號）2025-4-10

泰達娜·布拉德利（Tai-Danae Bradley）從小就對數(shù)學毫無興趣。2008年，她進入紐約城市學院，在那里她加入了籃球隊，并希望從事運動營養(yǎng)學的職業(yè)。她認為數(shù)學課程是一道障礙，只有天才才能真正精通。“我寧愿拔掉所有的牙齒，也不愿以此謀生，”她說。

但大二的時候，她的微積分教授改變了她的想法。她了解到，數(shù)學是所有科學的語言?！笆郎线€有比課本更深奧的東西，”她說?！拔覀兩畹氖澜缯媸敲篮茫鴶?shù)學是觀察其中奧秘的一種方式?！?/p>

她退出了籃球隊，決定主修數(shù)學和物理。如今，作為人工智能公司 SandboxAQ 的研究員，以及加州馬斯特斯大學的客座教授，布拉德利正在運用數(shù)學語言，試圖更好地理解語言本身。

她的視角是范疇論（category theory），這是一種從任何單一領域的具體細節(jié)中抽離出來，轉而關注一個連接所有領域的更廣泛的底層框架的方法。通過將語言視為一個數(shù)學范疇，她能夠運用現(xiàn)有的工具來研究它并獲得新的見解。

語言學家希望她的模型能夠幫助他們證明某些關于語法和意義如何從單詞串中產(chǎn)生的理論，并識別人工智能生成的文本與人類語言的區(qū)別。布拉德利本人更感興趣的是，通過這種方式研究語言，她能否開發(fā)出新的數(shù)學工具。

Quanta量子雜志與布拉德利探討了數(shù)學如何影響語言研究，以及語言研究如何影響數(shù)學。為清晰起見，采訪內(nèi)容已精簡和修訂。

是什么問題促使您開始這條研究之路？

我感興趣的是理解：語言的數(shù)學結構是什么？它的基本單位是什么？單詞和短語之間的數(shù)學關系如何產(chǎn)生有意義的內(nèi)容？

泰達娜·布拉德利小時候不喜歡數(shù)學。但到了本科階段，她開始意識到數(shù)學與我們周圍世界的聯(lián)系。

圖源：Monica Almeida/Quanta Magazine

用數(shù)學方法研究語言有很多不同的方法。例如，你可以想象語言具有代數(shù)結構。當我把兩個數(shù)相乘時，我會得到另一個數(shù)。同樣地，我也可以把兩個英語短語“相乘”或合并，得到另一個。

你還可以從范疇論的角度來思考語言。

什么是范疇論？

一個范疇（category）由一些對象以及它們之間的關系（稱為態(tài)射morphism）組成。這些對象可以是集合、群或向量空間。態(tài)射將一個對象與另一個對象關聯(lián)起來。假設你的對象是集合。那么態(tài)射就是將一個集合映射到另一個集合的函數(shù)。

我喜歡把范疇論想象成數(shù)學版的瘋狂填詞游戲（Mad Libs）。在瘋狂填詞游戲中，你得到一個故事，但根據(jù)你填入的不同詞語，你會得到不同版本的故事。事實證明，數(shù)學領域中存在著某些共同的故事或結構。不同的數(shù)學分支可能使用不同的詞語來描述事物——比如用“群”而不是“向量空間”——但當你以正確的方式替換詞語時，你會發(fā)現(xiàn)底層框架或故事實際上是相同的。

研究生階段剛開始學習范疇論的時候，我感覺它簡直是最糟糕的東西。我記得當時我心想，這就是人們不喜歡數(shù)學的原因。它純粹是為了抽象而抽象，沒有任何直覺基礎。這真是令人沮喪。直到后來，我的博士導師約翰·特里拉（John Terilla）才讓我意識到范疇論是多么強大的工具。

是什么讓它如此強大？

它讓你的雙腳離開地面，讓你以鳥瞰的視角來看待數(shù)學景觀，從而發(fā)現(xiàn)在地面上難以察覺的聯(lián)系?，F(xiàn)在這是我最喜歡思考的事情之一——只是需要更多的數(shù)學背景和更成熟的人才能看清它。

布拉德利在她周圍看到了范疇論的運用。她尤其對用它來理解語言感興趣。

圖源：Monica Almeida/Quanta Magazine

什么是范疇論能讓你看到，而用其他方法則無法看到的？

數(shù)學中一個真正有意義的問題是：兩個東西什么時候相同？“相同”是什么意思？它如何根據(jù)你討論的數(shù)學類型而變化？

例如，集合有點像一袋彈珠：它沒有真正的結構。所以，當兩個集合的元素數(shù)量相同時，我們稱它們相同。另一方面，群是指元素通過某些規(guī)則相互作用的集合。此時，你對“相同性”的概念必須考慮到這種額外的結構。

范疇論提供了一個通用模板來描述這些不同的“相同”概念。你可以在嘗試解決問題時使用該模板在這些不同的上下文之間切換。

你能舉個例子嗎？

我最喜歡的例子之一來自拓撲學的世界。被稱為拓撲空間（topological space）的形狀構成一個范疇。你可以將一個范疇拉伸到另一個范疇，這種拉伸就是將它們彼此關聯(lián)的態(tài)射。

假設你有兩個拓撲空間，你想知道它們是否相同。如果相同，那么當你將一個空間拉伸到另一個空間時，它所含的孔洞的數(shù)量不會改變。直接處理這些空間可能非常棘手，所以這可能很難弄清楚。

但這個孔洞的數(shù)量總是與來自完全不同范疇的孔洞數(shù)量相同。

布拉德利說：“也許研究語言可以幫助我們發(fā)現(xiàn)一些我們還沒有發(fā)現(xiàn)的新數(shù)學結構?！?/strong>

圖源：Monica Almeida/Quanta Magazine

范疇論讓你能夠從拓撲空間的范疇跳轉到另一個范疇。例如，你可以使用一個叫做函子（functor）的東西將兩個拓撲空間轉換成向量空間。如果你發(fā)現(xiàn)那兩個向量空間的維數(shù)不同——這更容易測量——那么你就知道這兩個（拓撲）空間不可能相同。你正是通過范疇論在拓撲學和線性代數(shù)領域之間穿梭，才弄明白了這一點。

那么如何使用范疇論來理解語言呢？

語言和范疇論密不可分。我們不想將任何特定的、僵化的數(shù)學模型強加于語言。我們可以從簡單的頻率入手，比如“貓”這個詞在某些其他詞旁邊出現(xiàn)的次數(shù)。如果我說“好奇心害死了____”，我可以計算出下一個詞是“貓”而不是“直升機”的概率。

這樣，我們就可以把所有可能的單詞或短語（或者實際上是字母的組合）都看作一種更通用的范疇（稱為充實范疇enriched category）中的對象。每個對象都通過跟隨其他對象的概率與其他對象關聯(lián)——這些就是你的態(tài)射的豐富充實版本。你可以把它們想象成單詞之間的箭頭，每個箭頭都標有一個數(shù)字。

為什么用范疇來構建語言是有幫助的？

如果你熱愛某樣事物，你就會開始在任何地方看到它。由于它非常抽象，并且它連接了數(shù)學的各個領域，許多數(shù)學家熟悉的事物都可以用范疇論來重新表達。

但它的意義遠不止于此。一旦你將語言視為一個范疇，你就能接觸到人們幾十年來發(fā)展起來的語言結構。所以，你只需翻閱這本食譜，就能找到一些可能有助于研究人類語言，或理解大語言模型運作原理的知識。

您如何使用其中一種食譜來了解新事物？

人們好奇的一件事是，如何僅從單詞組合方式的基本信息出發(fā)，就能獲得更抽象的概念。如果我讓ChatGPT列出五種既是爬行動物又是家養(yǎng)寵物的動物，它怎么知道該如何將這兩者聯(lián)系起來呢？如何從一串串符號及其統(tǒng)計數(shù)據(jù)，得到這種邏輯關系呢？

我們可以用其中一種方法來深入了解這一點。首先，我們將每個單詞與一個范疇論結構關聯(lián)起來，這個結構刻畫了該單詞可能出現(xiàn)在其中的每個短語，以及該短語的常見程度。然后，我們可以將與兩個不同單詞關聯(lián)的結構取出，并對它們執(zhí)行一些非常簡單的操作——這些操作在范疇論中也是非常經(jīng)典的。

為了讓其他人更容易接觸數(shù)學，布拉德利運營著一個名為Math3ma的熱門博客。https://www.math3ma.com

圖源：Monica Almeida/Quanta Magazine

我們得到的是一種自動關聯(lián)兩個原始單詞的結構。如果原始單詞是“大”和“黃”，那么我們得到的構造，粗略地說，就是將較大的數(shù)字分配給可能的短語，例如“大黃太陽”，而將較小的數(shù)字分配給可能的短語，例如“大黃紅寶石”。這個來自范疇論的簡單操作，實際上提供了具有語言意義的東西——一種將單詞組合起來構建更通用的概念的方法，例如“既大又黃”的概念。

因此，運用范疇論，你可以從數(shù)學上展示更高層次的概念如何從非常簡單的統(tǒng)計信息中涌現(xiàn)出來。我認為這或許是一個線索，表明思想的形成方式。我不想說“在人類思維中形成”，因為誰知道大腦是如何運作的呢？但這種概念內(nèi)容存在于語言使用方式的原始數(shù)據(jù)中，因為我們的出發(fā)點就是這些頻率。

你認為這可能就是大語言模型（LLM）正在做的事情嗎？

我在LLM接手之前就加入了這個研究項目。但它們的起始頻率和我們一樣。我不知道transformer（變換器）內(nèi)部到底發(fā)生了什么。我不確定是否有人知道。不過，這或許可以作為個話題的開場。

您的作品對于語言有怎樣的普遍啟示？

我認為這表明，即使是最基本的語法，也蘊含著有意義的信息，比如什么詞與什么詞搭配。如果你觀察一下哪些詞通常出現(xiàn)在“藍色”之后——比如“藍色大理石”或“藍色天空”，而不是“藍色鱷梨”——你能理解“藍色”這個詞的意思嗎？

在語言學界，這并非公認的事實。作為人類，我可以從紙面上的句子中理解意義，但紙上的文字并非我所能接觸的全部。我能夠接觸世界。語言學家們一直在爭論是否需要一個世界模型來從書面語言中提取意義。意義存在于詞語排列中的觀點在語言學中由來已久，但近幾十年來，它已基本過時。

布拉德利認為，她的工作“表明，即使是最基本的語法，也蘊含著有意義的信息，比如什么與什么相隨”，她說。

圖源：Monica Almeida/Quanta Magazine

但這項研究——以及最近LLM的成功——支持了這樣一種觀點，即詞匯組合使用的統(tǒng)計數(shù)據(jù)是有意義的。因此，它或許能促進語言學家們正在進行的更廣泛的討論。

在您最近的論文中，您還使用范疇論為語言研究帶來了全新的概念。

對。我們正在研究范疇的量級（magnitude）——一種與拓撲相關的大小度量，用來表征范疇。我的合著者胡安·帕布羅·維尼奧（Juan Pablo Vigneaux）最近找到了一種計算量級的新方法。所以我們決定在做了一些額外的工作之后，在語言構成的范疇上嘗試一下。

令人驚訝的是，當我們計算出這個范疇的量級公式時，我們最終得到了一個數(shù)學表達式，其中包含了信息論中的一個核心量：熵（Entropy）——衡量某物包含多少信息的量度。

這種聯(lián)系告訴了你什么？

它指出了熵和拓撲之間一種有趣的聯(lián)系。這兩者通常不會相互交流——它們在科學領域處于完全不同的兩端。但近年來，這種聯(lián)系開始顯現(xiàn)，這或許是另一個例子。我對這種感覺不同的東西最終卻有著根本聯(lián)系的現(xiàn)象非常感興趣。

我們也會盯著答案，比如“哇，這是什么？”熵在語言語境中意味著什么？它能告訴我們什么？那么，計算量級是否可以用來比較不同語言的結構，例如，比較人類語言和LLM生成的語言？

這感覺就像是爬上了一架高高的梯子，才剛剛邁出第一層。還有很多事情要做。

您希望您的工作帶您走向何方？

我希望它能讓我們更深入地理解數(shù)學本身。

它可以讓我們了解語言現(xiàn)象，從而更好地理解周圍的世界。但真正有趣的是，它或許缺少一些數(shù)學概念，這就是為什么這種現(xiàn)象如此神秘且難以理解。

也許以這種方式研究語言能幫助我們發(fā)現(xiàn)一些我們尚未發(fā)現(xiàn)的新數(shù)學結構。這種情況在數(shù)學中屢見不鮮。數(shù)學家們會遇到一些尚未命名的東西，這些結構就在那里等著我們?nèi)グl(fā)現(xiàn)。

我認為五年后，我們可能會有受語言啟發(fā)的新數(shù)學思想。

參考資料

https://www.quantamagazine.org/where-does-meaning-live-in-a-sentence-math-might-tell-us-20250409/

科普薦書

【更多讀者好評數(shù)學書單推薦、數(shù)學科普作家自薦、出版社書單推薦通道已陸續(xù)打開，敬請期待】

·開放 · 友好 · 多元 · 普適 · 守拙·

讓數(shù)學

更加

易學易練

易教易研

易賞易玩

易見易得

易傳易及

歡迎評論、點贊、在看、在聽

收藏、分享、轉載、投稿

查看原始文章出處

點擊zzllrr小樂

公眾號主頁

加星★

數(shù)學科普不迷路！