PsyBrain 腦心前沿 | 公眾號(hào) PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過(guò)每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Linguistic structure from a bottleneck on sequential information processing

發(fā)表時(shí)間：2025.11.24

發(fā)表期刊:Nature Human Behaviour

影響因子：16.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

人類語(yǔ)言展現(xiàn)出一種令人著迷的“系統(tǒng)性”與“局部性”。當(dāng)我們描述一個(gè) “藍(lán)色的正方形” 時(shí)，我們會(huì)使用代表顏色的詞 “藍(lán)色” 和代表形狀的詞 “正方形” 并將它們拼接在一起。

這種結(jié)構(gòu)看似天經(jīng)地義，但在邏輯上并非唯一。理論上，我們完全可以像哈夫曼編碼那樣，用一個(gè)無(wú)法拆分的整體符號(hào)（如 “Vek”）來(lái)表示 “藍(lán)色的正方形”，或者用一種非線性的方式交錯(cuò)排列音素 。

Fig. 1 | Example utterances describing an image in English and various hypothetical languages.

為什么人類語(yǔ)言偏偏演化成了現(xiàn)在這種由離散符號(hào)組成、且結(jié)構(gòu)與意義高度對(duì)應(yīng)的形式？長(zhǎng)期以來(lái)，語(yǔ)言學(xué)界傾向于引入特定的心理表征假設(shè)或先天的語(yǔ)法模塊來(lái)解釋這一現(xiàn)象，但這往往陷入“因?yàn)橛姓Z(yǔ)法模塊，所以有語(yǔ)法結(jié)構(gòu)”的循環(huán)論證，且難以解釋為何語(yǔ)言必須具備“局部性”（即相關(guān)的詞往往靠得很近）。

如果我們拋開(kāi)復(fù)雜的語(yǔ)言學(xué)假設(shè)，僅從信息處理的最基本限制出發(fā)，即人類是在時(shí)間維度上處理序列信號(hào)，且認(rèn)知資源（特別是用于預(yù)測(cè)未來(lái)的記憶資源）是有限的，能否推導(dǎo)出語(yǔ)言的結(jié)構(gòu)規(guī)律？

近日，來(lái)自加州大學(xué)歐文分校和薩爾蘭大學(xué)的研究團(tuán)隊(duì)在 Nature Human Behaviour 上發(fā)表重磅研究，提出語(yǔ)言的結(jié)構(gòu)并非源于特殊的語(yǔ)法基因，而是為了適應(yīng)大腦在序列信息處理中的“瓶頸”。

Fig. 2 | Two examples of linguistic systematicity as a homomorphism.

研究核心總結(jié)

本研究的核心假設(shè)基于信息論中的一個(gè)關(guān)鍵指標(biāo)：預(yù)測(cè)信息（Predictive Information, 或 Excess Entropy, E）。它定義為隨機(jī)過(guò)程中，“過(guò)去”的信息與“未來(lái)”的信息之間的互信息（Mutual Information），即：

這就代表了大腦為了準(zhǔn)確預(yù)測(cè)即將出現(xiàn)的語(yǔ)言符號(hào)，必須在記憶中維持的信息量。研究者認(rèn)為，人類語(yǔ)言的結(jié)構(gòu)演化遵循最小化預(yù)測(cè)信息的原則，以適應(yīng)認(rèn)知系統(tǒng)的存儲(chǔ)瓶頸。

Fig. 3 | Schematic calculation of predictive information as the sum of n-gram entropies hn minus the asymptotic entropy rate h.

1. 系統(tǒng)性與整體性的自發(fā)涌現(xiàn)

通過(guò)模擬實(shí)驗(yàn)，研究者發(fā)現(xiàn)，當(dāng)強(qiáng)制要求編碼系統(tǒng)最小化預(yù)測(cè)信息時(shí)，系統(tǒng)會(huì)自動(dòng)演化出類似人類自然語(yǔ)言的結(jié)構(gòu)特性。

• 對(duì)于相互獨(dú)立的語(yǔ)義特征（如“貓”和“狗”作為獨(dú)立實(shí)體），最優(yōu)編碼是系統(tǒng)性（Systematic）的，即將其拆分為獨(dú)立的詞匯并拼接；

• 對(duì)于高度相關(guān)的語(yǔ)義特征（如“貓的頭部”和“貓的身體”總是同時(shí)出現(xiàn)），最優(yōu)編碼則是整體性（Holistic）的，即將其融合為一個(gè)不可拆分的語(yǔ)素（Morpheme），如單詞 "cat" 本身不再包含對(duì)應(yīng)頭部或身體的部件 。這解釋了為何語(yǔ)言在詞匯層面是任意且整體的，而在短語(yǔ)和句子層面是系統(tǒng)且組合的。

Fig. 4 | Simulations of languages for coin-flip distributions.

1. “Behaghel定律”的信息論本質(zhì)

語(yǔ)言學(xué)著名的Behaghel定律指出“在心理上緊密相關(guān)的元素在物理上也靠得近”。研究表明，這一現(xiàn)象是最小化預(yù)測(cè)信息的數(shù)學(xué)必然結(jié)果。當(dāng)編碼系統(tǒng)將統(tǒng)計(jì)上相互依賴（高互信息）的元素放置在鄰近位置（即保持局部性）時(shí)，預(yù)測(cè)所需的記憶負(fù)荷（E）最低。

Fig. 5 | Simulations of codes with different orders of elements.

1. 跨語(yǔ)言實(shí)證證據(jù)

研究者利用大規(guī)模多語(yǔ)言語(yǔ)料庫(kù)（涵蓋英語(yǔ)、匈牙利語(yǔ)、土耳其語(yǔ)等61種語(yǔ)言），在音系（Phonotactics）、形態(tài)學(xué)（Morphology）和句法（Syntax）三個(gè)層面上計(jì)算了真實(shí)語(yǔ)言的預(yù)測(cè)信息。

Fig. 6 | Evidence that natural languages are configured in a way that reduces predictive information, in phonotactics, morphology and syntax.

結(jié)果顯示，與打亂結(jié)構(gòu)、破壞局部性或非自然的基線模型相比，真實(shí)的人類語(yǔ)言均表現(xiàn)出顯著更低的預(yù)測(cè)信息。例如，在名詞短語(yǔ)的詞序上，跨語(yǔ)言中最常見(jiàn)的詞序（如 D-N-A-n 或 n-A-N-D）恰恰是那些計(jì)算出的預(yù)測(cè)信息最低的排序 。

Fig. 7 | Examples of systematic morphology and syntax, and baselines used in experiments.

Fig. 8 | Evidence that word order and lexical semantics are configured in ways that reduce predictive information.

總的來(lái)看，該研究建立了一個(gè)強(qiáng)有力的理論框架，將語(yǔ)言的代數(shù)結(jié)構(gòu)（句法樹(shù)、成分組合）與統(tǒng)計(jì)學(xué)習(xí)機(jī)制（信息壓縮、序列預(yù)測(cè)）統(tǒng)一起來(lái)。它揭示了語(yǔ)言之所以呈現(xiàn)出層次化和組合性，是因?yàn)檫@種結(jié)構(gòu)是對(duì)大腦有限的序列預(yù)測(cè)能力的最優(yōu)解 。這不僅挑戰(zhàn)了生成語(yǔ)法關(guān)于先天語(yǔ)言模塊的必要性假設(shè)，也為理解大語(yǔ)言模型（LLMs）為何能通過(guò)簡(jiǎn)單的“下一個(gè)token預(yù)測(cè)”任務(wù)習(xí)得復(fù)雜的語(yǔ)言結(jié)構(gòu)提供了理論解釋：因?yàn)槿祟愓Z(yǔ)言本身就是為了易于序列預(yù)測(cè)而被優(yōu)化的。

Abstract

Human language has a distinct systematic structure, where utterances break into individually meaningful words that are combined to form phrases. Here we show that natural-language-like systematicity arises in codes that are constrained by a statistical measure of complexity called predictive information, also known as excess entropy. Predictive information is the mutual information between the past and future of a stochastic process. In simulations, we find that codes that minimize predictive information break messages into groups of approximately independent features that are expressed systematically and locally, corresponding to words and phrases. Next, drawing on cross-linguistic text corpora, we find that actual human languages are structured in a way that yields low predictive information compared with baselines at the levels of phonology, morphology, syntax and lexical semantics. Our results establish a link between the statistical and algebraic structure of language and reinforce the idea that these structures are shaped by communication under general cognitive constraints.

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

核心圖表、方法細(xì)節(jié)、統(tǒng)計(jì)結(jié)果與討論見(jiàn)原文及其拓展數(shù)據(jù)。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部