如果給你看一張香蕉的黑白照片，并問：“它原本是什么顏色？”你大概會脫口而出：黃色。畢竟，香蕉實在是再令人熟悉不過了。

但世界上偏偏有這樣一小撮人，他們認(rèn)識香蕉，也認(rèn)識黃色。可當(dāng)那張黑白照片擺在面前時，他們卻不知道香蕉的顏色。哪怕眼前是一張紅色香蕉的圖片，他們也未必會覺得哪里不對。

北京大學(xué)畢彥超團(tuán)隊和山西醫(yī)科大學(xué)王效春團(tuán)隊仔細(xì)研究[1]了這些人的大腦：他們的視覺皮層功能完好，視覺本身并未受損；真正“斷線”的，其實是視覺皮層與大腦中語言相關(guān)區(qū)域之間的聯(lián)系。

可這就更讓人困惑了。語言出了問題，為何會影響對視覺的理解？

盲人也能“看”到顏色

從出生起，我們便不停地和世界打交道，用眼睛看，用耳朵聽，用鼻子聞，用嘴巴嘗，用皮膚觸摸。正是通過這樣的方式，我們把無數(shù)的經(jīng)驗和知識存進(jìn)大腦，并在運用知識時重新調(diào)取，再次激活相應(yīng)的神經(jīng)通路。

不過，這些知識并不只存儲在相應(yīng)的感知覺皮質(zhì)里，大腦還會從這些具體的體驗中提取出更抽象的信息，整合后存放在一個名為前顳葉（ATL）的區(qū)域中。

可如果知識的基礎(chǔ)僅來自于感官體驗，那么無法親身感知的東西又該如何存進(jìn)大腦呢？先天失明的人從未見過任何顏色。他們對顏色的理解會與視力健全者有區(qū)別嗎？

先天失明的人對顏色的理解會與視力健全者有區(qū)別嗎？丨圖蟲創(chuàng)意

為了回答這個問題，畢彥超團(tuán)隊招募了一批先天性失明和早期失明的受試者[2]，讓他們回答了一系列問題：比如某種果蔬是什么顏色，以及不同果蔬的顏色是否相似。研究人員比較了這些受試者與視力健全者的大腦活動，結(jié)果發(fā)現(xiàn)，無論是否失明，表征顏色信息時他們前顳葉的活動都高度相似。

“盲人無法通過感官來獲得顏色知識，”畢彥超的博士研究生陳昊揚解釋道，“他們習(xí)得顏色知識的唯一途徑只能是語言。”

不過，視力健全者在表征顏色時會同時利用兩套系統(tǒng)：一套是前述的語言系統(tǒng)；另一套則是感覺系統(tǒng)，即視覺皮層直接看到的顏色。這是盲人受試者并不具備的能力。“也就是說，視力健全者既擁有來自視覺的具身經(jīng)驗，同時語言本身也可以成為學(xué)習(xí)和整合知識的重要來源，而這些知識會存儲在前顳葉中?！标愱粨P補充道。

這兩套知識系統(tǒng)并非獨立運作。前顳葉會通過白質(zhì)纖維束與視覺皮層保持溝通，二者在功能上彼此影響、相互配合。那么，當(dāng)兩套系統(tǒng)之間的交流被強行切斷，會發(fā)生什么呢？

這就要說回文章開頭的那群人——一類特殊的卒中患者。他們的視覺皮層并未受損，視覺輸入依然完好；真正受損的，是連接前顳葉與視覺皮層的那束白質(zhì)纖維。正是這樣一個看似不起眼的病灶，卻帶來了出乎意料的后果。

他們能認(rèn)出圖片中的果蔬是否是香蕉、西紅柿或土豆，也能從一堆色塊中找出紅色或黃色。但如果擺在面前的是果蔬的灰度圖片，他們便無法判斷其顏色了。而且，白質(zhì)纖維受損越嚴(yán)重的患者，就越難以判斷灰度果蔬的真實顏色，同時他們大腦活動中的顏色編碼也會更差。

他們認(rèn)識香蕉也認(rèn)識黃色，卻不知道香蕉是黃色的丨圖蟲創(chuàng)意

哪怕視覺功能完好無損，但只要語言缺位，我們可能也無法提取視覺相關(guān)的知識。

用AI來驗證，語言正在影響你“看見”的世界

語言會影響我們對視覺知識的存儲和提取，可誰又會莫名其妙開始回憶香蕉的顏色呢？這聽上去對日常生活沒什么影響。但是，在一篇近期發(fā)表于《自然·人類行為》[3]的論文中，畢彥超團(tuán)隊聯(lián)合王效春團(tuán)隊和北京大學(xué)朱毅鑫團(tuán)隊，發(fā)現(xiàn)語言可能也會影響你此時此刻所“看見”的世界。

這一次，他們借助了人工智能（AI）模型?！耙驗槿绻灰揽咳祟愂茉囌邅硌芯空Z言對視覺的影響，會遇到一個非常棘手的問題，”陳昊揚解釋道，“在真實生活中，語言輸入和視覺輸入往往是高度耦合的，很難徹底區(qū)分兩者。”

譬如，當(dāng)你學(xué)習(xí)“蘋果”這個詞時，往往是父母指著它告訴你這是“蘋果”。這種耦合讓科學(xué)家非常頭疼：我們無法確定一個概念的習(xí)得，究竟該歸功于耳朵聽到的“語言指令”，還是眼睛看到的“物理世界”。即便多項研究顯示聽到詞語會激活大腦視覺皮層，但仍舊無法斷言：這到底是語言系統(tǒng)對視覺的重塑，還是僅僅因為聽到詞匯觸發(fā)了視覺皮層對過往視覺經(jīng)驗（即“蘋果”）的簡單回放——也就是常說的心理聯(lián)想。

人類大腦非常復(fù)雜丨Pixabay

而AI模型恰恰提供了一種前所未有的分離手段。研究人員可以嚴(yán)格控制輸入模型的數(shù)據(jù)類型，繼而比較在不同訓(xùn)練條件下得到的模型如何響應(yīng)同一幅視覺圖像，從而推斷不同模態(tài)的輸入有何影響。因此，研究團(tuán)隊選取了三個架構(gòu)相同、僅訓(xùn)練時語言輸入不同的AI模型。

第一個AI模型是純視覺模型MoCo。它在訓(xùn)練過程中只接受過圖片數(shù)據(jù)輸入，“認(rèn)識世界”的方式完全依賴于視覺本身。

第二個模型是通過標(biāo)簽進(jìn)行監(jiān)督訓(xùn)練的視覺模型ResNet-50。在它的訓(xùn)練過程中，每類圖片輸入都同時伴隨相應(yīng)的語言標(biāo)簽。譬如，上千張玫瑰花的圖片可能會對應(yīng)于“玫瑰”或“rose”。畢彥超說：“可以將標(biāo)簽理解為詞匯，人類會通過詞匯來從具體的感知中抽象出概念和分類?！?/p>

而第三個模型則是通過完整文本來監(jiān)督訓(xùn)練的視覺模型——OpenAI于2021年發(fā)布的CLIP。在它的訓(xùn)練過程中，每張圖片都會對應(yīng)于一句描述，類似于“木頭桌子上放著一個純白色的馬克杯”。

接下來，研究人員將此前在人類受試者實驗中使用過的圖片拋給了這些模型，觀察它們內(nèi)部的反應(yīng)模式，并與人類受試者在觀看同樣圖片時的大腦活動進(jìn)行對比。這些圖片既包括單一物體的彩色圖像、果蔬的灰度圖像，也包括物體出現(xiàn)在不同場景中的復(fù)雜圖片。

研究結(jié)果顯示，給AI模型加入文本訓(xùn)練后，它能習(xí)得一些特征，而這些特征恰恰和人類視覺皮層中那些由語言引發(fā)的獨特活動模式相似。而前文中提到的那批特殊卒中患者，由于語言的缺位，與健康受試者相反，他們的大腦反應(yīng)更像那個只接受過視覺輸入的模型MoCo。

那批特殊卒中患者，他們的大腦反應(yīng)更像那個只接受過視覺輸入的模型MoCo丨圖蟲創(chuàng)意

畢彥超解釋道：“在完好的人類大腦中，視覺和語言之間會不斷對話。可當(dāng)這種對話被迫中斷之后，視覺系統(tǒng)就好像被解放了。而且，相比于人類的大腦，猴子的大腦活動也更接近純視覺的AI模型。”

此外，這些數(shù)據(jù)集中還包括早期失聰、但能熟練使用手語的聽障受試者的數(shù)據(jù)，他們的大腦活動同樣更接近CLIP模型。無論是通過語音、文字還是手語習(xí)得的語言，都可能會深刻地影響我們的視覺感知。

語言對認(rèn)知的影響，可能被低估了

語言能在多大程度上影響人類認(rèn)知，不同領(lǐng)域的研究者一直存在分歧。

早在20世紀(jì)，就有學(xué)者激進(jìn)地提出：語言可能決定人類認(rèn)知。隨著研究不斷深入，“現(xiàn)在已經(jīng)很少有人再支持這樣的‘決定論’論調(diào)了，不過仍有相當(dāng)一部分認(rèn)知科學(xué)家相信，語言可能會調(diào)節(jié)我們的認(rèn)知”，陳昊揚說道。

可語言究竟能“調(diào)節(jié)”哪個層級的認(rèn)知，不同認(rèn)知科學(xué)家依然看法不一。陳昊揚說：“大家普遍認(rèn)為語言能影響高層次的認(rèn)知活動，但對于視覺等最基礎(chǔ)的感知過程，許多認(rèn)知科學(xué)家都認(rèn)為語言無法真正‘穿透’?！?/p>

而在神經(jīng)科學(xué)家眼中，人類與其他非人靈長類的大腦，在結(jié)構(gòu)和功能上并沒有本質(zhì)差異。畢彥超拿起辦公室桌上的梨：“比如說這顆梨，我們看到、摸到、吃下它后，就會對它形成感知，并為它貼上相應(yīng)標(biāo)簽。在這一點上，我們和動物是非常相似的?！?/p>

因此，許多神經(jīng)科學(xué)家都認(rèn)為，語言不過是一種交流工具。它是在動物已有的感知系統(tǒng)之上額外加裝的一套接口，沒有額外的功能，更不會影響我們對世界的感知。但在畢彥超看來，正因為科學(xué)家習(xí)慣用動物模型來理解人腦，才會一直低估語言對認(rèn)知的影響。

從左到右依次為：朱毅鑫、畢彥超、王曉莎、陳昊揚｜圖片來源：畢彥超，中國神經(jīng)科學(xué)學(xué)會認(rèn)知神經(jīng)生物學(xué)分會

畢彥超打了個比方：“鳥類的祖先演化出翅膀，活動范圍發(fā)生了質(zhì)的飛躍，因此腿、肌肉乃至整個身體結(jié)構(gòu)都隨之改變。同樣，經(jīng)過漫長的演化，語言已經(jīng)成了一種人類用來抽象編碼和組織信息的符號系統(tǒng)。這套系統(tǒng)一旦出現(xiàn)，我們就不再受限于感官本身，可以借助事物間的抽象關(guān)系，去理解那些無法被直接感知的概念。而視覺系統(tǒng)，也會開始‘聽見’語言系統(tǒng)傳遞來的信息，在不知不覺中受到影響?！?/p>

或許也正因為語言的抽象編碼中蘊藏著非凡的力量，大語言模型才得以如此廣泛地應(yīng)用。在畢彥超看來，認(rèn)知科學(xué)與AI研究，如今也正在這樣的浪潮中彼此靠近：“我們像是雙向奔赴著拼一幅拼圖。雖然AI模型的內(nèi)部機制仍是黑箱，但它的輸入和輸出是清晰的；人腦中固然還有大量未解之謎，但解剖結(jié)構(gòu)和生理數(shù)據(jù)就擺在那里。兩者可以相互啟發(fā)，用對方更熟悉的部分，去檢驗自己尚未理解的那一面。”

參考文獻(xiàn)

[1]https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003161

[2]https://www.cell.com/neuron/fulltext/S0896-6273(20)30279-8

[3]https://www.nature.com/articles/s41562-025-02357-5