Grounding Agent Reasoning in Image Schemas: A NeurosymbolicApproach to Embodied Cognition

意象圖式驅(qū)動的智能體推理：具身認知的神經(jīng)符號方法

https://arxiv.org/pdf/2503.24110

摘要
盡管具身人工智能取得了進展，但智能體推理系統(tǒng)仍然難以捕捉人類自然用于理解和與環(huán)境互動的基本概念結(jié)構(gòu)。為了解決這一問題，我們提出了一種新的框架，通過利用圖像模式的形式化描述，將具身認知理論與智能體系統(tǒng)相結(jié)合。圖像模式被定義為結(jié)構(gòu)化人類認知的感知運動體驗的重復(fù)模式。通過定制大型語言模型（LLM），將自然語言描述轉(zhuǎn)換為基于這些感知運動模式的形式化表示，我們可以創(chuàng)建一個將智能體的理解建立在基本概念結(jié)構(gòu)上的神經(jīng)符號系統(tǒng)。我們認為，這種方法不僅提高了效率和可解釋性，還通過共享的具身體驗，使人類與智能體之間的互動更加直觀。

關(guān)鍵詞： 具身人工智能；具身認知；神經(jīng)符號人工智能；圖像模式；自然語言理解；智能體推理；心理模擬。

1 引言
到20世紀末，認知科學(xué)的經(jīng)典范式受到了根本性的挑戰(zhàn)，因為越來越多的證據(jù)表明，我們的大腦并不是像孤立的符號處理計算機那樣運行，而是與我們在世界中的身體體驗密不可分。這一點在我們理解和使用語言時表現(xiàn)得尤為明顯。正如萊考夫（Lakoff）和約翰遜（Johnson）在《我們賴以生存的隱喻》[19]中開創(chuàng)性地指出，我們通過依賴身體體驗作為源域來理解抽象概念（目標域）——我們通過位置來理解時間（“未來在我們前面”），通過大小來理解重要性（“這是一件大事”），以及通過空間方向來理解情緒狀態(tài)（“我感到低落”）。
為了彌合身體體驗與思維之間的差距，約翰遜[16]引入了圖像模式——從我們的感知運動互動中抽象出來的重復(fù)模式，并展示了它們在結(jié)構(gòu)化人類思維（無論是具體領(lǐng)域還是抽象領(lǐng)域）中的普遍作用。多年來，這一理論在多項研究中得到了有力的實驗證實[24, 31]，甚至在非語言領(lǐng)域（如數(shù)學(xué)）中也取得了成果[20]。一個常見的圖像模式例子是“物體放入容器”（OBJECT_INTO_CONTAINER），它源自我們早期將物體放入容器（例如杯子和桶）的身體體驗，后來成為理解字面句子（如“比爾在房子里”）、更抽象的句子（如“柏林在德國”或“陷入愛河”）以及數(shù)學(xué)表達式（如“2∈N”）的源域。最近的研究還探討了這些圖像模式如何被分解為更基本的組成部分，稱為概念原語[24]。例如，要理解“支撐”這一概念，需要具備“上下”（UP/DOWN）和“接觸”（CONTACT）的概念原語。
正如認知科學(xué)不得不超越純粹的計算模型來解釋人類的認知和語言能力一樣，目前關(guān)于人工智能系統(tǒng)是否需要類似的基底來實現(xiàn)真正的語言理解和常識推理也存在爭議[4, 36]。盡管一些最近的研究表明，大型語言模型（LLMs）可以通過文本本身掌握物理概念[28]，但仍有理由對這種基于統(tǒng)計的學(xué)習(xí)是否能夠捕捉人類概念理解的全部深度持懷疑態(tài)度[23, 25]。例如，[29]指出，采用上下文學(xué)習(xí)的大型語言模型在需要廣泛說明的任務(wù)中面臨重大挑戰(zhàn)，尤其是在即使是人類標注者也必須仔細審查一套復(fù)雜的標注指南才能正確執(zhí)行任務(wù)的情況下。通過模擬任務(wù)，[38]也展示了統(tǒng)計方法的基本概念局限性——這些局限性無論數(shù)據(jù)規(guī)模如何都依然存在。因此，為人工智能體配備這些概念化的具身體驗結(jié)構(gòu)成為一個關(guān)鍵目標，因為這不僅能夠通過共享的具身體驗實現(xiàn)更直觀、更可解釋的人機互動，而且正如[7]所建議的那樣，這可能是將人工智能推向當前多模態(tài)系統(tǒng)之外的下一個主要范式所必需的一步。
然而，實現(xiàn)這種智能體的主要挑戰(zhàn)在于形式化這些心理學(xué)理論和深度具身結(jié)構(gòu)，并以一種有希望的方式將由此產(chǎn)生的符號語言與神經(jīng)識別和隱喻映射技術(shù)相結(jié)合。在這項工作中，我們討論了這種嘗試的主要挑戰(zhàn)，并提出了一種將符號語言與神經(jīng)架構(gòu)相結(jié)合以創(chuàng)建一個集成的神經(jīng)符號框架的有前景的方法。與現(xiàn)有工作相比，我們的方法的主要優(yōu)勢在于對概念結(jié)構(gòu)的完全形式化描述、使用現(xiàn)有的符號求解器來推理這些描述，以及在神經(jīng)網(wǎng)絡(luò)中深度集成以創(chuàng)建神經(jīng)符號架構(gòu)。
本文的其余部分安排如下：第2節(jié)從符號和機器學(xué)習(xí)的角度介紹了一些相關(guān)工作；第3節(jié)討論了預(yù)期的形式化應(yīng)該滿足的主要屬性，以便如第4節(jié)所示有效地捕捉構(gòu)成圖像模式結(jié)構(gòu)的不同概念原語；第5節(jié)介紹了如何以有意義的方式將形式化與神經(jīng)網(wǎng)絡(luò)結(jié)合，以實現(xiàn)完全具身的智能體；第6節(jié)討論了這種具身智能體在推理和自然語言理解方面獲得的優(yōu)勢；第7節(jié)總結(jié)了本文。

2 相關(guān)工作
圖像模式的形式化并不是一個新嘗試——到20世紀末，弗蘭克（Frank）和勞巴爾（Raubal）[12]已經(jīng)對現(xiàn)有的形式化方法進行了綜述。在隨后的形式化方法中，值得關(guān)注的包括基于雙圖（bigraph）的表示方法[2]、利用WordNet詞匯數(shù)據(jù)庫的方法[18]，以及基于定性演算的方法[5, 13]。定性演算通常對應(yīng)于關(guān)系代數(shù)[11]，它們非常適合用于圖像模式的形式化任務(wù)，因為它們像人類的認知處理一樣，抽象掉了精確的數(shù)值測量，而專注于相對關(guān)系。
赫德布洛姆（Hedblom）的工作顯著推動了這一領(lǐng)域的發(fā)展，他通過結(jié)合區(qū)域連接演算（Region Connection Calculus）、定性軌跡演算（Qualitative Trajectory Calculus）、基本方向和線性時態(tài)邏輯，廣泛利用了定性演算的適用性，以表示圖像模式的空間和時間維度[13]。最近，赫德布洛姆等人提出了圖像模式的系統(tǒng)化圖表語言——圖像模式圖表語言（DISL）[14]，這是一種為圖像模式提供結(jié)構(gòu)化視覺框架的系統(tǒng)化圖表表示語言。
在機器學(xué)習(xí)領(lǐng)域關(guān)于圖像模式和具身方法的研究中，沃霍維亞克（Wachowiak）等人的工作探討了人工智能體如何捕捉語言背后隱含的人類直覺[41]，并引入了將自然語言表達歸類到圖像模式的系統(tǒng)化方法[39]。最近大型語言模型（LLMs）的進步也被利用來提升具身學(xué)習(xí)任務(wù)中的表現(xiàn)，尤其是在具身指令遵循方面[34]，同時標準化的基準測試正在出現(xiàn)，以系統(tǒng)地評估這些能力[21]。最后，[38]中開發(fā)的框架與我們的目標非常接近，它通過心理模擬和隱喻映射來實現(xiàn)語言理解。

3 形式化屬性

如[24]中所述，圖像模式可以分解為概念原語。例如，進入（GOING_IN）至少需要物體（OBJECT）、容器（CONTAINER）和路徑（PATH）的概念。為了介紹我們的方法，我們使用了[14]中更近期的分類，如表1所示?？梢钥闯?，一些概念原語僅是空間的或時空的，而另一些是力動態(tài)原語，這些原語對應(yīng)于無法用時空方式表示的具身感覺（例如，UMPH對應(yīng)于施加力）。

屬性1：由于圖像模式可以結(jié)構(gòu)化無限多樣的物理配置和場景，任何用于表示它們的正式化方法都必須能夠定性地編碼關(guān)系（例如，在不知道確切位置或形狀的情況下處于“內(nèi)部”）[22]。這一要求在以前的正式化嘗試中已被廣泛認可。

屬性2. 不同類型的對象可以參與一個圖像模式，例如，原子“物體”（OBJECTS）可以是點，而“路徑”（PATHS）可以是線。此外，為了定義某些實體（例如，“容器”可以是圓形、方形等），類型之間的排序可能很有用。因此，形式化方法應(yīng)該是有序分類的，并支持定義類型化的關(guān)系。

屬性3. 由于圖像模式可以被理解為小故事，形式化方法應(yīng)該支持時間的表達以及配置隨時間的演變。

屬性4. 形式化方法應(yīng)該支持量化，以表達一般規(guī)則并斷言對象的存在或不存在（例如，對于“空”（EMPTY）這一概念原語），以及支持邏輯連接詞以有效地表達邏輯約束。

屬性5. 最后，形式化方法應(yīng)該支持默認操作符的使用，以模擬默認行為，例如重力或慣性定律（即，除非有動作導(dǎo)致它們改變，否則事物保持不變）[33]。重要的是，包含默認操作符使得形式化方法具有非單調(diào)性。

4 形式化圖像模式
滿足這些要求，或者可以通過額外擴展來實現(xiàn)這些要求的一個有前景的候選方案，是在非單調(diào)的可量化平衡邏輯中實現(xiàn)聲明式空間推理框架（DSR）[6]，該邏輯帶有可評估函數(shù)[8, 9]?？闪炕胶膺壿嫳Ａ袅艘浑A邏輯的語法，同時在語義上將否定解釋為默認否定（即，失敗的否定）[10]?？稍u估函數(shù)使得DSR框架能夠嵌入其中，因為DSR框架從根本上依賴于參數(shù)化函數(shù)來表示對象（見圖1，右上角），并通過這些參數(shù)上的多項式約束定義對象之間的定性關(guān)系（右下角）[30]。與第2節(jié)中提到的代數(shù)定性演算的常見用法不同，DSR框架允許組合異構(gòu)對象，并且不對定義的關(guān)系集合施加任何條件。

關(guān)于時間建模，已經(jīng)在文獻[1]中提出了時間均衡邏輯的一階擴展。為了即將到來的例子，我們考慮以下時間運算符：

• 下一步（next）

• 總是（always）

• 最終向前（eventually forward）

• 直到（until）

• 最終（final）

• 最終之前（eventually before）

最后，已經(jīng)開發(fā)了許多與均衡邏輯密切相關(guān)的形式化方法[3]，而關(guān)于有序邏輯的正式處理可以在文獻[17]中找到。

在接下來的內(nèi)容中，我們將解釋如何在我們的形式化方法中處理概念原語，并提供一些它們的組合示例。我們的處理方法與文獻[14]有相似之處，因為我們應(yīng)用了圖1中展示的分類。

實體對應(yīng)于邏輯中的常量。實體OBJECT簡單地對應(yīng)于一個點。實體CONTAINER對應(yīng)于任何可以用于“包含”關(guān)系的幾何對象，如 inside、properPart 等。有序排序使我們能夠?qū)⒋藢嶓w定義為超類，即任何圓、矩形等都可以是CONTAINER實體。PATH實體被建模為具有起點和終點的線。例如，SOURCE_PATH_GOAL圖像模式，它支持我們對由連續(xù)步驟組成的進程的理解（例如，學(xué)生學(xué)術(shù)旅程中學(xué)位的進展，棒球中通過各個壘的前進等），可以通過一系列位置來表示，如 ?(l? ∧ ?(l? ∧ ?(... ∧ ?ln)))，其中 l? 和 ln 分別代表 START_PATH 和 END_PATH 作為特定位置，每個 li 代表一個中間位置。通過約束實際位置與前一個位置的?運算符來獲得前進運動。實體REGION可以通過距離函數(shù)?或作為類似于上述CONTAINER實體來建模。最后，更抽象的概念DOWN可以被建模為放置在場景底部的線，或者直接編碼在位移動作中。例如，重力可以被建模為 □(?x(??y on(x, y) → moveDown(x)))，其中 x 和 y 是域中的任何實體。注意后一個公式中默認否定的使用。

關(guān)系原語主要對應(yīng)于二元（或更高元）的關(guān)系。位置（LOCATION）可以通過位置或拓撲關(guān)系（例如，on、closeTo、inside等）來表達。如上所述，起始路徑（START_PATH）和結(jié)束路徑（END_PATH）可以被定義為點或幾何區(qū)域，以限定路徑實體。接觸（CONTACT）、包含（CONTAINED）和部分（PART_OF）簡單地對應(yīng)于DSR框架中定義的拓撲邏輯關(guān)系，同樣對于較小/較大（SMALLER/LARGER）作為大小關(guān)系。鏈接（LINK）可以通過距離Δ來定義，該距離不能超過某個閾值，或者作為實際接觸相關(guān)對象的線段。最后，持久性（PERMANENCE）可以通過默認否定來表達，編碼了如果我們不能證明某個實體的參數(shù)函數(shù)已更改，我們保留其實際狀態(tài)的值。

盡管屬性概念原語最初似乎對應(yīng)于應(yīng)用于實體的一元謂詞，但它們通常需要復(fù)雜的公式。例如，空（EMPTY）對應(yīng)于一個公式，其中我們聲明對于一個容器（CONTAINER），沒有實體在其內(nèi)部。力動態(tài)概念原語主動-UMPH和被動-UMPH通過默認否定來建模?；旧希菍σ粋€對象施加了相反的力，否則后者在每個狀態(tài)下都受到一個動作的約束（可能直到實現(xiàn)某個目標），使用U運算符。這種力的概念如上所述，出現(xiàn)在重力的表述中。最后，運動（MOTION）、靜止（AT_REST）和（無）生命原語對應(yīng)于修改/應(yīng)用于實體位置的動作謂詞沿著狀態(tài)。

當這些概念原語結(jié)合時，它們形成了圖像模式，每個圖像模式在形式上對應(yīng)于一個小理論T，封裝了其基本結(jié)構(gòu)并支持推理。這種完全形式化的特征可能還有助于澄清和標準化圖像模式在該領(lǐng)域內(nèi)的定義。從模型理論的角度來看，每個理論T的模型代表了結(jié)構(gòu)的可能實例化，這與將模式用作模板以生成無限多具體圖像和場景的想法相一致。

5 通過神經(jīng)圖像模式識別進行自然語言解析

在前幾節(jié)中建立了表示圖像模式的形式化基礎(chǔ)之后，我們現(xiàn)在轉(zhuǎn)向從自然語言中自動提取這些表示的挑戰(zhàn)。我們的目標是開發(fā)一個系統(tǒng)，該系統(tǒng)可以將普通句子解析為上述非單調(diào)量化形式化表示。

與傳統(tǒng)的語義解析相比，這項任務(wù)提出了獨特的挑戰(zhàn)。雖然傳統(tǒng)的語義解析器通常將語言映射到經(jīng)典邏輯系統(tǒng)[27, 42]，但我們的系統(tǒng)必須捕捉語言中固有的具身、時空意義。例如，在處理[14]中提出的謎題中的句子“僧侶爬上山”時，系統(tǒng)不僅要識別涉及的實體，還要識別諸如SOURCE_PATH_GOAL和CONTACT等圖像模式的復(fù)雜相互作用及其隨時間的演變。

為了應(yīng)對這一挑戰(zhàn)，我們提議利用最近在大型語言模型（LLMs）和神經(jīng)架構(gòu)方面的進展。基于現(xiàn)代變壓器的模型在理解語言結(jié)構(gòu)和生成復(fù)雜輸出方面表現(xiàn)出了顯著的能力。我們可以利用它們強大的語言理解和生成能力，將自然語言描述轉(zhuǎn)換為我們的圖像模式形式化表示。開發(fā)這樣一個系統(tǒng)的一個關(guān)鍵挑戰(zhàn)是收集足夠高質(zhì)量的自然語言句子及其圖像模式表示之間的映射數(shù)據(jù)。幸運的是，可以利用一些現(xiàn)有資源：

• [39, 41]中的結(jié)構(gòu)化數(shù)據(jù)庫提供了用于訓(xùn)練、驗證和測試的現(xiàn)成示例。

• 文獻中的心理實驗，例如[31]，提供了關(guān)于人類參與者中圖像模式誘發(fā)的經(jīng)驗數(shù)據(jù)。

• 可以通過策略性提示LLMs來生成自然語言句子的候選圖像模式注釋。

• 專家語言學(xué)家和認知科學(xué)家可以提供將語言成分映射到模式角色并識別活躍圖像模式的金標準注釋。

關(guān)于圖像模式表示的形式化，我們提議采用兩階段方法。首先，我們可以利用LLMs強大的推理能力來生成已識別模式的初始形式化描述。我們的形式化遵循帶有時間運算符的一階邏輯，使其特別適合自動化生成，因為這些邏輯結(jié)構(gòu)在LLMs的訓(xùn)練數(shù)據(jù)中得到了很好的表示。其次，我們可以在我們的收集的數(shù)據(jù)集上微調(diào)一個專門的翻譯模型，該數(shù)據(jù)集將自然語言句子與其形式表示配對。該模型將學(xué)習(xí)直接將輸入文本映射到我們形式化表示中的規(guī)范表達式。為了確保質(zhì)量和一致性，我們提議采用迭代開發(fā)過程，其中模型輸出與專家注釋進行驗證，并根據(jù)錯誤分析進行細化。

最后，評估這樣一個系統(tǒng)需要超越簡單的準確性指標。雖然與金標準注釋的完全匹配提供了一種成功的衡量標準，我們還必須考慮部分匹配指標，以評估系統(tǒng)識別正確圖像模式、分配適當角色和保持適當時間結(jié)構(gòu)的能力。此外，還應(yīng)評估系統(tǒng)在需要真正理解空間關(guān)系、運動事件和力成分的下游任務(wù)中的性能。

6 自然語言理解、推理和類比

所提出的模型可以作為具身人工智能系統(tǒng)中的一個關(guān)鍵組成部分，幫助彌合語言理解和與物理世界的互動之間的差距。圖像模式，由于其基于身體經(jīng)驗和空間理解，提供了語言輸入和物理行動之間的自然中間表示。通過在我們的正式符號中捕捉這些具身認知模式，我們使人工智能系統(tǒng)能夠以直接連接到空間推理和運動規(guī)劃的方式處理語言。這在自然語言理解和現(xiàn)實世界互動之間創(chuàng)造了更緊密的聯(lián)系——系統(tǒng)不再將語言視為純粹的符號操作，而是可以將語言意義建立在人類使用的空間和運動原語之上。

通過與人類認知過程更緊密的對齊，推理也將得到增強。通過在人類使用的相同圖像模式表示上操作，人工智能系統(tǒng)可以更好地模擬和預(yù)測人類的理解與誤解。例如，通過分析涉及哪些圖像模式以及它們是否自然地映射到熟悉的具身經(jīng)驗，代理可以識別出人類可能難以理解某個概念的情況。此外，這些代理可以以類似于人類推理模式的方式進行推理。正如Shimojima在他對圖表推理的分析[35]中所展示的，某些結(jié)論可以從視覺表示中自然地（或“免費”地）得出，而無需明確的邏輯規(guī)則。圖像模式利用了相同的原理，因為實體之間的空間約束捕捉了目標領(lǐng)域中的邏輯約束[26]。為了在計算框架中實現(xiàn)這些推理，我們可以利用Clingo的答題集編程，如在相關(guān)工作領(lǐng)域[32, 37, 40]中部分探索的那樣。Clingo處理非單調(diào)推理和納入自定義理論（如描述圖像模式的那些）的能力使其特別適合實現(xiàn)我們的形式化。

最后，我們的形式化可能在捕捉類比關(guān)系方面特別有用，其中概念結(jié)構(gòu)可以映射到多個目標領(lǐng)域。考慮太陽系和（盧瑟福-玻爾）原子系統(tǒng)之間的經(jīng)典類比，如句子“電子圍繞原子核旋轉(zhuǎn)”和“行星圍繞太陽旋轉(zhuǎn)”[15]所示。兩者都可以使用相同的圖像模式結(jié)構(gòu)進行形式化，其中電子/行星與原子核/太陽之間的距離Δ(x, y)被限制在一定范圍內(nèi)，并且θ(x, y) < ?θ(x, y)確保x相對于y的角度位置不斷增加，捕捉了圓形軌道運動。這些形式化揭示的結(jié)構(gòu)相似性解釋了類比的認知力量——兩種情況共享相同的基礎(chǔ)圖像模式結(jié)構(gòu)。

7 結(jié)論和挑戰(zhàn)

本文提出了一種全面的方法來彌合自然語言理解和具身認知之間的差距?；趫D像模式的認知理論和大型語言模型的最新進展，我們已經(jīng)概述了一種形式化方法，它捕捉了人類概念理解背后的基本空間、時間和力動態(tài)原語。雖然完整的形式化仍有待完全開發(fā)，但我們已經(jīng)展示了如何系統(tǒng)地組合關(guān)鍵組件來表示復(fù)雜的概念結(jié)構(gòu)。將這種形式化與現(xiàn)代變壓器架構(gòu)集成為將語言理解建立在具身經(jīng)驗中開辟了新的可能性。通過以計算上可行的形式捕捉圖像模式，我們使系統(tǒng)能夠以鏡像人類認知模式的方式處理語言。所得到的表示支持自然形式的推理和類比映射，如從基本的包含關(guān)系到復(fù)雜類比的例子所展示的那樣。我們的工作為開發(fā)能夠以更類似人類的方式理解和推理語言的人工智能系統(tǒng)提供了基礎(chǔ)。

原文鏈接：https://arxiv.org/pdf/2503.24110