Relative representations for cognitive graphs

認知圖的相對表示

https://arxiv.org/pdf/2309.04653

摘要

盡管不同的神經(jīng)網(wǎng)絡學習到的潛在空間通常無法直接比較，即使模型架構和訓練數(shù)據(jù)保持固定，最近的機器學習研究 [13] 表明，利用潛在空間向量之間的相似性和差異來推導“相對表示”是可行的。這種表示具有與其“絕對”對應物相當?shù)谋硎灸芰?，并且在訓練于相似?shù)據(jù)分布的模型之間幾乎一致。除了它們在揭示學習到的潛在空間底層結構方面的內(nèi)在意義外，相對表示還有助于跨網(wǎng)絡比較表示，作為收斂的通用代理，并用于零樣本模型縫合 [13]。

在本工作中，我們研究了相對表示向離散狀態(tài)空間模型的擴展，使用克隆結構認知圖（CSCGs）[16] 進行 2D 空間定位和導航作為測試案例，此類表示在其中可能具有某種實際用途。我們的工作表明，消息傳遞過程中計算的概率向量可用于定義 CSCGs 上的相對表示，從而在使用不同隨機初始化和訓練序列訓練的代理之間，以及在僅部分相似的空間上，實現(xiàn)有效通信。在此過程中，我們引入了一種零樣本模型縫合技術，該技術可事后應用，無需在訓練期間使用相對表示。這項探索性工作旨在作為相對表示應用于神經(jīng)科學和人工智能中認知地圖研究的概念驗證。

關鍵詞： 克隆結構認知圖 · 相對表示 · 表示相似性

1 引言

在這篇短文中，我們探索了相對表示 [13] 在海馬 - 內(nèi)嗅皮層系統(tǒng)離散（圖結構）認知模型中的應用——具體而言，是克隆結構認知圖（CSCGs）[16]。在前兩節(jié)中，我們介紹了相對表示及其通過圖上傳遞的連續(xù)消息向離散潛在狀態(tài)空間的擴展。隨后我們介紹 CSCGs 及其在 SLAM（同步定位與建圖）中的應用。最后，我們報告了在 CSCGs 上使用相對表示的初步實驗結果，表明：(a) 相對表示確實可以成功應用于建模離散、圖狀表示（如 CSCGs）的潛在空間結構，更廣泛地說，還包括離散主動推理建模中使用的那些部分可觀測馬爾可夫決策過程（POMDPs）[1, 8, 19]；(b) 跨部分不同環(huán)境的代理比較揭示了重要的共享潛在空間結構；(c) 可以利用一個代理的消息或信念（狀態(tài)概率），通過相對表示重建另一個代理的相應信念分布，而無需在訓練期間使用相對表示。這些例子說明了神經(jīng)科學中開發(fā)的現(xiàn)有表示分析技術 [10] 的擴展，我們希望這將證明適用于生物體中認知地圖的研究。

2 相對表示

雖然相對表示是最近在機器學習中引入的，但它們的靈感部分來自于神經(jīng)科學中關于表征相似性分析（RSA）的早期工作 [10, 4]。事實上，相對表示與表征相異矩陣（RDMs）之間存在形式上的等價性，RDMs 被提議作為一種表示不同類型神經(jīng)科學數(shù)據(jù)（包括腦成像模態(tài)以及計算模型中的模擬神經(jīng)元活動）的通用格式 [10]。具體而言，如果采用的是相似度度量而非相異度度量 5
，那么用于表征表征空間的 RDM 的每一行（或等價地，每一列） simply 就是對應數(shù)據(jù)點的相對表示。

可以說，文獻 [13] 的主要貢獻在于展示了該技術在機器學習中的實用性，即相對表示可作為一種新型潛在空間應用于模型架構中。給定足夠大的錨點樣本，相對表示包含足夠的信息來發(fā)揮與其所建模的“絕對”表示相似的功能作用，而不僅僅是作為一種分析工具（例如，用于表征潛在空間的結構并促進系統(tǒng)間的抽象比較）。

相對表示最明顯的實際用途在于實現(xiàn)“潛在空間通信”：Moschella 等人 [13] 表明，將不同模型的嵌入投影到同一個相對表示上，可以實現(xiàn)“零樣本模型縫合”，例如，可以將一個訓練模型的編碼器拼接到另一個模型的解碼器上（其中相對表示作為輸入提供給解碼器的初始層）。該過程的一個局限性在于，它依賴于在訓練期間使用相對表示層，從而排除了其在建立“凍結”預訓練模型之間通信的應用。在下文中，我們將利用一種無參數(shù)技術，該技術允許人們在一定程度上成功地將相對表示空間映射回輸入模型的“絕對”表示。

3 將相對表示擴展至離散狀態(tài)空間模型

盡管連續(xù)狀態(tài)空間模型在深度學習系統(tǒng)中取得了顯著成就，離散狀態(tài)空間仍然具有相關性，無論是在機器學習應用中（其中離散“世界模型”在基于模型的強化學習中負責最先進結果 [6]），還是在神經(jīng)科學中（其中有充分證據(jù)表明存在離散化、圖狀的表示，例如在海馬 - 內(nèi)嗅皮層系統(tǒng) [25, 18, 16] 中，以及在利用 POMDPs（部分可觀測馬爾可夫決策過程）[19] 的決策過程模型中）。

雖然典型的向量相似度度量（如余弦距離）在應用于許多類型的離散表示時表現(xiàn)某種程度的退化（例如，同一空間中兩個獨熱（one-hot）向量之間的余弦相似度如果向量相同則為 1，否則為 0），但它們在這種情況下仍然可以被有益地應用（見下文第 5 節(jié)）。更一般地說，在基于代理的模型仿真過程中，在離散狀態(tài)空間上推斷出的后驗信念分布可能為構建相對表示提供合適的錨點。

具體而言，此類后驗分布通常是使用消息傳遞算法推導出來的，例如信念傳播 [14] 或變分消息傳遞 [27]。我們采用這種策略來推導一種特殊類型的隱馬爾可夫模型（克隆結構隱馬爾可夫模型，或者（如果補充動作）認知圖 [16]）的相對表示，在其中計算前向消息很簡單，這些消息在每個離散時間步給出隱藏狀態(tài) z 以觀測序列 o 為條件的概率（即 P ( z t ∣ o 1 : t )
）。CSCG/CHMM 特別有趣，既因為其作為大腦中海馬 - 內(nèi)嗅皮層表示模型的保真度，也因為，如同神經(jīng)網(wǎng)絡的情況一樣，不同的代理可能學習表面上不同的 CSCG，盡管如此卻形成幾乎同構的認知地圖，如下所示。

4 使用克隆結構認知圖進行 SLAM

當代機器學習和計算神經(jīng)科學的一個重要研究方向?qū)Ｗ⒂诶斫夂ｑR體和內(nèi)嗅皮層在空間導航中的作用 [20, 23, 25, 16]，這一視角可能也適用于更抽象空間的導航 [18, 21]。這一研究領域催生了諸如 Tolman-Eichenbaum 機器 [25] 和克隆結構認知圖（Clone-Structured Cognitive Graph）[5, 16] 等模型。在本研究中，我們聚焦于后一種模型，因為它易于在簡易測試問題上實現(xiàn)，并能為我們的目的提供合適的表示（即一個可以通過其傳播消息的顯式離散潛在空間）。

CSCG 模型最明顯的用途（反映了海馬 - 內(nèi)嗅系統(tǒng)的功能）是允許能夠在空間中移動的代理在沒有任何關于空間拓撲的先驗知識的情況下執(zhí)行 SLAM（同步定位與建圖）。從隨機轉(zhuǎn)移矩陣開始，在 2D“房間”的隨機游走上訓練的 CSCG（其中每個單元格對應一個觀測），在 [16] 中顯示能夠?qū)W習隱藏狀態(tài)之間的動作條件轉(zhuǎn)移動態(tài)，這些動態(tài)表現(xiàn)出一種稀疏結構，精確地重現(xiàn)了房間的空間布局（見圖 1）。

給定一個觀測序列，智能體隨后可以推斷出對應于其在房間內(nèi)位置的狀態(tài)，并且隨著序列長度的增加，其確定性和準確性也會提高。關鍵在于，位置并非該模型的輸入，智能體對位置的表征完全是從對高階觀測序列的無監(jiān)督學習中“涌現(xiàn)”出來的。

基于 [16] 中提供的代碼庫，我們檢查了智能體在隨機游走過程中對空間位置推斷出的信念的確定性（見圖 2）。盡管并非完全確信，但這類智能體僅憑觀測序列，在幾步之后就能可靠地推斷出房間位置。若將推理同時也基于等效的“本體感覺”信息（即關于哪些動作導致了相關的觀測序列）進行條件化，則會顯著提高智能體信念的確定性。我們在實驗中探索了這兩種（不）確定性狀態(tài)。

5 實驗：認知地圖之間的通信

我們研究了不同 CSCG 智能體學習到的“認知地圖”背后的共同結構在多大程度上可以被利用，以實現(xiàn)它們之間的通信。與在相似數(shù)據(jù)上訓練的神經(jīng)網(wǎng)絡情況類似，在相同房間訓練但具有不同隨機初始化和觀測序列的 CSCG 智能體學習到了不同的表示，盡管如此，它們在某個抽象層次上是同構的（即當比較它們元素之間的結構關系時，相對表示使這些關系顯式化——參見附錄 B，圖 5）。

我們還探索了是否能在訓練于略有不同房間的智能體之間獲得部分映射。我們使用了兩個指標來評估跨智能體信念映射的質(zhì)量：(1) 給定另一個遵循類似軌跡的智能體的信念，在給定時間步恢復一個智能體的最大后驗信念的能力；(2) 給定消息與其通過此類映射“重建”的消息之間的余弦相似度。這些初步實驗的主要結果報告于表 1 中。

5.1 通過排列進行映射

由于自注意力（self-attention）可以通過其與聯(lián)想記憶模型（associative memory models）的聯(lián)系來理解 [15, 12]，這種對應關系在一定程度上從理論上證明了我們要選擇這種重建方法的合理性。特別是，遵循 [12]，通過相對表示進行重建可以被理解為實施一種異聯(lián)想記憶（heteroassociative memory）的形式，其中模型 A 和模型 B 的錨點嵌入分別是記憶矩陣和投影矩陣。

毫不奇怪，隨著所用錨點數(shù)量的增加，我們程序的結果也會提高（見附錄 A，圖 4）。在我們的實驗中，我們使用了 N = 5000 個錨點。當錨點是從正在重建的軌跡中采樣時，我們使用該技術獲得了更準確的映射，這提高了錨點集中出現(xiàn)精確匹配的概率；為了通用性起見，所有報告的結果改為從不同的隨機游走中（均勻地、無放回地）采樣錨點。雖然在當前設定下，可以使用專為概率分布定制的相似度度量來創(chuàng)建相對表示，但我們根據(jù)經(jīng)驗發(fā)現(xiàn)，用負 Jensen-Shannon 距離（negative Jensen-Shannon distance）替換余弦相似度會對性能產(chǎn)生輕微的不利影響。

5.3跨不同模型的映射

如 [13] 所示，相對表示可以通過使用“平行”錨點來揭示表面上截然不同的模型之間的共同結構——例如那些用不同自然語言的句子訓練的模型——其中為每個模型選擇的錨點通過某種映射相關聯(lián)（例如是同一文本的翻譯）。在 CSCG 的語境中，錨點（前向消息）是相對于觀測序列定義的。因此，為了在不同智能體之間采樣平行錨點，我們需要部分不同的房間，在其中可以生成相似但不同的觀測序列。

我們使用了四種實驗操作來生成部分不同房間的對（見圖 3），我們現(xiàn)在概述這些操作，并簡要討論我們在每種情況下的結果。

同構性（Isomorphism） 任何給定固定大小的隨機生成網(wǎng)格或“房間”（如果 CSCG 訓練收斂）都將產(chǎn)生具有相同拓撲結構的認知地圖。因此，應該可以在此類兩個隨機房間之間生成平行的（動作，觀測）對序列——從而生成用于定義相對表示的平行錨點——即使每個房間包含一組不同的可能觀測或不同數(shù)量的克隆體，其中任何一種情況都會排除使用簡單的基于排列的映射。

然而，觀測之間的關系在此類房間之間會有所不同，這在不確定性條件下很重要，因為當接收到給定觀測時，該觀測的每個克隆體都會被部分激活，從而導致不同的條件信念分布。當信念或多或少確定時，這種效應應該得到緩解或完全消除，在這種情況下，“橫向”連接（轉(zhuǎn)移動態(tài)）會在對應于每個觀測的可能克隆體中僅選擇一個。事實上，我們發(fā)現(xiàn)，只要消息以動作和觀測為條件，就可以在不同觀測集的隨機房間上訓練的模型之間獲得近乎完美的重建精度；而當僅以觀測為條件時，我們在這種場景下的成功率僅為 < 50%。

擴展（Expansion） 在這組實驗中，我們使用克羅內(nèi)克積（Kronecker products）生成了較小房間的“擴展”版本以及相應的“拉伸”軌跡（配對的觀測和動作序列），使得較小房間中的每個位置在較大房間中擴展為 2×2 的塊，并且較小房間中的每一步對應于較大房間中的兩步。然后，我們可以通過取 (a) 較小房間中的所有消息，以及 (b) 較大房間中每隔一條消息，來定義在此類一對房間上訓練的智能體之間的平行錨點。在這種條件下，大房間 → 小房間的映射可以比相反方向執(zhí)行得準確得多，因為較?。ā跋虏蓸印保┓块g中的每個錨點對應于較大房間中的四個潛在位置。與我們在相同房間上的實驗相比，（大房間 → 小房間）條件的優(yōu)越結果可以用以下事實來解釋：即“小”房間包含的候選位置比“相同”條件中使用的房間更少。

平移（Shifting） 在第三組實驗中，我們通過取較寬房間的重疊垂直切片來生成房間，使得在穿越房間時觀測到相同的序列，但在不同的更寬上下文中。在這種情況下，僅將對應于重疊位置的消息用作錨點，但在整個房間的隨機游走上進行測試。在確定性條件下，通過使用所有消息作為候選錨點，可以近乎完美地解決這兩個房間之間的映射問題，因為這些房間是同構的。在無法訪問真實動作（ground-truth actions）的情況下，即使錨點是從所有位置采樣的，也只能在約 35% 的時間內(nèi)根據(jù)一個智能體的信念恢復另一個智能體的信念。我們假設這個問題比“同構”條件更具挑戰(zhàn)性，因為相似的觀測模式（因此相似的消息）對應于兩個房間中的不同位置，這應該會使重建偏向錯誤的位置。

地標（Landmarks） 最后，部分遵循 [16] 中針對大致無特征房間（其中獨特觀測對應獨特位置（例如角落和墻壁））的實驗，我們定義了成對的房間，其中相同的（獨特的）觀測被分配給周邊元素，其余部分則由在不同房間之間不同的隨機生成觀測填充。僅使用共同的“地標”位置作為錨點，仍然可以使用相對表示，從另一個房間中平行軌跡的消息中恢復智能體的位置，并取得了一定的成功。

總結 表 1 中報告的結果是在顯著不確定性的條件下獲得的，其中消息僅以觀測為條件，而不了解產(chǎn)生這些觀測的動作。在這個具有挑戰(zhàn)性的設定中，相對表示仍然使得能夠從另一個智能體的信念中恢復（在所有實驗條件下均遠高于隨機水平，在某些情況下相當準確）一個智能體關于其位置的最大后驗信念，這是在測試序列的消息上平均的結果。 11 11

6 討論

本工作中用于定義相對表示的“消息”既可以被解釋為概率分布，也可以被更中立地解釋為單純的神經(jīng)元活動向量。系統(tǒng)神經(jīng)科學的近期工作 [2] 表明，從真實的神經(jīng)元活動譜中恢復共同的抽象潛在空間是可能的。如上所述，相對表示在神經(jīng)科學中由表征相似性分析（RSA）所預見，RSA 實際上將與某些固定刺激相關的神經(jīng)元反應或計算模型狀態(tài)視為錨點。該技術補充了其他技術，如吸引子動態(tài)分析 [26]，作為研究大腦中潛在空間屬性的工具，并且已被顯示能夠揭示不僅跨個體，而且跨語言社區(qū) [28] 甚至跨物種 [11, 7] 的共同潛在表示結構。與 [13] 和 [10] 的目標一致，這一范式最終可能為海馬 - 內(nèi)嗅系統(tǒng)及其他地方導航系統(tǒng)的腦成像研究提供迷人的未來方向。

相對表示將這一范式推廣到“平行錨點”，并且也展示了高維表示相似性向量作為其自身的潛在表示的效用，如上所示，它們可用于在不同模型之間建立零樣本通信。雖然我們在簡易實驗中構建的條件是人為的，但它們在更現(xiàn)實的場景中有類似物。例如，動物在結構同構但表面不同的環(huán)境中導航時，理應在某種抽象層次上學習到相似的認知地圖，這是合理的。類似于“擴展”設置的情況可能發(fā)生在兩個探索同一空間但（例如由于不同的大小或穿越速度，因此采樣率不同）以不同方式對其進行粗粒化的生物體之間?；诘貥说膶Ш剿枷胪ǔＪ?SLAM 范式的核心，而在其他方面不同的空間中地標的穩(wěn)定性可能為盡管同一環(huán)境隨時間變化仍能導航的能力提供一個模型。最后，雖然關于部分重疊房間的實驗如果天真地應用于空間導航場景似乎有些牽強，但它們可能與抽象空間中的 SLAM 模型 [18] 相當相關，例如在語言習得期間，同一語言的不同說話者可能暴露于部分不相交的刺激集合，對應于不同的方言（或在極限情況下，個人方言）。

關鍵在于，這些技術提供的共同參考框架可能允許對共享表示進行分析，這些表示（當源自功能良好的系統(tǒng)時）應體現(xiàn)一種理想結構，個體認知系統(tǒng)在某種意義上旨在逼近該結構，從而允許將個體受限于大腦的模型與共享的、抽象的真實基準進行比較。這種抽象的“理想”潛在空間可用于測量誤差或錯誤表示 [9]，或用于評估發(fā)展背景下的進展。

7 結論

在本工作中，我們考慮了一個將相對表示應用于圖結構認知地圖的簡易示例。此處報告的結果主要旨在說明使用相對表示探索認知地圖潛在結構的具體方向，并作為原理驗證，表明該技術可應用于離散潛在空間上的推斷后驗分布情況。我們還引入了一種技術，無需學習即可從其相對表示重建“絕對”表示。

除了進一步研究超參數(shù)設置（例如相似度函數(shù)的選擇）以優(yōu)化實際應用中的性能外，未來的工作可能會探索將相對表示應用于具有離散潛在狀態(tài)的更復雜模型，例如在最前沿的基于模型的強化學習中使用的離散“世界模型”[6]，或者在多智能體主動推理場景中實現(xiàn)信念共享與合作。鑒于上述與神經(jīng)自注意力的聯(lián)系（這種聯(lián)系在 Tolman-Eichenbaum 機器的背景下也已被注意到 [24]），探索這種轉(zhuǎn)換過程發(fā)生在智能體內(nèi)部的模型也將很有趣，以此作為跨局部認知結構轉(zhuǎn)移知識的一種手段。

原文鏈接：https://arxiv.org/pdf/2309.04653