圖式學習和重組作為情境學習和涌現(xiàn)的機制

Schema-learning and rebinding as mechanisms of in-context learning and emergence

https://proceedings.neurips.cc/paper_files/paper/2023/file/5bc3356e0fa1753fff7e8d6628e71b22-Paper-Conference.pdf

摘要

上下文學習（In-context learning, ICL）是基于Transformer的大語言模型（LLMs）中最強大、最出乎意料的能力之一。然而，其背后的機制尚不明確。在本文中，我們展示了類似的ICL能力可以通過另一種序列預測學習方法獲得，即克隆結(jié)構(gòu)因果圖（clone-structured causal graphs, CSCGs）。CSCG的一個關鍵特性是，與基于Transformer的LLMs不同，它們是可解釋的，這大大簡化了解釋ICL工作原理的任務。我們證明，CSCG中的ICL結(jié)合運用了以下幾種機制：(a) 學習用于模式補全的模板（模式）電路，(b) 以上下文敏感的方式檢索相關模板，以及(c) 將新出現(xiàn)的標記（token）重新綁定到模板中的適當槽位。我們進一步匯集證據(jù)，支持LLMs中的ICL也依賴于類似機制的假設。例如，我們發(fā)現(xiàn)，與LLMs一樣，在CSCGs中，不同的能力會在不同程度的過參數(shù)化（overparameterization）水平上涌現(xiàn)，這表明過參數(shù)化有助于學習更復雜的模板（模式）電路。通過展示如何能用小型模型和數(shù)據(jù)集實現(xiàn)ICL，我們?yōu)樵O計新型架構(gòu)開辟了道路，并向更普遍地理解這一重要能力背后的機制邁出了關鍵一步。

1 引言

在預訓練的序列模型中，上下文學習（ICL），或稱少樣本提示（few-shot prompting），是指在推理時從上下文（提示）中呈現(xiàn)的一小組示例中學習新任務的能力。令人驚訝的是，在足夠數(shù)據(jù)上訓練的大語言模型（LLMs）展現(xiàn)出了ICL能力，盡管它們僅以預測下一個標記（next token prediction）為訓練目標 [1, 2]。當前圍繞LLMs的許多興奮情緒正是源于這種意想不到的能力，因為它極大地擴展了其潛在的應用范圍。目前理解這種能力的嘗試有多種形式，包括使用貝葉斯推理 [3] 的高級規(guī)范性解釋，以及涉及隱式梯度下降 [4] 或歸納頭（induction heads）[5] 的機制性解釋。盡管如此，LLMs中ICL背后的機制仍然有些神秘。

我們采用一種替代方法，研究一種稱為克隆結(jié)構(gòu)因果圖（CSCG）[6, 7] 的序列學習模型，以揭示驅(qū)動ICL的條件。我們證明，ICL可以被解釋為以下機制的結(jié)合：(a) 學習用于模式補全的模板電路，(b) 以上下文敏感的方式檢索相關模板，以及(c) 將新出現(xiàn)的標記重新綁定到模板中的適當槽位 [8]。與n-gram模型不同，CSCGs允許在潛在空間中進行傳遞性泛化：它們?yōu)橛柧毱陂g從未見過的序列賦予語義上合理的非零概率，從而確保用于檢索的上下文（提示）并非純粹的機械記憶。此外，將新標記綁定到已學習模板的槽位中，允許將相同的結(jié)構(gòu)知識應用于全新的輸入。我們假設類似的機制可能存在于基于Transformer的LLMs中。通過闡明支撐ICL機制的原理，我們希望為設計用于抽象和泛化的新型架構(gòu)鋪平道路，同時我們識別出的這些構(gòu)建模塊將引導在Transformer中尋找機制上可解釋 [9] 和可編輯 [10] 的電路 [11]。

2 克隆結(jié)構(gòu)因果圖的再綁定算法

2.1 克隆結(jié)構(gòu)因果圖（CSCGs）背景

2.2 CSCG中的再綁定

2.2.1 通過關注驚異實現(xiàn)快速再綁定

通常，環(huán)境變化是局部的，這意味著大部分潛在結(jié)構(gòu)和觀測映射得以保留，僅少數(shù)觀測需要被再綁定：例如，僅更換房間內(nèi)的地毯而墻面顏色保持不變，或者在熟悉的語境中接觸到一個新詞。這一洞見可被用來推導出一種算法，該算法將發(fā)射矩陣的更新僅聚焦于那些被現(xiàn)有模型發(fā)現(xiàn)為驚異（surprising）的觀測上。

再綁定完成后，我們通過在再綁定后的CSCG中，以所提供的提示為條件執(zhí)行最大后驗概率（MAP）推理來完成提示。我們運行前向的最大乘積算法 [19]（后向消息均為均勻分布），從而為提示之后的標記生成一系列MAP觀測值。一旦生成分隔符標記，我們就停止。詳見附錄B中的算法2。

3 使用CSCG的總體論證框架

3.1 上下文相關的潛在表示與傳遞性泛化

CSCG的克隆結(jié)構(gòu)允許在語言建模中基于上下文進行分離和適當?shù)幕旌?。例如，單詞"bank"在"bank robber"（銀行劫匪）中的含義與在"river bank"（河岸）中的含義不同。CSCG學習通過在潛在空間中將它們連接到不同的克隆來消除這些上下文的歧義，從而提高預測準確性。在圖2A中，句子"river bank resort"和"one bank robber"使用了"bank"的不同克隆。序列可以具有概率分支："one bank robber"可能以"\n"結(jié)束，也可能繼續(xù)到"eating at river bank resort"或"eating bread and honey"，或者"eating bread and butter at river bank resort"（圖2B）。CSCG還允許合并導致傳遞性泛化的上下文：即使訓練數(shù)據(jù)僅有序列"bread and butter"和"milk and honey"，如果它們經(jīng)過相同的克隆狀態(tài)"and"，模型將泛化到"bread and honey"和"milk and butter"，賦予這些序列非零概率。由于上下文相關的分離和傳遞性的結(jié)合，相關的主題、概念和算法被聚類成通過相同克隆的子網(wǎng)絡。一個提示的上下文將激活其子網(wǎng)絡，而傳遞性泛化允許處理并非完全機械記憶的提示。正如我們在第4節(jié)中展示的，關于ICL的貝葉斯推理視角 [3] 僅對應于這種上下文敏感且具有傳遞性泛化的存儲與檢索，不足以解釋我們在后續(xù)章節(jié)中考慮的ICL特性。

3.2 學習靈活的模式（模板電路）與再綁定

就像學習房間布局一樣，CSCG可以學習用于序列到序列（seq2seq）算法的自動機電路 [20]。參見圖2中用于計算奇偶性、復制序列以及逆轉(zhuǎn)多種長度序列的CSCG電路。圖2E中的列表逆轉(zhuǎn)電路綁定到了訓練中使用的特定符號A、B、C、D、E。為了用作模板，此圖中的槽位必須能夠在測試時適當?shù)亟壎ǖ缴舷挛闹谐霈F(xiàn)的內(nèi)容（任意符號）[8, 21]。再綁定機制（在算法1中形式化）可以直觀地理解為基于預測誤差運行——當潛在上下文強烈預測對應于某個時刻的潛在狀態(tài)，但實際觀測不匹配時，再綁定調(diào)整發(fā)射矩陣，將該潛在狀態(tài)的所有克隆連接到令人驚異的觀測。這種將先前知識與新內(nèi)容混合及門控的機制，使得訓練期間學到的電路能夠成為靈活的模板，其槽位可以根據(jù)需要動態(tài)綁定到新輸入。例如，在圖2F的列表逆轉(zhuǎn)模式中，標記"["和"]"是用于檢測列表開始和結(jié)束的先前內(nèi)容——它們充當將該模式錨定在觀測中的錨點?；诹斜斫Y(jié)束標記"]"的概率分支允許長度泛化，而將與A、B、C、D、E對應的槽位吸收任意符號，則允許算法泛化到新的符號。圖2G展示了此再綁定機制的結(jié)果，其中發(fā)射A、B、C、D、E的槽位分別被重新綁定到輸入提示中的符號K、M、N、P、R。類似地，在句子"I wrote in a notebook using a dax"中，再綁定可以通過將新詞"dax"綁定到對應于"pencil"或"pen"的克隆上，將其吸收到上下文中，并在那些上下文中使用這個新詞。

3.3 基于指令或內(nèi)容的檢索與任務完成

基于內(nèi)容的零樣本任務識別與再綁定：許多引人注目的零樣本學習示例涉及從提示中識別任務，并將其應用于新輸入。例如，給定一個提示："Input: [p, q, r, s] Output: [p, p, q, q, r, r, s, s]; Input: [l, m, n, o] Output: [l, l, m, m, n, n, o, o]"，大語言模型（LLM）能夠推斷出任務是將序列元素重復，并應用該規(guī)則來完成一個新輸入提示的輸出，即使與此任務相關的標記"p, q, r, s, l, m, n, o"在訓練中未曾見過。再綁定機制為此提供了自然的解釋。給定提示后，期望最大化（EM）算法[18]會同時評估針對多個潛在算法模式的不同再綁定方案，以推斷出最佳綁定，然后將其應用于完成查詢提示。

基于指令的檢索：當算法使用預定義的語言指令進行訓練時，CSCG會學習到指令子網(wǎng)絡，這些子網(wǎng)絡直接指向代表算法的電路（見第4.2節(jié)）。由于傳遞性泛化和再綁定，即使使用的語言提示與訓練指令有顯著差異，也能通過直接提示來檢索到相應算法。

3.4 涌現(xiàn)現(xiàn)象

我們假設并在第4節(jié)中通過實證表明，涌現(xiàn)現(xiàn)象可以解釋為上述特性（上下文分離、傳遞性泛化、模式形成和再綁定）、模型容量以及數(shù)據(jù)模式共同作用的結(jié)果。在更大的數(shù)據(jù)集上進行訓練，會誘導出更多在較小數(shù)據(jù)集中可能不存在的模板。學習更復雜算法或數(shù)據(jù)中更多模式的示意圖電路需要更大的模型容量，因為過參數(shù)化有助于優(yōu)化過程。

4 結(jié)果

我們通過在三個數(shù)據(jù)集上的實證結(jié)果來論證上述觀點：(a) 文獻 [3] 中提出的 GINC 基準測試，(b) 我們在 LIALT 數(shù)據(jù)集中引入的一系列算法學習任務，以及 (c) 在 CSCG 語言模型上的零樣本詞匯用法歸納任務。

由于詞匯表在不同潛在概念間是共享的，GINC 中的觀測值像自然語言一樣存在混淆，解決該任務需要模型區(qū)分混淆的觀測值以正確推斷潛在概念。

結(jié)果：CSCG 學會了對應于 GINC 數(shù)據(jù)集中五個潛在概念的不同潛在子網(wǎng)絡（圖 3A），并且對提供的提示進行推理時，能夠檢索到正確的潛在子網(wǎng)絡（圖 3C）。增加提示長度可以改善子網(wǎng)絡以及子網(wǎng)絡內(nèi)特定狀態(tài)的定位。圖 3C 可視化了在零樣本設置（ n = 0
）下，對于一個示例提示解碼出的潛在狀態(tài)分布。解碼開始時是不確定的，隨著提示變長而改善。這種（在圖上的）定位導致了有效的模式檢索，從而實現(xiàn)了準確的提示補全。圖 3B[左] 報告了 GINC 測試集中每個 ( k , n )
對的上下文內(nèi)準確率——定義為正確預測的平均比率。CSCG 的上下文內(nèi)準確率與 [3] 中 LSTM 和 transformer 表現(xiàn)出的模式相匹配，同時性能略有提升。圖 3B 還顯示，容量更大的 CSCG（即每個詞元有 50 個克?。┠芨玫胤蛛x潛在概念，并且顯著優(yōu)于每個詞元只有 10 個克隆的 CSCG。附錄 C 中的圖 9[左] 展示了 CSCG 的上下文內(nèi)置信度：對于更大的上下文，CSCG 能更好地消除混淆，平均預測概率更高。最后，圖 9[右] 顯示，與 [3] 中的 transformer 和 LSTM 類似，當測試提示從未在訓練中出現(xiàn)過的概念中采樣時，CSCG 的 ICL 會失敗。GINC 的結(jié)果與第 3.1 節(jié)中基于上下文檢索的論點相符：此設置下的 ICL 是在提示和模型之間檢索共享的潛在概念。通過利用訓練文檔中概念的遠距離一致性，模型學會了將不同概念分離到不同的潛在表示中。盡管訓練集和提示的分布存在不匹配 [3]，但由于表示允許傳遞性混合，CSCG 仍然成功地完成了提示補全。

4.2 學習 seq2seq 算法的模式并通過再綁定實現(xiàn)泛化

訓練數(shù)據(jù)集：為了測試 CSCG 學習能夠泛化到訓練中未見的新輸入上的算法的能力，我們構(gòu)建了語言指令算法學習任務（LIALT）數(shù)據(jù)集。LIALT 訓練集包含圖 4A[左上] 中展示的 13 種列表和矩陣算法的演示。一次演示包含一個由多個詞組成的語言指令——每種算法有五個不同的指令——后跟該算法的 10 個輸入-輸出示例。使用的完整指令列表見附錄 D.1 中的表 2 和表 3。對于每條指令，數(shù)據(jù)集中包含 20 個演示。在一個演示中，語言指令和示例之間由“/”分隔符隔開。不同的演示之間由“\n”分隔符隔開。輸入列表和矩陣的值是通過從由大寫字母隨機配對創(chuàng)建的 676 個詞元的詞匯表中均勻采樣生成的。列表操作的示例長度從 3 到 6 不等，矩陣操作的規(guī)模為 2×2 或 3×3。圖 4A[左下] 展示了訓練數(shù)據(jù)格式。

測試數(shù)據(jù)集：ILIAT 包含兩個測試數(shù)據(jù)集，分別包含：(a) 基于指令的檢索提示，和 (b) 基于示例的檢索提示。基于指令的檢索測試提示由一個自然語言指令后跟單個輸入組成。基于示例的檢索測試提示由一個算法的首個輸入-輸出示例（不含任何自然語言指令）后跟第二個輸入組成。兩個測試數(shù)據(jù)集中的所有列表和矩陣都包含新穎的詞元。對于這兩種類型的提示，上下文內(nèi)任務都是預測將算法應用于（最后一個）輸入時的輸出。請注意，對于基于示例的提示，CSCG 必須從第一個示例推斷所使用的算法。每個測試集包含 100 個提示，通過均勻采樣指令以及列表或矩陣詞元構(gòu)建而成。圖 4A [右]展示了這兩個測試集的格式。

學習到的 CSCG（以過分配率 3 初始化）使用堆疊克隆的方式在附錄圖 10 中進行了可視化。圖 6A 展示了使用 Kamada-Kawai 算法 [24] 得到的轉(zhuǎn)移圖。它揭示了十三個松散連接的聚類，對應于 LIALT 數(shù)據(jù)集中存在的十三種算法。圖 6B 展示了再綁定過程，針對兩個不同的基于示例的提示，給出了學習到的 CSCG 模型在潛在狀態(tài)上的解碼分布。即使在任何再綁定之前，錨點和槽位的識別已經(jīng)將解碼限制在與提示結(jié)構(gòu)兼容的模式上——在此例中是基于括號和分隔符。然而，這種結(jié)構(gòu)不足以完全區(qū)分兼容的模式（對應于逆轉(zhuǎn)、循環(huán)前移和循環(huán)后移的列表操作），兩個選定的提示導致了相同的潛在狀態(tài)分布。因此，第一個 E 步之后的解碼分布定位到了這三個兼容的模式上。在隨后的 M 步中，所有三個模式中的槽位都將針對此提示進行再綁定。在第一次 EM 迭代結(jié)束時，鑒于一致證據(jù)，正確模式中槽位的新綁定將具有很高的確定性，而不一致證據(jù)將導致其他模式中槽位的綁定不確定。在第二次迭代的 E 步中，綁定中各自的確定性水平隨后有助于將正確的算法模式提升為最可能的解碼——從而適當?shù)赝瓿商崾?。注意，在這些示例中，單次 EM 步就足以推導出正確的再綁定。比較圖 5 和圖 11，以及附錄 D.3 節(jié)中的表格，可以看出再綁定過程中第一個 EM 步之后的上下文內(nèi)補全性能與 EM 收斂結(jié)束時的性能非常相似。

LIALT 的結(jié)果證實了我們在第 3.2 和 3.3 節(jié)中提出的論點?；陂L期一致性的潛在上下文貝葉斯推理（足以解釋第 4.1 節(jié)中的 GINC 結(jié)果）并不能解釋為了在 LIALT 算法上泛化所需的將潛在表示重新映射到全新詞元的過程。如果沒有再綁定，即使提示包含一個算法的完整長度示例但帶有新穎詞元，也無法僅基于潛在狀態(tài)推理來檢索到正確的算法模式或產(chǎn)生正確的補全（圖 6B，第一行）。相比之下，同時推斷再綁定和潛在狀態(tài)則能準確檢索算法模式并正確完成提示（圖 6B，第二行）。因此，CSCG 能夠?qū)W習 seq2seq 算法，并通過再綁定將這些算法泛化到新穎詞元上。

涌現(xiàn)：CSCG 在 LIALT 數(shù)據(jù)集上的 ICL 性能展現(xiàn)了歸因于涌現(xiàn)的特性。上下文內(nèi)準確率明顯依賴于 CSCG 的過參數(shù)化水平，這為我們在第 3.4 節(jié)中的假設提供了支持證據(jù)。

5 相關工作

上下文學習：類似于人類通過類比學習的方式 [27] 以及突觸可塑性使大腦能夠快速適應新任務 [28]，上下文學習（ICL）能力 [1] 使得預訓練模型能夠在僅給定少量示例的情況下學習新任務。[29, 30] 展示了明確指導推理過程的演示如何提高 Transformer 在新復雜任務上的 ICL 性能。下面我們澄清一些不應與 ICL 混淆的概念，然后討論一些旨在理解 ICL 及其影響因素的工作。

監(jiān)督學習（SL）和少樣本學習（FSL）：監(jiān)督學習方法學習一個映射，以最小化訓練數(shù)據(jù)上的損失：梯度方法是一種流行的范式 [31, 32, 33]。在少樣本學習中，模型學習從有限數(shù)量的監(jiān)督示例中快速適應新任務 [34, 35, 36]，并在推理時執(zhí)行此相同任務。相比之下，ICL 任務僅在推理時揭示。[37, 38] 表明，在 ICL 指令上微調(diào) Transformer 可以提高其 ICL 性能。

元學習：元學習范式旨在通過利用多次學習經(jīng)驗，學習僅用少量示例適應新任務 [39, 40, 41]。相比之下，ICL 直接從預訓練模型中涌現(xiàn)。[42, 43] 提出了一個用于 ICL 的元學習框架，其中模型經(jīng)過微調(diào)：它學習利用少樣本示例并在推理時適應新任務。

ICL 的工作原理：[3] 將 ICL 解釋為隱式貝葉斯推理，并構(gòu)建了 GINC 數(shù)據(jù)集（見第 4.1 節(jié)）來演示 ICL。[44] 將 ICL 抽象為一個算法學習問題，發(fā)現(xiàn) Transformer 可以隱式推斷一個假設函數(shù)。類似地，[45] 表明，Transformer 可以被訓練來對未見過的線性函數(shù)執(zhí)行 ICL，其性能與最優(yōu)最小二乘估計器相當。[46] 表明，在線性情況下，Transformer 隱式地實現(xiàn)了梯度下降，并在 ICL 示例上訓練了一個隱式線性模型。[4] 提出了 Transformer 注意力與梯度方法之間的對偶性，并建議將預訓練模型視為元優(yōu)化器。他們將 ICL 呈現(xiàn)為隱式微調(diào)，其中對演示示例的前向傳播會產(chǎn)生元梯度。最后，[5] 展示了 Transformer 中存在“歸納頭”，它們在訓練過程中涌現(xiàn)，復制先前的模式，并驅(qū)動 ICL 能力。

影響 ICL 的因素：[1, 47] 指出，LLM 的 ICL 性能會“涌現(xiàn)”，然后在模型規(guī)模增大時持續(xù)改進。[48] 提出了位置編碼的替代方案，并展示了 Transformer 如何學習算法任務的模式，并泛化到比訓練期間見過的任何序列都更長的測試序列上。一些工作強調(diào)了訓練數(shù)據(jù)在 ICL 中的作用。[49] 表明，當訓練數(shù)據(jù)包含大量稀有類別且示例以聚類形式出現(xiàn)時，ICL 會涌現(xiàn)。而 [50] 證明，當模型在多個語料庫的組合上進行訓練時，ICL 會涌現(xiàn)，并且低困惑度與 ICL 性能并不總是相關。[51, 52] 發(fā)現(xiàn) ICL 高度不穩(wěn)定，并受到提示模板、上下文示例的選擇以及示例順序的影響。[53] 表明，ICL 性能受標簽空間的暴露、輸入分布以及序列的整體格式驅(qū)動。類似地，[54] 發(fā)現(xiàn)選擇與 ICL 測試樣本嵌入更接近的 ICL 示例可以提高 ICL 性能，[55] 表明在上下文中添加解釋可以提高性能。最后，[56] 最近聲稱，在更大模型中 ICL 的急劇涌現(xiàn)可能是指標的假象，而非模型的基本屬性。

6 討論

隨著將 ICL 解構(gòu)為模式學習、模式檢索和槽位再綁定，未來一個有趣的研究方向?qū)⑹翘骄扛鞣N序列模型中這些組件各自表現(xiàn)的穩(wěn)健性——甚至圍繞這些原則構(gòu)建新模型。在此，我們考慮這個框架如何可能映射到最初觀察到 ICL 現(xiàn)象的 Transformer 上。

與 CSCG 不同，Transformer 會緩存輸入并將位置表示為位置編碼，這使得注意力能夠根據(jù)提示的結(jié)構(gòu)以及內(nèi)容進行門控。先前的解釋 [3, 4] 并未區(qū)分序列位置相對于內(nèi)容的作用；我們認為相關理論可能需要強調(diào)這種區(qū)分（見圖 8A），以充分理解 ICL 背后的歸納偏差。

我們推測（見圖 8B），Transformer 的多個層實現(xiàn)了位置和內(nèi)容的多種混合模板，這些模板在提示的不同偏移量上進行評估。能夠自回歸匹配提示的模板組合將在競爭中勝出，從而對內(nèi)容進行門控。再綁定機制僅需要對發(fā)射矩陣進行少量迭代的稀疏更新，并且可以在時間上“展開”為前向傳播，從而允許在權(quán)重固定的情況下實現(xiàn) ICL 行為，因為槽位分配過程存在于激活空間中。

回到 CSCG 本身，其實現(xiàn)可以通過利用稀疏性和并行化 EM 步驟中的計算來擴展到更大的模型和數(shù)據(jù)集。允許使用分解的潛在空間并添加跳躍連接，也將在實現(xiàn)可擴展性的同時支持組合性。此外，雖然我們在此闡述了將新符號附加到現(xiàn)有槽位的再綁定概念，但“跨時間”的再綁定也可以針對克隆之間的連接，從而在上下文內(nèi)實現(xiàn)組合行為。我們將這些探索留給未來的研究。我們這里的目標一直是利用 CSCG 的可解釋性來闡明 ICL 行為的一般框架。我們希望這能通過類比的方式，揭開在 LLM 中觀察到的 ICL 行為的神秘面紗，展示進一步研究 ICL 能力的途徑，并為可解釋方法提供廣泛動力。

原文鏈接：https://proceedings.neurips.cc/paper_files/paper/2023/file/5bc3356e0fa1753fff7e8d6628e71b22-Paper-Conference.pdf