我們推出了Titans架構(gòu)和MIRAS框架，這些技術(shù)能讓AI模型在運(yùn)行時更新核心記憶，從而實(shí)現(xiàn)更快的處理速度并處理大規(guī)模上下文內(nèi)容。

Transformer架構(gòu)通過引入注意力機(jī)制徹底改變了序列建模，該機(jī)制允許模型回顧早期輸入以優(yōu)先處理相關(guān)的輸入數(shù)據(jù)。然而，計(jì)算成本隨序列長度急劇增加，這限制了基于Transformer的模型擴(kuò)展到極長上下文的能力，比如完整文檔理解或基因組分析所需的上下文。

研究社區(qū)探索了各種解決方案，例如高效的線性循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和狀態(tài)空間模型（SSM），如Mamba-2。這些模型通過將上下文壓縮到固定大小來提供快速的線性擴(kuò)展。然而，這種固定大小的壓縮無法充分捕獲超長序列中的豐富信息。

在兩篇新論文Titans和MIRAS中，我們介紹了一種架構(gòu)和理論藍(lán)圖，它結(jié)合了RNN的速度和Transformer的準(zhǔn)確性。Titans是具體的架構(gòu)（工具），MIRAS是推廣這些方法的理論框架（藍(lán)圖）。它們共同推進(jìn)了測試時記憶化的概念，即AI模型在運(yùn)行時通過融入更強(qiáng)大的"驚喜"指標(biāo)（即意外信息片段）來維持長期記憶的能力，無需專門的離線重訓(xùn)練。

MIRAS框架以Titans為例，引入了向?qū)崟r適應(yīng)的重要轉(zhuǎn)變。該架構(gòu)不是將信息壓縮到靜態(tài)狀態(tài)，而是在數(shù)據(jù)流入時主動學(xué)習(xí)和更新自身參數(shù)。這一關(guān)鍵機(jī)制使模型能夠即時將新的具體細(xì)節(jié)納入其核心知識。

有效的學(xué)習(xí)系統(tǒng)需要獨(dú)特而相互連接的記憶模塊

有效的學(xué)習(xí)系統(tǒng)需要獨(dú)特而相互連接的記憶模塊，這反映了人類大腦對短期和長期記憶的分離。

雖然注意力機(jī)制在精確的短期記憶方面表現(xiàn)出色，但Titans引入了一個新穎的神經(jīng)長期記憶模塊，與傳統(tǒng)RNN中的固定大小向量或矩陣記憶不同，它作為一個深度神經(jīng)網(wǎng)絡(luò)（具體來說，是一個多層感知器）。這個記憶模塊提供了顯著更高的表達(dá)能力，允許模型在不丟失重要上下文的情況下總結(jié)大量信息。模型不僅僅是做筆記，而是理解和綜合整個故事。

至關(guān)重要的是，Titans不只是被動地存儲數(shù)據(jù)。它主動學(xué)習(xí)如何識別和保留連接整個輸入中Token的重要關(guān)系和概念主題。這種能力的一個關(guān)鍵方面是我們稱之為"驚喜指標(biāo)"的東西。在人類心理學(xué)中，我們知道我們會快速且容易地忘記常規(guī)、預(yù)期的事件，但會記住打破模式的事情——意外的、令人驚訝的或高度情感化的事件。

在Titans的上下文中，"驚喜指標(biāo)"是模型檢測當(dāng)前記憶的內(nèi)容與新輸入告訴它的內(nèi)容之間的巨大差異。

模型使用這個內(nèi)部錯誤信號（梯度）作為數(shù)學(xué)上等價于說"這是意外的和重要的！"這允許Titans架構(gòu)僅用最新穎和打破上下文的信息選擇性地更新其長期記憶，保持整個過程的快速和高效。

Titans通過融入兩個關(guān)鍵元素來完善這一機(jī)制：

序列建模中的每一個重大突破——從現(xiàn)代Transformer到新的超高速線性RNN——本質(zhì)上都是同一回事：一個高度復(fù)雜的聯(lián)想記憶模塊。

相應(yīng)地，MIRAS的獨(dú)特性和實(shí)用性在于它看待AI建模的方式。它不是看到多樣化的架構(gòu)，而是看到解決同一問題的不同方法：有效地將新信息與舊記憶結(jié)合，而不讓基本概念被遺忘。

MIRAS通過四個關(guān)鍵設(shè)計(jì)選擇定義序列模型：

幾乎所有成功的現(xiàn)有序列模型都依賴均方誤差（MSE）或點(diǎn)積相似性來實(shí)現(xiàn)其偏差和保留。這種依賴可能使模型對異常值敏感，并限制其表達(dá)能力。

MIRAS通過提供一個生成框架來超越這種限制，探索一個由優(yōu)化和統(tǒng)計(jì)學(xué)文獻(xiàn)指導(dǎo)的更豐富的設(shè)計(jì)空間。這允許創(chuàng)建具有非歐幾里得目標(biāo)和正則化的新穎架構(gòu)。

使用MIRAS，我們創(chuàng)建了三個具體的無注意力模型：

我們嚴(yán)格比較了Titans以及MIRAS變體（YAAD、MONETA、MEMORA）與領(lǐng)先架構(gòu)，包括Transformer++、Mamba-2和Gated DeltaNet。我們通過在基因組建模（DNA）和時間序列預(yù)測上測試Titans，進(jìn)一步驗(yàn)證了其多功能性，證明該架構(gòu)在文本之外有效地泛化。

在標(biāo)準(zhǔn)語言建模數(shù)據(jù)集（C4、WikiText）和零樣本推理任務(wù)（HellaSwag、PIQA）中，我們的模型始終表現(xiàn)出更高的準(zhǔn)確性和困惑度（衡量大語言模型在查看一段文本時的驚訝程度）。

消融研究清楚地表明，記憶架構(gòu)的深度至關(guān)重要。當(dāng)比較相同大小但不同深度的長期記憶模塊時，具有更深記憶的模塊在語言建模中始終實(shí)現(xiàn)更低的困惑度。此外，它們表現(xiàn)出更好的擴(kuò)展特性，隨著序列長度顯著增加時保持性能。

在語言建模和常識推理任務(wù)中，Titans架構(gòu)優(yōu)于最先進(jìn)的線性循環(huán)模型（如Mamba-2和Gated DeltaNet）和可比較大小的Transformer++基線。新穎的MIRAS變體（MONETA、YAAD、MEMORA）與這些基線相比也實(shí)現(xiàn)了改進(jìn)的性能，驗(yàn)證了探索魯棒的非MSE優(yōu)化機(jī)制的益處。重要的是，這些模型保持了高效的可并行化訓(xùn)練和快速的線性推理速度。

這些新架構(gòu)最顯著的優(yōu)勢是它們處理超長上下文的能力。這在BABILong基準(zhǔn)測試中得到了突出體現(xiàn)，該任務(wù)需要對分布在超長文檔中的事實(shí)進(jìn)行推理。在這種具有挑戰(zhàn)性的設(shè)置中，Titans優(yōu)于所有基線，包括像GPT-4這樣的超大型模型，盡管參數(shù)要少得多。Titans進(jìn)一步證明了有效擴(kuò)展到超過200萬Token的上下文窗口大小的能力。

Titans和MIRAS框架的引入標(biāo)志著序列建模的重大進(jìn)步。通過采用深度神經(jīng)網(wǎng)絡(luò)作為學(xué)會在數(shù)據(jù)流入時記憶的記憶模塊，這些方法克服了固定大小循環(huán)狀態(tài)的限制。此外，MIRAS提供了強(qiáng)大的理論統(tǒng)一，揭示了在線優(yōu)化、聯(lián)想記憶和架構(gòu)設(shè)計(jì)之間的聯(lián)系。通過超越標(biāo)準(zhǔn)的歐幾里得范式，這項(xiàng)研究為新一代序列模型打開了大門，這些模型結(jié)合了RNN的效率和長上下文AI時代所需的表達(dá)能力。

Q&A

Q1：Titans是什么，它有什么特別的能力？

A：Titans是一種新型AI架構(gòu)，能夠在運(yùn)行時更新核心記憶，實(shí)現(xiàn)更快的處理速度并處理大規(guī)模上下文內(nèi)容。它的特別能力是結(jié)合了RNN的速度和Transformer的準(zhǔn)確性，可以有效處理超長上下文，例如完整文檔理解或基因組分析。

Q2：什么是"驚喜指標(biāo)"，它在Titans中如何工作？

A："驚喜指標(biāo)"是Titans檢測當(dāng)前記憶內(nèi)容與新輸入信息之間巨大差異的機(jī)制。類似人類容易忘記常規(guī)事件但記住意外事件的特點(diǎn)，Titans使用這個內(nèi)部錯誤信號來識別"意外且重要"的信息，只用最新穎和打破上下文的信息來更新長期記憶。

Q3：Titans相比傳統(tǒng)模型有什么優(yōu)勢？

A：Titans最顯著的優(yōu)勢是處理超長上下文的能力。在BABILong基準(zhǔn)測試中，Titans優(yōu)于所有基線，包括GPT-4等超大型模型，盡管參數(shù)更少。它能有效擴(kuò)展到超過200萬Token的上下文窗口，同時保持高效的可并行化訓(xùn)練和快速的線性推理速度。