智能并非關(guān)于參數(shù)數(shù)量，而是關(guān)于時(shí)間。

當(dāng)我們讓大語(yǔ)言模型求解復(fù)雜多項(xiàng)式方程時(shí)，它不僅返回答案，還會(huì)運(yùn)用"思維鏈"來(lái)推導(dǎo)解決方案。從某種意義上說(shuō)，大語(yǔ)言模型表現(xiàn)得像一臺(tái)計(jì)算機(jī)，一臺(tái)用于計(jì)算解決方案的機(jī)器。但這臺(tái)機(jī)器與近90年前阿蘭·圖靈描述的通用計(jì)算模型截然不同。

在什么意義上大語(yǔ)言模型可以被視為計(jì)算機(jī)？它能否具備通用性，即像圖靈機(jī)一樣能夠解決任何可計(jì)算的任務(wù)？如果可以，它又是如何從有限數(shù)據(jù)中學(xué)會(huì)這種能力的？

當(dāng)前的機(jī)器學(xué)習(xí)理論對(duì)回答這些問(wèn)題幫助有限，因此我們需要新的工具。在之前的Amazon Science文章中，我們論證了AI智能體及其驅(qū)動(dòng)的大語(yǔ)言模型是轉(zhuǎn)導(dǎo)推理引擎，盡管它們是按照經(jīng)典機(jī)器學(xué)習(xí)理論的歸納模式訓(xùn)練的。歸納尋求泛化，即在未來(lái)數(shù)據(jù)上表現(xiàn)得如同在過(guò)去數(shù)據(jù)上一樣的能力。要實(shí)現(xiàn)泛化，就必須避免記憶化，即避免過(guò)擬合訓(xùn)練數(shù)據(jù)。

這在理論上是可行的，條件是過(guò)去和未來(lái)的數(shù)據(jù)都來(lái)自同一分布。然而在實(shí)踐中，這樣的條件無(wú)法驗(yàn)證，而且通常不適用于商業(yè)、金融、氣候科學(xué)甚至語(yǔ)言等領(lǐng)域的高價(jià)值數(shù)據(jù)。這使得我們無(wú)法解釋大語(yǔ)言模型如何學(xué)會(huì)可驗(yàn)證地解決通用可計(jì)算任務(wù)。

相比之下，轉(zhuǎn)導(dǎo)尋求通過(guò)推理過(guò)去的數(shù)據(jù)來(lái)為新問(wèn)題制定解決方案。轉(zhuǎn)導(dǎo)不是希望過(guò)去的解決方案能夠泛化，而是能夠在推理新解決方案時(shí)檢索出重要的記憶片段。在轉(zhuǎn)導(dǎo)中，記憶化不是污點(diǎn)而是價(jià)值。在轉(zhuǎn)導(dǎo)推理過(guò)程中使用測(cè)試數(shù)據(jù)和記憶來(lái)制定解決方案不是過(guò)擬合，而是自適應(yīng)的、特定查詢的計(jì)算——即推理。

歸納泛化是在時(shí)間緊迫時(shí)被迫采用的行為。這種自動(dòng)的、反應(yīng)性的行為在認(rèn)知心理學(xué)中有時(shí)被稱為"系統(tǒng)1"。而轉(zhuǎn)導(dǎo)需要查看所有數(shù)據(jù)并執(zhí)行特定查詢的可變長(zhǎng)度推理時(shí)間計(jì)算——大語(yǔ)言模型中的思維鏈推理，其長(zhǎng)度取決于查詢的復(fù)雜性。這種深思熟慮的行為通常被稱為"系統(tǒng)2"，這是我們希望通過(guò)學(xué)習(xí)培養(yǎng)的。從這個(gè)意義上說(shuō)，轉(zhuǎn)導(dǎo)學(xué)習(xí)是元學(xué)習(xí)的一種特殊形式，或者說(shuō)是學(xué)會(huì)推理。

1964年，Ray Solomonoff描述了一種通用最優(yōu)算法，可以通過(guò)轉(zhuǎn)導(dǎo)推理解決任何問(wèn)題，前提是假設(shè)內(nèi)存和時(shí)間是無(wú)限的：通過(guò)圖靈機(jī)執(zhí)行所有程序，然后平均那些能夠重現(xiàn)觀察數(shù)據(jù)的程序的結(jié)果。這將給出通用最優(yōu)答案——但通常需要永遠(yuǎn)的時(shí)間。如果我們想要的不僅是通用最優(yōu)而且是通用快速的算法呢？

1973年——在引入NP完全性概念的同一篇論文中——Leonid Levin導(dǎo)出了這樣一種算法。不幸的是，Levin所謂的通用搜索在實(shí)踐中不可行，也無(wú)助于我們理解大語(yǔ)言模型；其中一個(gè)原因是它不涉及任何學(xué)習(xí)。盡管如此，Levin指出了時(shí)間在解決計(jì)算任務(wù)中的關(guān)鍵重要性。后來(lái)，在1986年，Solomonoff暗示了學(xué)習(xí)如何幫助減少時(shí)間。

在一篇新論文中，我們擴(kuò)展了這些想法，展示了減少推理時(shí)間如何誘導(dǎo)訓(xùn)練模型進(jìn)行轉(zhuǎn)導(dǎo)操作——即推理。在努力減少推理時(shí)間的過(guò)程中，模型不僅學(xué)習(xí)訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)結(jié)構(gòu)，還學(xué)習(xí)其算法結(jié)構(gòu)。然后它可以用無(wú)窮多種方式重新組合學(xué)到的算法方法來(lái)解決任意新問(wèn)題。

這一洞察對(duì)AI模型的設(shè)計(jì)和訓(xùn)練方式有影響。特別是，它們應(yīng)該被設(shè)計(jì)為預(yù)測(cè)推理時(shí)額外成本的邊際價(jià)值，其訓(xùn)練目標(biāo)應(yīng)包括復(fù)雜性成本，以迫使它們?cè)谕评砥陂g最小化時(shí)間。

這種學(xué)習(xí)方法顛覆了經(jīng)典統(tǒng)計(jì)學(xué)習(xí)理論。在經(jīng)典統(tǒng)計(jì)學(xué)習(xí)理論中，最大的危險(xiǎn)是過(guò)擬合，所以目標(biāo)是正則化解決方案，即最小化訓(xùn)練模型從過(guò)去數(shù)據(jù)中保留的信息（除了對(duì)減少訓(xùn)練損失重要的信息）。另一方面，在轉(zhuǎn)導(dǎo)推理中，目標(biāo)是最大化保留的信息，因?yàn)樗赡茉诮鉀Q未來(lái)問(wèn)題時(shí)派上用場(chǎng)。

超越參數(shù)規(guī)模的局限性

過(guò)去幾年大語(yǔ)言模型的性能提升主要來(lái)自規(guī)模化：增加模型參數(shù)數(shù)量提高了在基準(zhǔn)數(shù)據(jù)集上的準(zhǔn)確性。這使得許多人推測(cè)進(jìn)一步增加模型參數(shù)數(shù)量可能迎來(lái)"超級(jí)智能"時(shí)代，AI模型的認(rèn)知能力超越其人類創(chuàng)造者。

在我們的論文中，我們論證相反的觀點(diǎn)：超過(guò)某種復(fù)雜性，AI模型進(jìn)入我們所稱的學(xué)者癥候群，學(xué)習(xí)變得不必要，在基準(zhǔn)測(cè)試上的更好性能伴隨著"洞察力"的下降。極限情況是Solomonoff在1964年描述的算法，任何任務(wù)都可以通過(guò)暴力破解來(lái)解決。

如果規(guī)模不能帶來(lái)智能，什么能呢？我們認(rèn)為答案是時(shí)間。

這個(gè)答案有一定的直觀吸引力。智能概念從根本上是主觀的并依賴于環(huán)境。雖然智能難以描述，但其缺失卻不那么難以描述。無(wú)法適應(yīng)環(huán)境速度是我們稱之為非智能特征（TONIs）的許多行為之一。TONIs是那些存在時(shí)就否定智能的行為，無(wú)論人們?nèi)绾味x智能。

許多TONIs都與時(shí)間有關(guān)。對(duì)同一任務(wù)的重復(fù)實(shí)例花費(fèi)相同的（非最?。r(shí)間和精力，卻沒(méi)有更好的結(jié)果，這是一個(gè)TONI。無(wú)法分配與目標(biāo)相稱的資源，從而為簡(jiǎn)單任務(wù)花費(fèi)與復(fù)雜任務(wù)相同的努力，也是如此。開(kāi)始一個(gè)已知需要比宇宙壽命更長(zhǎng)時(shí)間才能給出任何可用答案的任務(wù)是另一個(gè)TONI。

基于這種直覺(jué)，我們?nèi)绾瘟炕疉I模型中智能與時(shí)間的關(guān)系？第一步是評(píng)估模型參數(shù)中包含的信息量；然后我們可以看到它如何受到時(shí)間約束的影響。

算法信息理論的新應(yīng)用

測(cè)量信息的標(biāo)準(zhǔn)方法是Claude Shannon在1948年一篇里程碑式論文中提出的，該論文本質(zhì)上創(chuàng)建了信息理論領(lǐng)域。Shannon將隨機(jī)變量的信息內(nèi)容定義為其分布的熵。對(duì)其值的不確定性越大，信息內(nèi)容就越高。

然而，根據(jù)這個(gè)定義，給定數(shù)據(jù)樣本的信息內(nèi)容不是樣本本身的屬性；它是其抽取來(lái)源分布的屬性。對(duì)于任何給定樣本，有無(wú)窮多個(gè)可能抽取它的分布。如果你只有一個(gè)樣本——比如一串0和1——你如何計(jì)算其信息內(nèi)容？

在1960年代，Solomonoff和Andrey Kolmogorov獨(dú)立地解決了這個(gè)問(wèn)題，提出了信息的替代概念——算法信息，可用于描述任意二進(jìn)制字符串的信息內(nèi)容。對(duì)于給定字符串，可以編寫(xiě)一個(gè)程序，在某臺(tái)計(jì)算機(jī)上運(yùn)行時(shí)輸出該字符串。事實(shí)上，可以編寫(xiě)無(wú)窮多個(gè)這樣的程序并在多臺(tái)計(jì)算機(jī)上運(yùn)行每個(gè)程序。

在通用圖靈機(jī)上運(yùn)行并輸出特定數(shù)據(jù)的最短可能程序是該數(shù)據(jù)的屬性。該程序是算法最小充分統(tǒng)計(jì)量，其長(zhǎng)度是該數(shù)據(jù)的算法信息（Kolmogorov-Solomonoff復(fù)雜度）。

在1948年的論文中，Shannon還定義了一個(gè)稱為互信息的指標(biāo)，它量化了通過(guò)觀察相關(guān)變量可以推斷出另一個(gè)變量值的信息。這個(gè)概念也可以擴(kuò)展到算法信息理論：兩個(gè)數(shù)據(jù)字符串之間的算法互信息測(cè)量如果能夠訪問(wèn)另一個(gè)字符串，生成一個(gè)字符串的程序會(huì)短多少。

優(yōu)化性能的新框架

如果我們不知道模型訓(xùn)練數(shù)據(jù)的抽取分布，也不知道模型的未來(lái)輸入是否會(huì)從同一分布中抽取，我們?nèi)绾瘟炕Ｐ偷奈磥?lái)性能？

在我們的論文中，我們假設(shè)大多數(shù)任務(wù)可以通過(guò)組合和變換——以無(wú)窮多種可能方式——一些最終有限但先驗(yàn)未知的方法集合來(lái)解決。在這種情況下，我們可以證明優(yōu)化性能是最大化模型訓(xùn)練數(shù)據(jù)與未來(lái)任務(wù)之間算法互信息的問(wèn)題。

然而，找到生成特定二進(jìn)制字符串的最短可能算法是一個(gè)難以處理的問(wèn)題（除了最短的字符串）。因此計(jì)算模型訓(xùn)練數(shù)據(jù)與未來(lái)任務(wù)之間的算法互信息也是難以處理的。

盡管如此，在我們的論文中，我們證明了模型找到新任務(wù)解決方案的速度與解決方案和訓(xùn)練數(shù)據(jù)之間的算法互信息存在基本關(guān)系。具體來(lái)說(shuō)，我們證明了時(shí)間與算法信息成反比。

其中h是新任務(wù)的解決方案，D是模型訓(xùn)練的數(shù)據(jù)集，I(h : D)是數(shù)據(jù)和解決方案之間的算法互信息。

這意味著在訓(xùn)練期間，最小化模型執(zhí)行推理任務(wù)所需的時(shí)間將最大化其權(quán)重中編碼的算法信息。減少推理時(shí)間確保即使模型參數(shù)數(shù)量增加，它們也不會(huì)陷入學(xué)者癥候群，即通過(guò)暴力破解而不是任何洞察或?qū)W習(xí)來(lái)解決問(wèn)題。

時(shí)間成本的主觀性

您可能注意到將推理時(shí)間與算法信息聯(lián)系起來(lái)的方程沒(méi)有指定任何度量單位。這是因?yàn)榧词?時(shí)間"的值也是主觀的。在池塘喝水的斑馬不會(huì)先驗(yàn)地知道被捕食者發(fā)現(xiàn)需要多長(zhǎng)時(shí)間。如果逗留太久，它會(huì)成為獵物；如果恐慌離開(kāi)，它會(huì)脫水。

同樣，對(duì)于AI模型，沒(méi)有單一的時(shí)間成本來(lái)訓(xùn)練，相應(yīng)地也沒(méi)有大語(yǔ)言模型進(jìn)入學(xué)者癥候群的唯一規(guī)模。對(duì)于某些任務(wù)，如科學(xué)發(fā)現(xiàn)，時(shí)間常數(shù)是幾個(gè)世紀(jì)，而對(duì)于其他任務(wù)，如算法交易，則是毫秒。我們期望智能體能夠適應(yīng)其環(huán)境，在某些情況下為特定類別的任務(wù)生成更小的專門(mén)模型，即便如此，也要為用戶（他們是智能體環(huán)境的一部分）提供控制，以根據(jù)應(yīng)用的上下文和領(lǐng)域調(diào)整時(shí)間成本。

時(shí)間成本已經(jīng)（部分且隱含地）納入訓(xùn)練大語(yǔ)言模型的過(guò)程。在預(yù)訓(xùn)練期間，時(shí)間成本實(shí)際上設(shè)置為最小值，因?yàn)槟Ｐ透鶕?jù)通過(guò)訓(xùn)練數(shù)據(jù)的單次前向傳遞的輸出進(jìn)行評(píng)分。為思維鏈推理微調(diào)模型需要標(biāo)注數(shù)據(jù)，其高成本對(duì)較短的"真實(shí)"推理軌跡施加偏見(jiàn)。因此，大語(yǔ)言模型已經(jīng)反映了組裝訓(xùn)練集的標(biāo)注者的主觀時(shí)間成本。

然而，為了使用戶能夠根據(jù)環(huán)境成本在推理時(shí)調(diào)節(jié)資源，模型應(yīng)該被訓(xùn)練來(lái)預(yù)測(cè)相對(duì)于預(yù)期最終回報(bào)的額外一步計(jì)算的邊際價(jià)值。此外，它們需要被訓(xùn)練為以目標(biāo)復(fù)雜度為條件，以學(xué)習(xí)如何在客戶指定的成本或界限內(nèi)提供答案。

有越來(lái)越多的努力教會(huì)模型時(shí)間的價(jià)值，這樣它們可以適應(yīng)手頭的任務(wù)（有或沒(méi)有人類監(jiān)督）。這些肯定會(huì)產(chǎn)生更好的性價(jià)比，但理論預(yù)測(cè)在某個(gè)點(diǎn)上，考慮時(shí)間成本實(shí)際上會(huì)提高新任務(wù)的絕對(duì)性能。對(duì)于可驗(yàn)證的任務(wù)，學(xué)會(huì)推理來(lái)自尋求產(chǎn)生正確（驗(yàn)證）答案的最短思維鏈。最終，對(duì)時(shí)間施加成本不應(yīng)損害推理性能。

重新定義計(jì)算模型

將這些想法與現(xiàn)代AI聯(lián)系起來(lái)需要重新思考計(jì)算的含義。大語(yǔ)言模型是隨機(jī)動(dòng)力系統(tǒng)，其計(jì)算元素（上下文、權(quán)重、激活、思維鏈）不類似于經(jīng)典、極簡(jiǎn)計(jì)算模型（如通用圖靈機(jī)）中的"程序"。

然而大語(yǔ)言模型是計(jì)算模型——最大化模型。它們像圖靈機(jī)一樣是通用的，但在許多方面，它們是對(duì)立的，通過(guò)完全不同的機(jī)制運(yùn)作?？梢允褂脙杉?jí)控制策略"編程"這樣的隨機(jī)動(dòng)力系統(tǒng)：高級(jí)、開(kāi)環(huán)、全局規(guī)劃和低級(jí)、閉環(huán)反饋控制。

該策略可以通過(guò)AI Functions實(shí)現(xiàn)，這是本周作為Amazon的Strands Labs的一部分發(fā)布的開(kāi)源庫(kù)，這是一個(gè)用于構(gòu)建AI智能體的GitHub存儲(chǔ)庫(kù)。現(xiàn)有編程語(yǔ)言可以用庫(kù)中的函數(shù)進(jìn)行擴(kuò)充。這些是該語(yǔ)言語(yǔ)法中的普通函數(shù)，但它們的主體用自然語(yǔ)言而不是代碼編寫(xiě)，并受前置和后置條件約束。這些使得高級(jí)、開(kāi)環(huán)規(guī)劃和驗(yàn)證成為可能，在AI編寫(xiě)任何代碼行之前，如果AI生成的代碼未能通過(guò)所有條件，它們會(huì)產(chǎn)生自動(dòng)本地反饋循環(huán)。最小化時(shí)間（轉(zhuǎn)化為成本）是結(jié)果智能體設(shè)計(jì)和評(píng)估的核心。

Q&A

Q1：什么是轉(zhuǎn)導(dǎo)推理？它與傳統(tǒng)的歸納學(xué)習(xí)有什么區(qū)別？

A：轉(zhuǎn)導(dǎo)推理是通過(guò)推理過(guò)去數(shù)據(jù)來(lái)為新問(wèn)題制定解決方案的方法。與傳統(tǒng)歸納學(xué)習(xí)不同，轉(zhuǎn)導(dǎo)不是希望過(guò)去解決方案能夠泛化，而是能夠在推理新解決方案時(shí)檢索出重要的記憶片段。在轉(zhuǎn)導(dǎo)中，記憶化是價(jià)值而非污點(diǎn)，使用測(cè)試數(shù)據(jù)和記憶來(lái)制定解決方案是自適應(yīng)計(jì)算而非過(guò)擬合。

Q2：為什么說(shuō)時(shí)間比參數(shù)數(shù)量更重要？

A：研究表明，超過(guò)某種復(fù)雜性后，AI模型會(huì)進(jìn)入"學(xué)者癥候群"，僅通過(guò)增加參數(shù)數(shù)量會(huì)導(dǎo)致學(xué)習(xí)變得不必要，模型通過(guò)暴力破解而非洞察來(lái)解決問(wèn)題。而減少推理時(shí)間能夠最大化模型權(quán)重中編碼的算法信息，使模型學(xué)會(huì)真正的推理而非簡(jiǎn)單的記憶和重復(fù)。

Q3：AI Functions是什么？如何實(shí)現(xiàn)智能體的編程？

A：AI Functions是Amazon發(fā)布的開(kāi)源庫(kù)，用于構(gòu)建AI智能體。它通過(guò)兩級(jí)控制策略實(shí)現(xiàn)：高級(jí)開(kāi)環(huán)全局規(guī)劃和低級(jí)閉環(huán)反饋控制。現(xiàn)有編程語(yǔ)言可以用庫(kù)中的函數(shù)擴(kuò)充，這些函數(shù)的主體用自然語(yǔ)言編寫(xiě)并受前置后置條件約束，實(shí)現(xiàn)自動(dòng)規(guī)劃驗(yàn)證和反饋循環(huán)。