這項(xiàng)由谷歌智能范式團(tuán)隊(duì)的小林世人、雅尼克·施林夫、馬克西米利安·施萊格爾等多名研究者共同完成的突破性研究，發(fā)表于2024年12月的arXiv論文庫(kù)（編號(hào)：2512.20605v2）。有興趣深入了解的讀者可以通過(guò)論文編號(hào)查詢完整研究?jī)?nèi)容。

想象你正在學(xué)習(xí)一門(mén)復(fù)雜的技能，比如駕駛汽車(chē)。作為新手，你需要分別思考每一個(gè)動(dòng)作：踩離合器、掛擋、松離合器、踩油門(mén)。但隨著技能的熟練，你開(kāi)始將這些單獨(dú)的動(dòng)作組合成更高層次的"起步"這一整體操作。這種從細(xì)節(jié)操作到抽象概念的轉(zhuǎn)變，正是人類智能的核心特征之一。

現(xiàn)在，谷歌的研究團(tuán)隊(duì)在人工智能領(lǐng)域?qū)崿F(xiàn)了類似的突破。他們發(fā)現(xiàn)了如何讓大型語(yǔ)言模型在內(nèi)部進(jìn)行這種分層思考，不再局限于逐個(gè)字符的簡(jiǎn)單預(yù)測(cè)，而是能夠形成更高層次的抽象行動(dòng)策略。

當(dāng)前的AI系統(tǒng)面臨著一個(gè)根本性的限制。它們像一個(gè)只會(huì)按食譜逐字逐句照做的新手廚師，必須嚴(yán)格按照每一個(gè)具體步驟執(zhí)行，無(wú)法跳躍到"準(zhǔn)備醬料"或"處理主菜"這樣的抽象層面。這種局限性在需要長(zhǎng)期規(guī)劃的復(fù)雜任務(wù)中表現(xiàn)得尤為明顯。比如，當(dāng)AI需要完成一個(gè)包含多個(gè)子目標(biāo)的復(fù)雜任務(wù)時(shí)，它往往會(huì)在細(xì)節(jié)中迷失，無(wú)法把握整體的策略方向。

研究團(tuán)隊(duì)的核心洞察是，這些大型語(yǔ)言模型在訓(xùn)練過(guò)程中實(shí)際上已經(jīng)學(xué)會(huì)了某種形式的抽象思維，只是這種能力被埋藏在模型的內(nèi)部表示中，沒(méi)有被充分利用。就像一位天賦異稟的學(xué)生，雖然具備了理解復(fù)雜概念的潛力，但缺乏有效的方法來(lái)組織和運(yùn)用這些能力。

一、發(fā)現(xiàn)模型內(nèi)部的"思維層次"

研究團(tuán)隊(duì)首先進(jìn)行了一項(xiàng)重要的探索實(shí)驗(yàn)。他們訓(xùn)練了自回歸模型來(lái)預(yù)測(cè)專家代理的行為序列，然后仔細(xì)分析模型內(nèi)部的激活模式。這個(gè)過(guò)程就像解剖一個(gè)熟練工匠的大腦，試圖理解他們?nèi)绾螌?fù)雜的技能分解為不同層次的思維過(guò)程。

通過(guò)線性探測(cè)技術(shù)，研究者發(fā)現(xiàn)了一個(gè)令人興奮的現(xiàn)象。模型的內(nèi)部表示中確實(shí)包含了關(guān)于抽象目標(biāo)的信息。具體來(lái)說(shuō)，在模型的中間層，激活模式能夠準(zhǔn)確反映出當(dāng)前正在執(zhí)行的高層次目標(biāo)。這就像發(fā)現(xiàn)了大腦中負(fù)責(zé)規(guī)劃的區(qū)域，即使表面上看起來(lái)只是在執(zhí)行具體動(dòng)作，但內(nèi)部實(shí)際上在進(jìn)行更高層次的思考。

更令人驚喜的是，這些抽象表示不僅存在，還具有可控性。研究團(tuán)隊(duì)發(fā)現(xiàn)，通過(guò)在模型的特定層插入線性控制器，可以直接操控這些內(nèi)部表示，從而引導(dǎo)模型執(zhí)行特定的抽象行動(dòng)。這個(gè)發(fā)現(xiàn)的意義重大，因?yàn)樗砻髂Ｐ蛢?nèi)部存在著一個(gè)可以被直接訪問(wèn)和操作的"意圖空間"。

二、構(gòu)建無(wú)監(jiān)督的元控制器

基于這個(gè)發(fā)現(xiàn)，研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)創(chuàng)新的元控制器架構(gòu)。這個(gè)元控制器的工作原理就像一個(gè)經(jīng)驗(yàn)豐富的項(xiàng)目經(jīng)理，能夠?qū)?fù)雜的項(xiàng)目分解為幾個(gè)關(guān)鍵的執(zhí)行階段，并在適當(dāng)?shù)臅r(shí)機(jī)切換到下一個(gè)階段。

元控制器的核心組件包括三個(gè)部分。首先是控制器編碼器，它負(fù)責(zé)從完整的行為序列中推斷出潛在的抽象行動(dòng)。這個(gè)過(guò)程類似于觀察一位大廚的完整烹飪過(guò)程，然后總結(jié)出"準(zhǔn)備食材"、"調(diào)制醬料"、"炒制主菜"等關(guān)鍵步驟。

第二個(gè)關(guān)鍵組件是時(shí)間切換單元。這個(gè)單元能夠?qū)W習(xí)何時(shí)從一個(gè)抽象行動(dòng)切換到另一個(gè)。它不是簡(jiǎn)單地按照固定的時(shí)間間隔切換，而是根據(jù)當(dāng)前任務(wù)的進(jìn)展情況智能地決定切換時(shí)機(jī)。這種動(dòng)態(tài)切換能力使得模型能夠處理不同長(zhǎng)度和復(fù)雜度的任務(wù)階段。

第三個(gè)組件是控制器解碼器，它將抽象的行動(dòng)代碼轉(zhuǎn)換為具體的內(nèi)部控制信號(hào)。這個(gè)過(guò)程就像將"準(zhǔn)備晚餐"這個(gè)高層次指令轉(zhuǎn)換為一系列具體的烹飪操作。

元控制器的訓(xùn)練過(guò)程采用了變分推理的方法。與傳統(tǒng)的監(jiān)督學(xué)習(xí)不同，這種方法不需要人工標(biāo)注的抽象行動(dòng)標(biāo)簽。相反，它通過(guò)最大化數(shù)據(jù)的似然性，同時(shí)對(duì)潛在變量施加適當(dāng)?shù)恼齽t化約束，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中隱藏的抽象結(jié)構(gòu)。

三、內(nèi)部強(qiáng)化學(xué)習(xí)的創(chuàng)新范式

研究的最大突破在于提出了"內(nèi)部強(qiáng)化學(xué)習(xí)"這一全新概念。傳統(tǒng)的強(qiáng)化學(xué)習(xí)在原始動(dòng)作空間中進(jìn)行探索和學(xué)習(xí)，這就像讓一個(gè)人通過(guò)嘗試每一個(gè)可能的肌肉收縮組合來(lái)學(xué)習(xí)投籃。而內(nèi)部強(qiáng)化學(xué)習(xí)則直接在發(fā)現(xiàn)的抽象動(dòng)作空間中進(jìn)行學(xué)習(xí)，這相當(dāng)于讓學(xué)習(xí)者直接練習(xí)"瞄準(zhǔn)"、"發(fā)力"、"跟進(jìn)"這些高層次的技能組件。

內(nèi)部強(qiáng)化學(xué)習(xí)的工作流程是這樣的：首先，將預(yù)訓(xùn)練的自回歸模型和部分元控制器組件視為環(huán)境的一部分。然后，在由元控制器發(fā)現(xiàn)的抽象動(dòng)作空間中訓(xùn)練一個(gè)新的策略網(wǎng)絡(luò)。這個(gè)策略網(wǎng)絡(luò)不再需要處理底層的動(dòng)作細(xì)節(jié)，而是專注于選擇合適的抽象行動(dòng)序列。

這種方法帶來(lái)了顯著的優(yōu)勢(shì)。由于動(dòng)作空間的維度大大降低，學(xué)習(xí)過(guò)程變得更加高效。同時(shí)，由于每個(gè)抽象動(dòng)作對(duì)應(yīng)于一段時(shí)間內(nèi)的連貫行為，信用分配問(wèn)題也得到了很好的解決。這就像從學(xué)習(xí)控制每個(gè)琴鍵的按壓力度，轉(zhuǎn)變?yōu)閷W(xué)習(xí)演奏音符和樂(lè)句，學(xué)習(xí)的效率自然大大提高。

四、在層次化任務(wù)中的卓越表現(xiàn)

研究團(tuán)隊(duì)在兩類環(huán)境中測(cè)試了他們的方法。第一類是離散的網(wǎng)格世界環(huán)境，智能體需要按特定順序訪問(wèn)不同顏色的位置。第二類是連續(xù)控制環(huán)境，基于MuJoCo物理模擬器，四足機(jī)器人需要在復(fù)雜的環(huán)境中導(dǎo)航到指定位置。

在網(wǎng)格世界環(huán)境中，智能體面臨的挑戰(zhàn)是需要組合基本的導(dǎo)航技能來(lái)完成復(fù)雜的任務(wù)序列。比如，一個(gè)任務(wù)可能要求智能體依次訪問(wèn)紅色、綠色、藍(lán)色、黃色的位置，每個(gè)基本的"前往某顏色"技能需要被組合成更長(zhǎng)的任務(wù)鏈。

在連續(xù)控制環(huán)境中，四足機(jī)器人不僅需要掌握基本的運(yùn)動(dòng)控制，還需要進(jìn)行高層次的路徑規(guī)劃。這種環(huán)境更加接近真實(shí)世界的復(fù)雜性，因?yàn)樗瑫r(shí)涉及低層次的運(yùn)動(dòng)控制和高層次的任務(wù)規(guī)劃。

實(shí)驗(yàn)結(jié)果顯示，內(nèi)部強(qiáng)化學(xué)習(xí)方法的表現(xiàn)遠(yuǎn)超傳統(tǒng)方法。在稀疏獎(jiǎng)勵(lì)任務(wù)中，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法幾乎完全失敗，成功率接近于零。相比之下，內(nèi)部強(qiáng)化學(xué)習(xí)方法能夠達(dá)到很高的成功率，并且學(xué)習(xí)速度快了幾個(gè)數(shù)量級(jí)。

這種巨大的性能差異源于兩個(gè)關(guān)鍵因素。首先，抽象動(dòng)作空間的探索效率遠(yuǎn)高于原始動(dòng)作空間。當(dāng)智能體在抽象層面進(jìn)行探索時(shí)，每次嘗試都對(duì)應(yīng)于一個(gè)有意義的行為片段，而不是隨機(jī)的動(dòng)作組合。其次，時(shí)間抽象大大縮短了有效的決策時(shí)間跨度，使得智能體能夠更快地將獎(jiǎng)勵(lì)信號(hào)與導(dǎo)致該獎(jiǎng)勵(lì)的決策聯(lián)系起來(lái)。

五、深入機(jī)制分析與理論驗(yàn)證

為了驗(yàn)證他們發(fā)現(xiàn)的機(jī)制，研究團(tuán)隊(duì)進(jìn)行了一系列深入的分析實(shí)驗(yàn)。他們首先通過(guò)速率失真分析驗(yàn)證了預(yù)訓(xùn)練模型凍結(jié)的重要性。結(jié)果表明，只有當(dāng)基礎(chǔ)自回歸模型保持凍結(jié)狀態(tài)時(shí)，元控制器才能學(xué)到與真實(shí)子目標(biāo)切換時(shí)間一致的抽象行動(dòng)表示。如果同時(shí)訓(xùn)練基礎(chǔ)模型和元控制器，系統(tǒng)往往會(huì)退化為無(wú)意義的切換模式。

這個(gè)發(fā)現(xiàn)揭示了一個(gè)重要的原理：預(yù)訓(xùn)練過(guò)程為模型建立了與任務(wù)相關(guān)的內(nèi)部表示結(jié)構(gòu)，這種結(jié)構(gòu)為后續(xù)的抽象行動(dòng)發(fā)現(xiàn)提供了必要的基礎(chǔ)。這就像一棟建筑的地基，只有地基穩(wěn)固，才能在上面建造更復(fù)雜的結(jié)構(gòu)。

研究團(tuán)隊(duì)還分析了元控制器學(xué)習(xí)到的切換模式。他們發(fā)現(xiàn)，切換單元確實(shí)學(xué)會(huì)了在任務(wù)的自然邊界處進(jìn)行切換，即使沒(méi)有明確的監(jiān)督信號(hào)。這種行為的出現(xiàn)是變分目標(biāo)和適當(dāng)正則化共同作用的結(jié)果。

通過(guò)對(duì)學(xué)習(xí)到的抽象動(dòng)作的詳細(xì)分析，研究者發(fā)現(xiàn)這些抽象動(dòng)作具有良好的泛化性。即使在新的環(huán)境配置中，學(xué)習(xí)到的抽象動(dòng)作仍然能夠有效地指導(dǎo)智能體的行為。這表明元控制器確實(shí)捕獲了任務(wù)的本質(zhì)結(jié)構(gòu)，而不是簡(jiǎn)單地記憶訓(xùn)練數(shù)據(jù)中的特定模式。

六、方法局限與未來(lái)展望

盡管取得了重要突破，研究團(tuán)隊(duì)也誠(chéng)實(shí)地承認(rèn)了當(dāng)前方法的局限性。首先，實(shí)驗(yàn)環(huán)境相對(duì)簡(jiǎn)單，主要集中在導(dǎo)航類任務(wù)上。在更復(fù)雜的現(xiàn)實(shí)世界任務(wù)中，比如涉及物體操作或復(fù)雜推理的任務(wù)，這種方法是否仍然有效還需要進(jìn)一步驗(yàn)證。

其次，抽象動(dòng)作的發(fā)現(xiàn)過(guò)程依賴于任務(wù)具有明顯的層次化結(jié)構(gòu)。對(duì)于那些本身不具備清晰層次結(jié)構(gòu)的任務(wù)，比如某些創(chuàng)造性的任務(wù)或開(kāi)放式的探索任務(wù)，當(dāng)前方法可能效果有限。

此外，元控制器的訓(xùn)練過(guò)程仍然需要高質(zhì)量的專家演示數(shù)據(jù)。雖然不需要明確的抽象動(dòng)作標(biāo)簽，但仍然需要足夠好的行為序列來(lái)學(xué)習(xí)有意義的抽象表示。在專家數(shù)據(jù)稀缺的領(lǐng)域，這可能成為一個(gè)制約因素。

展望未來(lái)，這項(xiàng)研究為多個(gè)方向開(kāi)辟了可能性。首先，將這種方法擴(kuò)展到更大規(guī)模的語(yǔ)言模型和更復(fù)雜的任務(wù)中是一個(gè)自然的發(fā)展方向。特別是在需要長(zhǎng)期推理的任務(wù)中，比如數(shù)學(xué)問(wèn)題求解或科學(xué)發(fā)現(xiàn)，內(nèi)部強(qiáng)化學(xué)習(xí)可能會(huì)展現(xiàn)出更大的優(yōu)勢(shì)。

另一個(gè)有前景的方向是將這種方法與現(xiàn)有的模型解釋性技術(shù)結(jié)合。通過(guò)分析學(xué)習(xí)到的抽象動(dòng)作，我們可能能夠更好地理解大型語(yǔ)言模型的內(nèi)部工作機(jī)制，這對(duì)于提高AI系統(tǒng)的可解釋性和可控性具有重要意義。

研究團(tuán)隊(duì)還提到了這種方法在模型引導(dǎo)和控制方面的潛在應(yīng)用。與現(xiàn)有的稀疏自編碼器等技術(shù)類似，元控制器可以作為一種新的模型解釋和控制工具，為人們提供更精細(xì)的方式來(lái)引導(dǎo)AI系統(tǒng)的行為。

七、對(duì)AI發(fā)展的深遠(yuǎn)影響

這項(xiàng)研究的意義遠(yuǎn)超出了技術(shù)層面的創(chuàng)新。它為我們理解智能本身提供了新的視角。長(zhǎng)期以來(lái)，人工智能研究主要專注于在特定任務(wù)上的性能優(yōu)化，而對(duì)智能系統(tǒng)如何形成和運(yùn)用抽象概念的理解相對(duì)有限。這項(xiàng)研究表明，即使是通過(guò)簡(jiǎn)單的下一個(gè)詞預(yù)測(cè)訓(xùn)練的模型，也能夠自發(fā)地形成復(fù)雜的層次化表示結(jié)構(gòu)。

從更廣的角度來(lái)看，這項(xiàng)研究為實(shí)現(xiàn)更通用的人工智能指出了一個(gè)可能的方向。通過(guò)在不同的抽象層次上進(jìn)行學(xué)習(xí)和推理，AI系統(tǒng)可能能夠更好地處理復(fù)雜的現(xiàn)實(shí)世界任務(wù)。這種能力對(duì)于構(gòu)建真正智能的AI助手至關(guān)重要，因?yàn)楝F(xiàn)實(shí)世界的任務(wù)往往需要在多個(gè)時(shí)間尺度和抽象層次上進(jìn)行協(xié)調(diào)。

這項(xiàng)研究也為AI安全研究提供了新的思路。通過(guò)直接操作模型的內(nèi)部抽象表示，我們可能能夠更精確地控制AI系統(tǒng)的行為，減少意外或有害行為的出現(xiàn)。這種內(nèi)部控制能力比傳統(tǒng)的輸出層面的監(jiān)督更加深入和可靠。

對(duì)于AI行業(yè)的發(fā)展，這項(xiàng)研究預(yù)示著一個(gè)重要的趨勢(shì)轉(zhuǎn)變。未來(lái)的AI系統(tǒng)可能不再是簡(jiǎn)單的輸入輸出映射器，而是具備復(fù)雜內(nèi)部結(jié)構(gòu)和多層次推理能力的智能體。這種轉(zhuǎn)變可能會(huì)催生新的AI應(yīng)用范式，特別是在需要長(zhǎng)期規(guī)劃和復(fù)雜決策的領(lǐng)域。

說(shuō)到底，這項(xiàng)來(lái)自谷歌智能范式團(tuán)隊(duì)的研究為我們展示了一個(gè)激動(dòng)人心的可能性：AI系統(tǒng)不僅能夠模仿人類的表面行為，還能夠?qū)W會(huì)類似人類的思維方式。通過(guò)發(fā)現(xiàn)和利用模型內(nèi)部的抽象表示，我們正在向構(gòu)建真正智能的AI系統(tǒng)邁出重要的一步。雖然距離實(shí)現(xiàn)通用人工智能還有很長(zhǎng)的路要走，但這種內(nèi)部強(qiáng)化學(xué)習(xí)的方法為我們指明了一個(gè)充滿希望的方向。

當(dāng)然，像所有突破性的科學(xué)發(fā)現(xiàn)一樣，這項(xiàng)研究也帶來(lái)了新的問(wèn)題和挑戰(zhàn)。如何確保這些內(nèi)部抽象表示與人類的價(jià)值觀保持一致？如何在更復(fù)雜的環(huán)境中擴(kuò)展這種方法？如何處理可能出現(xiàn)的內(nèi)部表示偏差或錯(cuò)誤？這些都是未來(lái)研究需要解決的重要問(wèn)題。

但無(wú)論如何，這項(xiàng)研究已經(jīng)為AI的發(fā)展開(kāi)辟了一個(gè)全新的領(lǐng)域。它不僅在技術(shù)上取得了重要突破，更在概念上改變了我們對(duì)機(jī)器學(xué)習(xí)和人工智能的理解。隨著更多研究者加入到這個(gè)領(lǐng)域，我們有理由期待更多激動(dòng)人心的發(fā)現(xiàn)和應(yīng)用。

Q&A

Q1：什么是內(nèi)部強(qiáng)化學(xué)習(xí)？

A：內(nèi)部強(qiáng)化學(xué)習(xí)是谷歌研究團(tuán)隊(duì)提出的全新AI訓(xùn)練方法，它不在原始動(dòng)作空間進(jìn)行學(xué)習(xí)，而是直接在AI模型內(nèi)部發(fā)現(xiàn)的抽象動(dòng)作空間中訓(xùn)練。就像從學(xué)習(xí)控制每個(gè)手指的細(xì)微動(dòng)作轉(zhuǎn)向?qū)W習(xí)"寫(xiě)字"、"畫(huà)畫(huà)"這樣的高級(jí)技能，大大提高了學(xué)習(xí)效率和任務(wù)完成能力。

Q2：為什么傳統(tǒng)強(qiáng)化學(xué)習(xí)在復(fù)雜任務(wù)中效果不好？

A：傳統(tǒng)強(qiáng)化學(xué)習(xí)就像讓人通過(guò)嘗試每一個(gè)可能的肌肉收縮來(lái)學(xué)習(xí)打籃球，效率極低。它必須逐步探索每個(gè)細(xì)微動(dòng)作，在稀疏獎(jiǎng)勵(lì)的復(fù)雜任務(wù)中往往需要數(shù)百萬(wàn)次嘗試才可能碰到正確的動(dòng)作組合，而內(nèi)部強(qiáng)化學(xué)習(xí)直接在"投籃"、"傳球"等抽象層面學(xué)習(xí)，效率提高數(shù)千倍。

Q3：這項(xiàng)技術(shù)什么時(shí)候能應(yīng)用到日常AI產(chǎn)品中？

A：目前這還是基礎(chǔ)研究階段，主要在導(dǎo)航類簡(jiǎn)單任務(wù)中驗(yàn)證了效果。要應(yīng)用到復(fù)雜的現(xiàn)實(shí)場(chǎng)景還需要解決很多技術(shù)挑戰(zhàn)，比如如何在更復(fù)雜的任務(wù)中發(fā)現(xiàn)有效的抽象動(dòng)作，如何確保系統(tǒng)的穩(wěn)定性和可控性等。預(yù)計(jì)需要幾年時(shí)間才能在實(shí)際AI產(chǎn)品中看到這種技術(shù)的應(yīng)用。