北京
新智元報(bào)道
編輯：peter東
【新智元導(dǎo)讀】傳統(tǒng)AI模型在稀疏獎勵環(huán)境中，往往會找不到激勵難以學(xué)會層次化思考。如今，谷歌團(tuán)隊(duì)通過引入元控制器操控模型內(nèi)部殘差流，讓智能體學(xué)會了「跳躍式思考」。該研究揭示了大模型內(nèi)部可自發(fā)形成了類似人腦的層次化決策機(jī)制，為AI在需要多步的復(fù)雜任務(wù)提供了全新的訓(xùn)練范式。
AI智能體最大的「硬傷」，是算力不夠？
并不是，獎勵太少、路太長才是。
在稀疏獎勵的長序列任務(wù)里，傳統(tǒng)token-by-token探索像蒙眼走迷宮：沒有路標(biāo)、沒有提示，只有走到終點(diǎn)才知道對不對。
結(jié)果就是一個尷尬現(xiàn)實(shí)：想讓智能體做點(diǎn)復(fù)雜事，往往必須外掛規(guī)劃器「扶著走」。
而谷歌這項(xiàng)研究直接換打法：在迷宮里要求智能體按順序踏過一串彩色子目標(biāo)，且只有全程無誤才給獎勵——用最殘酷的稀疏獎勵，逼出真正的層次化決策能力。
真正的突破在于：他們不再只優(yōu)化輸出，而是開始操控模型內(nèi)部的「認(rèn)知過程」。
在稀疏獎勵下，
智能體如何高效探索
傳統(tǒng)的大模型，依賴逐詞生成（token-by-token）的探索方式，而這對于需要多個正確步驟才能獲得獎勵的復(fù)雜任務(wù)，由于獎勵稀疏，導(dǎo)致智能體難以完成需要層次化決策的長序列任務(wù)。
這好比讓一個人蒙著眼睛走迷宮，只有到達(dá)終點(diǎn)才能獲得反饋，期間沒有任何指引，不論這個人嘗試多少次也找不到出口。
這導(dǎo)致當(dāng)下的大模型智能體需要外帶一個規(guī)劃器，才能完成復(fù)雜的，需要多步才能完成的任務(wù)。而谷歌這項(xiàng)研究做的，就是讓智能體在迷宮中，按特定順序訪問一系列彩色位置（子目標(biāo)），且只有在完全正確的序列完成后才能獲得獎勵。
圖1：智能體需要在迷宮中按順序走過不同顏色的方塊
這種「組合式任務(wù)」要求智能體必須掌握層次化解決問題的能力，不止需要低級的運(yùn)動控制技能，又需要高級的時序規(guī)劃能力。
這就如同人類搬運(yùn)水杯的任務(wù)，相當(dāng)于執(zhí)行「拿起水杯→走到桌前→放下水杯」這樣的連貫動作。
「大腦中的大腦」
AI自我發(fā)現(xiàn)抽象動作
那谷歌團(tuán)隊(duì)是如何解決稀疏獎勵帶來的問題的？
答案是元控制器（Metacontroller）。
元控制器通過接收基模型的殘差流，能夠生成一系列簡單的內(nèi)部控制器。
每個控制器對應(yīng)一個時序抽象動作，每個時序抽象動作對應(yīng)一個時間軸，并附帶終止條件。通過按時間組合多個控制器，智能體能夠在新任務(wù)上實(shí)現(xiàn)高效探索。
圖2：元控制器引導(dǎo)預(yù)訓(xùn)練自回歸模型的殘差流激活。
通過自監(jiān)督的下一步動作預(yù)測，元控制器發(fā)現(xiàn)如何生成時間上稀疏變化的簡單內(nèi)部控制器序列 。
在分層結(jié)構(gòu)任務(wù)中，每個內(nèi)部控制器對應(yīng)一個時序抽象動作，引導(dǎo)基礎(chǔ)自回歸模型實(shí)現(xiàn)一個有意義的初級目標(biāo)。
圖3：元控制器的架構(gòu)
經(jīng)由強(qiáng)化學(xué)習(xí)，研究者發(fā)現(xiàn)元控制器能夠通過變分推理自動識別有意義的行為模塊，這相當(dāng)于無監(jiān)督發(fā)現(xiàn)抽象動作該怎么完成。
用上元控制器，訓(xùn)練機(jī)器人給人泡茶，就不必由手工編碼將任務(wù)拆解成多步了。
此外，元控制器還能動態(tài)時間整合，它能通過開關(guān)單元控制抽象每一步動作的持續(xù)時間。并且能組合泛化，將學(xué)到的抽象動作重新組合解決新任務(wù)。
圖4：自監(jiān)督元控制器在預(yù)訓(xùn)練的自回歸模型中發(fā)現(xiàn)時序抽象動作。
元控制器學(xué)習(xí)到的開關(guān)模式還能與真實(shí)子目標(biāo)切換完美對齊，盡管模型從未接收過子目標(biāo)標(biāo)簽。這種根據(jù)環(huán)境，切換使用那個子目標(biāo)的方式是涌現(xiàn)產(chǎn)生的，表明模型內(nèi)部形成了類似「選項(xiàng)」的分層結(jié)構(gòu)。
內(nèi)部強(qiáng)化學(xué)習(xí)
提效數(shù)個量級的新訓(xùn)練范式
該研究最令人驚訝的，是使用元控制器后的內(nèi)部強(qiáng)化學(xué)習(xí)，與傳統(tǒng)強(qiáng)化學(xué)習(xí)在原始動作空間進(jìn)行微調(diào)不同，內(nèi)部強(qiáng)化學(xué)習(xí)在發(fā)現(xiàn)的抽象動作空間中進(jìn)行學(xué)習(xí)，搜索空間大幅減小。在需要組合泛化的任務(wù)中，內(nèi)部強(qiáng)化學(xué)習(xí)的成功率顯著高于所有基線方法，包括先前最先進(jìn)的分層強(qiáng)化學(xué)習(xí)方法CompILE。
圖5：不同強(qiáng)化學(xué)習(xí)方式的成功率
之所以智能體能夠以更大的可能性，學(xué)會某一個需要多步驟才能完成的任務(wù)，是因?yàn)橛辛嗽刂破?，模型隱含地學(xué)會了將長序列任務(wù)分解為可重用的子程序（如「移動到某色塊」），這就讓搜索空間變小，獎勵也不再稀疏。
相當(dāng)于通過對動作空間降維，將高維殘差流空間壓縮到低維抽象空間。再加上在抽象時間尺度上操作，縮短有效時間跨度。使得在抽象層面進(jìn)行獎勵分配更加高效。
「覺醒-睡眠」訓(xùn)練循環(huán)的具體實(shí)現(xiàn)
在2015年的論文[2]中，Jürgen Schmidhuber提出了「覺醒-睡眠」訓(xùn)練循環(huán)的理論框架。
其核心思想是構(gòu)建一個迭代的、自我改進(jìn)的循環(huán)，兩個階段交替執(zhí)行，旨在構(gòu)建能夠形成并利用時間抽象和計(jì)劃能力的自主智能系統(tǒng)。
睡眠階段智能體回顧其過往的經(jīng)歷（觀察和行動序列），通過自監(jiān)督學(xué)習(xí)訓(xùn)練一個內(nèi)部世界模型。
「覺醒」階段智能體利用在「睡眠」階段學(xué)到的世界模型內(nèi)部表征，進(jìn)行強(qiáng)化學(xué)習(xí)和規(guī)劃，以發(fā)現(xiàn)新的、有價值的行為。在「覺醒」階段獲得的新經(jīng)驗(yàn)數(shù)據(jù)，又會被加入到經(jīng)驗(yàn)庫中，用于下一輪的「睡眠」階段，以改進(jìn)世界模型。
而谷歌的這項(xiàng)研究，可看成是「覺醒-睡眠」訓(xùn)練循環(huán)的具體實(shí)現(xiàn)，自回歸基礎(chǔ)模型預(yù)訓(xùn)練對應(yīng)睡眠階段。模型通過下一個token（此處是下一動作或觀察）預(yù)測的目標(biāo)，在大量未標(biāo)注的行為數(shù)據(jù)上進(jìn)行訓(xùn)練。
這個過程正是自監(jiān)督學(xué)習(xí)，模型學(xué)會了推斷智能體的潛在目標(biāo)（如子目標(biāo)），并在其殘差流激活中形成了時間抽象的表征。
覺醒階段則是元控制器及其驅(qū)動的內(nèi)部強(qiáng)化學(xué)習(xí)。它學(xué)習(xí)如何操控基礎(chǔ)模型（世界模型）的內(nèi)部殘差流激活，從而生成有意義的、持續(xù)多個時間步的抽象動作（如「前往藍(lán)色位置」）。
這相當(dāng)于在世界模型的內(nèi)部狀態(tài)空間中進(jìn)行規(guī)劃和控制。
圖6：在發(fā)現(xiàn)時序抽象動作時，預(yù)訓(xùn)練的自回歸模型被凍結(jié)的重要性。
而只有如圖6所示，當(dāng)基礎(chǔ)自回歸模型在元控制器訓(xùn)練期間被凍結(jié)時，才會涌現(xiàn)出與子目標(biāo)對齊的正確切換表征。
這一發(fā)現(xiàn)強(qiáng)烈支持了「覺醒-睡眠」循環(huán)的分階段迭代思想：首先通過預(yù)訓(xùn)練建立一個高質(zhì)量、穩(wěn)定的世界模型（基礎(chǔ)模型）。
然后，在此基礎(chǔ)上，再通過元控制器學(xué)習(xí)驅(qū)動內(nèi)部強(qiáng)化學(xué)習(xí)，從而學(xué)到控制策略。
如果兩者同時訓(xùn)練（共訓(xùn)練），模型會收斂到一個退化的解決方案，無法發(fā)現(xiàn)有意義的時間抽象。
這印證了分階段、迭代式訓(xùn)練的理論優(yōu)越性。而這符合Jürgen Schmidhuber提出的「先睡眠（構(gòu)建模型）、后覺醒（學(xué)習(xí)控制）」的循環(huán)訓(xùn)練方案。
終結(jié)隨機(jī)鸚鵡爭論
在大模型研究中，一直有批評人士認(rèn)為自回歸模型無論參數(shù)量多大，都不過是「隨機(jī)鸚鵡」，難以形成一致的時間抽象和規(guī)劃。
而該研究表明，預(yù)測下一個詞的訓(xùn)練方式，只要結(jié)合元控制器，就能夠誘導(dǎo)出層次化的時間抽象，這與人類的問題解決方式高度相似。
在不依賴手動獎勵塑形的情況下解決需要多步才能完成的任務(wù)，是邁向能夠?qū)Ш綇?fù)雜、開放式搜索空間的自主智能體的關(guān)鍵一步，在這些空間中，中間進(jìn)度的定義往往未知。
谷歌團(tuán)隊(duì)的這項(xiàng)研究標(biāo)志著AI研究從單純優(yōu)化模型輸出，轉(zhuǎn)向理解和操控模型內(nèi)部認(rèn)知過程，為開發(fā)具有真正層次化推理能力的通用AI系統(tǒng)提供了堅(jiān)實(shí)的實(shí)踐基礎(chǔ)，說明了模仿人類睡眠，才能夠?qū)崿F(xiàn)復(fù)雜時間序列任務(wù)的高效學(xué)習(xí)。
與稀疏自編碼器（SAEs）等解釋性方法相比，元控制器具有顯著優(yōu)勢。它直接通過殘差流干預(yù)降低預(yù)測誤差，具有內(nèi)部記憶，支持長時間跨度的干預(yù)，且能夠發(fā)現(xiàn)可解釋的、長時間持續(xù)的干預(yù)策略。
這項(xiàng)技術(shù)的潛在應(yīng)用極其廣泛。
在機(jī)器人控制中，可讓機(jī)器人執(zhí)行需要多步協(xié)調(diào)的復(fù)雜任務(wù)；對于數(shù)學(xué)推理，能自主將復(fù)雜問題分解為可管理的推理步驟；對于科學(xué)發(fā)現(xiàn)，也可讓智能體在稀疏獎勵環(huán)境中進(jìn)行高效探索和假設(shè)檢驗(yàn)。
谷歌提出的內(nèi)部強(qiáng)化學(xué)習(xí)范式，尤其適合需要長期規(guī)劃和組合推理的場景，為實(shí)現(xiàn)真正通用的智能系統(tǒng)提供了新路徑。
參考資料：
https://arxiv.org/abs/2512.20605
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
