離線強化學(xué)習(xí)（Offline RL）的一大難點是：訓(xùn)練數(shù)據(jù)固定、質(zhì)量參差不齊。近兩年，Decision Transformer（DT）等基于 Transformer 的方法因為把決策建模成條件序列生成而受到關(guān)注，但它們往往把「整條軌跡」作為學(xué)習(xí)單位：如果一條軌跡的最終回報不高，軌跡中間即便出現(xiàn)過有效動作與局部成功，也容易被整體低回報「稀釋」。

針對這一痛點，山東大學(xué)、中科院、理想汽車與清華大學(xué)的研究團隊聯(lián)合提出了一種名為PRGS（Peak-Return Greedy Slicing）的新框架。

PRGS 的目標(biāo)是在不改變離線數(shù)據(jù)來源的前提下，從原始軌跡中自動篩選出更有學(xué)習(xí)價值的子軌跡（sub-trajectories），用于訓(xùn)練 Transformer 型離線 RL 方法，并在推理階段進一步避免「糟糕歷史」對當(dāng)前決策的干擾。

在 D4RL、BabyAI 等主流榜單上，PRGS 不僅超越各種基線方法，更讓 Transformer 類方法的平均性能提升了 15.8%！

本論文的第一作者徐志偉，山東大學(xué)通用智能實驗室助理教授。于 2024 年在中國科學(xué)院自動化研究所獲博士學(xué)位，研究內(nèi)容主要為強化學(xué)習(xí)、多智能體系統(tǒng)與基于大語言模型的 AI Agent。曾獲得 2025 年度中國智能體與多智能體系統(tǒng)優(yōu)秀博士論文提名等榮譽。

目前，該論文已接收于國際計算機頂級會議 ICLR 2026。ICLR（International Conference on Learning Representations）是機器學(xué)習(xí)與表示學(xué)習(xí)領(lǐng)域的國際頂級會議之一，與 NeurIPS、ICML 并列為人工智能方向最具影響力的學(xué)術(shù)會議。本次 ICLR 2026 共有接近 19000 篇有效投稿，接收率約為 28%。

• 論文標(biāo)題：Peak-Return Greedy Slicing: Subtrajectory Selection for Transformer-Based Offline RL
  
• 論文鏈接：
• https://openreview.net/pdf?id=7vpehpWnnY

01 痛點：按「整條軌跡」學(xué)習(xí)，粒度不夠細

在離線 RL 中，數(shù)據(jù)是固定的，不能像在線 RL 那樣去不斷試錯?，F(xiàn)有的 Transformer-based 方法（如 DT），本質(zhì)上是在做條件序列建模。它們通常以「最終回報（Final Return）」為條件來生成動作。

這帶來的問題是顯而易見的：

• 粒度偏粗：模型只能看到一條軌跡的整體回報信號，難以區(qū)分軌跡內(nèi)部不同時間段的質(zhì)量差異。

• 縫合能力缺失：由于缺乏局部優(yōu)化目標(biāo)，模型很難從多個平庸策略中提取出最優(yōu)片段并組合成新的完美策略。

雖然也有研究試圖通過重采樣或加權(quán)來緩解，但大多治標(biāo)不治本，沒有深入到時間步（Timestep）級別去精細化操作。而PRGS 的出現(xiàn)，正是為了打破這一僵局。

02 核心解法：從全局建模到精細化切片

PRGS（Peak-Return Greedy Slicing）可以理解為一個面向 Transformer 離線 RL 的數(shù)據(jù)處理與推理增強框架，包含三部分：回報估計、貪心切片、推理時自適應(yīng)截斷。

它的核心邏輯非常像人類的學(xué)習(xí)過程：回顧過去的經(jīng)歷，哪怕結(jié)局是失敗的，也要找出其中做得最好的那一段，刻在腦子里。

PRGS 包含三個環(huán)環(huán)相扣的模塊：

第一步：MMD-based Return Estimator：用分布視角做更「樂觀」的回報估計

PRGS 首先需要回答：在軌跡內(nèi)部，哪些時間段更可能帶來高回報？為此作者引入基于最大均值差異（MMD）的回報估計器，用來刻畫狀態(tài)-動作對的潛在回報分布。

不同于傳統(tǒng)的均值預(yù)測，MMD 估計器能預(yù)測狀態(tài)-動作對的潛在回報分布。通過對分布采樣并取 Top-n 均值，PRGS 獲得了一個樂觀的回報估計值。簡單來說就是：它能挖掘出當(dāng)前狀態(tài)下可能達到的最好結(jié)果，而不是平均結(jié)果。

第二步：Greedy Subtrajectory Slicing：圍繞峰值回報做遞歸切片

在得到每個時間步的「樂觀回報」后，PRGS 對單條軌跡執(zhí)行貪心切片：PRGS 會掃描整條軌跡，計算每個時間步的「樂觀回報」。然后，它會找到那個回報最高的點——峰值點（Peak Point）。

• 切。以這個峰值點為界，從起點到峰值點的這一段，被認(rèn)定為「高質(zhì)量子軌跡」，直接拿去訓(xùn)練 Transformer。

• 再切。剩下的部分，再重新找峰值，繼續(xù)切，直到切完為止。

這種遞歸式的貪心策略，把長軌跡拆成一組更短、質(zhì)量更聚焦的子軌跡，從而讓 Transformer 在訓(xùn)練中更頻繁地接觸到「相對高回報」的決策片段。

第三步：Adaptive History Truncation：推理階段的自適應(yīng)截斷

PRGS 還考慮了一個實際問題：模型訓(xùn)練時看到的是「從軌跡中段截取出來的子軌跡」，推理時如果始終把所有歷史上下文都喂給模型，早期的低質(zhì)量動作可能會干擾后續(xù)決策。

PRGS 引入了一種自適應(yīng)歷史截斷機制（AHT）：每走一步，模型都會評估當(dāng)前狀態(tài)的價值。如果發(fā)現(xiàn)現(xiàn)在的處境比歷史記錄顯示的更有前途，說明之前的歷史已經(jīng)不僅沒用，反而成了累贅。這時候，模型會果斷失憶，丟掉歷史上下文，輕裝上陣。

03 實驗：多場景達到 SOTA 表現(xiàn)，復(fù)雜場景更強

研究團隊在D4RL（連續(xù)控制）、BabyAI（自然語言指令跟隨）以及AuctionNet（大規(guī)模廣告競價）三個截然不同的基準(zhǔn)上進行了測試。

D4RL 場景中表現(xiàn)驚艷

在經(jīng)典的 MuJoCo 和 AntMaze 任務(wù)中，PRGS 的表現(xiàn)堪稱驚艷。特別是在需要極強「縫合能力」的Maze2D-Large迷宮任務(wù)中，DT-PRGS 的得分高達127.5，而原始 DT 只有不到 30 分。

在迷宮任務(wù)中的可視化結(jié)果也顯示，通過 PRGS 提取出的子軌跡，精準(zhǔn)地覆蓋了通往目標(biāo)的「黃金路徑」，幾乎剔除了所有繞彎路的無效探索。

真實業(yè)務(wù)場景的潛力

除了學(xué)術(shù)榜單，PRGS 在AuctionNet（阿里媽媽開源的廣告競價數(shù)據(jù)集）上也表現(xiàn)出色。相比于 BC（行為克?。?，加持了 PRGS 后的 BC 算法在多個周期內(nèi)實現(xiàn)了顯著的利潤提升。

04 總結(jié)與展望

PRGS 的成功證明了一件事：在離線強化學(xué)習(xí)中，數(shù)據(jù)不僅要「多」，更要「精」。

通過MMD 估計器、貪心切片和自適應(yīng)截斷這套組合拳，PRGS 成功地讓 Transformer 具備了「取其精華，去其糟粕」的能力。這一成果也為自動駕駛、機器人控制等工業(yè)級應(yīng)用提供了極具價值的技術(shù)參考。