來源：PaperWeekly

針對(duì)世界模型落地難題，LeCun 團(tuán)隊(duì)連發(fā)三文，給出從算法到工程的全棧最優(yōu)解。

Rectified LpJEPA：回歸稀疏表征

為解決這一問題，研究團(tuán)隊(duì)提出了Rectified LpJEPA。

RDMReg 與 RGG 分布

〓 Rectified LpJEPA 架構(gòu)示意及特征分布對(duì)比

稀疏性與性能的權(quán)衡

傳統(tǒng)觀點(diǎn)認(rèn)為，增加稀疏性約束會(huì)導(dǎo)致信息損失，進(jìn)而降低模型性能。Rectified LpJEPA 的實(shí)驗(yàn)打破了這一成見：稀疏性與性能完全可以共存。

在 ImageNet-100 的線性評(píng)估實(shí)驗(yàn)中，該模型展示了顯著的去冗余能力：

〓 特征稀疏度隨分布參數(shù)變化的控制曲線

〓 ImageNet-100 實(shí)驗(yàn)結(jié)果：在特定配置下，模型在保持較低激活率的同時(shí)，維持了具有競(jìng)爭(zhēng)力的分類準(zhǔn)確率。

實(shí)驗(yàn)數(shù)據(jù)表明，通過切片 Wasserstein 距離（Sliced Wasserstein Distance）匹配分布，RDMReg 有效迫使模型學(xué)習(xí)統(tǒng)計(jì)上更獨(dú)立、解耦的特征表示。

這種稀疏表征降低了特征間干擾，為后續(xù)規(guī)劃任務(wù)提供了更優(yōu)的狀態(tài)空間結(jié)構(gòu)。

GRASP：基于梯度的軌跡優(yōu)化

針對(duì)這些挑戰(zhàn)，論文提出了GRASP(Gradient Relaxed Stochastic Planner)，通過兩項(xiàng)關(guān)鍵技術(shù)創(chuàng)新，實(shí)現(xiàn)了穩(wěn)定的梯度規(guī)劃。

從“串行推導(dǎo)”到“并行配置”

傳統(tǒng)規(guī)劃通常采用串行方式，GRASP 則采用了配置點(diǎn)范式，將整個(gè)時(shí)間窗口內(nèi)的所有狀態(tài) 視為獨(dú)立的優(yōu)化變量。

這種方法將序列推理轉(zhuǎn)化為一個(gè)約束優(yōu)化問題，其核心目標(biāo)函數(shù)如下：

通過最小化這一動(dòng)力學(xué)違反誤差，GRASP 實(shí)現(xiàn)了計(jì)算并行化，并大幅縮短了梯度傳播路徑。

梯度截?cái)鄼C(jī)制

這種受控的隨機(jī)性允許規(guī)劃器在狀態(tài)空間進(jìn)行探索，有效避免了陷入次優(yōu)解。

在 PointMaze 迷宮導(dǎo)航等長(zhǎng)程任務(wù)中，GRASP 展現(xiàn)了顯著優(yōu)于 CEM 等傳統(tǒng)采樣方法的性能。

〓 PointMaze 和 Push-T 任務(wù)上的規(guī)劃成功率對(duì)比曲線

EB-JEPA：輕量化工程實(shí)現(xiàn)

模塊化與單卡訓(xùn)練

EB-JEPA 的設(shè)計(jì)原則是輕量級(jí)和模塊化。它將 JEPA 的核心組件——編碼器、預(yù)測(cè)器和代價(jià)函數(shù)（如 VICReg/SIGReg）——完全解耦，支持研究者靈活替換。

〓EB-JEPA 庫(kù)支持的三種核心架構(gòu)示意

該庫(kù)對(duì)所有示例（包括視頻預(yù)測(cè)任務(wù)）進(jìn)行了計(jì)算優(yōu)化，僅需數(shù)小時(shí)即可在單張 GPU（如 V100 16GB）上完成訓(xùn)練。

這一設(shè)計(jì)使得能源導(dǎo)向的自監(jiān)督學(xué)習(xí)能夠被更廣泛的研究群體所訪問。

核心：動(dòng)作條件視頻預(yù)測(cè)

EB-JEPA 不僅僅是圖像表征庫(kù)，它還提供了Action-Conditioned Video-JEPA的完整實(shí)現(xiàn)。

〓 EB-JEPA 訓(xùn)練循環(huán)偽代碼/代碼片段

這是構(gòu)建世界模型的基石：模型需要根據(jù)當(dāng)前狀態(tài)和控制輸入，預(yù)測(cè)未來的潛在狀態(tài)。

在 CIFAR-10 和 Moving MNIST 上的基準(zhǔn)測(cè)試表明，即便在輕量級(jí)設(shè)置下，EB-JEPA 依然能學(xué)習(xí)到高質(zhì)量表征（CIFAR-10 線性評(píng)估準(zhǔn)確率達(dá) 91%）。

這為學(xué)術(shù)界提供了標(biāo)準(zhǔn)化的實(shí)驗(yàn)平臺(tái)，低成本驗(yàn)證新正則化方法（如 Rectified LpJEPA）或規(guī)劃算法（如 GRASP）成為可能。

結(jié)語

從底層原理到上層應(yīng)用，這三項(xiàng)工作完成了 JEPA 世界模型技術(shù)棧的閉環(huán)構(gòu)建。

Rectified LpJEPA 證明了修正目標(biāo)分布可顯著提升表征的稀疏性與解耦度；GRASP 驗(yàn)證了長(zhǎng)程規(guī)劃任務(wù)中利用梯度信息的優(yōu)越性；而 EB-JEPA 則通過模塊化代碼，讓這一技術(shù)路線在通用計(jì)算資源上落地生根。

這些工作將非生成式世界模型的關(guān)注點(diǎn)，從架構(gòu)有效性的初步驗(yàn)證，推進(jìn)到了對(duì)表征效率、控制精度及系統(tǒng)可擴(kuò)展性的深度優(yōu)化階段。這為后續(xù)研究提供了具備明確數(shù)學(xué)原理和工程參考價(jià)值的技術(shù)基線。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問歐米伽研究所的“未來知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828

未來知識(shí)庫(kù)是“ 歐米伽 未來研究所”建立的在線知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。