新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】機(jī)器人操控的「數(shù)據(jù)困境」一直是行業(yè)痛點(diǎn)：要讓機(jī)器人學(xué)會精細(xì)操作，傳統(tǒng)方法需要大量人工標(biāo)注的動作演示數(shù)據(jù)，成本高昂、周期漫長。這個(gè)瓶頸能否被突破？

大型視頻生成模型在海量視頻上訓(xùn)練，已經(jīng)隱式地學(xué)會了物理世界的運(yùn)行規(guī)律：物體如何運(yùn)動、力如何傳遞、空間關(guān)系如何演化。

這些知識與機(jī)器人操控所需的物理直覺高度一致。

關(guān)鍵問題是：能否把這些視頻模型已經(jīng)掌握的物理先驗(yàn)，轉(zhuǎn)移到機(jī)器人控制上？

中山大學(xué)王廣潤教授給出了一個(gè)創(chuàng)新答案：不靠海量動作數(shù)據(jù)，直接從視頻生成模型中「借」物理直覺。從PAR（物理自回歸模型）到其進(jìn)階版本PhysGen（從預(yù)訓(xùn)練視頻模型中學(xué)習(xí)物理），兩項(xiàng)工作一脈相承，共享同一套「物理自回歸」核心框架，并與英偉達(dá)今年2月發(fā)布的DreamDojo在核心思路上高度重合——當(dāng)兩條獨(dú)立探索的路線收斂到同一個(gè)方向，這或許意味著某種底層規(guī)律正在被揭示。

PAR論文鏈接：https://arxiv.org/abs/2508.09822

項(xiàng)目主頁：https://hcplab-sysu.github.io/PhysicalAutoregressiveModel

論文發(fā)表時(shí)間：2025年8月13日

PhysGen論文鏈接：https://arxiv.org/abs/2603.00110

論文發(fā)表時(shí)間：2026年2月18日

傳統(tǒng)方法把「看環(huán)境」和「做動作」分成兩個(gè)任務(wù)。

PAR反其道而行之：把視頻幀和機(jī)器人動作編碼成同一種「物理token」，讓模型在同一個(gè)自回歸過程中，既預(yù)測「世界接下來會變成什么樣」，也同步輸出「機(jī)器人該做什么動作」，這與人類「眼手協(xié)調(diào)」的直覺高度吻合。

這樣做的好處是：動作不再是孤立的指令序列，而是與環(huán)境演化深度綁定的聯(lián)合預(yù)測。

圖1：物理token自回歸的運(yùn)作方式：預(yù)測未來的幀與動作聯(lián)合體，與真實(shí)環(huán)境同步演化

三個(gè)技術(shù)要點(diǎn)

1. 連續(xù)表示，不離散化：幀與動作都用連續(xù)向量表達(dá)，避免離散量化帶來的精度損失

2. 隱式逆運(yùn)動學(xué)：通過特殊的因果掩碼設(shè)計(jì)，讓模型在「看到未來畫面」后再決定當(dāng)前動作

3. 高效推理：借鑒LLM的KV-Cache技術(shù)，實(shí)現(xiàn)實(shí)時(shí)控制

效果如何？

在ManiSkill基準(zhǔn)測試中：

• PushCube任務(wù)達(dá)到100%成功率

• 總體平均成功率74%，居所有方法第二，僅次于需要大規(guī)模動作預(yù)訓(xùn)練的RDT（84%）

• 在PickCube與StackCube任務(wù)上，同樣超過或接近需要動作預(yù)訓(xùn)練的強(qiáng)基準(zhǔn)方法

• 額外引入?yún)?shù)僅30M

圖2：ManiSkill基準(zhǔn)成功率對比（零動作預(yù)訓(xùn)練，媲美SOTA）

PhysGen

對物理自回歸路線的深化

PhysGen在2026年2月公開發(fā)布，是PAR路線的延續(xù)。它完整保留了PAR的核心架構(gòu)（物理token、連續(xù)表示、因果掩碼），并在此基礎(chǔ)上做了三處關(guān)鍵改進(jìn)。

三項(xiàng)升級

① 前瞻規(guī)劃（Lookahead-MTP）讓模型每次預(yù)測時(shí)「多看幾步」——同時(shí)預(yù)測未來3個(gè)token，訓(xùn)練時(shí)全監(jiān)督，推理時(shí)只執(zhí)行第一個(gè)。這相當(dāng)于給機(jī)器人配了「短期規(guī)劃能力」。

② 高效訓(xùn)練（LoRA微調(diào)）用參數(shù)高效的方式微調(diào)大模型，訓(xùn)練成本大幅降低——單張A100顯卡，60小時(shí)內(nèi)完成訓(xùn)練。

③ 真實(shí)世界驗(yàn)證不止在仿真環(huán)境，PhysGen在Franka Panda真實(shí)機(jī)械臂上完成了四項(xiàng)任務(wù)測試，包括抓取透明物體這種高難度場景。

效果有多強(qiáng)？

LIBERO仿真基準(zhǔn)：

圖3：732M參數(shù)、在零大規(guī)模動作預(yù)訓(xùn)練的前提下，Physgen取得平均90.8%成功率

真實(shí)世界任務(wù)：

圖4： 真實(shí)機(jī)器人實(shí)驗(yàn)性能對比

在最考驗(yàn)物理感知的透明物體抓取任務(wù)中，PhysGen反超了需要大規(guī)模預(yù)訓(xùn)練的π0模型——這說明從視頻學(xué)到的物理直覺，在處理「視覺欺騙性強(qiáng)」的場景時(shí)更有優(yōu)勢。

與英偉達(dá)DreamDojo的深度同源

今年2月，英偉達(dá)發(fā)布了DreamDojo——一個(gè)基于大規(guī)模視頻訓(xùn)練的通用機(jī)器人世界模型。對比PAR/PhysGen與DreamDojo，會發(fā)現(xiàn)兩條路線在核心技術(shù)理念上驚人一致。

兩個(gè)系統(tǒng)的本質(zhì)目標(biāo)完全一致：預(yù)測未來的「物理量」——也就是未來的動作和視頻的聯(lián)合體。

這個(gè)設(shè)計(jì)背后的哲學(xué)是：機(jī)器人操控不是「先看畫面，再決定動作」的串行過程，而是「世界如何演化」與「機(jī)器人如何行動」的聯(lián)合預(yù)測問題。動作和視頻不是兩個(gè)獨(dú)立變量，而是物理世界演化的共同結(jié)果。

架構(gòu)共識：自回歸建模

在如何預(yù)測這個(gè)「未來物理量」的問題上，兩個(gè)系統(tǒng)不約而同地選擇了自回歸架構(gòu)。

為什么是自回歸？因?yàn)槲锢硎澜绲难莼?strong>序列性、因果性的——當(dāng)前時(shí)刻的狀態(tài)決定下一時(shí)刻的狀態(tài)，下一時(shí)刻又影響再下一時(shí)刻。自回歸模型天然契合這種「逐步展開」的物理過程。

表示共識：連續(xù)空間建模

在如何表達(dá)「物理量」的問題上，兩個(gè)系統(tǒng)都選擇了連續(xù)表示，而非離散化。

這是一個(gè)關(guān)鍵決策：物理世界本質(zhì)上是連續(xù)的（位置、速度、力都是連續(xù)量），離散化會引入量化誤差，這些誤差在長時(shí)序預(yù)測中會累積放大。連續(xù)表示則能保持物理量的原生精度。

訓(xùn)練共識：零動作預(yù)訓(xùn)練

兩個(gè)系統(tǒng)都驗(yàn)證了同一個(gè)重要結(jié)論：不需要大規(guī)模機(jī)器人動作數(shù)據(jù)預(yù)訓(xùn)練，就能實(shí)現(xiàn)強(qiáng)大的操控能力。

這背后的邏輯是：視頻數(shù)據(jù)本身已經(jīng)包含了豐富的物理先驗(yàn)（物體運(yùn)動規(guī)律、力學(xué)關(guān)系、空間推理），這些先驗(yàn)可以直接遷移到機(jī)器人控制任務(wù)上。

時(shí)間線印證

中大團(tuán)隊(duì)的PAR在2025年8月公開，PhysGen在2026年3月公開，DreamDojo在2026年2月發(fā)布。

三者獨(dú)立推進(jìn)，卻在四個(gè)核心決策上同步收斂：

① 預(yù)測目標(biāo)：未來動作+視頻聯(lián)合體（物理量）② 架構(gòu)選擇：自回歸逐步展開（契合物理因果）③ 表示方法：連續(xù)空間建模（避免量化誤差）④ 訓(xùn)練范式：零動作預(yù)訓(xùn)練（視頻物理先驗(yàn)遷移）

這不是偶然的相似，而是對同一底層規(guī)律的共同發(fā)現(xiàn)。

其中最核心的洞察是：

世界模型不是為了「看起來好」，而是為了「指導(dǎo)動作」

這是PAR/PhysGen與傳統(tǒng)視頻生成模型的根本區(qū)別。

傳統(tǒng)視頻生成模型（如Sora、Runway）追求的是視覺保真度——生成的視頻要「看起來真實(shí)」、「美觀流暢」。

但對于機(jī)器人操控而言，世界模型的根本目的不是生成一段視覺上美觀的未來視頻，而是希望生成的未來視頻能對下一步的物理動作起到實(shí)質(zhì)性的前瞻與指導(dǎo)作用。

核心哲學(xué)總結(jié)

對世界模型的理解，可以歸結(jié)為一句話：

世界模型的價(jià)值不在于生成「好看的視頻」，而在于生成「對動作有指導(dǎo)意義的物理預(yù)測」。視頻只是物理演化的可視化載體，真正重要的是其中蘊(yùn)含的物理因果關(guān)系——這些因果關(guān)系決定了「做什么動作會導(dǎo)致什么結(jié)果」，而這正是機(jī)器人決策的核心依據(jù)。

這也是為什么PhysGen能用732M參數(shù)超越7B級模型——它沒有把算力浪費(fèi)在「讓視頻更美」上，而是專注于「讓物理預(yù)測更準(zhǔn)」。

從PAR到PhysGen，正在驗(yàn)證一條清晰的技術(shù)路線：把機(jī)器人操控問題重新定義為「預(yù)測未來物理量」——未來的動作和視頻聯(lián)合體，并用自回歸模型在連續(xù)空間中逐步展開這個(gè)預(yù)測過程。

更重要的是，明確了世界模型的根本目的：不是生成視覺上美觀的未來視頻，而是生成對下一步物理動作有實(shí)質(zhì)指導(dǎo)作用的物理預(yù)測。這個(gè)理念體現(xiàn)在物理token聯(lián)合建模、因果掩碼逆運(yùn)動學(xué)、前瞻多步規(guī)劃、真實(shí)世界物理挑戰(zhàn)驗(yàn)證等一系列設(shè)計(jì)中，并通過732M參數(shù)超越7B級模型的效率，以及透明物體抓取超越π0的效果，得到了實(shí)踐檢驗(yàn)。

而英偉達(dá)DreamDojo在預(yù)測目標(biāo)、架構(gòu)選擇、表示方法、訓(xùn)練范式四個(gè)核心決策上的同步跟進(jìn)，則從另一個(gè)側(cè)面印證了這一方向的潛力。

作者介紹

王廣潤系國家海外高層次青年人才基金及華為戰(zhàn)略人才基金獲得者，中山大學(xué)計(jì)算機(jī)學(xué)院青年研究員、博士生導(dǎo)師，拓元智慧首席科學(xué)家。華為「天才少年計(jì)劃」最高級別入選者；曾赴英國牛津大學(xué)擔(dān)任Research Fellow，師從英國皇家科學(xué)院院士、皇家工程院院士 Philip H.S. Torr 教授。

主要從事新一代AI架構(gòu)、大物理模型與世界模型、多模態(tài)生成式AI方向研究。獲吳文俊人工智能優(yōu)秀博士論文獎（全國僅9人）、《Pattern Recognition》全球當(dāng)年唯一最佳論文、全球AI華人新星榜（當(dāng)年機(jī)器學(xué)習(xí)領(lǐng)域全球僅25人）；擔(dān)任多個(gè)CCF A類會議領(lǐng)域主席；在多項(xiàng)國際競賽中獲得金牌；研究成果被圖靈獎得主Yann LeCun引用。

參考資料：

https://arxiv.org/abs/2603.00110