近日，馬斯克在X上確認(rèn)，Optimus人形機(jī)器人開始通過(guò)人類視頻學(xué)習(xí)任務(wù)，放棄了動(dòng)作捕捉服與遠(yuǎn)程操作方案。這讓數(shù)據(jù)再次成為具身智能領(lǐng)域的焦點(diǎn)。

巧的是，就在今年初，逐際動(dòng)力就已經(jīng)推出基于視頻數(shù)據(jù)的具身智能大腦訓(xùn)練方案，靠人類操作視頻訓(xùn)練機(jī)器人。最近，他們又發(fā)布了新方案LimX DreamActor----這次是融合仿真數(shù)據(jù)和真機(jī)數(shù)據(jù)。

為什么不選擇死磕一種數(shù)據(jù)呢？

答案很現(xiàn)實(shí)：在具身智能領(lǐng)域，數(shù)據(jù)始終是最大的坎。真機(jī)數(shù)據(jù)太貴，仿真數(shù)據(jù)不夠真，視頻數(shù)據(jù)沒(méi)物理屬性應(yīng)用難度大——每種數(shù)據(jù)都有明顯短板。

逐際動(dòng)力走的是“多元數(shù)據(jù)”的路徑：不管真機(jī)數(shù)據(jù)、仿真數(shù)據(jù)還是視頻數(shù)據(jù)，能讓機(jī)器人“更聰明”的就是好數(shù)據(jù)，用什么數(shù)據(jù)不重要，重要的是數(shù)據(jù)效率，以更低的成本獲得更好的性能。

作為逐際動(dòng)力"多元數(shù)據(jù)配方"策略的最新實(shí)踐，DreamActor首次將Real2Sim2Real與真機(jī)強(qiáng)化學(xué)習(xí)深度融合，不是簡(jiǎn)單的數(shù)據(jù)拼接，而是讓每種數(shù)據(jù)在訓(xùn)練全流程里各司其職，達(dá)到操作訓(xùn)練的最大效能。

這個(gè)范式如何能在"低門檻"的同時(shí)，做到部署的"高效率"？這種對(duì)數(shù)據(jù)使用的探索對(duì)具身智能規(guī)模化又意味著什么？

我們拆解了這套方案。

逐際動(dòng)力具身智能訓(xùn)練新范式LimX DreamActor

▍四步打通虛實(shí)訓(xùn)練全流程

DreamActor設(shè)計(jì)了一套完整的“虛實(shí)結(jié)合”訓(xùn)練流程，把數(shù)據(jù)采集、仿真建模、大規(guī)模訓(xùn)練和真機(jī)微調(diào)緊密銜接在一起

第一步，用手機(jī)"掃描"真實(shí)世界。

過(guò)去采集環(huán)境數(shù)據(jù)要靠高精度專業(yè)級(jí)設(shè)備，成本高還麻煩。DreamActor打破了這個(gè)限制：只需用手機(jī)這類消費(fèi)級(jí)設(shè)備拍攝場(chǎng)景與物體，就能完成多視角環(huán)境數(shù)據(jù)采集。

沒(méi)有復(fù)雜的設(shè)備要求，數(shù)據(jù)獲取的門檻和成本直接降了下來(lái)。

第二步，在虛擬世界注入物理規(guī)律。

系統(tǒng)會(huì)基于采集好的多視角圖像做三維重建，更重要的是，它會(huì)給重建出的物體賦予和現(xiàn)實(shí)世界一致的物理參數(shù)——比如杯子的質(zhì)量、桌面的摩擦系數(shù)、盒子的碰撞體積。

這一步不是只做"表面功夫"，而是通過(guò)幾何、物理、尺度和坐標(biāo)的對(duì)齊，讓仿真環(huán)境盡可能貼近現(xiàn)實(shí)，為后續(xù)訓(xùn)練打下"靠譜"的基礎(chǔ)。

目前行業(yè)還只能做到“看起來(lái)像”，“用起來(lái)真”依然是一件高門檻的事。

第三步，在仿真里"練個(gè)夠"。

在對(duì)齊現(xiàn)實(shí)物理屬性的基礎(chǔ)上，系統(tǒng)會(huì)構(gòu)建大量高擬真場(chǎng)景，讓機(jī)器人的操作軌跡在這些混合渲染的場(chǎng)景里反復(fù)訓(xùn)練。

不用耗費(fèi)真機(jī)資源，就能低成本實(shí)現(xiàn)數(shù)據(jù)的大規(guī)模擴(kuò)展，機(jī)器人也能在這個(gè)過(guò)程中學(xué)會(huì)應(yīng)對(duì)不同場(chǎng)景，慢慢具備"泛化能力"——換個(gè)桌子、換個(gè)杯子，哪怕?lián)Q個(gè)房間，機(jī)器人依然能夠執(zhí)行操作。

第四步，真機(jī)上"精雕細(xì)琢"。

在仿真環(huán)境中經(jīng)過(guò)大量訓(xùn)練，已經(jīng)具備“扎實(shí)的底子”之后，模型會(huì)再到真機(jī)上進(jìn)行少量強(qiáng)化學(xué)習(xí)后訓(xùn)練。

這一步的妙處在于：不用讓真機(jī)冒險(xiǎn)試錯(cuò)——在工廠、家庭等真實(shí)場(chǎng)景，真機(jī)測(cè)試既危險(xiǎn)又燒錢。通過(guò)真機(jī)數(shù)據(jù)校準(zhǔn)仿真與現(xiàn)實(shí)的差距，確保模型部署到現(xiàn)實(shí)中時(shí)，成功率始終在線。

整個(gè)流程下來(lái)，DreamActor把"現(xiàn)實(shí)環(huán)境數(shù)據(jù)采集—仿真數(shù)據(jù)預(yù)訓(xùn)練—真機(jī)數(shù)據(jù)后訓(xùn)練"的鏈路徹底打通，既保留了仿真訓(xùn)練"高效率、大規(guī)模"的優(yōu)勢(shì)，又靠少量真機(jī)數(shù)據(jù)就補(bǔ)上了"落地穩(wěn)定性"的短板。

整個(gè)流程下來(lái)，DreamActor把"現(xiàn)實(shí)環(huán)境數(shù)據(jù)采集--仿真數(shù)據(jù)預(yù)訓(xùn)練--真機(jī)數(shù)據(jù)后訓(xùn)練"的鏈路徹底打通，既保留了仿真訓(xùn)練"高效率、大規(guī)模"的優(yōu)勢(shì)，又靠少量真機(jī)數(shù)據(jù)就補(bǔ)上了"落地穩(wěn)定性"的短板。

技術(shù)層面上，DreamActor引入了行業(yè)前沿的真機(jī)強(qiáng)化學(xué)習(xí)（RL）技術(shù)，這是低樣本高效學(xué)習(xí)和Sim2Real泛化的重要突破。真機(jī)RL技術(shù)近年才開始在具身大模型中應(yīng)用，逐際動(dòng)力能將其成功融入訓(xùn)練流程，不僅展現(xiàn)了深厚的技術(shù)積累，更代表著他們?cè)诰呱碇悄苡?xùn)練范式上走在了行業(yè)前沿。

最關(guān)鍵的是，這種虛實(shí)結(jié)合的方式，直接把機(jī)器人訓(xùn)練的門檻拉低了一個(gè)數(shù)量級(jí)——不需要專業(yè)設(shè)備，不需要海量真機(jī)數(shù)據(jù)，從開發(fā)伊始就大大降低了成本，讓更多團(tuán)隊(duì)能夠參與到具身智能的開發(fā)中來(lái)。

LimX DreamActor完整工作流程

▍為啥非要死磕多元數(shù)據(jù)？

DreamActor要花這么大功夫整合仿真和真機(jī)數(shù)據(jù)，背后是整個(gè)行業(yè)都在頭疼的問(wèn)題。

縱觀當(dāng)前行業(yè)的典型技術(shù)路線：

• 視頻學(xué)習(xí)派：通過(guò)分析大量人類操作視頻來(lái)訓(xùn)練機(jī)器人，充分挖掘海量視頻資源，但這些數(shù)據(jù)大多沒(méi)經(jīng)過(guò)"物理校準(zhǔn)"，模型學(xué)完容易出現(xiàn)"幻覺(jué)"——比如把輕輕放杯子的動(dòng)作學(xué)成了"扔"
• 仿真優(yōu)化派：專注于提升仿真環(huán)境的物理真實(shí)度，數(shù)據(jù)獲取成本低，但最大挑戰(zhàn)是仿真到現(xiàn)實(shí)的差距。現(xiàn)實(shí)世界的光照變化、材質(zhì)差異、意外碰撞……任何一個(gè)小偏差都可能導(dǎo)致任務(wù)失敗。
• 端到端派：探索用大語(yǔ)言模型理解和生成機(jī)器人動(dòng)作序列，或直接在真機(jī)上收集大量數(shù)據(jù)進(jìn)行訓(xùn)練，再進(jìn)行直接部署。真機(jī)數(shù)據(jù)最靠譜，但也最燒錢。最燒錢的地方在于先要造機(jī)器人本體，但目前硬件迭代速度很快，一旦硬件/構(gòu)型更新，數(shù)據(jù)很可能不能復(fù)用，泛化性難度很大；其次則是操作帶來(lái)的設(shè)備、物品損耗。

每種方法都有其獨(dú)特價(jià)值，但也都存在局限性。這也是逐際動(dòng)力“多元數(shù)據(jù)”策略要解決的解決具身智能數(shù)據(jù)問(wèn)題。

DreamActor的核心突破是結(jié)合Real2Sim2Real的高保真數(shù)據(jù)與真機(jī)RL的可靠性，同時(shí)，通過(guò)技術(shù)創(chuàng)新實(shí)現(xiàn)了幾個(gè)關(guān)鍵能力

• 手機(jī)等消費(fèi)級(jí)設(shè)備就能采集數(shù)據(jù)并重建高擬真場(chǎng)景
• 支持大規(guī)模生成或調(diào)用3D資產(chǎn)，低成本擴(kuò)展數(shù)據(jù)
• 場(chǎng)景物理屬性與現(xiàn)實(shí)一致，機(jī)械臂可高效完成坐標(biāo)對(duì)齊，省去繁瑣標(biāo)定，能直接在仿真中訓(xùn)練策略。

最終，Real2Sim加速策略初始化，真機(jī)RL保障部署可靠性，大幅縮短周期、降低風(fēng)險(xiǎn)。

LimX DreamActor優(yōu)勢(shì)對(duì)比

這些探索的核心目的，都是在尋找"數(shù)據(jù)應(yīng)用的效率極值點(diǎn)"：

多少仿真數(shù)據(jù)能撐起基礎(chǔ)訓(xùn)練？需要補(bǔ)充多少真機(jī)數(shù)據(jù)校準(zhǔn)偏差？不同場(chǎng)景下數(shù)據(jù)比例該怎么調(diào)？

關(guān)于這個(gè)函數(shù)當(dāng)中的“自變量”與“因變量”，目前行業(yè)還沒(méi)有統(tǒng)一答案，但每一種基于多元數(shù)據(jù)的實(shí)踐，都在為具身智能找到更優(yōu)的訓(xùn)練路徑。

▍從VGM到DreamActor：逐際動(dòng)力的"多元數(shù)據(jù)"進(jìn)化史

LimX DreamActor不是逐際動(dòng)力在實(shí)踐LimX Data Recipe（多元數(shù)據(jù)配方）策略上的第一次嘗試，在DreamActor之前，逐際動(dòng)力已經(jīng)推出過(guò)LimX VGM，那是一套聚焦視頻數(shù)據(jù)的訓(xùn)練方案：

靠人類操作視頻數(shù)據(jù)訓(xùn)練機(jī)器人，全過(guò)程零真機(jī)樣本，還能實(shí)現(xiàn)多平臺(tái)泛化，把人類視頻數(shù)據(jù)變成了"可用的訓(xùn)練資源"。

（關(guān)于VGM的詳細(xì)技術(shù)解析，可參考機(jī)器人大講堂此前的深度報(bào)道：國(guó)內(nèi)首次將人類操作數(shù)據(jù)直接應(yīng)用于機(jī)器人操作！零真機(jī)數(shù)據(jù)實(shí)現(xiàn)跨平臺(tái)泛化?。?/p>

逐際動(dòng)力還提出了"數(shù)據(jù)-性能ROI"這個(gè)評(píng)價(jià)標(biāo)準(zhǔn)——模型優(yōu)劣不是看模型用了多少數(shù)據(jù)，而是看投入的數(shù)據(jù)能換來(lái)多少操作性能提升。

從VGM主攻視頻數(shù)據(jù)，到DreamActor深耕仿真+真機(jī)，兩種路徑對(duì)應(yīng)了多元數(shù)據(jù)中最大的變量：一種是數(shù)量龐大但難以直接應(yīng)用的視頻數(shù)據(jù)，另一種則是易于生成但實(shí)際存在虛實(shí)差距的仿真數(shù)據(jù)。兩種路徑既展現(xiàn)了兩種數(shù)據(jù)的應(yīng)用潛力，也體現(xiàn)了從業(yè)者對(duì)數(shù)據(jù)應(yīng)用理解的不斷深化。

本質(zhì)上，從VGM到DreamActor，探索的都是通過(guò)改變數(shù)據(jù)來(lái)源和配比，找到"數(shù)據(jù)-性能ROI"的最優(yōu)解，最終目標(biāo)是打造可供廣泛應(yīng)用的具身智能"工業(yè)母機(jī)"。

對(duì)逐際動(dòng)力來(lái)說(shuō)，這些探索不只是技術(shù)積累，更是其"IDS生態(tài)協(xié)同戰(zhàn)略"的一部分。

他們想做的，是為創(chuàng)新者（Innovators）、開發(fā)者（Developers）和系統(tǒng)集成商（System Integrators）提供低成本、高效率的工具。

不管是VGM還是DreamActor，最終目的都是讓更多人能參與到具身智能的開發(fā)中，推動(dòng)這項(xiàng)技術(shù)從實(shí)驗(yàn)室走進(jìn)科研、制造、家庭等真實(shí)場(chǎng)景。

現(xiàn)在來(lái)看，具身智能的"大腦"還在探索階段，但這套"多元數(shù)據(jù)"思路，無(wú)疑為行業(yè)提供了一個(gè)值得參考的方向：

機(jī)器人的自主操作，從來(lái)不是"死磕某一種數(shù)據(jù)"就能實(shí)現(xiàn)的，而是在虛實(shí)數(shù)據(jù)的協(xié)同中，找到效率與穩(wěn)定的平衡點(diǎn)。

當(dāng)這個(gè)平衡點(diǎn)的公式被破解，具身智能的大規(guī)模應(yīng)用，或許真的不遠(yuǎn)了。