1. 視覺質(zhì)量

首先，我們評估視頻是否「看起來真實」。通過圖像質(zhì)量、美學(xué)質(zhì)量與 JEPA 相似性等指標，衡量生成視頻在清晰度、色彩協(xié)調(diào)性及分布相似性方面的表現(xiàn)。這一維度主要刻畫模型在感知層面的真實程度與視覺表現(xiàn)力。

2. 動作質(zhì)量

僅有清晰畫面遠遠不夠，運動是否合理同樣關(guān)鍵。

我們通過動態(tài)程度、光流連續(xù)性與動作平滑性，分析視頻中運動的強度、連續(xù)性與時間一致性。該維度用于刻畫生成內(nèi)容在時序?qū)用娴姆€(wěn)定程度與運動特征。

3. 內(nèi)容一致性

真實世界不會「瞬間變形」。

我們通過主體一致性與背景一致性指標，衡量對象與場景在時間與空間維度上的穩(wěn)定性，分析是否存在結(jié)構(gòu)漂移、身份變化或背景不連貫等現(xiàn)象。

4. 物理遵循性

對物理規(guī)律的遵循能力是連接「視覺」與「功能」的關(guān)鍵橋梁。通過對視頻中機械臂和物體交互質(zhì)量與軌跡準確性，評估機器人與物體交互的合理程度，以及動作軌跡與物理規(guī)律之間的匹配關(guān)系。

5. 3D 準確性

空間理解能力，是世界模型邁向具身智能的重要基礎(chǔ)。

我們通過深度準確性與透視一致性指標，刻畫生成視頻的空間結(jié)構(gòu)是否符合幾何與透視規(guī)律，分析模型對三維結(jié)構(gòu)關(guān)系的理解能力。

6. 可控性

最后，也是最關(guān)鍵的一步：模型是否「聽得懂指令」。

通過指令跟隨、語義一致性與行動跟隨能力，評估模型對外部輸入的響應(yīng)程度，以及不同指令條件下生成結(jié)果的區(qū)分能力。

具身任務(wù)功能性評估：

WorldArena 的另一項核心創(chuàng)新，在于首次系統(tǒng)性評估世界模型在真實具身任務(wù)中的「功能能力」。

我們不再只問模型的視頻生成得有多逼真？而是進一步追問：它能否真正參與任務(wù)執(zhí)行？

為此，WorldArena 從三個關(guān)鍵角色出發(fā)，全面評估世界模型的能力：

1. 作為數(shù)據(jù)生成引擎，是否能有效補充下游策略訓(xùn)練數(shù)據(jù)？

2. 作為策略評估器，是否能準確刻畫真實環(huán)境的狀態(tài)轉(zhuǎn)移？

3. 作為行動規(guī)劃器，是否具備支持閉環(huán)執(zhí)行與長期決策的能力？

傳統(tǒng)評測往往停留在視覺層面，而 WorldArena 將評估延伸至下游具身任務(wù)本身。我們關(guān)注模型是否能夠在動態(tài)環(huán)境中做出有效決策，是否能夠處理復(fù)雜的多步交互，以及是否具備穩(wěn)定的規(guī)劃與執(zhí)行能力。通過這種功能導(dǎo)向的評測框架，我們得以更全面地理解世界模型的真實能力邊界，并判斷它們是否具備走向?qū)嶋H具身應(yīng)用的潛力。

圖 2 具身下游任務(wù)評測體系（數(shù)據(jù)合成引擎、策略評估器、動作規(guī)劃器）

EWMScore：統(tǒng)一的綜合評分體系

為了讓評測結(jié)果更直觀、更可比，WorldArena 引入了統(tǒng)一的綜合指標 ——EWMScore。EWMScore 通過整合多維度視頻評測指標，將視覺質(zhì)量、物理一致性與指令遵循能力等關(guān)鍵因素統(tǒng)一映射為一個綜合分數(shù)，為每個模型提供清晰、可橫向?qū)Ρ鹊男阅芸坍嫛８匾氖?，實驗結(jié)果表明該指標與人工評估結(jié)果高度正相關(guān)，能夠真實反映模型綜合能力。通過 EWMScore，我們讓世界模型的能力評估，從「多指標碎片化比較」，走向「統(tǒng)一、可解釋、可對齊」的綜合衡量體系。

圖 3 14 個世界模型 EWMScore 及不同維度指標對比

視頻質(zhì)量與功能之間的鴻溝：從視覺到執(zhí)行的能力差距

WorldArena 的系統(tǒng)性評估揭示了一個關(guān)鍵現(xiàn)實：當(dāng)前世界模型在視覺生成層面已取得顯著進展，但在真正支撐具身智能任務(wù)與長期決策方面仍存在本質(zhì)短板。

具體而言，盡管許多模型能夠生成高度逼真的視覺效果，它們在復(fù)雜物理環(huán)境中的一致性與穩(wěn)定性卻明顯不足。尤其是在長時序、多步交互的任務(wù)中，模型往往難以持續(xù)遵循物理規(guī)律，容易出現(xiàn)動態(tài)漂移、目標偏離或策略失穩(wěn)。這一現(xiàn)象表明，僅依賴視覺生成能力，遠不足以突破具身智能的核心瓶頸。

通過對數(shù)據(jù)引擎、策略評估、動作規(guī)劃三類關(guān)鍵具身下游任務(wù)的系統(tǒng)評測，WorldArena 進一步驗證了這一結(jié)論：當(dāng)前世界模型雖能生成「好看」的視頻，卻尚未具備支撐真實具身應(yīng)用的能力。

以數(shù)據(jù)引擎任務(wù)為例，我們利用世界模型生成合成軌跡，用于補充下游策略模型（如 VLA）的訓(xùn)練數(shù)據(jù)。實驗結(jié)果顯示，部分模型確實能夠帶來一定程度的性能提升，但整體來看，其生成數(shù)據(jù)質(zhì)量仍顯著落后于真實數(shù)據(jù)，多數(shù)模型尚難以為下游策略學(xué)習(xí)提供穩(wěn)定且可靠的增益。

表 2 以世界模型作為數(shù)據(jù)合成引擎，訓(xùn)練得到的 VLA 模型性能對比

在動作控制型世界模型的評估中，我們通過「策略評估任務(wù)」衡量其是否能夠作為真實環(huán)境的有效代理。

具體而言，我們訓(xùn)練了一系列不同能力水平的 VLA（Pi 0.5） 模型，并分別讓它們與真實物理仿真環(huán)境和世界模型環(huán)境進行交互，從而獲得兩組性能評估結(jié)果。通過計算兩者之間的相關(guān)性，我們可以判斷世界模型是否準確刻畫了真實環(huán)境的狀態(tài)轉(zhuǎn)移規(guī)律。

在 CtrlWorld 與 Cosmos-Predict 2.5 上的實驗結(jié)果呈現(xiàn)出顯著差異：CtrlWorld 的策略評估相關(guān)系數(shù)高達 0.986，幾乎與真實環(huán)境評測結(jié)果保持一致，表明其在動態(tài)建模層面有效捕捉了真實環(huán)境的演化機制。相比之下，Cosmos-Predict 2.5 的相關(guān)性明顯較低，這一現(xiàn)象也與其在視覺生成評測中的表現(xiàn)形成呼應(yīng)。

圖 4 基于世界模型和物理仿真環(huán)境的策略評估結(jié)果相關(guān)性

在動作規(guī)劃任務(wù)中，我們進一步將世界模型接入逆動力學(xué)模型，實現(xiàn)端到端的具身任務(wù)執(zhí)行。實驗發(fā)現(xiàn)，盡管部分世界模型能夠生成視覺上合理的未來預(yù)測，但在支持閉環(huán)控制，尤其是長時序復(fù)雜任務(wù)時，其性能仍顯著落后于成熟的策略模型（如 Pi 0.5）。

這表明，當(dāng)前世界模型雖然在一定程度上捕捉到了環(huán)境動態(tài)，卻尚不足以支撐穩(wěn)定、可靠的自主控制行為，尤其在長期決策與復(fù)雜交互場景中仍存在明顯短板。

表 3 基于世界模型進行動作規(guī)劃的任務(wù)性能對比

這些實驗揭示了一個關(guān)鍵挑戰(zhàn)：世界模型的終極目標，不是生成漂亮的視頻，而是成為可以支撐自主決策的環(huán)境代理。

真正可用的世界模型，必須理解物理規(guī)律、精確刻畫動作細節(jié)、在長時序任務(wù)中保持一致性并且在復(fù)雜環(huán)境中持續(xù)穩(wěn)定執(zhí)行。否則，它們?nèi)匀煌Ａ粼凇敢曈X生成模型」的階段，而不是「具身智能基礎(chǔ)設(shè)施」。

WorldArena 的結(jié)論很明確：世界模型正在逼近真實世界，但距離真正可用，還有一段關(guān)鍵的路要走。

評測與人類感知的高度對齊

一個關(guān)鍵問題是：模型指標好看，真的代表人類也覺得「真實」嗎？

WorldArena 在評測設(shè)計上，首次大規(guī)模引入人工評估，與自動指標 EWMScore 進行深度對齊。我們不僅關(guān)注視覺清晰度，在四個核心維度上開展了大規(guī)模人類評測：視頻整體質(zhì)量如何、是否符合物理規(guī)律、是否遵循復(fù)雜指令、模型之間相對優(yōu)劣。

人工評估結(jié)果揭示出一個清晰趨勢：商業(yè)化大型視頻模型（如 Veo 3.1、Wan 2.6）在整體質(zhì)量、指令遵循和物理符合性上表現(xiàn)優(yōu)異，展現(xiàn)出強大的感知現(xiàn)實性與語義一致性。在具身世界模型中，基于動作條件的模型（如 CtrlWorld）顯著優(yōu)于基于文本驅(qū)動的模型，尤其在物理合理性方面表現(xiàn)更穩(wěn)定。這說明：明確的動作建模，是生成高質(zhì)量視覺預(yù)測的關(guān)鍵。

更重要的是，我們發(fā)現(xiàn) EWMScore 與人類主觀評估高度正相關(guān)。這表明，EWMScore 并非一個抽象的復(fù)雜指標，而是能夠有效刻畫人類綜合感知判斷的評測標準。但當(dāng)我們進一步分析其與具身任務(wù)性能的關(guān)系時，一個更值得警惕的事實浮現(xiàn)：與數(shù)據(jù)引擎任務(wù)的相關(guān)性為 0.600，與動作規(guī)劃任務(wù)的相關(guān)性僅為 0.360。

這意味著 —— 視覺真實，并不等于功能真實。即便模型在視覺質(zhì)量上獲得人類認可，其對真實任務(wù)執(zhí)行能力的支撐仍然有限。尤其是在閉環(huán)控制場景中，視覺表現(xiàn)與功能性之間尚未建立強關(guān)聯(lián)。

圖 5 EWMScore 與人類評估、具身下游任務(wù)性能相關(guān)性分析

結(jié)語：從「生成世界」到「理解世界」，評測決定了技術(shù)進化的方向

WorldArena 的意義，遠不止于一套新指標。

它標志著具身智能評測正在從「審美導(dǎo)向」走向「功能導(dǎo)向」，從「論文里的對比實驗」走向「真實場景的能力驗證」。

當(dāng)世界模型不再比拼誰更「像電影」，而是誰更「懂物理、能干活、靠得住」，具身智能才真正開始。

? THE END

文章來源：機器之心。