NVIDIA 最近發(fā)布了 NVIDIA Cosmos 開放世界基礎(chǔ)模型（WFM）的更新，旨在加速物理 AI 模型的測試與驗證數(shù)據(jù)生成。借助 NVIDIA Omniverse 庫和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5 現(xiàn)在將 Text2World、Image2World 和 Video2World 三個獨立的模型統(tǒng)一為一個輕量級架構(gòu)，能夠從單個圖像、視頻或提示生成一致且可控的多機位視頻世界。

Cosmos Transfer 2.5 能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時，在提示對齊和物理精度方面都有所提升。

這些 WFM 可以集成到在 NVIDIA Isaac Sim 開源機器人仿真框架中運行的合成數(shù)據(jù)流程中，該框架基于 NVIDIA Omniverse 平臺構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

• NVIDIA Omniverse NuRec 神經(jīng)重建庫，可通過智能手機拍攝的圖像，在 OpenUSD 環(huán)境中重建真實世界的數(shù)字孿生。
• SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。
• Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。
• NVIDIA Cosmos，用于擴充生成數(shù)據(jù)。

從仿真到現(xiàn)實世界，了解企業(yè)與開發(fā)者如何使用合成數(shù)據(jù)：Skild AI，Serve Robotics，Zipline，光輪智能，F(xiàn)S Studio，Robots for Humanity 等領(lǐng)先的機器人和 AI 公司及開發(fā)者已經(jīng)在使用這些技術(shù)來加速物理 AI 開發(fā)。

以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：

洞悉 Omniverse：開放世界基礎(chǔ)模型為物理 AI 開發(fā)生成合成世界 | NVIDIA 英偉達博客