Ai2（艾倫人工智能研究所，這是由微軟聯(lián)合創(chuàng)始人保羅·艾倫于2014年創(chuàng)立的非營利性人工智能研究機構(gòu)）在機器人領(lǐng)域提出了一項大膽主張：機器人完全可以在仿真環(huán)境中學(xué)習(xí)有用的操控技能，然后將這些技能帶入現(xiàn)實世界，而無需在現(xiàn)實世界的機器人數(shù)據(jù)上進行任何訓(xùn)練。這是Ai2發(fā)布的兩個新開源項目MolmoSpaces和MolmoBot的核心思想。

MolmoSpaces是一個龐大的具身AI研究仿真環(huán)境，由超過23萬個室內(nèi)場景、13萬多個物體模型和4200多萬個機器人抓取注釋構(gòu)建而成。MolmoBot是基于MolmoSpaces訓(xùn)練的操控模型。這些模型共同設(shè)計用于解決仿真到現(xiàn)實的差距，這是確保在仿真中學(xué)到的行為在部署到物理機器人時仍然能夠有效的基礎(chǔ)機器人挑戰(zhàn)。

在評估中，MolmoBot成功執(zhí)行了幾個核心操控任務(wù)。它能夠執(zhí)行抓取和放置操作，操控抽屜和櫥柜等鉸接物體，并在兩個機器人平臺上打開門，包括Franka FR3機械臂和RB-Y1移動操作器，無需現(xiàn)實世界微調(diào)。這種結(jié)果被稱為零樣本仿真到現(xiàn)實遷移，它挑戰(zhàn)了機器人領(lǐng)域的一個普遍觀點，即合成訓(xùn)練只能達到一定限度，之后就需要人類引導(dǎo)的演示。

這種零樣本仿真到現(xiàn)實遷移的主張正是此次發(fā)布值得關(guān)注的之處。當(dāng)今許多機器人工作都依賴于人們在物理世界中引導(dǎo)機器人完成任務(wù)而收集的大量遙操作數(shù)據(jù)。這些數(shù)據(jù)集生成成本高昂，通常不公開，且難以復(fù)制。

Ranjay Krishna領(lǐng)導(dǎo)Ai2的PRIOR團隊，該團隊致力于多模態(tài)和具身AI研究。該團隊開發(fā)結(jié)合視覺、語言和音頻的模型，并發(fā)布了開放視覺語言系統(tǒng)，同時涉及衛(wèi)星圖像分析等領(lǐng)域的項目。最近，該團隊將工作擴展到機器人領(lǐng)域，這些模型被用于指導(dǎo)物理行動。

Krishna表示，他的團隊希望通過問仿真本身缺少什么來以不同方式處理仿真到現(xiàn)實的問題，而不是假設(shè)現(xiàn)實世界數(shù)據(jù)是唯一解決方案。他的答案是多樣性。

"我們的總體目標是提供能夠應(yīng)對真正艱巨挑戰(zhàn)的突破性AI模型。我們的方法是轉(zhuǎn)向仿真，弄清楚是什么讓仿真對人們不那么有吸引力，而不是走出去收集大型、昂貴的數(shù)據(jù)集，" Krishna說。"我們在幾年前開始這一系列項目時的假設(shè)是，仿真數(shù)據(jù)對于我們要生成足夠有用的數(shù)據(jù)來訓(xùn)練這些模型來說，多樣性還不夠。"

Krishna解釋說，問題不在于仿真本身過于依賴人工，而在于它往往缺乏機器人在實驗室之外遇到的條件范圍。Ai2通過大幅擴展訓(xùn)練期間可用的環(huán)境和情況種類來解決這一問題。在MolmoSpaces中訓(xùn)練的機器人會遇到不同的布局、照明條件、物體放置、攝像機視角和物理交互，所有這些都在仿真器內(nèi)生成。其想法是，如果模型在訓(xùn)練期間看到足夠多的變化，現(xiàn)實世界看起來就像是另一種環(huán)境。

MolmoSpaces提供了用于生成這種多樣性的廣泛仿真環(huán)境。該系統(tǒng)包括超過23萬個室內(nèi)場景，從家庭和辦公室到醫(yī)院和博物館，每個場景都填充了物體，這些物體的物理屬性（如重量、材料和鉸接）都為機器人交互進行了建模。因為一切都是仿真的，研究人員可以生成大量的機器人軌跡，并測試模型在許多環(huán)境中的泛化能力，而不是在單一固定設(shè)置中評估它們。

Krishna給出了一個特別生動的例子。在許多機器人系統(tǒng)中，即使攝像機的輕微移動也可能導(dǎo)致性能崩潰，因為模型過度依賴固定的視覺視角。Ai2希望通過將這類干擾直接引入仿真中來打破這種脆弱性。因此，Krishna說，即使攝像機被大幅移動，包括手動移動，MolmoBot仍能繼續(xù)執(zhí)行任務(wù)。

一名Ai2研究員訓(xùn)練機器人將香蕉放入特定的碗中。他不時移動攝像機，但機器人仍保持在任務(wù)上。

正如其在研究發(fā)布中通常的做法，Ai2將MolmoSpaces和MolmoBot作為開放基礎(chǔ)設(shè)施發(fā)布。該組織不僅發(fā)布模型，還發(fā)布整個技術(shù)棧：數(shù)據(jù)、生成管道、資產(chǎn)、基準和工具。MolmoSpaces還設(shè)計為在常見的仿真器上工作，包括MuJoCo、ManiSkill和Nvidia Isaac Lab和Sim，使其作為共享研究基礎(chǔ)設(shè)施更易訪問。

"艾倫研究所遵守的一個主要原則是我們所做的一切都是完全可復(fù)現(xiàn)的，完全開源的。" Krishna說，"你可以獲取我們所有的數(shù)據(jù)、所有的環(huán)境，并從頭開始構(gòu)建我們在內(nèi)部構(gòu)建的一切。"

Krishna承認，仿真到現(xiàn)實的差距已成為機器人研究的中心辯論："它一直是一個熱門話題。一些大公司寫的博客文章說，我們需要現(xiàn)實數(shù)據(jù)才能讓這些機器人在現(xiàn)實世界中工作，在仿真中做的任何事情都不會轉(zhuǎn)移到現(xiàn)實世界。"他說。"我們從實證上表明它確實有效。缺失的是我們仿真引擎中環(huán)境的多樣性，高質(zhì)量的資產(chǎn)集，高質(zhì)量的抓取集，以及我們可以生成的大量數(shù)據(jù)。"

這一切并不意味著仿真到現(xiàn)實的差距已經(jīng)消失，Krishna謹慎地指出。Ai2在仍然相對受控的環(huán)境中演示了少量操控任務(wù)的遷移，而不是現(xiàn)實世界機器人的完整復(fù)雜性。涉及動態(tài)運動的任務(wù)，如接住或投擲物體，在很大程度上仍未探索，需要旋轉(zhuǎn)或重新定位物品的更精確的更靈巧的操控也是如此。機器人仍然難以完成推理任務(wù)，如在雜亂的空間中搜索特定物體。

Krishna表示，團隊已經(jīng)在開發(fā)MolmoBot的后續(xù)版本，旨在解決更復(fù)雜、多步驟的任務(wù)。目標不是簡單的操控，而是處理多步驟指令，如在家庭中找到物品并取回，或?qū)⒄埱蠓纸鉃楦〉膭幼鱽砬謇矸块g。這需要能夠繪制周圍環(huán)境地圖、記住已經(jīng)看過的地方并規(guī)劃一系列步驟以實現(xiàn)目標的模型。

Krishna補充說，僅靠仿真無法解決問題。雖然大型仿真環(huán)境可以加速訓(xùn)練，但機器人仍需要從現(xiàn)實世界經(jīng)驗和演示中持續(xù)學(xué)習(xí)。"仿真絕對是答案的一部分，"他說，但開發(fā)能夠在部署后繼續(xù)學(xué)習(xí)的機器人仍然是一個主要挑戰(zhàn)。

對Krishna來說，這個項目最重要的收獲是，仿真可以在機器人領(lǐng)域發(fā)揮比許多研究人員曾經(jīng)認為的更大的作用："對我們來說，主要信息是仿真到現(xiàn)實是可能的，你可以復(fù)制這些結(jié)果，我們希望這將導(dǎo)致更好的、更公平的模型，任何人都可以構(gòu)建。"