編輯｜冷貓

話不多說，先給大家看個(gè)視頻。

這流暢的游戲動(dòng)作，簡直堪比是技術(shù)流游戲玩家的實(shí)況畫面。尤其是茶杯頭的躲避跳躍踩靈魂一氣呵成，讓我們自愧不如。我要有這么快的反應(yīng)和操作水準(zhǔn)，玩絲之歌真不至于紅溫。

最令人震撼的是，上面視頻里的操作完完全全是 AI 操作出來的。

和傳統(tǒng)的游戲自動(dòng)化腳本不同，這是一個(gè)完整的通用的大模型，不僅限于單一游戲的操作，能夠玩遍市面上幾乎全部的游戲類型。

于是，讓我們正式介紹主角，來自英偉達(dá)的最新開源基礎(chǔ)模型 NitroGen

該模型的訓(xùn)練目標(biāo)是玩 1000 款以上的游戲 —— 無論是 RPG、平臺(tái)跳躍、吃雞、競速，還是 2D、3D 游戲，統(tǒng)統(tǒng)不在話下！

模型直接以游戲視頻幀作為輸入，輸出真實(shí)的手柄操作信號(hào)，天然適配所有支持手柄的游戲。NitroGen 支持后訓(xùn)練，意味著當(dāng)它面對一款從未見過的新游戲時(shí)，并不需要從零開始學(xué)習(xí)規(guī)則，只需少量微調(diào)或輕量適配，就能迅速上手，真正具備了跨游戲泛化的潛力。

• 項(xiàng)目地址: https://nitrogen.minedojo.org
• 論文地址: https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf
• 代碼鏈接: https://github.com/MineDojo/NitroGen
• 預(yù)訓(xùn)練模型: https://huggingface.co/nvidia/NitroGen
• 數(shù)據(jù)集: https://huggingface.co/datasets/nvidia/NitroGen

模型配方

英偉達(dá)研究團(tuán)隊(duì)發(fā)現(xiàn)，原本為機(jī)器人設(shè)計(jì)的 GR00T N1.5 架構(gòu)，只需極少改動(dòng)，就能適配機(jī)制差異極大的各類游戲。

NitroGen 的設(shè)計(jì)融合了三項(xiàng)關(guān)鍵要素：

1.互聯(lián)網(wǎng)規(guī)模的視頻 - 動(dòng)作數(shù)據(jù)集：通過從公開可獲取的游戲視頻中，自動(dòng)提取玩家操作，構(gòu)建而成；

2.多游戲基準(zhǔn)評測環(huán)境：用于系統(tǒng)性地評估模型在不同游戲之間的泛化能力；

3.統(tǒng)一的視覺 - 動(dòng)作策略模型：采用大規(guī)模行為克隆進(jìn)行訓(xùn)練。

總體概覽

NitroGen 由三個(gè)核心組件構(gòu)成：

1.多游戲基礎(chǔ)智能體

一個(gè)通用的視覺 - 動(dòng)作模型，能夠接收游戲觀測（如視頻幀），并生成對應(yīng)的手柄操作指令，實(shí)現(xiàn)跨多款游戲的零樣本（zero-shot）游玩能力，同時(shí)也可作為基礎(chǔ)模型，用于對新游戲進(jìn)行進(jìn)一步微調(diào)與適配。

2.通用模擬器

一個(gè)環(huán)境封裝層，使任意商業(yè)游戲都可以通過 Gymnasium API 進(jìn)行控制，從而統(tǒng)一不同游戲的交互接口，支持大規(guī)模訓(xùn)練與評測。

3.互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集

目前規(guī)模最大、類型最豐富的開源游戲數(shù)據(jù)集之一，來源于 40,000 小時(shí)的公開游戲視頻，覆蓋 1,000 余款游戲，并自動(dòng)提取并生成了對應(yīng)的動(dòng)作標(biāo)簽。

互聯(lián)網(wǎng)規(guī)模多游戲視頻動(dòng)作數(shù)據(jù)集

通過從屏幕顯示中提取玩家的實(shí)時(shí)手柄操作來獲取動(dòng)作信息，這類顯示被稱為 「輸入疊加層（input overlays）」。

研究團(tuán)隊(duì)收集了大量公開可獲取的、帶有「手柄操作疊加顯示」的游戲視頻。這些疊加層具有高度多樣性，給數(shù)據(jù)處理帶來了顯著挑戰(zhàn)：不同內(nèi)容創(chuàng)作者使用的手柄類型差異很大（如 Xbox、PlayStation 或其他控制器），疊加層的透明度各不相同，同時(shí)視頻壓縮還會(huì)引入各種視覺偽影。

對于每一段收集到的視頻，研究團(tuán)隊(duì)會(huì)采樣 25 幀圖像，并使用 SIFT 與 XFeat 特征，與精心整理的模板集合進(jìn)行關(guān)鍵點(diǎn)匹配，以此定位手柄在畫面中的位置。隨后，基于模板匹配的結(jié)果，對視頻中的手柄區(qū)域進(jìn)行定位與裁剪。

數(shù)據(jù)整理的過程本身就很有意思：研究團(tuán)隊(duì)發(fā)現(xiàn)，玩家非常樂于展示自己的操作技巧，常常會(huì)在視頻中疊加實(shí)時(shí)顯示的手柄輸入。于是團(tuán)隊(duì)訓(xùn)練了一個(gè)分割模型，自動(dòng)檢測并提取這些手柄顯示區(qū)域，將其轉(zhuǎn)換為「專家級(jí)動(dòng)作標(biāo)簽」。

隨后，研究團(tuán)隊(duì)會(huì)把這一區(qū)域在視頻中遮擋掉，防止模型通過「偷看答案」的方式走捷徑。在訓(xùn)練過程中，GR00T N1.5 的一個(gè)變體使用擴(kuò)散 Transformer，從 4 萬小時(shí)的像素級(jí)輸入直接學(xué)習(xí)到動(dòng)作輸出。

NitroGen 數(shù)據(jù)集在不同游戲與類型上的分布情況

在完成數(shù)據(jù)篩選后，該數(shù)據(jù)集共包含 40,000 小時(shí)的游戲視頻，覆蓋 1,000 余款游戲。

（a）單游戲數(shù)據(jù)時(shí)長分布

從每款游戲?qū)?yīng)的視頻時(shí)長來看，數(shù)據(jù)覆蓋范圍廣泛：846 款游戲擁有 超過 1 小時(shí)的數(shù)據(jù)，91 款游戲擁有 超過 100 小時(shí)的數(shù)據(jù)，其中還有 15 款游戲的累計(jì)數(shù)據(jù)量 超過 1,000 小時(shí)。

（b）游戲類型分布

從游戲類型來看，動(dòng)作 RPG 占比最高，占總時(shí)長的 34.9%；其次是 平臺(tái)跳躍類，占 18.4%；再次是 動(dòng)作冒險(xiǎn)類，占 9.2%；其余數(shù)據(jù)分布在多種不同游戲類型之中。

超強(qiáng)操作

實(shí)驗(yàn)結(jié)果表明，NitroGen 在多種不同類型的游戲場景中均表現(xiàn)出較強(qiáng)能力，包括：

• 3D 動(dòng)作游戲中的戰(zhàn)斗對抗，
• 2D 平臺(tái)跳躍游戲中的高精度操作，
• 以及程序生成世界中的探索任務(wù)。

NitroGen 500M 模型在不同游戲上的預(yù)訓(xùn)練結(jié)果

使用 Flow-Matching 的 GR00T 架構(gòu)，在完整的 NitroGen 數(shù)據(jù)集上訓(xùn)練了一個(gè) 5 億參數(shù)的統(tǒng)一模型。評估在行為克?。╞ehavior cloning）預(yù)訓(xùn)練完成后進(jìn)行。對于每一款游戲，研究團(tuán)隊(duì)在 3 個(gè)不同任務(wù)上進(jìn)行測試，每個(gè)任務(wù)執(zhí)行 5 次 rollout，并統(tǒng)計(jì)平均任務(wù)完成率。

在未進(jìn)行任何額外微調(diào)的情況下，盡管模型僅基于噪聲較大的互聯(lián)網(wǎng)數(shù)據(jù)集進(jìn)行訓(xùn)練，NitroGen 仍然能夠在多種游戲中完成非平凡（non-trivial）的任務(wù)，覆蓋了不同的視覺風(fēng)格（如 3D、2D 俯視視角、2D 橫向卷軸）以及多樣的游戲類型（平臺(tái)跳躍、動(dòng)作 RPG、Roguelike 等）。

后訓(xùn)練實(shí)驗(yàn)結(jié)果

更重要的是，NitroGen 能夠有效遷移到從未見過的新游戲。在相同任務(wù)設(shè)定下，其任務(wù)成功率相比從零開始訓(xùn)練的模型，最高可實(shí)現(xiàn) 52% 的相對提升

這項(xiàng)工作能夠殺死比賽。

通用機(jī)器人的基礎(chǔ)

NitroGen 只是一個(gè)起點(diǎn)，模型能力仍有很大的爬坡空間。研究團(tuán)隊(duì)在這次工作中有意只聚焦于無需深度思考、快速反應(yīng)的「玩家直覺式運(yùn)動(dòng)控制」。

據(jù)英偉達(dá)機(jī)器人總監(jiān) Jim Fan 所說，他們的目標(biāo)，是打造通用型具身智能體：不僅能掌握現(xiàn)實(shí)世界的物理規(guī)律，還能適應(yīng)一個(gè)由無數(shù)模擬環(huán)境構(gòu)成的「多元宇宙」中的所有可能物理規(guī)則。

這就是為什么許許多多的交互大模型都對電子游戲的操作念念不忘。電子游戲具備了相當(dāng)完整的世界和交互體系，每個(gè)游戲都是一個(gè)非常復(fù)雜完善的模擬環(huán)境，模型能夠?qū)崿F(xiàn)通用的游戲操作，離操作機(jī)器人進(jìn)行真實(shí)世界交互也就將更進(jìn)一步。

英偉達(dá)已開源發(fā)布該模型的數(shù)據(jù)集、評測套件以及模型權(quán)重，以推動(dòng)通用具身智能體方向的進(jìn)一步研究。

今天，機(jī)器人學(xué)是 AI 中「最難問題的超集」。明天，它可能只會(huì)成為具身 AGI 巨大潛在空間中的一個(gè)子集、一個(gè)點(diǎn)。

那時(shí)，只需要用自然語言提示，請求一個(gè)機(jī)器人「游戲手柄」即可。

文中視頻鏈接：https://mp.weixin.qq.com/s/J0OgAnGDM1VAsDfYNnzXnA