新智元報(bào)道

編輯：定慧

【新智元導(dǎo)讀】英偉達(dá)讓AI僅靠「看直播」就學(xué)會(huì)了通用游戲操作。虛擬世界已成為物理智能的黑客帝國(guó)，看4萬(wàn)小時(shí)直播學(xué)會(huì)幾乎所有游戲！

眾所周知，特斯拉的FSD之所以被奉為神作，核心就在于它那套「端到端」的硬核邏輯。

車(chē)子不再依賴(lài)死板的高精地圖，也不依賴(lài)傳感器，而是像個(gè)老司機(jī)一樣：

眼睛看著路（視覺(jué)輸入），腳下直接踩油門(mén)、手里直接打方向（行動(dòng)輸出）。

那么問(wèn)題來(lái)了，如果把這套邏輯搬到游戲場(chǎng)景里讓AI學(xué)習(xí)，會(huì)發(fā)生什么？

道理完全是一樣的！以前的AI玩游戲，還得靠讀后臺(tái)數(shù)據(jù)、甚至得「開(kāi)掛」才能知道敵人在哪。

但真正的人類(lèi)玩家是咋樣的？

是我們盯著屏幕上的像素（視覺(jué)），大腦一轉(zhuǎn)，手指直接噼里啪啦敲鍵盤(pán)、按手柄（操作）。

比如Faker的切屏，屬于人類(lèi)的頂尖反應(yīng)速度了。

從畫(huà)面直接到鼠標(biāo)鍵盤(pán)的操作，這就是游戲界的「FSD」。

英偉達(dá)最近就整了這么個(gè)狠活！

發(fā)布了一個(gè)叫NitroGen的新模型，它完全不按套路出牌。

項(xiàng)目地址：

https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf

這個(gè)模型不是靠讀游戲代碼長(zhǎng)大的，而是蹲在YouTube和Twitch上：

硬生生「看」了4萬(wàn)個(gè)小時(shí)帶有手柄畫(huà)面的游戲?qū)崨r！

它就像個(gè)極其好學(xué)的「云玩家」，通過(guò)觀察人類(lèi)怎么操作，直接學(xué)會(huì)了在各種游戲里該怎么走位、怎么平A。

不管是RPG還是橫版過(guò)關(guān)游戲，它都能拿捏。

你可能會(huì)問(wèn)：光看視頻咋學(xué)會(huì)操作？我又不知道主播按了哪個(gè)鍵。

這就不得不佩服英偉達(dá)研究員的腦洞了。

他們專(zhuān)門(mén)挖掘了YouTube和Twitch上那些帶有「控制器疊加畫(huà)面」的視頻。

對(duì)，就是那種主播在屏幕角落放個(gè)小手柄，按哪個(gè)鍵，畫(huà)面上的手柄也會(huì)跟著亮的視頻。

NitroGen就盯著這4萬(wàn)個(gè)小時(shí)的視頻素材，一邊看游戲畫(huà)面里發(fā)生了什么（比如林克揮了一劍），一邊看角落里的手柄哪個(gè)鍵亮了（比如按了X鍵）。

這就像是一個(gè)想學(xué)吉他的人，不看樂(lè)譜，而是把幾萬(wàn)場(chǎng)演唱會(huì)視頻里吉他手的指法特寫(xiě)全看了一遍，硬生生把「聽(tīng)覺(jué)」和「手指動(dòng)作」給對(duì)應(yīng)上了！

也只有AI能干這活了。

拒絕「偏科」，做個(gè)通用的六邊形戰(zhàn)士

以前的游戲AI往往是「專(zhuān)才」，會(huì)玩《王者榮耀》的絕對(duì)不會(huì)玩《超級(jí)馬里奧》。

但NitroGen主打的就是一個(gè)「通才」。

它學(xué)習(xí)了超過(guò)1000款不同的游戲。

這可能意味著它練就了一種「游戲直覺(jué)」!

就像我們?nèi)祟?lèi)玩游戲一樣，你只要玩過(guò)魂游，比如《艾爾登法環(huán)》之類(lèi)的，再上手一款新的動(dòng)作游戲《黑神話：悟空》，哪怕沒(méi)見(jiàn)過(guò)，你也大概知道左搖桿是跑，右邊按鍵是打。

測(cè)試數(shù)據(jù)顯示，當(dāng)把NitroGen丟進(jìn)一款它從未見(jiàn)過(guò)的新游戲里時(shí)，它的表現(xiàn)比那些從零訓(xùn)練的模型強(qiáng)了52%。

不管是動(dòng)作RPG、平臺(tái)跳躍，還是Roguelike，它都能迅速上手。

下一步：從海拉魯大陸走向現(xiàn)實(shí)世界

英偉達(dá)這一波操作，僅僅是為了造一個(gè)更強(qiáng)的NPC陪我們玩嗎？

格局小了，英偉達(dá)的野心更大！

先來(lái)看看最近AI在游戲中的表現(xiàn)。

The Decoder最新的研究發(fā)現(xiàn)，現(xiàn)在的AI甚至已經(jīng)開(kāi)始具備復(fù)雜的推理能力。

研究者通過(guò)一個(gè)《塞爾達(dá)傳說(shuō)》中的經(jīng)典變色謎題，對(duì)當(dāng)前頂尖大模型的推理能力進(jìn)行了一場(chǎng)別開(kāi)生面的「壓力測(cè)試」。

測(cè)試要求模型在不聯(lián)網(wǎng)的情況下，僅憑截圖規(guī)劃出六步操作以解開(kāi)謎題。

結(jié)果顯示，模型間的差距一目了然：

• GPT-5.2-Thinking展現(xiàn)了驚人的統(tǒng)治力，快速且準(zhǔn)確地秒殺全場(chǎng)；

• 谷歌的Gemini 3 Pro雖然也能解題，但有時(shí)會(huì)陷入冗長(zhǎng)的試錯(cuò)循環(huán)，推理文本竟長(zhǎng)達(dá)42頁(yè)；

• 而Claude Opus 4.5則在視覺(jué)理解上翻車(chē)，需借助數(shù)學(xué)公式輔助。

作者認(rèn)為：這種強(qiáng)大的推理能力結(jié)合英偉達(dá)NitroGen等自主智能體技術(shù)，預(yù)示著:

人類(lèi)撰寫(xiě)游戲攻略和軟件文檔的時(shí)代即將終結(jié)，AI將徹底改變我們獲取指導(dǎo)信息的方式。

比如在《塞爾達(dá)傳說(shuō)》里那種需要預(yù)判6步以上的變色謎題，現(xiàn)在的AI模型已經(jīng)能像解數(shù)學(xué)題一樣解開(kāi)了。

而NitroGen的潛力更進(jìn)一步，它不僅能玩，還能記錄和復(fù)盤(pán)。

想象一下，未來(lái)AI玩一遍游戲，順手就能把「白金攻略」給你寫(xiě)出來(lái)，甚至把游戲里的Bug自動(dòng)修了，這還要啥自行車(chē)？

（感覺(jué)游戲科學(xué)的《黑神話：鐘馗》大概率要上AI技術(shù)了）

但老黃真正的野心，其實(shí)藏在代碼里：NitroGen是基于英偉達(dá)的GR00T（機(jī)器人基礎(chǔ)模型）構(gòu)建的。

這波野心很大！

• 在游戲里，它學(xué)的是：看到懸崖->知道會(huì)掉下去->控制手柄跳過(guò)去。

• 在現(xiàn)實(shí)里，它對(duì)應(yīng)的就是：看到地上的水坑->知道會(huì)滑倒->控制機(jī)器人的腿跨過(guò)去。

虛擬世界，其實(shí)就是物理世界最高效的「練兵場(chǎng)」。

英偉達(dá)正在用游戲里的千萬(wàn)次試錯(cuò)，為未來(lái)走進(jìn)我們家里的機(jī)器人，打造一個(gè)能應(yīng)對(duì)一切混亂的「通用大腦」。

或許有一天，當(dāng)你感嘆隊(duì)友操作太神的時(shí)候，屏幕對(duì)面坐著的，真的可能不是人。

而是一個(gè)真的機(jī)器人拿著手柄在和你打游戲！

游戲即現(xiàn)實(shí)

視頻游戲已經(jīng)從單純的AI測(cè)試基準(zhǔn)，演變?yōu)槲锢碇悄艿挠?xùn)練場(chǎng)。

這不僅是游戲AI的勝利，更是機(jī)器人技術(shù)跨越「莫拉維克悖論」的關(guān)鍵轉(zhuǎn)折點(diǎn)。

從「大腦」到「身體」的跨越

在過(guò)去十年中，人工智能領(lǐng)域經(jīng)歷了從感知智能到認(rèn)知智能的飛躍。

然而，盡管大語(yǔ)言模型能夠撰寫(xiě)詩(shī)歌、編寫(xiě)代碼甚至通過(guò)律師資格考試，它們?cè)诿鎸?duì)物理世界時(shí)卻往往顯得笨拙不堪。

一個(gè)能通過(guò)圖靈測(cè)試的AI，可能無(wú)法控制機(jī)械臂完成最簡(jiǎn)單的「把杯子放進(jìn)洗碗機(jī)」的任務(wù)。

這就是著名的「莫拉維克悖論」：對(duì)計(jì)算機(jī)而言，實(shí)現(xiàn)邏輯推理等高階智慧只需要很少的計(jì)算能力，而實(shí)現(xiàn)感知、運(yùn)動(dòng)等低階智慧卻需要巨大的計(jì)算資源。

具身智能旨在解決這一問(wèn)題，它要求智能體不僅要「思考」，還要擁有「身體」，能夠與環(huán)境進(jìn)行物理交互。

長(zhǎng)期以來(lái)，具身智能的發(fā)展受限于兩大瓶頸：

1. 數(shù)據(jù)匱乏

   互聯(lián)網(wǎng)上充斥著萬(wàn)億級(jí)別的文本數(shù)據(jù)，卻缺乏同等規(guī)模的、帶有精確動(dòng)作標(biāo)簽的機(jī)器人數(shù)據(jù)。

2. 泛化困難

   傳統(tǒng)的強(qiáng)化學(xué)習(xí)（RL）算法通常只能在特定的環(huán)境（如圍棋棋盤(pán)或特定的工廠流水線）中表現(xiàn)優(yōu)異，一旦環(huán)境發(fā)生微小變化，模型就會(huì)失效。

游戲作為現(xiàn)實(shí)的模擬器

2025年，我們看到了一條解決上述瓶頸的全新路徑：利用視頻游戲作為通向物理世界的橋梁。

游戲提供了豐富的視覺(jué)環(huán)境、復(fù)雜的物理規(guī)則和明確的任務(wù)目標(biāo)，且天然具備數(shù)字化、可擴(kuò)展的特性。更重要的是，游戲世界中的「感知-決策-行動(dòng)」閉環(huán)與物理機(jī)器人完全同構(gòu)。

具身智能體要在復(fù)雜且不可預(yù)測(cè)的現(xiàn)實(shí)世界中生存，僅靠條件反射式的反應(yīng)是不夠的。

它必須具備深度的推理與規(guī)劃能力。

塞爾達(dá)變色球謎題的挑戰(zhàn)

該謎題源自《塞爾達(dá)傳說(shuō)》系列游戲，規(guī)則看似簡(jiǎn)單實(shí)則極其考驗(yàn)邏輯：

• 場(chǎng)景

  一個(gè)由紅色和藍(lán)色球體組成的網(wǎng)格。

• 規(guī)則

  點(diǎn)擊一個(gè)球體，會(huì)改變其自身以及上下左右相鄰球體的顏色（紅變藍(lán)，藍(lán)變紅）。

• 目標(biāo)

  通過(guò)一系列點(diǎn)擊，將所有球體變?yōu)樗{(lán)色。

這一謎題的本質(zhì)是一個(gè)約束滿(mǎn)足問(wèn)題或圖論問(wèn)題。

其復(fù)雜性在于狀態(tài)空間的組合爆炸和操作的不可逆性。

玩家不能只關(guān)注當(dāng)前這一步的收益，必須預(yù)判未來(lái)幾步的狀態(tài)變化。

這需要極強(qiáng)的前瞻性規(guī)劃能力，即在腦海中構(gòu)建一棵「決策樹(shù)」，并推演不同分支的結(jié)果，這正是人類(lèi)認(rèn)知心理學(xué)中定義的「系統(tǒng)2」思維——慢速、從容、有邏輯的思考。

根據(jù)The Decoder的深度評(píng)測(cè)：

當(dāng)前最頂尖的AI模型在面對(duì)這一挑戰(zhàn)時(shí)表現(xiàn)出了顯著的代際差異，這直接反映了它們作為具身智能體「大腦」的潛力。

GPT-5.2-Thinking的成功不僅在于它解出了謎題，更在于它展示了一種算法內(nèi)化的趨勢(shì)。

例如，當(dāng)機(jī)器人面對(duì)一個(gè)堆滿(mǎn)雜物的桌子時(shí)，它能夠像解決塞爾達(dá)謎題一樣，在「腦海」中預(yù)演：「如果我先拿底下的書(shū)，上面的杯子會(huì)倒；所以我必須先移開(kāi)杯子。」

這種能力是實(shí)現(xiàn)從「自動(dòng)化機(jī)器」向「自主智能體」跨越的關(guān)鍵。

如果說(shuō)GPT-5.2解決了「想什么」，那么英偉達(dá)的NitroGen模型則解決了「怎么做」。

NitroGen的發(fā)布標(biāo)志著機(jī)器人學(xué)習(xí)進(jìn)入了「ImageNet時(shí)刻」,利用互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)來(lái)訓(xùn)練通用的運(yùn)動(dòng)控制策略。

NitroGen團(tuán)隊(duì)提出了一種極其巧妙的「數(shù)據(jù)挖掘」策略：利用游戲直播中常見(jiàn)的輸入疊加層。

這一策略的精妙之處在于，它將原本「無(wú)監(jiān)督」的視頻數(shù)據(jù)瞬間轉(zhuǎn)化為了「有監(jiān)督」的「視覺(jué)-動(dòng)作」對(duì)。

英偉達(dá)利用這一技術(shù)，構(gòu)建了包含40,000小時(shí)、覆蓋1000多種游戲的NitroGen數(shù)據(jù)集。

這在機(jī)器人學(xué)習(xí)領(lǐng)域是前所未有的規(guī)模。

仿真層：世界模型作為機(jī)器人的「黑客帝國(guó)」

在電影《黑客帝國(guó)》中，尼奧在虛擬世界中學(xué)習(xí)功夫。

而對(duì)于機(jī)器人而言，世界模型（World Models）就是它們的「矩陣」。

若機(jī)器人能在極其逼真的虛擬世界中每秒經(jīng)歷數(shù)千次試錯(cuò)，其進(jìn)化速度將遠(yuǎn)超物理時(shí)間的限制。

綜合上述分析，通過(guò)游戲?qū)崿F(xiàn)通用智能體的路徑不僅可行，而且已經(jīng)初具雛形。

這條路徑可以概括為：「在游戲中學(xué)會(huì)控制，在仿真中學(xué)會(huì)物理，在現(xiàn)實(shí)中學(xué)會(huì)適應(yīng)。」

未來(lái)的通用智能體必然是分層架構(gòu)的：

• 頂層（大腦）

  類(lèi)似GPT-5.2的推理模型，負(fù)責(zé)處理長(zhǎng)程規(guī)劃、邏輯謎題和人類(lèi)指令理解。

• 中層（小腦）

  類(lèi)似NitroGen的通用策略模型，負(fù)責(zé)將高層指令翻譯成具體的運(yùn)動(dòng)軌跡，利用海量視頻數(shù)據(jù)獲得的「運(yùn)動(dòng)直覺(jué)」。

• 底層（脊髓）

  基于GR00T的高頻全身控制器，負(fù)責(zé)具體的電機(jī)力矩輸出和平衡維持。

盡管前景光明，但仍有幾個(gè)關(guān)鍵問(wèn)題亟待解決：

1. 觸覺(jué)反饋的缺失

   游戲和視頻主要是視覺(jué)和聽(tīng)覺(jué)的，缺乏觸覺(jué)。NitroGen學(xué)不到「物體有多重」或「表面有多滑」。

2. 高精度操作

   目前的視覺(jué)-動(dòng)作模型在粗糙動(dòng)作（如走路、抓取大物體）上表現(xiàn)良好，但在需要毫米級(jí)精度的操作（如穿針引線、精密裝配）上仍有不足。這可能需要更高分辨率的視覺(jué)編碼器或?qū)ｉT(mén)的精細(xì)操作策略。

3. 安全性與倫理

   當(dāng)機(jī)器人具備了自主規(guī)劃能力，如何確保其目標(biāo)函數(shù)與人類(lèi)價(jià)值觀對(duì)齊？「洗碗」指令不應(yīng)導(dǎo)致機(jī)器人「打破盤(pán)子以最快速度清空洗碗池」。

游戲不再僅僅是娛樂(lè)，它們是人類(lèi)為AI構(gòu)建的搖籃。

在這個(gè)搖籃里，AI學(xué)會(huì)了規(guī)劃（Zelda），學(xué)會(huì)了控制（NitroGen），學(xué)會(huì)了世界的物理法則（Cosmos）。

當(dāng)它們走出搖籃，進(jìn)入Project GR00T的軀體時(shí)，我們將見(jiàn)證真正的物理智能的誕生。

這不僅是技術(shù)的勝利，更是人類(lèi)通過(guò)創(chuàng)造虛擬世界來(lái)反哺現(xiàn)實(shí)世界的各種可能性的終極體現(xiàn)。

參考資料：

https://the-decoder.com/a-zelda-puzzle-proves-ai-models-can-crack-gaming-riddles-that-require-thinking-six-moves-ahead/

https://the-decoder.com/nvidia-wants-to-create-universal-ai-agents-for-all-worlds-with-nitrogen/

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！