“原神，啟動(dòng)！”這句玩家圈耳熟能詳?shù)墓?，如今被一個(gè)AI給實(shí)現(xiàn)了，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)最近推出的Lumine智能體，還別說，我覺得真有點(diǎn)厲害。

它不光能在《原神》里自主完成長達(dá)五個(gè)小時(shí)的主線劇情，還會(huì)戰(zhàn)斗、解謎、開寶箱、和NPC聊天，甚至能連續(xù)玩七個(gè)小時(shí)的《崩壞：星穹鐵道》都不在話下。

更驚人的是，你不僅能清楚看到它的“思路”是如何推演的，還能直觀的看見它對(duì)鼠標(biāo)與鍵盤進(jìn)行一系列抽象化、可解釋的操作過程，完全模仿了人類玩家的行為。

這就讓人有點(diǎn)好奇了：現(xiàn)在的AI已經(jīng)發(fā)展到這個(gè)水平了？

▌游戲高手

作為一個(gè)AI，Lumine在《原神》里的表現(xiàn)確實(shí)可圈可點(diǎn)，它不僅能在蒙德地區(qū)完成了五小時(shí)的主線劇情，還能在完全沒訓(xùn)練過的璃月區(qū)域自主探索，甚至成功抵達(dá)了璃月港并拜訪深山中的仙人居所。

說實(shí)話，對(duì)于一個(gè)AI來說，能在這么復(fù)雜開放的世界里不迷路就已經(jīng)很不容易了。

戰(zhàn)斗方面，Lumine也展現(xiàn)出了超乎預(yù)期的能力，它能夠動(dòng)態(tài)的追蹤敵人位置，用弓箭精準(zhǔn)射擊遠(yuǎn)處的目標(biāo)，流暢切換角色進(jìn)行連招攻擊，甚至在戰(zhàn)斗后，還能記得去尋找并開啟寶箱。

面對(duì)BOSS戰(zhàn)的時(shí)候，它也不只是無腦的輸出，而是真的能理解并應(yīng)對(duì)特定機(jī)制，比如躲避風(fēng)魔龍的攻擊、抓住時(shí)機(jī)，攻擊弱點(diǎn)。

我印象最深的是，它處理游戲里那些令人頭疼的解謎能力，比如演示中的它，能夠沿著風(fēng)場的方向收集風(fēng)神瞳，切換角色為凱亞，不斷釋放E技能凍結(jié)水面來收集浮在水面上的風(fēng)神瞳；

這種操作需要精確的空間感知和時(shí)機(jī)把握，感覺很多真人玩家都未必能一次就成功。

▌跨游戲打工

如果說Lumine只會(huì)在《原神》里折騰，那可能還只算是個(gè)“專才”。但它真正厲害的地方在于強(qiáng)大的跨游戲泛化能力——說白了，就是它還能用同一套大腦玩轉(zhuǎn)多款不同的游戲。

在《崩壞：星穹鐵道》里，Lumine通關(guān)了黑塔空間站第一章全部主線任務(wù)，大概花了7小時(shí)左右。

雖然比人類玩家的平均速度慢了2.3小時(shí)，但考慮到這也是它第一次玩，而且《崩鐵》是和《原神》完全是不同類型的回合制游戲，這個(gè)表現(xiàn)已經(jīng)的相當(dāng)驚人了。

而在另一款開放世界游戲《鳴潮》中，Lumine完成了約100分鐘的主線劇情，有趣的是，由于基礎(chǔ)模型的知識(shí)庫截止時(shí)間，早于《鳴潮》上線，它在推理的時(shí)候還會(huì)借用《原神》的術(shù)語來描述《鳴潮》的內(nèi)容。

更讓人意想不到的是，團(tuán)隊(duì)居然還對(duì)Lumine在《黑神話：悟空》里的表現(xiàn)進(jìn)行了測試，盡管沒有能夠完成整個(gè)挑戰(zhàn)，不過它在新手教程以及第一章的前半部分堅(jiān)持了2.1小時(shí)，完成的比例達(dá)到了85.7%。

考慮到這款游戲的高難度和寫實(shí)畫風(fēng)對(duì)AI視覺識(shí)別的干擾，能取得這個(gè)成績也已經(jīng)相當(dāng)不容易了。

▌技術(shù)揭秘

那么，Lumine是怎么做到這些的呢？我認(rèn)為關(guān)鍵可能在于它模仿了人類玩家的學(xué)習(xí)方式。

Lumine采用了三階段訓(xùn)練的流程：首先用1731小時(shí)的人類游戲數(shù)據(jù)預(yù)訓(xùn)練，學(xué)會(huì)根據(jù)游戲的畫面輸出鍵鼠操作；然后用200個(gè)小時(shí)的指令跟隨數(shù)據(jù)，將語言和操作對(duì)應(yīng)；

最后再用15個(gè)小時(shí)的推理數(shù)據(jù)，讓模型具備靈活思考的能力。

這種訓(xùn)練的方式實(shí)際上就跟我們?nèi)祟悓W(xué)玩游戲差不多：先是把基本的操作給熟悉了，接著學(xué)會(huì)按照指示去完成任務(wù)，最后能夠自己動(dòng)腦子去解決那些復(fù)雜的問題。

值得一提的是，Lumine的效率也很高，它以5Hz的頻率處理原始圖像（也就是每秒處理5幀），同時(shí)還能以30Hz的頻率生成精確的鍵盤鼠標(biāo)操作。

關(guān)鍵就是，它不是始終處在“思考”這種狀態(tài)里，而是只有在有需求的時(shí)候，才會(huì)去進(jìn)行復(fù)雜的推理。這樣的話，既可以節(jié)省計(jì)算所需要的資源，又能夠保證行動(dòng)的流暢性。

▌背后的代價(jià)

當(dāng)然，培養(yǎng)這么一個(gè)AI游戲高手的代價(jià)也是相當(dāng)高昂的，根據(jù)公開的資料，訓(xùn)練整個(gè)Agent模型需要64塊H100顯卡，成本至少1500萬元。

要是再把AI領(lǐng)域那高昂的人力成本算進(jìn)去，那么整個(gè)項(xiàng)目推進(jìn)下來，最少也得耗費(fèi)好幾千萬。

單單是用于推理的主機(jī)，就搭載了4塊H20顯卡，價(jià)格超過30萬人民幣，所以這些可不是普通玩家或者小團(tuán)隊(duì)就能負(fù)擔(dān)得起的投入。

那么，花這么大代價(jià)搞一個(gè)會(huì)玩游戲的AI，字節(jié)游戲到底圖什么呢？在我看來，游戲可能是訓(xùn)練通用AI的最佳試驗(yàn)場。

當(dāng)一個(gè)智能體能夠在《原神》這樣的復(fù)雜世界中看屏幕、按鍵鼠完成數(shù)小時(shí)任務(wù)的時(shí)候，它本質(zhì)上已經(jīng)掌握了“屏幕智能”或者說“UI智能”的能力。

《原神》

而這種能力也完全可以遷移到其他的軟件上——比如說網(wǎng)頁瀏覽、辦公軟件操作、3D建模工具使用等等，想象一下，如果未來的AI能夠像玩《原神》那樣熟練地使用Photoshop、Excel或者編程的軟件，那對(duì)我們的工作效率會(huì)是多大的提升。

再從更實(shí)際的角度來看，Lumine這類技術(shù)至少可以在兩個(gè)領(lǐng)域立即發(fā)揮作用：自動(dòng)化游戲測試和反推游戲的設(shè)計(jì)。

傳統(tǒng)的游戲測試比較依賴人力，而AI可以24小時(shí)不間斷的工作，模擬真實(shí)玩家的復(fù)雜操作，高效地發(fā)現(xiàn)極端情況下的BUG，同時(shí)，再通過分析AI玩游戲的數(shù)據(jù)，設(shè)計(jì)師也能更好地了解玩家的行為，優(yōu)化游戲的體驗(yàn)。

*每天推送游戲資訊、新游推薦、游戲雜談等，帶你了解不一樣的游戲世界。