公司情報專家《財經(jīng)涂鴉》獲悉，12月17日，騰訊混元發(fā)布世界模型1.5（Tencent HY WorldPlay)，成為國內(nèi)首個開放體驗(yàn)的實(shí)時世界模型。

據(jù)悉，混元世界模型1.5具備三大核心能力，包括實(shí)時的交互生成、長范圍的3D一致性以及多樣化的交互體驗(yàn)，目前騰訊混元3D官網(wǎng)已開放申請使用。

使用方面，用戶輸入文字描述或者圖片即可創(chuàng)建專屬的互動世界，通過鍵盤、鼠標(biāo)或手柄實(shí)時控制虛擬相機(jī)的移動和轉(zhuǎn)向，即可像玩游戲一樣自由探索AI生成的世界。

騰訊方面表示，該模型將帶來世界建模的全新可能性。用戶可以在生成的世界里隨意移動探索，離開某個區(qū)域后再次返回時，模型能夠“記住”該區(qū)域的三維結(jié)構(gòu)，呈現(xiàn)前后一致的場景——這種空間記憶能力標(biāo)志著模型在三維世界理解上的突破。

同時，混元世界模型1.5（WorldPlay）還首次開源了業(yè)界最系統(tǒng)、最全面的實(shí)時世界模型框架，涵蓋數(shù)據(jù)、訓(xùn)練、流式推理部署等全鏈路、全環(huán)節(jié)。

混元團(tuán)隊(duì)在技術(shù)報告中公開了模型預(yù)訓(xùn)練、持續(xù)訓(xùn)練、自回歸視頻模型強(qiáng)化學(xué)習(xí)、帶記憶力的模型蒸餾的訓(xùn)練細(xì)節(jié)，并詳述模型在控制（control space），記憶（reconstituted memory），蒸餾（context forcing），強(qiáng)化學(xué)習(xí)后訓(xùn)練幾大模塊上的思考與原創(chuàng)設(shè)計。

據(jù)悉，WorldPlay這一自回歸擴(kuò)散模型是混元世界模型1.5的核心。其采用Next-Frames-Prediction的視覺自回歸任務(wù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了長范圍幾何一致性的實(shí)時交互式世界建模，破解了業(yè)界滿足實(shí)時性與幾何一致性的難題。

該模型依托三大核心，實(shí)現(xiàn)了諸多創(chuàng)新，包括雙分支動作表征實(shí)現(xiàn)精準(zhǔn)控制、上下文記憶重構(gòu)機(jī)制保持幾何一致性、上下文對齊蒸餾技術(shù)增強(qiáng)長視頻生成的視覺質(zhì)量和幾何一致性。

此外，該工作也構(gòu)建了一套新穎的基于3D獎勵的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架來進(jìn)一步增強(qiáng)生成視頻的視覺質(zhì)量和幾何一致性。

數(shù)據(jù)方面，混元團(tuán)隊(duì)構(gòu)建的自動化3D場景渲染流程，可以獲得大量高質(zhì)量的真實(shí)世界渲染數(shù)據(jù)，進(jìn)一步激發(fā)核心算法的潛力。同時，混元世界模型1.5可支持24幀/秒的長時流式生成，一致性與泛化能力適用于多樣化場景。

這一全新的內(nèi)容生成模式可以應(yīng)用在多個場景中。

例如，在AI游戲開發(fā)領(lǐng)域，它可以作為智能關(guān)卡生成器，根據(jù)玩家的文本描述實(shí)時創(chuàng)建可探索的游戲世界；在影視制作和虛擬現(xiàn)實(shí)（VR）領(lǐng)域，創(chuàng)作者通過簡單的文本指令，就可以快速預(yù)覽和迭代場景設(shè)計；在具身智能（Embodied AI）研究領(lǐng)域，混元世界模型1.5提供了一個理想的訓(xùn)練和測試平臺，研究者可以通過借助這個平臺，以更高的效率、更大的規(guī)模，去探索具身智能體的感知、決策、規(guī)劃和長期交互能力。

作者：蘇打

編輯：tuya

出品：財經(jīng)涂鴉（ID：caijingtuya）