整理 | 褚杏娟

4 月 16 日，阿里發(fā)布可實(shí)時(shí)構(gòu)建和交互的世界模型產(chǎn)品 HappyOyster（快樂生蠔）。該產(chǎn)品由阿里 ATH 創(chuàng)新事業(yè)部團(tuán)隊(duì)研發(fā)，與此前爆火的 同屬一個(gè)團(tuán)隊(duì)。

先看下實(shí)際效果：

漫游模式暢游世界名畫

HappyOyster 基于原生多模態(tài)架構(gòu)而建，支持多模態(tài)理解與音視頻聯(lián)合生成。目前產(chǎn)品可實(shí)現(xiàn)“漫游（Wander）”和“導(dǎo)演（Direct）”兩大核心能力，用戶可以實(shí)時(shí)構(gòu)建可互動(dòng)、可演繹、可探索的 AI 數(shù)字世界。同時(shí)，用戶生成的數(shù)字世界，不僅能被完整保存，還能開放給其他用戶進(jìn)行二次創(chuàng)作。

相比大語言模型相對(duì)成熟的模型架構(gòu)和技術(shù)范式，世界模型仍屬于前沿探索領(lǐng)域。阿里的 HappyOyster 與谷歌的 Genie3 同屬于世界模擬器流派。

區(qū)別于傳統(tǒng)文生視頻模型輸入提示詞、等待渲染、獲得成片的被動(dòng)流程，這一流派采用長時(shí)間跨度上的世界演化建模方式。通過學(xué)習(xí)海量長視頻數(shù)據(jù)，以及文本、動(dòng)作指令、圖像參考等多樣控制信號(hào)，模型能夠主動(dòng)理解空間、物理與因果規(guī)律，預(yù)測(cè)情節(jié)和畫面的演變，從而把“被動(dòng)生成內(nèi)容”轉(zhuǎn)變?yōu)椤爸鲃?dòng)模擬世界演化”，為構(gòu)建可交互的通用世界模擬器提供了關(guān)鍵技術(shù)路徑。

Google DeepMind 團(tuán)隊(duì)在 2024 年提出的一篇世界模型論文中提到，Genie 包含三大部分：

• 時(shí)空視頻 tokenizer，把原始視頻序列壓縮為離散 token，實(shí)現(xiàn)高效建模。

• 自回歸 dynamics 模型，在 token 空間里，按時(shí)間步預(yù)測(cè)未來幀，用類似大語言模型的自回歸方式建模世界演化。

• 隱式動(dòng)作（latent action）模型，學(xué)習(xí)一個(gè)低維、離散的“動(dòng)作空間”，讓智能體的操作在這個(gè)空間中被解釋，從而實(shí)現(xiàn)“按鍵→畫面變化”的可控交互。

整個(gè)系統(tǒng)在訓(xùn)練階段不需要任何顯式動(dòng)作標(biāo)簽或環(huán)境規(guī)則，只依賴海量未標(biāo)注視頻，以無監(jiān)督方式學(xué)習(xí)“如果這樣動(dòng)，世界會(huì)怎樣變化”的隱含規(guī)律。最終，Genie 可以不依賴特定游戲引擎，從多模態(tài)提示生成可玩世界，并實(shí)現(xiàn)逐幀交互。這些特性使 Genie 被視為早期的世界模擬器。

而這次阿里發(fā)布的 HappyOyster 也直指谷歌 Genie 3。官方表示，HappyOyster 采用了時(shí)間跨度更長的世界演化建模方式，使得模型能夠保持高保真、長時(shí)序的動(dòng)態(tài)場(chǎng)景生成。同時(shí)在建模初始就設(shè)計(jì)了多樣的控制信號(hào)，使模型能夠在統(tǒng)一的時(shí)序框架下同時(shí)實(shí)現(xiàn)生成質(zhì)量、長時(shí)序與實(shí)時(shí)可控性的協(xié)同優(yōu)化。

在產(chǎn)品能力上，HappyOyster 呈現(xiàn)出差異化優(yōu)勢(shì)。不僅能支持 Wander 漫游探索，還獨(dú)家提供實(shí)時(shí)導(dǎo)演功能，用戶可通過自然語言指令隨時(shí)介入世界演化、調(diào)度角色事件，實(shí)現(xiàn)從被動(dòng)探索到主動(dòng)創(chuàng)作的跨越。在視覺表現(xiàn)上，HappyOyster 漫游模式的畫面質(zhì)量更高，風(fēng)格泛化能力更強(qiáng)，動(dòng)態(tài)性更好。

導(dǎo)演模式可在任意節(jié)點(diǎn)改變劇情走向

當(dāng)前，在漫游模式中，用戶僅需一句話或一張圖，即可生成具備物理一致性的完整空間，物體位置穩(wěn)定、場(chǎng)景持久存在，視角與光照也能跟隨第一人稱視角持續(xù)移動(dòng)；此外，用戶能自由切換方向與鏡頭運(yùn)動(dòng)，突破初始畫框的邊界，體驗(yàn)無限延展的探索樂趣。目前 Happy Oyster 支持長達(dá) 1 分鐘的連續(xù)實(shí)時(shí)位移與鏡頭控制，并支持多樣化的風(fēng)格切換。

漫游模式控制人物運(yùn)動(dòng)

在導(dǎo)演模式下，用戶能夠在視頻的任意節(jié)點(diǎn)，通過文字、語音或圖像等多模態(tài)輸入，隨時(shí)實(shí)現(xiàn)鏡頭切換、劇情改寫、角色調(diào)度，在充分的交互中生成一個(gè)光照、重力、角色動(dòng)作與場(chǎng)景因果持續(xù)演化的世界，并能選擇題材風(fēng)格。導(dǎo)演模式支持連續(xù)生成 3 分鐘以上的 480p 或 720p 實(shí)時(shí)畫面。

不過，當(dāng)前漫游與導(dǎo)演兩大模式尚未完全打通，但未來用戶有望在漫游過程中直接與世界深度互動(dòng)、實(shí)時(shí)改寫場(chǎng)景規(guī)則，真正實(shí)現(xiàn)邊探索、邊創(chuàng)造的無縫融合體驗(yàn)。

會(huì)議推薦

QCon 全球軟件開發(fā)大會(huì)·2026 北京站將于 4 月 16 日 -18 日正式舉辦。本屆大會(huì)以“Agentic AI 時(shí)代的軟件工程重塑”為主題，聚焦 100+ 重磅議題，匯聚來自阿里、騰訊、字節(jié)跳動(dòng)、小米、百度等一線科技企業(yè)與創(chuàng)新團(tuán)隊(duì)的技術(shù)專家，圍繞 AI 工程化、系統(tǒng)架構(gòu)與研發(fā)模式演進(jìn)展開深入探討。更多詳情可掃碼或聯(lián)系票務(wù)經(jīng)理 18514549229 進(jìn)行咨詢。

今日薦文

你也「在看」嗎？