編輯｜楊文

近來(lái)，一匹來(lái)路不明的「歡樂(lè)馬」殺到了 Artificial Analysis 排行榜的榜首。

AI 圈頓時(shí)猜測(cè)聲四起，直到阿里跳出來(lái)認(rèn)領(lǐng)。

沒(méi)想到短短幾天，阿里「Happy」家族又來(lái)了個(gè)新成員 ——HappyOyster（快樂(lè)生蠔）

二者「師出同門(mén)」，均來(lái)自阿里今年 3 月剛成立的 Alibaba Token Hub（ATH）創(chuàng)新事業(yè)群。

不過(guò)，與歡樂(lè)馬「寫(xiě) prompt、等渲染、收成片」的一次性流程不同，HappyOyster 是一款可實(shí)時(shí)構(gòu)建和交互的開(kāi)放式世界模型產(chǎn)品

它基于原生多模態(tài)架構(gòu)，背后是支持多模態(tài)輸入與音視頻聯(lián)合生成的流式生成世界模型，在生成過(guò)程中能夠持續(xù)接收用戶(hù)指令，畫(huà)面實(shí)時(shí)響應(yīng)、持續(xù)演繹。

HappyOyster 主打漫游（Wander）導(dǎo)演（Direct）兩大核心功能。

其中漫游功能是首個(gè)支持任意風(fēng)格、無(wú)限互動(dòng)的通用世界模型，只需輸入文本或圖像，即可生成無(wú)邊探索的世界場(chǎng)景，支持 1 分鐘以上的實(shí)時(shí)位移控制和鏡頭控制。

導(dǎo)演功能則是基于世界模型的實(shí)時(shí) AI 視頻導(dǎo)演引擎，可連續(xù)生成長(zhǎng)達(dá) 3 分鐘的 720p 實(shí)時(shí)視頻，我們可以通過(guò)文字指令實(shí)時(shí)操控鏡頭、調(diào)度角色、改變劇情走向。

說(shuō)起這個(gè)名字，還有些講究，它借用莎翁那句經(jīng)典名言「The world is your oyster.」（世界是你的牡蠣，等你親手打開(kāi)）。

目前，HappyOyster 已上線(xiàn)，我們也在第一時(shí)間拿到邀請(qǐng)碼，接下來(lái)就上手實(shí)測(cè)一番。

體驗(yàn)鏈接：https://www.happyoyster.cn/

一手實(shí)測(cè)：

阿里這個(gè)世界模型有點(diǎn)意思

先來(lái)試試主打的漫游（Wander）功能

該功能支持文字或圖片生成世界。

我們既可以直接輸入提示詞，也可以分開(kāi)設(shè)定「角色（Character）」和「場(chǎng)景（Scene）」做精細(xì)化控制，還能在第一人稱(chēng)和第三人稱(chēng)之間切換視角。

比如，我們使用「定制模式」分開(kāi)輸入：角色設(shè)定為「A stylish blonde female model」，場(chǎng)景設(shè)定為「On the streets of Paris in the 1980s」。(一個(gè)穿著時(shí)髦的金發(fā)女模特，在 80 年代的巴黎街頭。)

HappyOyster 并沒(méi)有直接輸出一段固定視頻，而是用短短十幾秒，構(gòu)建出一個(gè)完整的夜晚雨后巴黎街頭，路面積水倒映著昏黃路燈，馬路上汽車(chē)疾馳而過(guò)，兩邊店鋪林立，細(xì)節(jié)都符合物理規(guī)律。

接下來(lái)，我們可以用 WASD 鍵控制角色前進(jìn)方向，或者用上下左右方向鍵推動(dòng)鏡頭移動(dòng)，角色就在這個(gè)空間里自由游走，最終生成視頻。

整個(gè)畫(huà)面實(shí)時(shí)響應(yīng)，全程流暢無(wú)卡頓。

系統(tǒng)還自動(dòng)配上了契合場(chǎng)景氛圍的 BGM，音畫(huà)同步自然。

我們又上傳了一張動(dòng)漫風(fēng)格第一視角騎行圖片，HappyOyster 基于這張靜態(tài)畫(huà)面，生成一個(gè)具有空間結(jié)構(gòu)和運(yùn)動(dòng)邏輯的完整場(chǎng)景。

視角向前推進(jìn)時(shí)，道路延展、花海分布以及遠(yuǎn)處景物的層次變化是連貫的，沒(méi)有明顯的拼接感或跳變。

吉卜力風(fēng)格的視覺(jué)語(yǔ)言和櫻花飄落的氛圍，在整個(gè)運(yùn)動(dòng)過(guò)程中也保持一致。

漫游功能可以對(duì)各種風(fēng)格適配，我們甚至直接走進(jìn)了梵高的畫(huà)作。

再來(lái)試試導(dǎo)演功能（Direct），它最大的亮點(diǎn)是可以在視頻的任意節(jié)點(diǎn)實(shí)時(shí)改變內(nèi)容。

我們丟給它一張吉卜力風(fēng)格的圖片，HappyOyster 立馬造出了一個(gè)宮崎駿式的動(dòng)漫世界：一位小女孩撐著紅色雨傘，走在雨后坑坑洼洼的鄉(xiāng)間小路上。

此時(shí)輸入提示詞「一只可愛(ài)的吉卜力風(fēng)格的小貓突然跑到女孩身邊」，模型沒(méi)有重新渲染，直接在當(dāng)前畫(huà)面里生成了一只小貓跑來(lái)，與小女孩并排同行。

我們繼續(xù)追加指令：「女孩蹲下?lián)崦∝??！巩?huà)面再次即時(shí)響應(yīng)，小女孩蹲身、伸手，動(dòng)作自然流暢。

總之，模型能夠根據(jù)我們輸入的提示詞精確地調(diào)整場(chǎng)景和人物動(dòng)作，畫(huà)面流暢且自然，每個(gè)變化都與故事情節(jié)無(wú)縫銜接。

技術(shù)解讀：

世界模型和文生視頻，差在哪里？

看完實(shí)測(cè)，我們可能會(huì)有一個(gè)直覺(jué)上的感受，就是這東西和 Sora、可靈這些文生視頻模型好像不太一樣。確實(shí)不一樣，而且是從底層邏輯上就走了一條不同的路。

Sora 也好、可靈也好，文生視頻模型本質(zhì)上是個(gè)一次性系統(tǒng)。給定文本或圖像條件后，模型在一個(gè)預(yù)先限定好的時(shí)間窗口內(nèi)組織內(nèi)容、運(yùn)動(dòng)和節(jié)奏，然后交付結(jié)果。用戶(hù)給一次輸入，得到一段輸出，流程就此結(jié)束。這個(gè)過(guò)程是封閉的、一次性的，中間沒(méi)有任何插手的空間。

這種模式對(duì)于生成一段精美的短片很夠用，但如果想在畫(huà)面中途介入，改變?nèi)魏我呀?jīng)發(fā)生的事情，它就無(wú)能為力了。

世界模型的思路則完全不同。它學(xué)習(xí)的是世界接下來(lái)會(huì)如何演化，當(dāng)前的狀態(tài)是什么，施加一個(gè)動(dòng)作之后會(huì)發(fā)生什么，再下一步又會(huì)怎樣。它沒(méi)有預(yù)設(shè)的終點(diǎn)，當(dāng)我們沒(méi)有新輸入時(shí)，模型基于已有狀態(tài)自主延續(xù)世界的發(fā)展；若我們中途注入新指令，模型就會(huì)結(jié)合當(dāng)前狀態(tài)重新推斷后續(xù)走向，它可以隨時(shí)被打斷、被干預(yù)、被重寫(xiě)。

也正因如此，世界模型的訓(xùn)練難度遠(yuǎn)高于文生視頻。

最直接的挑戰(zhàn)是速度。世界模型需要在用戶(hù)給出指令的瞬間就做出響應(yīng)，任何明顯的延遲都會(huì)打破沉浸感。HappyOyster 為此采用流式生成框架，將高維視頻與多模態(tài)信息壓縮為緊湊的動(dòng)態(tài) latent state，大幅降低單步生成的計(jì)算開(kāi)銷(xiāo)，使生成得以低延遲持續(xù)推進(jìn)。文本、圖像和漫游指令等控制信號(hào)被設(shè)計(jì)為可在線(xiàn)注入的條件變量，模型無(wú)需重置生成過(guò)程就能在任意節(jié)點(diǎn)即時(shí)響應(yīng)外部交互。

更棘手的問(wèn)題在于，如何讓這個(gè)世界在長(zhǎng)時(shí)間演化中保持一致性。生成時(shí)間越長(zhǎng)，場(chǎng)景越容易出現(xiàn)內(nèi)容漂移和結(jié)構(gòu)退化，物理規(guī)律和空間結(jié)構(gòu)慢慢失去約束，世界逐漸變得不像它原來(lái)的樣子。為了對(duì)抗這種「失憶」，HappyOyster 引入持續(xù)狀態(tài)復(fù)用機(jī)制，通過(guò)歷史注意力狀態(tài)的連續(xù)傳遞，讓模型高效繼承已生成信息并漸進(jìn)更新，在更長(zhǎng)的時(shí)間跨度上維持穩(wěn)定的場(chǎng)景結(jié)構(gòu)與動(dòng)態(tài)連貫性。

在音畫(huà)協(xié)同方面，不同于將音頻作為視頻的后期附加物單獨(dú)建模，HappyOyster 采用統(tǒng)一的音視頻生成框架，在同一世界狀態(tài)下同步生成視覺(jué)與聽(tīng)覺(jué)信號(hào)。音頻作為世界動(dòng)態(tài)的一部分參與聯(lián)合生成，自然建立跨模態(tài)的時(shí)間對(duì)齊關(guān)系。

目前世界模型領(lǐng)域已有幾個(gè)代表性方向。Google 的 Genie 專(zhuān)注于實(shí)時(shí)交互式世界建模，但在多模態(tài)輸入的統(tǒng)一表達(dá)和音視頻聯(lián)合生成上尚有局限；李飛飛團(tuán)隊(duì)的 World Labs 走的是 3D 空間結(jié)構(gòu)化重建路線(xiàn)，側(cè)重幾何一致性而非像素空間的長(zhǎng)時(shí)序動(dòng)態(tài)生成。

HappyOyster 選擇的是在像素空間內(nèi)進(jìn)行長(zhǎng)時(shí)序、實(shí)時(shí)可交互的動(dòng)態(tài)世界模擬，并在此基礎(chǔ)上加入了音視頻聯(lián)合生成能力，這是一條此前鮮有人走通的路徑，沒(méi)有太多現(xiàn)成的答案可以參考。

結(jié)語(yǔ)

AIGC 走到今天，內(nèi)容生成工具已經(jīng)相當(dāng)成熟。寫(xiě)文章、生圖、做視頻，這些需求都有了不錯(cuò)的解決方案。但這條賽道正在悄悄逼近一個(gè)新的拐點(diǎn)，即從「生成內(nèi)容」到「構(gòu)建世界」。

HappyOyster 的出現(xiàn)，讓我們看到了這個(gè)方向的輪廓。它給每人一個(gè)可以隨時(shí)走進(jìn)去、隨時(shí)修改、實(shí)時(shí)反饋的「自定義數(shù)字世界」。我們可以在里面漫游，可以在里面導(dǎo)演，可以把它分享給別人，讓別人在我們構(gòu)建的世界里繼續(xù)演繹。

應(yīng)用場(chǎng)景上，它的邊界也遠(yuǎn)不止屏幕內(nèi)的娛樂(lè)體驗(yàn)。文旅展陳、互動(dòng)短劇、影視概念驗(yàn)證、品牌營(yíng)銷(xiāo)、直播共創(chuàng)…… 凡是需要實(shí)時(shí)感知、實(shí)時(shí)生成、實(shí)時(shí)反饋閉環(huán)的場(chǎng)景，它都天然適配。

更長(zhǎng)遠(yuǎn)來(lái)看，一旦與攝像頭、傳感器、空間設(shè)備等硬件結(jié)合，HappyOyster 承載的就是一個(gè)可以被現(xiàn)實(shí)信號(hào)持續(xù)驅(qū)動(dòng)的生成式環(huán)境系統(tǒng)。

但坦率地說(shuō)，世界模型整體仍處于早期階段。長(zhǎng)時(shí)序下的物理一致性、復(fù)雜場(chǎng)景中的因果推理、對(duì)現(xiàn)實(shí)世界規(guī)律的深度理解，這些都是懸而未決的硬核挑戰(zhàn)。HappyOyster 是這個(gè)方向上目前最接近「可用產(chǎn)品」形態(tài)的探索之一，但探索就意味著邊界尚未確定。

這既是局限，也是想象力存在的理由。

文中視頻鏈接：https://mp.weixin.qq.com/s/rnExzdeYegSiEKy4zuJpTw