AI視頻的下一步會(huì)是什么？

更快？更清晰？更可控？這些點(diǎn)都很明確了，

但我確實(shí)兒沒想到，我26年先看到的會(huì)是這樣一個(gè)，

能夠一邊打字一邊實(shí)時(shí)生成的新視頻生成模型，也可以叫實(shí)時(shí)世界模型，

Pixverse R1

可能我這么說，大家還感受不太到，直接給大家看一個(gè)case。

試玩demo https://realtime.pixverse.ai/

這個(gè)過程最頭皮發(fā)麻的地方在于，世界是連續(xù)的。

不是重新生成了一個(gè)新視頻，而是在剛剛那個(gè)世界的基礎(chǔ)上，實(shí)時(shí)地為林克裝備了一把武器。這感覺就像你在玩游戲時(shí)，突然擁有了開發(fā)者權(quán)限，可以隨時(shí)用語言為游戲增加新的元素。

這段演示里還有一個(gè)細(xì)節(jié)，當(dāng)指令變得復(fù)雜，比如讓怪物追趕林克時(shí)，怪物的行為會(huì)有些笨拙。

這種不完美反而證明了它不是一段預(yù)設(shè)好生成好拼接好的AI動(dòng)畫，

而是一個(gè)真的擁有初步物理和行為邏輯的世界。

可能它的清晰度還不太完美，

但仔細(xì)想想從360p的AI視頻畫質(zhì)到穩(wěn)定低價(jià)的1080p，我們只用了18個(gè)月。

所以我根本不擔(dān)心這個(gè)問題，我關(guān)心的是它在根據(jù)我的指令，實(shí)時(shí)地進(jìn)行演算。

這種可被觀察的演算過程，正是它與傳統(tǒng)AI視頻最大的不同。

修的都不是同一個(gè)體系，而且從他們技術(shù)報(bào)告上看，這個(gè)視頻能自己無限期演下去。

技術(shù)報(bào)告 https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model

R1叫世界模型，3D模型也叫世界模型，Banana2也叫世界模型，

用人話來說，世界知識(shí)就是給生成內(nèi)容裝上一個(gè)能自洽的底層引擎，讓它不止能把畫面長得像，還得把因果，物理，常識(shí)都對(duì)上號(hào)。

經(jīng)得起推敲的，不會(huì)穿幫的，能按照你模糊的提示語補(bǔ)充細(xì)節(jié)的。

打開Demo，打開麥克風(fēng)，就這樣一邊說話，R1一邊就把劇情全出了。

聲畫一體的Sora和Veo都很強(qiáng)大，創(chuàng)作流程基本上也都是許愿-等待-開獎(jiǎng)。

當(dāng)我寫下一段幾百字的咒語，點(diǎn)擊生成，然后就是盯著進(jìn)度條等。幾分鐘，甚至十幾分鐘后，才能打開那個(gè)盲盒。運(yùn)氣好，開出神作；運(yùn)氣不好，人物崩了，物理飛了，只能自認(rèn)倒霉，回頭再去改那段天知道哪里不對(duì)的咒語，然后開始新一輪的抽卡。

Veo3.1還可以用json約束一下，但很多別的視頻模型還是要慢慢磨自然語言。

Pixverse這個(gè)就給我一個(gè)很新的感受，

它的整個(gè)過程其實(shí)有點(diǎn)像是導(dǎo)演在現(xiàn)場指揮演員。

你可以設(shè)想一下，在一個(gè)電視劇或電影的片場，演員在表演時(shí)，導(dǎo)演有時(shí)會(huì)在畫外音中進(jìn)行一些實(shí)時(shí)指導(dǎo)，告訴演員如何去演、做哪些動(dòng)作，或者表情哪里不到位。

這樣的實(shí)時(shí)指導(dǎo)就非常像我現(xiàn)在用PixVerse R1的感覺，通過打字告訴視頻，我需要接下來的這個(gè)人物去進(jìn)行怎樣的動(dòng)作，或者進(jìn)入到什么樣的場景。

這種交互體驗(yàn)真的蠻能圓我導(dǎo)演夢(mèng)的。

比如這個(gè)太空駕駛的場景，

一連串的文字像寫劇本一樣，實(shí)時(shí)駕駛著飛船逃離地球、飛向月球、遭遇神秘光線、最后被巨大的土星所震撼。我感覺自己不再是觀眾，而是第一人稱的導(dǎo)演。我輸入的每一個(gè)字，都像是在給飛船添加燃料，驅(qū)動(dòng)著它飛向我想象中的下一幀。

再比如這個(gè)，直升機(jī)飛越巴黎時(shí)，輸入突然天空轉(zhuǎn)暗，電閃雷鳴，畫面立刻風(fēng)云突變；接著輸入“遠(yuǎn)處一個(gè)巨大的煙花綻放”，天空中真的就升起了一朵煙花，天氣也隨之轉(zhuǎn)晴。整個(gè)環(huán)境和特效都能配合著指令實(shí)時(shí)做出互動(dòng)，是一個(gè)非常連續(xù)性的展示。

你就看這個(gè)Pixverse實(shí)機(jī)操作的錄屏界面，我感覺這玩意兒根本不只是一個(gè)視頻生成器，更像是一個(gè)可以被語言實(shí)時(shí)編程的微型世界。

我就好奇了，這背后到底是怎么做出來？為什么要做一個(gè)跟別人不一樣的？

我去啃了一下他們的技術(shù)論文，

用人話翻譯一下，R1能做到這個(gè)實(shí)時(shí)生成的效果，主要靠這三樣：

第一個(gè)是叫Omni的原生多模態(tài)大模型。

你可以把它想象成一個(gè)從小就同時(shí)學(xué)習(xí)了看、聽、說三種語言的天才。它不像別的模型需要把音視頻翻譯成文本才能懂，它天生就能在一個(gè)系統(tǒng)里，同時(shí)理解視頻、音頻和文字。這讓它的反應(yīng)快得像是本能。

第二個(gè)零件是一種叫自回歸的機(jī)制。

這東西就像一個(gè)擁有超強(qiáng)短期記憶的說書人，它永遠(yuǎn)記得自己上一秒講了什么，所以下一秒的故事，總能和前面無縫銜接。這保證了視頻可以像一條無限的河流一樣，持續(xù)地連貫地生成下去。

最后，也是最關(guān)鍵的，是一種叫即時(shí)響應(yīng)引擎（IRE）的技術(shù)。

如果說傳統(tǒng)AI視頻生成，像是搭樂高，需要一步步拼接（幾十步的采樣），IRE就像是變魔術(shù)，它能直接預(yù)測出最終成品的輪廓，然后用極少的步驟（一到四步）就把它變出來。

這些正是它能實(shí)現(xiàn)實(shí)時(shí)交互的秘密武器。

所以，它到底用在哪？

我個(gè)人是感覺，PixVerse R1這類實(shí)時(shí)模型，并非要取代Veo們?cè)跀⑹滦远唐瑒?chuàng)作上的作用。它們其實(shí)可以并駕齊驅(qū)，Sora們?cè)谧非蟪蔀轫敿?jí)的電影工作流，

而R1正在努力成為一個(gè)充滿無限可能的互動(dòng)娛樂引擎。

它真正開疆拓土的地方，在于那些極度依賴實(shí)時(shí)交互的領(lǐng)域。

比方游戲， 想象一下你走到NPC面前，不需要幾周目才能引導(dǎo)變化，不再是從預(yù)設(shè)的三個(gè)選項(xiàng)里選一句對(duì)話。你可以自由輸入任何你想說的話，NPC會(huì)根據(jù)他的性格和你們之前的經(jīng)歷，實(shí)時(shí)生成獨(dú)一無二的表情和互動(dòng)場景，

我甚至可以開個(gè)上帝模式，對(duì)游戲世界本身下指令，

我希望我這個(gè)賽博釣魚佬可以回回上魚，那我真的要笑到合不上嘴了

也就是說，游戲，將從一個(gè)玩家只能被動(dòng)體驗(yàn)的故事，變成一個(gè)真正可參與的世界。

再再比方說互動(dòng)電影，

現(xiàn)在去大商場體驗(yàn)4D電影都要out了，我大膽想象一下，我可以擺脫A/B選項(xiàng)式的偽互動(dòng)，隨時(shí)暫停，給主角下達(dá)一個(gè)全新的指令，別相信他，先看看他口袋里藏了什么，

然后電影會(huì)為你即時(shí)地生成一段新的故事脈絡(luò)，我就經(jīng)常在想要是故事不會(huì)結(jié)束就好了。

盜夢(mèng)空間這個(gè)陀螺我是真希望能看到它停下來，被一個(gè)新的幕后之人拿起來

寫到這里，

我突然想到了一個(gè)可能離我們每個(gè)人都更近的使用場景。

你有沒有過這樣的經(jīng)歷？

做了一個(gè)無比清晰的奇幻夢(mèng)，畫面感強(qiáng)到你自己都起雞皮疙瘩，

但我醒來后想跟朋友描述，搜腸刮肚用了無數(shù)的形容詞，要不就發(fā)現(xiàn)忘了，要不就是形容不出來，

什么叫我在鰲太線拿著四塊壓縮餅干在大爺海煮火鍋?。ㄎ抑两裥稳莶怀鰜砩衩貓@究竟在我腦子里留下了什么）。

這還能聯(lián)系上一個(gè)科學(xué)名詞，

夢(mèng)境遺忘（dream amnesia）

夢(mèng)大多發(fā)生在REM期（快速眼動(dòng)睡眠）或臨近醒來的過渡階段，醒來屬于從一個(gè)腦狀態(tài)跳到另一個(gè)腦狀態(tài)，所以會(huì)出現(xiàn)一種典型的感覺，

就是我知道我剛剛看到了什么，但現(xiàn)在就是想不起來。

因?yàn)樵趬?mèng)里體驗(yàn)的是視覺，空間，情緒，氛圍，象征感，但醒來我要把它壓縮成線性的句子的話，這個(gè)過程中會(huì)出現(xiàn)一種夢(mèng)的不可言說感（dream ineffability）。

這時(shí)候想要最大程度保證夢(mèng)不被遺忘，可以先寫關(guān)鍵詞，不要追求完整敘事，比如，銀色樓梯，潮濕的風(fēng)，我逃跑的時(shí)候踩空了，也可以用感官描述替代抽象形容詞，光像浸水的霓虹、空氣里有鐵銹甜味、遠(yuǎn)處的聲音像倒放的合唱。

說實(shí)話，我每天都在跟這種轉(zhuǎn)達(dá)的損耗作斗爭。

但R1這類實(shí)時(shí)模型的出現(xiàn)，

或許為我們提供了一種全新的表達(dá)方式。

它能讓我能把那個(gè)轉(zhuǎn)瞬即逝的夢(mèng)境，用一種更直觀，更無損的方式復(fù)現(xiàn)出來。

它將創(chuàng)作的反饋周期從數(shù)小時(shí)甚至數(shù)天，壓縮到了零。

而這種即時(shí)反饋極大地釋放了我的實(shí)驗(yàn)精神和表達(dá)欲望。

現(xiàn)在已經(jīng)可以排隊(duì)內(nèi)測了，

目前能體驗(yàn)360p了，

過幾天還能用上720p，

趁著還沒收費(fèi)之前，

我要多跑五六七八九十個(gè)。

@ 作者 / 卡爾

最后，感謝你看到這里如果喜歡這篇文章，不妨順手給我們點(diǎn)贊｜在看｜轉(zhuǎn)發(fā)｜評(píng)論

如果想要第一時(shí)間收到推送，不妨給我個(gè)星標(biāo)

如果你有更有趣的玩法，歡迎在評(píng)論區(qū)和我聊聊

更多的內(nèi)容正在不斷填坑中……