全球觀察者深度出品

縱橫寰宇，洞察時(shí)代風(fēng)云

你刷到的AI生成視頻里，有沒(méi)有見(jiàn)過(guò)這種情況：前一秒還是短發(fā)女生，下一秒突然變成卷發(fā)？或者明明已經(jīng)出場(chǎng)的角色，過(guò)會(huì)兒又被AI“重新介紹”一遍？這可不是個(gè)別問(wèn)題，現(xiàn)在AI做長(zhǎng)視頻，就像得了“瞬間失憶癥”，劇情越往后越亂。

這事兒不怪AI“不用心”，主要是現(xiàn)在生成長(zhǎng)視頻的方法太原始。

現(xiàn)在AI做長(zhǎng)視頻，基本都是“一段一段生成”。

先把視頻拆成好幾段，一段段做好再拼起來(lái)。

就像讓幾個(gè)人各寫(xiě)一段故事，寫(xiě)完直接粘一起，前后不搭調(diào)太正常了。

更麻煩的是，AI記東西的方式也有問(wèn)題。

有些模型特實(shí)在，就死死盯著開(kāi)頭那一段當(dāng)“模板”。

后面不管劇情咋發(fā)展，新角色、新場(chǎng)景進(jìn)來(lái)，它還是按開(kāi)頭的樣子生，結(jié)果就是視覺(jué)和劇情完全脫節(jié)。

比如開(kāi)頭是辦公室場(chǎng)景，后面切到公園，AI可能還按辦公室的光線(xiàn)去生成，看著就別扭。

就像有人記單詞只記第一個(gè)意思，不管語(yǔ)境硬套，能不出錯(cuò)嗎？

還有些模型想“聰明點(diǎn)”，把前面的畫(huà)面壓縮成一個(gè)“記憶包”，結(jié)果更糟。

這“記憶包”就像把一整本書(shū)縮成幾行字，關(guān)鍵細(xì)節(jié)全沒(méi)了。

要回憶角色穿啥衣服時(shí)，它可能只記得“穿衣服”，具體啥顏色、款式全忘光。

這就像你想記住一整部《紅樓夢(mèng)》，結(jié)果只記了“有很多人”，下次讓你復(fù)述，能不跑偏嗎？同一個(gè)角色前后出場(chǎng)能差出“雙胞胎”的效果，不奇怪。

流程上也有毛病，先寫(xiě)腳本再生成視頻，兩段根本不溝通。

腳本里寫(xiě)“小明走進(jìn)教室”，生成視頻時(shí)AI可能把“小明”生成戴眼鏡的，下一段腳本寫(xiě)“小明坐下”，AI又生成不戴眼鏡的。

兩段各干各的，全局一致性？不存在的。

就像兩個(gè)廚師各做一道菜，一個(gè)按川菜做，一個(gè)按粵菜做，湊成一桌能好吃嗎？

人多、時(shí)長(zhǎng)一長(zhǎng)，這些問(wèn)題更明顯。

視頻里要是有兩個(gè)以上角色，AI就容易“臉盲”。

明明是小李和小王在說(shuō)話(huà)，過(guò)會(huì)兒可能把小李當(dāng)成新角色再介紹一遍。

視頻超過(guò)60秒，后半段基本放飛自我，劇情跑偏、角色變樣是常態(tài)。

你讓一個(gè)記不住人臉的人講多人物故事，不亂才怪。

那有沒(méi)有辦法讓AI“長(zhǎng)記性”？還真有，香港大學(xué)和快手可靈團(tuán)隊(duì)搞出個(gè)叫MemFlow的技術(shù)，據(jù)說(shuō)能讓AI“長(zhǎng)記性”，60秒的視頻角色、場(chǎng)景都不亂。

MemFlow不搞“一段段生成”那套，它讓AI邊生成邊“記筆記”。

不是死記硬背畫(huà)面，而是理解劇情邏輯，知道哪些角色、場(chǎng)景是關(guān)鍵，得重點(diǎn)記。

具體咋實(shí)現(xiàn)的？靠?jī)蓚€(gè)“小聰明”NAM和SMA。

NAM叫“敘事自適應(yīng)記憶”，就像AI的“智能筆記”。

生成新片段時(shí)，它會(huì)先翻前面的“筆記”，挑關(guān)鍵信息記下來(lái)，不是一股腦全塞進(jìn)去。

比如當(dāng)前要生成“小紅喝茶”，它就重點(diǎn)記“小紅穿紅裙子、拿玻璃杯”，其他無(wú)關(guān)的背景信息暫時(shí)不管。

這樣記東西，又準(zhǔn)又不占地方。

SMA是“稀疏記憶激活”，相當(dāng)于給AI裝了“聚光燈”。

AI生成視頻時(shí)，SMA會(huì)把“聚光燈”打在當(dāng)前最需要記的內(nèi)容上，比如正在說(shuō)話(huà)的角色、關(guān)鍵道具，其他信息先“拉黑”。

這樣AI就不會(huì)被亂七八糟的細(xì)節(jié)干擾，記東西又準(zhǔn)又快。

就像考試時(shí)只重點(diǎn)復(fù)習(xí)考點(diǎn)，不浪費(fèi)時(shí)間在偏題上，效率自然高。

這倆“小聰明”一結(jié)合，AI的“記憶力”直接上了個(gè)臺(tái)階。

以前AI是“工具人”，只會(huì)按指令畫(huà)畫(huà)面；現(xiàn)在有了MemFlow，它能理解劇情了，算得上半個(gè)“創(chuàng)意伙伴”。

你說(shuō)要講個(gè)完整故事，它能幫你把角色、場(chǎng)景串起來(lái)，不跑偏。

就像以前是讓機(jī)器人搬磚，現(xiàn)在它能幫你設(shè)計(jì)房子結(jié)構(gòu)了。

光說(shuō)不練假把式，實(shí)測(cè)效果咋樣？

香港大學(xué)和快手團(tuán)隊(duì)做了測(cè)試，60秒的長(zhǎng)視頻，MemFlow在質(zhì)量、美學(xué)評(píng)分上都是第一。

特別是后半段（40-60秒），其他模型早就“失憶”了，劇情開(kāi)始亂套，角色不是變樣就是重復(fù)出場(chǎng)，MemFlow還能穩(wěn)穩(wěn)跟著前面的劇情走，角色也沒(méi)變樣。

這就像長(zhǎng)跑比賽，別人跑到后半程都掉隊(duì)了，它還能勻速前進(jìn)。

視覺(jué)對(duì)比更明顯，同樣的測(cè)試場(chǎng)景，差距一下就看出來(lái)了。

比如讓AI生成“穿休閑毛衣的女士”多鏡頭視頻，其他模型生成到后面，女士不是換了發(fā)型就是變了衣服，有的甚至連性別都能變。

MemFlow從頭到尾一個(gè)樣，連毛衣上的條紋紋路都沒(méi)亂。

沙灘上孩子和小狗玩的場(chǎng)景，其他AI可能突然加個(gè)路人進(jìn)來(lái)?yè)岀R，MemFlow就只盯著孩子和狗，不亂加戲，專(zhuān)注得很。

這技術(shù)要是普及開(kāi)，以后做長(zhǎng)視頻可就省事多了。

廣告片、短視頻劇情、虛擬偶像直播，這些需要多角色、復(fù)雜劇情的內(nèi)容，以前得人工一幀幀調(diào)，累死個(gè)人。

現(xiàn)在AI就能搞定，生成效率提上去了，成本也降了。

普通人想做個(gè)小電影，不用學(xué)復(fù)雜剪輯，靠AI就能實(shí)現(xiàn)，門(mén)檻低了不少。

以后說(shuō)不定還能玩出更多花樣。

比如你看視頻時(shí)，突然想讓劇情拐個(gè)彎，從“主角去學(xué)校”改成“主角去公園”，AI也能接著往下講，不會(huì)因?yàn)槟愀牧藙∏榫汀笆洝薄?/strong>

這種“交互式敘事”，想想就挺有意思，就像你能隨時(shí)給故事“換軌道”，AI還能穩(wěn)穩(wěn)接住。

總的來(lái)說(shuō)，MemFlow算是給AI視頻生成開(kāi)了個(gè)新思路別只顧著畫(huà)得好看，先把“記性”搞好。

以后咱們刷到的AI長(zhǎng)視頻，可能就再也見(jiàn)不到“角色秒變”“劇情斷片”的尷尬了。