快手最新發(fā)布的國產(chǎn)視頻生成大模型“可靈”，采用了類似Sora的技術(shù)路線，并結(jié)合多項自研技術(shù)創(chuàng)新，能夠生成時長超過120秒、分辨率高達1080p的視頻，且能夠精準建模復(fù)雜運動和物理特性。

主要功能特點

1. 高質(zhì)量視頻生成

時長和幀率：可靈支持生成長達2分鐘的30fps超長視頻。

分辨率：生成視頻的分辨率高達1080p，畫質(zhì)清晰細膩。

寬高比：支持多種寬高比的視頻生成，包括豎版視頻，適配不同的使用場景和平臺。

2. 物理世界模擬

真實物理特性：可靈大模型能夠模擬真實世界的物理特性，例如重力、光影反射、液體流動等。

細節(jié)刻畫：對于物體的運動、表面反射、影子變化等細節(jié)刻畫非常到位，提供真實的視覺體驗。

3. 復(fù)雜運動刻畫

精準運動建模：能夠準確建模復(fù)雜且大幅度的運動場景，例如高速奔跑的動物、在月球上行走的宇航員等。

4. 多種控制信息輸入

控制信息輸入：支持用戶輸入相機運鏡、幀率、邊緣/關(guān)鍵點/深度等控制信息，提供豐富的內(nèi)容控制能力。

文本提示詞優(yōu)化：設(shè)計了專用的語言模型，可以對用戶輸入的提示詞進行高質(zhì)量擴充及優(yōu)化，提升生成效果。

技術(shù)實現(xiàn)

1. 模型設(shè)計

類Sora架構(gòu)：采用了類Sora的DiT結(jié)構(gòu)，用Transformer代替?zhèn)鹘y(tǒng)擴散模型中的卷積網(wǎng)絡(luò)，提升生成能力和擴展性。

3D VAE網(wǎng)絡(luò)：自研3D VAE網(wǎng)絡(luò)，實現(xiàn)時空同步壓縮，提升視頻重建質(zhì)量。

全注意力機制：設(shè)計了3D Attention機制進行時空建模，能夠準確建模復(fù)雜時空運動，同時兼顧計算效率。

2. 數(shù)據(jù)保障

標(biāo)簽體系：構(gòu)建了完備的標(biāo)簽體系，對訓(xùn)練數(shù)據(jù)進行精細化篩選和調(diào)整，確保視頻數(shù)據(jù)的高質(zhì)量。

視頻描述模型：研發(fā)了視頻描述模型，生成精確、詳盡、結(jié)構(gòu)化的視頻描述，提高文本指令響應(yīng)能力。

3. 計算效率

分布式訓(xùn)練集群：使用分布式訓(xùn)練集群，通過算子優(yōu)化、重算策略優(yōu)化等手段，大幅提升硬件利用率。

分階段訓(xùn)練策略：采取分階段訓(xùn)練策略，先在低分辨率階段通過大量數(shù)據(jù)增強模型能力，再在高分辨率階段提升細節(jié)表現(xiàn)。

Kling vs Sora

1. 螞蟻在螞蟻巢內(nèi)部導(dǎo)航的 POV 鏡頭

2. 吃漢堡比賽

3. 一只白色和橙色的虎斑胡同貓在大雨中飛奔穿過后街小巷，尋找庇護所

4. 逼真的特寫視頻，兩艘海盜船在一杯咖啡中航行時相互搏斗

5. 動畫場景的特寫鏡頭是一個矮小的毛茸茸的怪物跪在融化的紅蠟燭旁邊

6.電影預(yù)告片，講述了30歲太空人戴著紅色羊毛針織摩托車頭盔的冒險經(jīng)歷，藍天，鹽沙漠，電影風(fēng)格，用35mm膠片拍攝，色彩鮮艷

7.一個20多歲的年輕人坐在天空中的一片云朵上，看書

8. 淘金熱期間加利福尼亞的歷史鏡頭

這效果怎么樣，和sora比較起來你們覺得的如何？留言探討！

▲ 滑動查看往期內(nèi)容?