金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

現(xiàn)在生成一個(gè)視頻，比你刷視頻還要快。

因?yàn)橐粋€(gè)開源新框架，竟能讓視頻生成在保證質(zhì)量的情況下，最高提速200多倍！

而且還是單張顯卡就能hold住的那種，來感受一下這個(gè)feel：

沒錯(cuò)，原先1.3B-480P在單張RTX 5090生成一個(gè)5秒的視頻，需要的時(shí)間大概是184秒。

而現(xiàn)在，只需要1.9秒，速度足足提升97倍！

這背后，便是清華大學(xué)TSAIL實(shí)驗(yàn)室和生數(shù)科技聯(lián)合開源的視頻生成加速新框架——TurboDiffusion。

新框架一出，網(wǎng)友們也是不淡定了，直呼：

• 我們已經(jīng)進(jìn)入到了生成的視頻比看的視頻還多的時(shí)代。

包括Meta研究員和伯克利教授也站臺(tái)打call：

2秒就能生成一個(gè)視頻

過去，視頻生成雖然驚艷，但慢，一直是個(gè)老大難的痛點(diǎn)問題。

想生成一段幾秒的高質(zhì)量視頻，模型往往需要在大顯存高端顯卡上吭哧吭哧跑上幾分鐘到幾十分鐘。這種延遲，極大限制了創(chuàng)作者的靈感爆發(fā)和實(shí)時(shí)交互的可能性。

TurboDiffusion的出現(xiàn)，就是為了解決這個(gè)問題。

咱們直接看一組數(shù)據(jù)。

在單張RTX 5090上，針對(duì)1.3B大小的文生視頻模型：

• 原始生成：生成一段480P視頻需要約184秒（超過3分鐘）。
• TurboDiffusion：僅需1.9秒。

算下來，相對(duì)于原始模型，TurboDiffusion實(shí)現(xiàn)了約97倍的加速！

若是模型再大一些，例如14B的圖生視頻模型，清晰度為720P，效果也是立竿見影，僅需38秒就能搞定：

同樣是720P的文生視頻模型，所需要的時(shí)間也僅僅24秒：

圖生視頻中14B的480P則需9.9秒：

更重要的是，這種提速是幾乎無損的。

在生數(shù)科技自研的Vidu模型上，使用了TurboDiffusion之后，視頻的動(dòng)態(tài)流暢度、光影質(zhì)感以及指令遵循能力依然保持了極高水準(zhǔn)。

在生成1080P分辨率、8秒時(shí)長的高質(zhì)量視頻時(shí)，相比沒有任何推理加速優(yōu)化的視頻生成，TurboDiffusion可以將端到端的生成延遲從900s提速到8s。

視頻地址：https://mp.weixin.qq.com/s/AQ3c0Jewh1k2FRmLkWF2TQ

不同大小和清晰度，TurboDiffusion加速的效果可以總結(jié)如下：

并且TurboDiffusion操作起來也是非常簡單，它針對(duì)目前主流的視頻生成模型提供了開箱即用的優(yōu)化方案。

在GitHub中，TurboDiffusion項(xiàng)目也給出了具體的操作細(xì)節(jié)和方式：

那么問題來了，這種速度到底是如何做到的？

四個(gè)步驟極限壓縮時(shí)間

視頻生成模型（通常是Diffusion Transformer架構(gòu)）之所以慢，主要卡在步數(shù)多（采樣循環(huán)）、算力重（Attention計(jì)算）、顯存窄（權(quán)重搬運(yùn)）。

為此，TurboDiffusion團(tuán)隊(duì)整合了四項(xiàng)關(guān)鍵技術(shù)，每一項(xiàng)都精準(zhǔn)打擊擴(kuò)散模型推理的性能瓶頸。

首先就是SageAttention。

注意力機(jī)制可以說是擴(kuò)散模型中最耗時(shí)的部分之一，傳統(tǒng)實(shí)現(xiàn)使用 FP16（半精度浮點(diǎn)），計(jì)算量大、顯存占用高。

TurboDiffusion引入了團(tuán)隊(duì)自研的SageAttention2++，一種低比特量化注意力方案。

它將權(quán)重和激活值壓縮到INT8甚至INT4，同時(shí)通過異常值平滑和線程級(jí)量化技術(shù)，避免精度崩塌。

從結(jié)果上來看，注意力計(jì)算速度提升3–5倍，顯存占用減半，而圖像質(zhì)量幾乎不變。

其次是Sparse-Linear Attention（SLA）。

如果說 SageAttention 是在單次計(jì)算上提速，那么SLA就是從算法邏輯上減負(fù)。

SLA結(jié)合了稀疏性（只關(guān)注重要的像素點(diǎn)）和線性復(fù)雜度（讓計(jì)算量不隨分辨率爆炸增長）。

最絕的一點(diǎn)是：稀疏計(jì)算與低比特加速是正交的。這意味著 SLA 可以直接疊在 SageAttention 之上使用，強(qiáng)強(qiáng)聯(lián)手，在推理過程中又榨出了數(shù)倍的額外加速空間。

第三招是rCM步數(shù)蒸餾。

傳統(tǒng)的擴(kuò)散模型需要經(jīng)過幾十甚至上百步的迭代才能去噪生成圖像。

TurboDiffusion引入了rCM（Score-regularized Continuous-time Consistency Models） 進(jìn)行步數(shù)蒸餾。

rCM是目前最先進(jìn)的蒸餾方案之一。通過它，原本需要幾十步才能生成的視頻，現(xiàn)在只需要1-4步就能達(dá)到幾乎相同的質(zhì)量。

最后便是W8A8 量化+自定義算子。

除了注意力，模型中的線性層（Linear Layer）也占大量計(jì)算。TurboDiffusion對(duì)其采用W8A8量化（權(quán)重8位，激活8位），并在128×128的塊粒度上分塊處理，充分利用RTX 5090的INT8 Tensor Core。

此外，團(tuán)隊(duì)還用Triton/CUDA重寫了LayerNorm、RMSNorm等基礎(chǔ)算子，消除PyTorch默認(rèn)實(shí)現(xiàn)的overhead。

這四項(xiàng)技術(shù)環(huán)環(huán)相扣：蒸餾減步數(shù)，量化減負(fù)載，SLA和SageAttention減算力。最終匯聚成了那驚人的200倍加速。

這4項(xiàng)核心技術(shù)均由清華大學(xué)TSAIL團(tuán)隊(duì)聯(lián)合生數(shù)科技自主研發(fā)，它的意義遠(yuǎn)不止于技術(shù)指標(biāo)的躍升，更在于它打通了視頻生成模型從研究到落地的最后一公里：

• 消費(fèi)級(jí)部署成為可能：在單張RTX 5090上，720P視頻生成時(shí)間從幾百秒降至幾十秒，真正實(shí)現(xiàn)秒級(jí)出片，為個(gè)人創(chuàng)作者、中小企業(yè)提供可用工具。
• 云端推理成本驟降：推理時(shí)延降低100倍，意味著同等算力可服務(wù)100倍用戶，大幅降低云廠商與SaaS平臺(tái)的運(yùn)營成本。
• 推動(dòng) AIGC 產(chǎn)品創(chuàng)新：實(shí)時(shí)視頻編輯、交互式視頻生成、AI 短劇自動(dòng)制作等新場(chǎng)景成為可能，催生全新產(chǎn)品形態(tài)。
• 國產(chǎn)芯片友好：低比特、稀疏化、算子定制等特性天然適配國產(chǎn)AI芯片架構(gòu)，助力中國AI基礎(chǔ)設(shè)施自主可控。

其中，SageAttention更是全球首個(gè)實(shí)現(xiàn)注意力計(jì)算量化加速的技術(shù)方案，已被工業(yè)界大規(guī)模部署應(yīng)用。

例如，SageAttention已成功集成至NVIDIA推理引擎Tensor RT，同時(shí)完成在華為昇騰、摩爾線程S6000等主流GPU平臺(tái)的部署與落地。

此外，騰訊混元、字節(jié)豆包、阿里Tora、生數(shù)Vidu、智譜清影、百度飛槳、昆侖萬維、Google Veo3、商湯、vLLM 等國內(nèi)外頭部科技企業(yè)及團(tuán)隊(duì)，均已在核心產(chǎn)品中應(yīng)用該技術(shù)，憑借其卓越性能創(chuàng)造了可觀的經(jīng)濟(jì)效益。

視頻生成，離實(shí)時(shí)更近了

從1小時(shí)到2秒，TurboDiffusion完成的不僅是一次技術(shù)突破，更是一次范式轉(zhuǎn)移。

它證明了高質(zhì)量 AI 視頻，不必以犧牲效率為代價(jià)。當(dāng)生成速度進(jìn)入人類反應(yīng)時(shí)間范圍（<5秒），AI 就不再是后期工具，而成為創(chuàng)作伙伴——你說話，它就動(dòng)；你畫草圖，它就演故事。

這或許就是實(shí)時(shí)生成時(shí)代的真正含義：創(chuàng)作的延遲被抹平，想象力成為唯一的限制。

而現(xiàn)在，我們離那個(gè)時(shí)代，只有2秒。

項(xiàng)目地址放下面了，感興趣的小伙伴抓緊體驗(yàn)一下吧~

TurboDiffusion項(xiàng)目地址：
https://github.com/thu-ml/TurboDiffusion?tab=readme-ov-file

論文地址：
https://arxiv.org/pdf/2512.16093