機(jī)器之心發(fā)布

就在昨天，全球 AI 視頻生成領(lǐng)域迎來(lái)了一場(chǎng) “超級(jí)地震”——OpenAI 竟然意外叫停了萬(wàn)眾矚目的 Sora 2 項(xiàng)目。

然而，就在行業(yè)巨頭調(diào)整研發(fā)節(jié)奏的同一周，開(kāi)源社區(qū)迎來(lái)了一波扎實(shí)的技術(shù)推進(jìn)。一家位于北京的 AI 初創(chuàng)公司，在 GitHub 上連續(xù)三天釋出了其核心技術(shù)棧 ——依次開(kāi)源了 150 億參數(shù)的 “演繹級(jí)” 音視頻同出大模型、重新定義算力上限的分布式 Attention 組件，以及旨在突破顯存瓶頸的全局編譯框架

這家持續(xù)向開(kāi)發(fā)者社區(qū)貢獻(xiàn)底層技術(shù)的公司，正是Sand.ai。今天，我們就來(lái)深度拆解這家公司的技術(shù)脈絡(luò)，看看這支中國(guó)團(tuán)隊(duì)是如何在當(dāng)前的行業(yè)轉(zhuǎn)折期中，走出一條獨(dú)立的視頻生成技術(shù)路線。

連續(xù)三天開(kāi)源：一場(chǎng)自頂向下的技術(shù)拆解

第一天：演繹級(jí)音視頻基座daVinci-MagiHuman

針對(duì)當(dāng)前 AI 視頻 “表演僵硬” 與 “音畫(huà)不同步” 的痛點(diǎn)，Sand.ai 聯(lián)合上海創(chuàng)智學(xué)院（SII）GAIR 實(shí)驗(yàn)室，開(kāi)源了 150 億參數(shù)的音視頻同出大模型。該模型采用單流 Transformer 架構(gòu)，將文本、視頻與音頻進(jìn)行統(tǒng)一聯(lián)合建模，徹底告別了復(fù)雜的跨注意力分支。

第二天：分布式 Attention 組件MagiAttention v1.1.0

為了支撐超大模型的訓(xùn)練與極速生成，團(tuán)隊(duì)發(fā)布了深度適配 Hopper 與 Blackwell 架構(gòu)的算力組件。它通過(guò)構(gòu)建原生的 Group Collective 通信內(nèi)核（以 NVLink 替代冗余的 RDMA 傳輸）來(lái)大幅降低跨機(jī)通信量，并引入 Dispatch Solver 實(shí)現(xiàn)全局負(fù)載均衡。

第三天：訓(xùn)推一體全局編譯框架MagiCompiler

針對(duì)大模型開(kāi)發(fā)中 “速度與顯存難以兼得” 的技術(shù)矛盾，Sand.ai 釋出了基于 torch.compile 深度優(yōu)化的即插即用編譯框架。它通過(guò)整圖 / 整層編譯、啟發(fā)式自動(dòng)重計(jì)算以及 JIT Offload 調(diào)度，全面接管了計(jì)算調(diào)度與顯存生命周期。實(shí)測(cè)顯示，在推理端甚至能讓 RTX 5090 以近乎實(shí)時(shí)的速度運(yùn)行超大視頻模型。

團(tuán)隊(duì)介紹：“少數(shù)派” 的技術(shù)信仰

Sand.ai 成立于 2024 年，創(chuàng)始人是曹越博士。熟悉計(jì)算機(jī)視覺(jué)（CV）發(fā)展史的朋友對(duì)他絕對(duì)不陌生：在微軟亞洲研究院（MSRA）期間，曹越作為核心作者發(fā)表的《Swin Transformer》一舉拿下了 ICCV 最佳論文獎(jiǎng)（馬爾獎(jiǎng)），目前其 Google Scholar 引用量已逼近 6 萬(wàn)次。聯(lián)合創(chuàng)始人張拯同樣是該論文的核心作者。

這是一支具有極強(qiáng)科研與工程背景的團(tuán)隊(duì)。成立不久，Sand.ai 便完成了由源碼、今日、經(jīng)緯等領(lǐng)投的多輪融資。有了充足的資金支持，Sand.ai 并沒(méi)有選擇直接跟隨行業(yè)主流的 Sora 路線。當(dāng)大部分團(tuán)隊(duì)都在追捧 DiT（Diffusion Transformer）架構(gòu)時(shí)，他們堅(jiān)信：通過(guò)自回歸（Autoregressive）預(yù)測(cè)視頻塊序列來(lái)生成視頻的世界模型，才是更接近物理世界第一性原理、且具備更強(qiáng) Scaling 能力的終局。據(jù)悉，近期 Sand.ai 又快速完成了一輪數(shù)千萬(wàn)美金融資。

目前，Sand.ai 旗下主要布局了兩款核心模型，分別針對(duì)影像創(chuàng)作周期中的不同核心訴求：

Magi-1：近期，實(shí)時(shí)生成的 “自回歸世界模型” 正成為全行業(yè)追捧的熱門(mén)方向，但 Sand.ai 早在近一年前，便發(fā)布了全球首個(gè)自回歸視頻生成大模型 Magi-1。它徹底告別了傳統(tǒng) AI 視頻的 “慢動(dòng)作” 與死板感，實(shí)現(xiàn)了極具爆發(fā)力的流暢動(dòng)作、無(wú)限長(zhǎng)度續(xù)寫(xiě)，以及精細(xì)到 1 秒的時(shí)間控制。

GAGA-1：國(guó)內(nèi)首個(gè)推出的音畫(huà)同出生成模型，主打 “AI 演員” 級(jí)別的極致表現(xiàn)力。解決了行業(yè)內(nèi)最頭痛的 “人物不一致” 和 “表情太假” 問(wèn)題，在物理規(guī)則連貫性和原生音畫(huà)同步上屢破紀(jì)錄。

在深耕底層架構(gòu)與開(kāi)源基建的同時(shí)，Sand.ai 展現(xiàn)出的另一層核心壁壘，是其將前沿技術(shù)轉(zhuǎn)化為實(shí)際應(yīng)用的產(chǎn)品化能力。

據(jù)了解，Sand.ai 中較為低調(diào)的小團(tuán)隊(duì)還推出了一款 Video Agent，主要面向海外市場(chǎng)。據(jù)市場(chǎng)反饋，該產(chǎn)品目前在海外大受好評(píng)，主要體現(xiàn)在一鍵直出視頻創(chuàng)作流程的智能化水平方面，海外商業(yè)化增長(zhǎng)勢(shì)頭強(qiáng)勁，值得行業(yè)持續(xù)關(guān)注。

結(jié)語(yǔ)：Advance AI to Benefit Everyone

當(dāng) Sora 2 按下暫停鍵，AI 視頻的故事并沒(méi)有結(jié)束。Sand.ai 連續(xù)三天的開(kāi)源不僅展示了其在模型、算力和編譯框架上的全棧技術(shù)實(shí)力，更向我們展示了一家頂級(jí) AI 公司應(yīng)有的姿態(tài)：既有仰望星空的技術(shù)信仰，又有腳踏實(shí)地的底層死磕，更有擁抱世界、造福開(kāi)發(fā)者的開(kāi)源胸懷

正如 Sand.ai 致力于將前沿技術(shù)轉(zhuǎn)化為觸手可及的生產(chǎn)力工具，將 “AI 演員” 和 “通用視頻生成” 變?yōu)楝F(xiàn)實(shí)。這種對(duì)底層的堅(jiān)守與對(duì)應(yīng)用的探索，正是實(shí)現(xiàn) “Advance AI to Benefit Everyone” 這一宏大愿景的必經(jīng)之路。

技術(shù)的突破從來(lái)不是一蹴而就的。在這條布滿荊棘但充滿希望的道路上，我們有理由相信，像 Sand.ai 這樣擁有清晰技術(shù)信仰、兼具科研與工程能力的 “少數(shù)派” 團(tuán)隊(duì)，正悄然改變著視聽(tīng)生成的未來(lái)。我們也期待，有更多擁有相同信仰、渴望在 AI 浪潮中留下扎實(shí)腳印的人才，能與他們并肩前行，共同推動(dòng) AI 技術(shù)的普惠發(fā)展。