開(kāi)源數(shù)字人大盤(pán)點(diǎn)，有沒(méi)有你在用的

這些項(xiàng)目里，有沒(méi)有你已經(jīng)在用了的？

數(shù)字人技術(shù)在 2024–2025 年迎來(lái)爆發(fā)，從“能動(dòng)嘴”到“能演戲”，從“能對(duì)話”到“能直播”，開(kāi)源生態(tài)也在快速成熟。

下面這份清單覆蓋了當(dāng)前 GitHub 上最具代表性的開(kāi)源數(shù)字人項(xiàng)目，涵蓋驅(qū)動(dòng)模型、視頻生成、音頻合成、虛擬主播系統(tǒng)、端側(cè)方案等多個(gè)方向。

01. Hallo3（復(fù)旦開(kāi)源）

Hallo3 是復(fù)旦團(tuán)隊(duì)推出的新一代開(kāi)源數(shù)字人生成框架，主打高保真、自然流暢的面部驅(qū)動(dòng)效果。項(xiàng)目基于先進(jìn)的生成式視覺(jué)模型，能夠精準(zhǔn)捕捉音頻與表情之間的對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)逼真的口型、眼神與面部細(xì)節(jié)同步。相比傳統(tǒng)方法，Hallo3 在表情細(xì)膩度、動(dòng)作連貫性和視頻質(zhì)量上都有明顯提升，非常適合科研人員、開(kāi)發(fā)者以及內(nèi)容創(chuàng)作者進(jìn)行二次開(kāi)發(fā)或模型訓(xùn)練。其代碼結(jié)構(gòu)清晰、可擴(kuò)展性強(qiáng)，是當(dāng)前國(guó)內(nèi)學(xué)術(shù)界最具代表性的數(shù)字人開(kāi)源項(xiàng)目之一。

地址： https://github.com/fudan-generative-vision/hallo3

STAR數(shù)：1.4k+

定位： 高質(zhì)量數(shù)字人視頻生成框架
亮點(diǎn)：

• ? 復(fù)旦團(tuán)隊(duì)出品，學(xué)術(shù)背景強(qiáng)

• ? 支持高保真面部驅(qū)動(dòng)

• ? 適合科研、二次開(kāi)發(fā)、模型訓(xùn)練

適用場(chǎng)景： 數(shù)字人研究、視頻生成算法驗(yàn)證

2. LatentSync（字節(jié)跳動(dòng)開(kāi)源）

LatentSync 是字節(jié)跳動(dòng)開(kāi)源的高精度音頻驅(qū)動(dòng)數(shù)字人框架，專注解決“嘴型不準(zhǔn)、節(jié)奏不穩(wěn)”這一行業(yè)痛點(diǎn)。它通過(guò)潛空間同步技術(shù)，將音頻特征與視頻生成過(guò)程深度綁定，使得口型與語(yǔ)音的對(duì)應(yīng)關(guān)系更加自然、準(zhǔn)確。項(xiàng)目在短視頻、虛擬主播、教育講解等場(chǎng)景中表現(xiàn)出色，尤其適合對(duì)口型同步要求極高的應(yīng)用。LatentSync 的模型推理速度快、效果穩(wěn)定，開(kāi)源后受到大量開(kāi)發(fā)者關(guān)注，是當(dāng)前數(shù)字人口型驅(qū)動(dòng)領(lǐng)域的標(biāo)桿級(jí)項(xiàng)目。

地址： https://github.com/bytedance/LatentSync

STAR數(shù)：5.4k+

定位： 高同步性數(shù)字人口型驅(qū)動(dòng)
亮點(diǎn)：

• ? 字節(jié)跳動(dòng)開(kāi)源，技術(shù)成熟度高

• ? 主打“音頻驅(qū)動(dòng) → 高精度口型同步”

• ? 適合短視頻、虛擬主播、教育內(nèi)容

適用場(chǎng)景： 需要“嘴型精準(zhǔn)同步”的數(shù)字人場(chǎng)景

3. EchoMimic V2（阿里開(kāi)源）

EchoMimic V2 是阿里螞蟻團(tuán)隊(duì)推出的數(shù)字人表情與動(dòng)作模仿框架，相比前代版本在自然度、細(xì)節(jié)還原和驅(qū)動(dòng)穩(wěn)定性上全面升級(jí)。它支持音頻驅(qū)動(dòng)、視頻模仿等多種模式，能夠生成更貼近真人的表情變化和頭部動(dòng)作。項(xiàng)目在“擬真人”數(shù)字人方向表現(xiàn)突出，適合用于主持、講解、客服等需要高可信度的場(chǎng)景。其模型結(jié)構(gòu)經(jīng)過(guò)深度優(yōu)化，推理效率更高，適合本地部署或云端服務(wù)，是阿里在數(shù)字人領(lǐng)域最具代表性的開(kāi)源成果之一。

地址： https://github.com/antgroup/echomimic_v2

STAR數(shù)：4.5k+

定位： 高質(zhì)量表情與動(dòng)作模仿
亮點(diǎn)：

• ? EchoMimic 升級(jí)版，效果更自然

• ? 支持多模態(tài)驅(qū)動(dòng)（音頻/視頻）

• ? 適合做“擬真人”數(shù)字人

適用場(chǎng)景： 數(shù)字人主持、講解、客服

4. Sonic（騰訊 & 浙大開(kāi)源）

地址： https://github.com/jixiaozhong/Sonic

STAR數(shù)：3.2k+

定位： 實(shí)時(shí)數(shù)字人驅(qū)動(dòng)
亮點(diǎn)：

• ? 騰訊 + 浙大聯(lián)合

• ? 強(qiáng)調(diào)實(shí)時(shí)性，延遲極低

• ? 適合直播、互動(dòng)場(chǎng)景

適用場(chǎng)景： 虛擬主播、實(shí)時(shí)互動(dòng)數(shù)字人

5. HunyuanVideo（騰訊開(kāi)源）

HunyuanVideo 是騰訊混元大模型體系中的視頻生成模型，支持文生視頻、圖生視頻、動(dòng)作生成等多種能力。雖然它不是專門的數(shù)字人框架，但在數(shù)字人背景生成、動(dòng)作補(bǔ)全、場(chǎng)景擴(kuò)展等方面有極高價(jià)值。模型能夠生成高分辨率、長(zhǎng)時(shí)序的視頻內(nèi)容，畫(huà)面穩(wěn)定性和細(xì)節(jié)表現(xiàn)都處于行業(yè)領(lǐng)先水平。對(duì)于希望打造“數(shù)字人 + 視頻生成”一體化內(nèi)容的開(kāi)發(fā)者來(lái)說(shuō)，HunyuanVideo 是一個(gè)非常強(qiáng)大的底層工具，適合創(chuàng)作短片、廣告、虛擬場(chǎng)景等內(nèi)容。

大視頻生成模型的系統(tǒng)框架

地址： https://github.com/Tencent/HunyuanVideo

STAR數(shù)：11.7k+

定位： 文生視頻 / 視頻生成大模型
亮點(diǎn)：

• ? 騰訊混元體系的一部分

• ? 支持高質(zhì)量視頻生成

• ? 可用于數(shù)字人背景、動(dòng)作生成

適用場(chǎng)景： 數(shù)字人視頻增強(qiáng)、背景生成、動(dòng)作生成

6. AIGCPanel

AIGCPanel 是一個(gè)簡(jiǎn)單易用的一站式AI數(shù)字人系統(tǒng)，支持視頻合成、聲音合成、聲音克隆，簡(jiǎn)化本地模型管理、一鍵導(dǎo)入和使用AI模型。

地址： https://github.com/modstart-lib/aigcpanel

STAR數(shù)：4.5k+

定位： 一站式數(shù)字人系統(tǒng)
亮點(diǎn)：

• ? 集成視頻合成、聲音合成、聲音克隆

• ? 本地模型管理非常方便

• ? 一鍵導(dǎo)入模型，適合非技術(shù)用戶

適用場(chǎng)景： 企業(yè)/個(gè)人快速搭建數(shù)字人系統(tǒng)

7. AI-Vtuber（虛擬主播系統(tǒng)）

Luna AI 是一款結(jié)合了最先進(jìn)技術(shù)的虛擬AI主播。它的核心是一系列高效的人工智能模型和平臺(tái)，包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、訊飛星火、智譜AI、谷歌Bard、通義星塵、阿里云百煉（通義千問(wèn)、百川、月之暗面、零一萬(wàn)物、MiniMax）、千帆大模型（文心一言）、Gemini、Kimi Chat、koboldcpp、FastGPT、Ollama、One-API、AnythingLLM、LLM_TPU、Dify、火山引擎（豆包）。這些模型既可以在本地運(yùn)行，也可以通過(guò)云端服務(wù)提供支持。當(dāng)然，為了讓對(duì)話照進(jìn)現(xiàn)實(shí)，還結(jié)合了多模態(tài)模型，包括 Gemini、glm-4v 的圖像識(shí)別能力，獲取電腦畫(huà)面進(jìn)行分析講解。

地址： https://github.com/Ikaros-521/AI-Vtuber

STAR數(shù)：4.3k+

定位： 全功能虛擬 AI 主播
亮點(diǎn)：

• ? 支持 GPT、Claude、通義、文心、Gemini 等幾十種模型

• ? 支持本地模型（Ollama、text-generation-webui）

• ? 支持多模態(tài)識(shí)別（如 Gemini、GLM-4V）

• ? 能讀取電腦畫(huà)面做講解（非常強(qiáng)）

適用場(chǎng)景：

• ? 24 小時(shí) AI 直播

• ? 游戲主播

• ? 教育講解

• ? 虛擬客服

8. JoyGen

JoyGen 是一個(gè)多模態(tài)數(shù)字人生成框架，支持音頻驅(qū)動(dòng)、視頻驅(qū)動(dòng)等多種方式，主打自然、穩(wěn)定的數(shù)字人生成效果。項(xiàng)目結(jié)構(gòu)清晰，易于二次開(kāi)發(fā)，適合科研團(tuán)隊(duì)和開(kāi)發(fā)者進(jìn)行自定義訓(xùn)練或擴(kuò)展。JoyGen 在表情細(xì)節(jié)、頭部動(dòng)作和嘴型同步方面表現(xiàn)均衡，是一個(gè)“上手快、效果穩(wěn)”的數(shù)字人方案。對(duì)于內(nèi)容創(chuàng)作者來(lái)說(shuō)，它能快速生成高質(zhì)量數(shù)字人視頻；對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，它是一個(gè)優(yōu)秀的研究與工程結(jié)合的開(kāi)源項(xiàng)目。

地址： https://github.com/JOY-MM/JoyGen

STAR數(shù)：419

定位： 多模態(tài)數(shù)字人生成框架
亮點(diǎn)：

• ? 支持音頻驅(qū)動(dòng)、視頻驅(qū)動(dòng)

• ? 效果自然，適合內(nèi)容創(chuàng)作

• ? 結(jié)構(gòu)清晰，適合二次開(kāi)發(fā)

適用場(chǎng)景： 內(nèi)容創(chuàng)作、短視頻數(shù)字人

9. Duix-Avatar

地址： https://github.com/duixcom/Duix-Avatar

STAR數(shù)：12.2k+

定位： 高質(zhì)量數(shù)字人生成
亮點(diǎn)：

• ? Duix 系列主力項(xiàng)目

• ? 支持高保真面部驅(qū)動(dòng)

• ? 效果接近商業(yè)級(jí)

適用場(chǎng)景： 商業(yè)數(shù)字人、品牌 IP、虛擬主持

10. Duix Mobile

Duix-Mobile 是 Duix 系列的移動(dòng)端版本，主打“輕量化 + 端側(cè)可運(yùn)行”。它能夠在手機(jī)等移動(dòng)設(shè)備上生成數(shù)字人視頻，非常適合 App 內(nèi)嵌數(shù)字人助手、小程序數(shù)字人、移動(dòng)端內(nèi)容創(chuàng)作等場(chǎng)景。項(xiàng)目對(duì)模型進(jìn)行了深度壓縮與優(yōu)化，在保證效果的同時(shí)顯著降低算力需求。對(duì)于希望在移動(dòng)端落地?cái)?shù)字人功能的開(kāi)發(fā)者來(lái)說(shuō)，Duix-Mobile 是目前最成熟的開(kāi)源方案之一。

地址： https://github.com/duixcom/Duix-Mobile

STAR數(shù)：7.8k+

定位： 端側(cè)數(shù)字人（手機(jī)可跑）
亮點(diǎn)：

• ? 主打“輕量 + 端側(cè)可用”

• ? 適合移動(dòng)端應(yīng)用、App 內(nèi)嵌數(shù)字人

• ? 性能優(yōu)化優(yōu)秀

適用場(chǎng)景：

• ? 手機(jī) App 數(shù)字人

• ? 小程序數(shù)字人

• ? 端側(cè) AI 助手

需求

推薦項(xiàng)目

高質(zhì)量數(shù)字人視頻

Hallo3、Duix-Avatar、EchoMimic V2

口型同步最強(qiáng)

LatentSync

實(shí)時(shí)互動(dòng)/直播

Sonic、AI-Vtuber

文生視頻/動(dòng)作生成

HunyuanVideo

一站式數(shù)字人系統(tǒng)

AIGCPanel

移動(dòng)端數(shù)字人

Duix-Mobile

多模態(tài)虛擬主播

AI-Vtuber