開源數(shù)字人大盤點，有沒有你在用的

這些項目里，有沒有你已經(jīng)在用了的？

數(shù)字人技術在 2024–2025 年迎來爆發(fā)，從“能動嘴”到“能演戲”，從“能對話”到“能直播”，開源生態(tài)也在快速成熟。

下面這份清單覆蓋了當前 GitHub 上最具代表性的開源數(shù)字人項目，涵蓋驅動模型、視頻生成、音頻合成、虛擬主播系統(tǒng)、端側方案等多個方向。

01. Hallo3（復旦開源）

Hallo3 是復旦團隊推出的新一代開源數(shù)字人生成框架，主打高保真、自然流暢的面部驅動效果。項目基于先進的生成式視覺模型，能夠精準捕捉音頻與表情之間的對應關系，實現(xiàn)逼真的口型、眼神與面部細節(jié)同步。相比傳統(tǒng)方法，Hallo3 在表情細膩度、動作連貫性和視頻質量上都有明顯提升，非常適合科研人員、開發(fā)者以及內容創(chuàng)作者進行二次開發(fā)或模型訓練。其代碼結構清晰、可擴展性強，是當前國內學術界最具代表性的數(shù)字人開源項目之一。

地址： https://github.com/fudan-generative-vision/hallo3

STAR數(shù)：1.4k+

定位： 高質量數(shù)字人視頻生成框架
亮點：

• ? 復旦團隊出品，學術背景強

• ? 支持高保真面部驅動

• ? 適合科研、二次開發(fā)、模型訓練

適用場景： 數(shù)字人研究、視頻生成算法驗證

2. LatentSync（字節(jié)跳動開源）

LatentSync 是字節(jié)跳動開源的高精度音頻驅動數(shù)字人框架，專注解決“嘴型不準、節(jié)奏不穩(wěn)”這一行業(yè)痛點。它通過潛空間同步技術，將音頻特征與視頻生成過程深度綁定，使得口型與語音的對應關系更加自然、準確。項目在短視頻、虛擬主播、教育講解等場景中表現(xiàn)出色，尤其適合對口型同步要求極高的應用。LatentSync 的模型推理速度快、效果穩(wěn)定，開源后受到大量開發(fā)者關注，是當前數(shù)字人口型驅動領域的標桿級項目。

地址： https://github.com/bytedance/LatentSync

STAR數(shù)：5.4k+

定位： 高同步性數(shù)字人口型驅動
亮點：

• ? 字節(jié)跳動開源，技術成熟度高

• ? 主打“音頻驅動 → 高精度口型同步”

• ? 適合短視頻、虛擬主播、教育內容

適用場景： 需要“嘴型精準同步”的數(shù)字人場景

3. EchoMimic V2（阿里開源）

EchoMimic V2 是阿里螞蟻團隊推出的數(shù)字人表情與動作模仿框架，相比前代版本在自然度、細節(jié)還原和驅動穩(wěn)定性上全面升級。它支持音頻驅動、視頻模仿等多種模式，能夠生成更貼近真人的表情變化和頭部動作。項目在“擬真人”數(shù)字人方向表現(xiàn)突出，適合用于主持、講解、客服等需要高可信度的場景。其模型結構經(jīng)過深度優(yōu)化，推理效率更高，適合本地部署或云端服務，是阿里在數(shù)字人領域最具代表性的開源成果之一。

地址： https://github.com/antgroup/echomimic_v2

STAR數(shù)：4.5k+

定位： 高質量表情與動作模仿
亮點：

• ? EchoMimic 升級版，效果更自然

• ? 支持多模態(tài)驅動（音頻/視頻）

• ? 適合做“擬真人”數(shù)字人

適用場景： 數(shù)字人主持、講解、客服

4. Sonic（騰訊 & 浙大開源）

地址： https://github.com/jixiaozhong/Sonic

STAR數(shù)：3.2k+

定位： 實時數(shù)字人驅動
亮點：

• ? 騰訊 + 浙大聯(lián)合

• ? 強調實時性，延遲極低

• ? 適合直播、互動場景

適用場景： 虛擬主播、實時互動數(shù)字人

5. HunyuanVideo（騰訊開源）

HunyuanVideo 是騰訊混元大模型體系中的視頻生成模型，支持文生視頻、圖生視頻、動作生成等多種能力。雖然它不是專門的數(shù)字人框架，但在數(shù)字人背景生成、動作補全、場景擴展等方面有極高價值。模型能夠生成高分辨率、長時序的視頻內容，畫面穩(wěn)定性和細節(jié)表現(xiàn)都處于行業(yè)領先水平。對于希望打造“數(shù)字人 + 視頻生成”一體化內容的開發(fā)者來說，HunyuanVideo 是一個非常強大的底層工具，適合創(chuàng)作短片、廣告、虛擬場景等內容。

大視頻生成模型的系統(tǒng)框架

地址： https://github.com/Tencent/HunyuanVideo

STAR數(shù)：11.7k+

定位： 文生視頻 / 視頻生成大模型
亮點：

• ? 騰訊混元體系的一部分

• ? 支持高質量視頻生成

• ? 可用于數(shù)字人背景、動作生成

適用場景： 數(shù)字人視頻增強、背景生成、動作生成

6. AIGCPanel

AIGCPanel 是一個簡單易用的一站式AI數(shù)字人系統(tǒng)，支持視頻合成、聲音合成、聲音克隆，簡化本地模型管理、一鍵導入和使用AI模型。

地址： https://github.com/modstart-lib/aigcpanel

STAR數(shù)：4.5k+

定位： 一站式數(shù)字人系統(tǒng)
亮點：

• ? 集成視頻合成、聲音合成、聲音克隆

• ? 本地模型管理非常方便

• ? 一鍵導入模型，適合非技術用戶

適用場景： 企業(yè)/個人快速搭建數(shù)字人系統(tǒng)

7. AI-Vtuber（虛擬主播系統(tǒng)）

Luna AI 是一款結合了最先進技術的虛擬AI主播。它的核心是一系列高效的人工智能模型和平臺，包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、訊飛星火、智譜AI、谷歌Bard、通義星塵、阿里云百煉（通義千問、百川、月之暗面、零一萬物、MiniMax）、千帆大模型（文心一言）、Gemini、Kimi Chat、koboldcpp、FastGPT、Ollama、One-API、AnythingLLM、LLM_TPU、Dify、火山引擎（豆包）。這些模型既可以在本地運行，也可以通過云端服務提供支持。當然，為了讓對話照進現(xiàn)實，還結合了多模態(tài)模型，包括 Gemini、glm-4v 的圖像識別能力，獲取電腦畫面進行分析講解。

地址： https://github.com/Ikaros-521/AI-Vtuber

STAR數(shù)：4.3k+

定位： 全功能虛擬 AI 主播
亮點：

• ? 支持 GPT、Claude、通義、文心、Gemini 等幾十種模型

• ? 支持本地模型（Ollama、text-generation-webui）

• ? 支持多模態(tài)識別（如 Gemini、GLM-4V）

• ? 能讀取電腦畫面做講解（非常強）

適用場景：

• ? 24 小時 AI 直播

• ? 游戲主播

• ? 教育講解

• ? 虛擬客服

8. JoyGen

JoyGen 是一個多模態(tài)數(shù)字人生成框架，支持音頻驅動、視頻驅動等多種方式，主打自然、穩(wěn)定的數(shù)字人生成效果。項目結構清晰，易于二次開發(fā)，適合科研團隊和開發(fā)者進行自定義訓練或擴展。JoyGen 在表情細節(jié)、頭部動作和嘴型同步方面表現(xiàn)均衡，是一個“上手快、效果穩(wěn)”的數(shù)字人方案。對于內容創(chuàng)作者來說，它能快速生成高質量數(shù)字人視頻；對于開發(fā)者來說，它是一個優(yōu)秀的研究與工程結合的開源項目。

地址： https://github.com/JOY-MM/JoyGen

STAR數(shù)：419

定位： 多模態(tài)數(shù)字人生成框架
亮點：

• ? 支持音頻驅動、視頻驅動

• ? 效果自然，適合內容創(chuàng)作

• ? 結構清晰，適合二次開發(fā)

適用場景： 內容創(chuàng)作、短視頻數(shù)字人

9. Duix-Avatar

地址： https://github.com/duixcom/Duix-Avatar

STAR數(shù)：12.2k+

定位： 高質量數(shù)字人生成
亮點：

• ? Duix 系列主力項目

• ? 支持高保真面部驅動

• ? 效果接近商業(yè)級

適用場景： 商業(yè)數(shù)字人、品牌 IP、虛擬主持

10. Duix Mobile

Duix-Mobile 是 Duix 系列的移動端版本，主打“輕量化 + 端側可運行”。它能夠在手機等移動設備上生成數(shù)字人視頻，非常適合 App 內嵌數(shù)字人助手、小程序數(shù)字人、移動端內容創(chuàng)作等場景。項目對模型進行了深度壓縮與優(yōu)化，在保證效果的同時顯著降低算力需求。對于希望在移動端落地數(shù)字人功能的開發(fā)者來說，Duix-Mobile 是目前最成熟的開源方案之一。

地址： https://github.com/duixcom/Duix-Mobile

STAR數(shù)：7.8k+

定位： 端側數(shù)字人（手機可跑）
亮點：

• ? 主打“輕量 + 端側可用”

• ? 適合移動端應用、App 內嵌數(shù)字人

• ? 性能優(yōu)化優(yōu)秀

適用場景：

• ? 手機 App 數(shù)字人

• ? 小程序數(shù)字人

• ? 端側 AI 助手

需求

推薦項目

高質量數(shù)字人視頻

Hallo3、Duix-Avatar、EchoMimic V2

口型同步最強

LatentSync

實時互動/直播

Sonic、AI-Vtuber

文生視頻/動作生成

HunyuanVideo

一站式數(shù)字人系統(tǒng)

AIGCPanel

移動端數(shù)字人

Duix-Mobile

多模態(tài)虛擬主播

AI-Vtuber