當(dāng)一段語音不僅需要 “像某個人”、“準(zhǔn)確地讀出每個字”， 還需要在不同內(nèi)容中自然切換說話方式， 在幾十分鐘的敘述中持續(xù)穩(wěn)定， 在對話、角色、實(shí)時(shí)交互等不同形態(tài)下都能直接使用 —— 單一的 TTS 模型，往往已經(jīng)不夠用了。

就在今天，模思智能及 OpenMOSS 團(tuán)隊(duì)再度上新，發(fā)布并開源了MOSS-TTS Family，一套面向高保真、高表現(xiàn)力與復(fù)雜場景生成的語音生成模型家族。

你可以用 MOSS-TTS Family 完成這些事情：

• 零樣本克隆說話人的音色與表達(dá)風(fēng)格并精準(zhǔn)控制語音時(shí)長，用于紀(jì)錄片、影視配音或新聞播報(bào)；
• 生成具備真實(shí)節(jié)奏的雙人或多人對話，用于播客、綜藝或解說；
• 通過指令設(shè)計(jì)帶有情緒與表演狀態(tài)的角色聲音；
• 為內(nèi)容補(bǔ)全環(huán)境音與音效；
• 以及在實(shí)時(shí) Voice Agent 系統(tǒng)中，以流式方式持續(xù)輸出自然語音；

從這些真實(shí)、明確的實(shí)際需求，我們不難看出，模思推出的 TTS 全家桶，并不是單一能力的堆疊，而是一整套可以直接接入創(chuàng)作流程、產(chǎn)品系統(tǒng)與交互場景的聲音生產(chǎn)工具鏈。

語音生成模型家族：全維度能力覆蓋

MOSS-TTS Family并不是對 “一個更大的 TTS 模型” 的追求。

相反，我們選擇將聲音生產(chǎn)拆解為多個真實(shí)存在的創(chuàng)作與應(yīng)用環(huán)節(jié)，并為每一個環(huán)節(jié)提供專門的模型支持，使它們既可以獨(dú)立使用，也可以組合成完整的工作流。

整個模型家族包含五個核心成員：

• MOSS-TTS：高保真、高表現(xiàn)力的語音生成基座，多語言、長音頻、精確時(shí)長控制；
• MOSS-TTSD：全面更新至 1.0 版本，面向真實(shí)對話場景的多說話人語音合成，包括但不限于播客等更多復(fù)雜對話場景；
• MOSS-VoiceGenerator：復(fù)雜文本指令跟隨、用于音色與角色設(shè)計(jì)；
• MOSS-SoundEffect：環(huán)境音與音效生成模型；
• MOSS-TTS-Realtime：面向?qū)崟r(shí)交互的實(shí)時(shí)流式 TTS 模型；

它們共同構(gòu)成了一個覆蓋 “穩(wěn)定生成、靈活設(shè)計(jì)、復(fù)雜對話、情境補(bǔ)全、實(shí)時(shí)交互” 的聲音創(chuàng)作生態(tài)閉環(huán)。

MOSS-TTS：高表現(xiàn)力語音生成基座

MOSS-TTS 是整個 MOSS-TTS Family 的基礎(chǔ)模型，也是所有聲音能力得以成立的前提。

它的核心目標(biāo)是在真實(shí)內(nèi)容與復(fù)雜場景中，穩(wěn)定地復(fù)現(xiàn)一個說話者的聲音特征、表達(dá)方式與語言習(xí)慣，并穩(wěn)定地生成長語音片段。

在下面的音頻示例中，我們將從多個維度展示 MOSS-TTS 的能力邊界。

零樣本音色復(fù)刻：從 “像聲音” 到 “像這個人說話”

音色克隆并不等同于音色相似。在真實(shí)內(nèi)容中，人們更容易注意到的，往往是語速、韻律、停頓方式、情緒走向與整體說話風(fēng)格是否一致。MOSS-TTS 的音色克隆能力，正是圍繞這些 “非顯性特征” 展開。

在業(yè)界權(quán)威測試集 Seed-TTS-eval 上，MOSS-TTS 的語音音色相似度超越了當(dāng)前所有的開源模型和大多數(shù)閉源模型。

中文場景展示

• 央視紀(jì)錄片解說高原雪豹

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

• 百家講壇論王立群老師論時(shí)間觀念

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

英文場景展示

• 鋼鐵俠Tony Stark 大型懟人現(xiàn)場

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

• Taylor Swift 深情向粉絲吐露心聲

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

在這些示例中，可以明顯聽到：同一參考音色在不同內(nèi)容語境下，說話節(jié)奏、重音位置與情緒密度都會發(fā)生變化，而并非簡單地 “套用一個聲線”。

超長語音生成：不再為分段拼接而苦惱

在長內(nèi)容語音生成中，一個長期存在且高度工程化的問題是：

上下文長度本身是否足夠、是否可持續(xù)、是否可一次性完成生成。

在許多實(shí)際應(yīng)用中，超出常規(guī)上下文長度的語音內(nèi)容，往往需要通過人工分段生成、再進(jìn)行拼接與后處理的方式完成。這不僅增加了使用成本，也降低了語音質(zhì)量的一致性。

MOSS-TTS 面向真實(shí)生產(chǎn)需求，支持單次上下文內(nèi)完成超長語音生成，無需對文本進(jìn)行人為切分，也無需通過多輪調(diào)用來拼接音頻結(jié)果。

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

在上述示例中，MOSS-TTS 在一次生成流程中直接能夠得到 43 分鐘的超長音頻，避免了因分段處理帶來的接口復(fù)雜度與工程負(fù)擔(dān)。

這一能力使 MOSS-TTS 能夠更加自然地融入紀(jì)錄片、有聲內(nèi)容與長篇講解等場景，將語音生成從 “需要特殊處理的步驟”，轉(zhuǎn)變?yōu)?strong>可直接調(diào)用的基礎(chǔ)能力。

語音時(shí)長控制：在不犧牲自然度的前提下控制語速

在很多生產(chǎn)場景中，“生成多快” 與 “生成多長” 是明確約束條件，而不僅僅是風(fēng)格選擇。MOSS-TTS 支持在 Token 級別對生成時(shí)長進(jìn)行控制，從而適應(yīng)更多創(chuàng)作場景。

多語言語音生成：跨語言的一致性表達(dá)

MOSS-TTS 支持多種主流語言的語音生成，并致力于在不同語言中保持一致的發(fā)音質(zhì)量與表達(dá)自然度。

支持語言包括但不限于：

• 中文
• 英語
• 法語
• 德語
• 西班牙語
• 日語
• 俄語
• 韓語
• 意大利語
• 任意語言切換

拼音與音素級細(xì)粒度發(fā)音控制：從準(zhǔn)確發(fā)音到可控表達(dá)

在語音生成中，發(fā)音控制不僅僅是為了 “讀對”，更重要的是為創(chuàng)作者和開發(fā)者提供可操作、可實(shí)驗(yàn)、可組合的表達(dá)空間。

MOSS-TTS 提供拼音與音素級別的細(xì)粒度發(fā)音控制能力，使用戶能夠直接參與到發(fā)音層面的設(shè)計(jì)與調(diào)整中，而不僅僅停留在文本層面，在不改變整體語音自然度的前提下，對局部讀音進(jìn)行精細(xì)干預(yù)。通過這一能力，可以實(shí)現(xiàn)包括但不限于以下用法：

• 使用純拼音輸入驅(qū)動語音生成，而不依賴原始漢字文本
• 例如“你好，我是來自模思智能的模型”，直接輸入：

ni2 hao3，wo3 shi4 lai2 zi4 mo2 si1 zhi4 neng2 de4 mo2 xing2

• 主動修改拼音內(nèi)容或聲調(diào)，用于糾正特定讀音
• 例如“一騎紅塵妃子笑，無人知是荔枝來”，直接調(diào)整“騎”這個多音字發(fā)音：

一 ji4 紅塵妃子笑，無人知是荔枝來

一 qi2 紅塵妃子笑，無人知是荔枝來

• 通過對拼音與音調(diào)的組合調(diào)整，探索更具個性化的發(fā)音方式
• 例如“你好，請問你來自哪座城市？”，修改后，得到方言或者特殊口音性質(zhì)的親切的“老鄉(xiāng)話”：
• nin2 hao3，qing4 wen3 nin2 lai2 zi4 na4 zuo3 cheng4 shi3？

MOSS-TTSD-V1.0：面向真實(shí)內(nèi)容的多說話人對話生成

如果說單人 TTS 解決的是 “講述”，那么MOSS-TTSD解決的是 “交流”。

相比于 0.7 版本，1.0 版本的核心能力如下：

• 以雙說話人為核心的自然對話節(jié)奏，支持 1–5 人，任意指定人數(shù)的語音生成；
• 支持更多對話場景
• 播客、說書、體育解說、電競解說、影視、綜藝、動漫、相聲等
• 支持最長 60 分鐘的長對話生成
• 覆蓋 中文、英語、日語、韓語、西班牙語、葡萄牙語、法語、德語、意大利語、俄語、阿拉伯語 等多種語言
• 管澤元王多多解說IG大戰(zhàn)T1

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

• 詹俊張路解說魔都高校德比

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

• 賈玲、劉德華和周杰倫閑聊

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

MOSS-TTSD-V1.0 無論是在客觀指標(biāo)還是主觀評測中均領(lǐng)先于當(dāng)前主流的閉源及開源模型。

MOSS-VoiceGenerator：用指令 “設(shè)計(jì)” 聲音與角色

在很多創(chuàng)作流程中，創(chuàng)作者并不只是需要 “某個人的聲音”，而是需要一個具備性格、情緒與表演狀態(tài)的角色聲音。

而 MOSS-VoiceGenerator 恰恰提供了這樣的能力

• 強(qiáng)烈且自然的情緒表達(dá)與轉(zhuǎn)變
• 接近真實(shí)表演狀態(tài)的音色與氣息變化
• 清晰的角色感

MOSS-VoiceGenerator 可以作為：

• 角色原型的生成工具
• IP 聲音設(shè)計(jì)的起點(diǎn)
• 與 TTS / TTSD 組合使用的 “聲音設(shè)計(jì)層”
• 年輕男性，陰陽怪氣，拖長音，極盡嘲諷

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

• 撕心裂肺，聲淚俱下的中年女性

https://mp.weixin.qq.com/s/Qr4ycteDkopspO-DlD_yOQ?click_id=79

MOSS-SoundEffect：從文字描述直接生成環(huán)境音與音效

完整的聲音體驗(yàn)不僅來自 “說話的人”，也來自空間、動作與環(huán)境。

MOSS-SoundEffect 能夠用來在合適的情境補(bǔ)充身臨其境的音效，支持生成的音效類型包括：

• 自然環(huán)境音：例如，“踩在新雪上的嘎吱聲”。
• 城市環(huán)境音：例如，“一輛跑車在高速公路上呼嘯而過”。
• 動物音：例如，“清晨的公園里，鳥兒在靜謐的氛圍中鳴叫”。
• 人類活動音：例如，“清晰的腳步聲在水泥地上回蕩，節(jié)奏穩(wěn)定”

MOSS-TTS-Realtime：面向?qū)崟r(shí)系統(tǒng)的流式語音生成

在語音助手、實(shí)時(shí)對話與交互式系統(tǒng)中，延遲與穩(wěn)定性往往比 “極致音質(zhì)” 更重要。

特點(diǎn)

• 流式文本輸入，流式語音輸出
• 適合作為 LLM 的語音外掛能力

MOSS-TTS-Streaming 是整個模型家族中，最偏向 “系統(tǒng)能力” 的一環(huán)。

Case-by-case 對比：與其他閉源與開源模型的效果對比

在展示 MOSS-TTS Family 自身能力的同時(shí)，我們也將模型放入更廣泛的行業(yè)背景中進(jìn)行驗(yàn)證。

為此，我們選取了多種具有代表性的閉源與開源語音生成模型，在盡量統(tǒng)一的輸入條件下，對模型輸出效果進(jìn)行了case-by-case 的對比測試，以更客觀地觀察不同系統(tǒng)在實(shí)際任務(wù)中的表現(xiàn)差異。

對比維度包括但不限于：

• 音色相似度與一致性
• 表達(dá)自然度與表現(xiàn)力
• 場景適配能力

所有對比示例均基于相同或等價(jià)的文本與參考條件生成，旨在呈現(xiàn)不同模型在具體使用場景中的實(shí)際輸出效果，而非單一指標(biāo)或主觀印象。

技術(shù)方法

MOSS-TTS Family 的能力，建立在系統(tǒng)性的技術(shù)選擇與工程實(shí)踐之上。該模型的核心在于回歸語音生成任務(wù)中三個最為重要的因素：高質(zhì)量的 Audio Tokenizer、大規(guī)模、高質(zhì)量且多樣化的預(yù)訓(xùn)練數(shù)據(jù)，以及高效的離散 Token 建模方法。這些要素的結(jié)合，使我們能夠以出人意料的簡潔方法實(shí)現(xiàn)最先進(jìn)的性能：一個簡單的自回歸范式 —— 架構(gòu)盡可能精簡，結(jié)果卻足夠強(qiáng)大。

高性能音頻 Tokenizer，夯實(shí)高保真生成的底座

• MOSS Audio Tokenizer是一個基于CatCausalAudioTokenizer withTransformer) 架構(gòu)的 1.6B 參數(shù)量的音頻 tokenizer。該模型旨在為自回歸音頻大模型提供統(tǒng)一的離散化音頻接口，兼具無損重構(gòu)能力與卓越的音頻 - 文本語義對齊性能。
• 技術(shù)特性：

1.高壓縮比與變比特率： 支持將 24kHz 音頻壓縮至 12.5 fps?；?32 層 RVQ 機(jī)制，模型可在 0.125-4kbps 范圍內(nèi)實(shí)現(xiàn)靈活的碼率調(diào)節(jié)，滿足不同場景下的高保真重建需求。

2.純 Transformer 同構(gòu)架構(gòu)： 采用無 CNN 的全因果 Transformer 設(shè)計(jì)。其 16 億參數(shù)規(guī)模確保了強(qiáng)大的模型容量與可擴(kuò)展性，并且可以支持幀級別的流式編碼與解碼。

3.通用音頻表征能力： 歷經(jīng) 300 萬小時(shí)超大規(guī)模音頻數(shù)據(jù)的預(yù)訓(xùn)練，覆蓋語音、音效、音樂等全領(lǐng)域，具備極強(qiáng)的泛化能力。

4.語義 - 聲學(xué)統(tǒng)一表征： MOSS Audio Tokenizer 編碼得到的離散 Token 在保持 SOTA 級高保真還原音質(zhì)的前提下，還蘊(yùn)含了豐富的語義信息，能天然適配自回歸生成模型的建模需求。

5.零預(yù)訓(xùn)練依賴： 避開了對現(xiàn)有音頻預(yù)訓(xùn)練模型（如 Whisper、HuBERT）的依賴或蒸餾，完全通過原始數(shù)據(jù)自主學(xué)習(xí)音頻特征。

6.端到端聯(lián)合訓(xùn)練： 實(shí)現(xiàn)所有模塊（編碼器、量化器、解碼器，判別器及用于語義對齊的 LLM ）的全閉環(huán)聯(lián)合優(yōu)化，確保系統(tǒng)整體性能的協(xié)同提升。

• 總結(jié)：

MOSS Audio Tokenizer 憑借其極簡且易擴(kuò)展的架構(gòu)設(shè)計(jì)與超大規(guī)模數(shù)據(jù)的深度融合，徹底打破了傳統(tǒng)音頻 tokenizer 的性能瓶頸。它為下一代原生音頻基座模型（Native Audio Foundation Models）提供了一個穩(wěn)定、高保真且深度對齊語義的標(biāo)準(zhǔn)接口。

下圖是 MOSS Audio Tokenizer 和其他開源 Audio Tokenizer 在 LibriSpeech test clean 數(shù)據(jù)集上的重建客觀指標(biāo)對比，可以發(fā)現(xiàn)在相近 bps 下， MOSS Audio Tokenizer 在 0-4kbps 下的重建質(zhì)量領(lǐng)先于其他的開源 audio tokenizer

大規(guī)模高質(zhì)量多樣化預(yù)訓(xùn)練數(shù)據(jù)，驅(qū)動泛化與可控性躍遷

• MOSS Data Engine是支撐 MOSS-TTS Family 的數(shù)據(jù)生產(chǎn)系統(tǒng)：它不只是 “收集與清洗”，而是將真實(shí)世界的海量原始音頻轉(zhuǎn)化為可復(fù)用的訓(xùn)練資產(chǎn) —— 既能承載長時(shí)敘事的穩(wěn)定性，也能覆蓋對話交互、角色塑造與音效補(bǔ)全等多種生成形態(tài)。
• 在規(guī)模維度上，Data Engine 的語音主干語料包括數(shù)百萬小時(shí)的 TTS 數(shù)據(jù)與數(shù)百萬小時(shí)的 TTSD 數(shù)據(jù)；同時(shí)，系統(tǒng)還持續(xù)構(gòu)建面向音色 / 角色設(shè)計(jì)與環(huán)境音 / 音效生成的專用數(shù)據(jù)資產(chǎn)，與主干語料在同一標(biāo)準(zhǔn)體系下協(xié)同演進(jìn)。
• 在方法維度上，我們以 “多階段治理 + 交叉一致性驗(yàn)證 + 面向模型家族的多軌數(shù)據(jù)資產(chǎn)” 組織整個流程：從音頻質(zhì)量與一致性、到內(nèi)容對齊與可訓(xùn)練性，再到按任務(wù)形態(tài)拆分與組合，最終形成可直接喂給MOSS-TTS / TTSD / VoiceGenerator / SoundEffect / Realtime的多軌數(shù)據(jù)供給，讓家族模型既共享同一底座，又各自獲得對任務(wù)最關(guān)鍵的訓(xùn)練信號。

雙架構(gòu)并行開源，覆蓋性能 — 時(shí)延全譜系

為兼顧真實(shí)業(yè)務(wù)落地與學(xué)術(shù)研究可復(fù)現(xiàn)性，MOSS-TTS 選擇同時(shí)訓(xùn)練并開源兩套互補(bǔ)架構(gòu)。我們并非在單一路線上 “押注”，而是以工程可用性為底線、以架構(gòu)探索為上限，系統(tǒng)性地覆蓋語音生成在長文本穩(wěn)定性、推理效率、流式時(shí)延、客觀指標(biāo)等維度上的關(guān)鍵取舍，給社區(qū)與產(chǎn)業(yè)提供兩條同等強(qiáng)勢的技術(shù)路徑與研究基線。

圖例：左：Delay-Pattern（MossTTSDelay） 采用單一 Backbone +（n_vq+1）Heads，通過多碼本 RVQ 的 delay scheduling 自回歸生成音頻 token；右：Global Latent + Local Transformer（MossTTSLocal） 由 Backbone 每步輸出全局潛變量，再由輕量 Local Transformer 逐步發(fā)射 token block，更適合低時(shí)延流式合成。

架構(gòu) A：Delay-Pattern（MossTTSDelay）—— 更穩(wěn)、更快、更 “能上生產(chǎn)”

• 單 Transformer 主干 + (n_vq + 1) Heads：以統(tǒng)一骨干承載語義與聲學(xué)生成，輸出頭直接面向多碼本（RVQ）token 預(yù)測。
• Delay Scheduling 多碼本延遲調(diào)度：通過精心設(shè)計(jì)的延遲機(jī)制，穩(wěn)定地處理多碼本 token 的時(shí)序和層級關(guān)系。
• 核心優(yōu)勢：在長上下文場景下保持更強(qiáng)的一致性與魯棒性，同時(shí)具備更高的推理效率與更友好的生產(chǎn)行為 ——適合長篇敘述、內(nèi)容生成與規(guī)?；渴?/strong>

架構(gòu) B：Global Latent + Local Transformer（MossTTSLocal）—— 更輕、更靈活、更 “適配流式”

• Backbone 產(chǎn)出每步 Global Latent：主干網(wǎng)絡(luò)在每個時(shí)間步凝聚生成所需的全局表征。
• 輕量 Local Transformer 每步發(fā)射 Token Block：用更小的局部自回歸模塊生成成塊的音頻 token，提高吞吐并降低端到端時(shí)延。
• Streaming-Friendly 的簡化對齊：無需 delay scheduling，結(jié)構(gòu)更直接、對齊更簡潔 ——天然適配流式輸入 / 輸出與實(shí)時(shí)交互
• 核心優(yōu)勢：模型更小、更易擴(kuò)展，在客觀基準(zhǔn)上表現(xiàn)突出，特別適合作為流式和實(shí)時(shí)系統(tǒng)的強(qiáng)基線。

為什么要訓(xùn)練兩套？

• 架構(gòu)潛力的系統(tǒng)性驗(yàn)證：我們同時(shí)覆蓋兩種代表性的生成范式，不止追求單點(diǎn) SOTA，而是追求 “能跑通、能復(fù)現(xiàn)、能迭代” 的體系化能力。
• 明確且互補(bǔ)的 tradeoff：Delay-pattern 往往在長文合成更快更穩(wěn)；Local 架構(gòu)更輕量，且在客觀指標(biāo)上更具優(yōu)勢 —— 兩者共同覆蓋從離線高質(zhì)量到在線低時(shí)延的完整需求。
• 更高的開源價(jià)值：一次開源提供兩條強(qiáng)路徑，既是可直接落地的工程方案，也是可用于消融、對比與下游創(chuàng)新的高質(zhì)量基座 —— 讓研究者更容易定位關(guān)鍵因素，讓工程團(tuán)隊(duì)更容易找到適配場景的最優(yōu)解。

一句話總結(jié)：MOSS-TTS 的 “雙架構(gòu)” 不是 “多此一舉”，而是我們對真實(shí)世界語音生成的核心判斷 ——真正可用的 TTS，不該只在單一指標(biāo)上贏，而應(yīng)當(dāng)在不同場景下都能以明確的權(quán)衡給出最強(qiáng)解。

國產(chǎn) GPU 生態(tài)支持

MOSS-TTS 及 MOSS-TTSD 兩個主力模型均實(shí)現(xiàn)了壁仞科技 壁礪? 166M的 Day-0 高性能推理部署支持。在國產(chǎn)算力生態(tài)的加持下，MOSS-TTS 系列將能夠深入更多領(lǐng)域和場景。

我們將在獨(dú)立的技術(shù)報(bào)告中，對模型設(shè)計(jì)、訓(xùn)練方法與評測結(jié)果進(jìn)行完整披露。

結(jié)語

MOSS-TTS Family 的開源與發(fā)布，是團(tuán)隊(duì)使命在語音領(lǐng)域的一次落地多模態(tài) ? 開放生態(tài) ? 超級智能：既面向生產(chǎn)，把穩(wěn)定、效率與可控性做到可用可部署；也面向研究，把關(guān)鍵選擇與可復(fù)現(xiàn)基線交到社區(qū)手中。我們相信，通往更強(qiáng)智能的道路，必然來自多模態(tài)能力的持續(xù)進(jìn)化，來自開放協(xié)作的長期積累，來自把技術(shù)推向現(xiàn)實(shí)世界的每一次交付。