這項(xiàng)由Soul AI Lab聯(lián)合吉利汽車研究院、天津大學(xué)以及西北工業(yè)大學(xué)共同完成的研究于2026年2月發(fā)表在arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2602.07803v1。這是一項(xiàng)關(guān)于歌聲合成技術(shù)的突破性研究，為AI音樂(lè)創(chuàng)作領(lǐng)域帶來(lái)了革命性進(jìn)展。

想象一下，如果有一天你哼唱一段旋律，AI就能立刻用任何你想要的聲音把這段旋律完整地唱出來(lái)，甚至還能換成不同的歌詞，這會(huì)是怎樣神奇的體驗(yàn)？或者更進(jìn)一步，你只需要提供一份簡(jiǎn)單的樂(lè)譜和歌詞，AI就能創(chuàng)造出一首完整的歌曲，而且聽(tīng)起來(lái)就像真人在演唱一樣自然動(dòng)聽(tīng)。這聽(tīng)起來(lái)像是科幻電影里的情節(jié)，但現(xiàn)在，研究團(tuán)隊(duì)已經(jīng)讓這個(gè)夢(mèng)想變成了現(xiàn)實(shí)。

在音樂(lè)創(chuàng)作的世界里，歌聲一直是最難模擬的元素之一。就像畫(huà)家可以臨摹靜物，但很難捕捉到舞者的韻律一樣，讓機(jī)器"唱歌"遠(yuǎn)比讓它"說(shuō)話"要困難得多。歌聲不僅需要準(zhǔn)確的發(fā)音，還要有恰當(dāng)?shù)囊粽{(diào)、節(jié)拍、情感表達(dá)，以及各種細(xì)膩的音樂(lè)技巧。更困難的是，每個(gè)人的聲音都是獨(dú)一無(wú)二的，如何讓AI學(xué)會(huì)模仿不同歌手的音色特點(diǎn)，這就像要求一個(gè)演員不僅要會(huì)表演，還要能瞬間變換成不同的人一樣。

過(guò)去的歌聲合成技術(shù)就像是只會(huì)照著食譜做菜的廚師——它們只能重現(xiàn)訓(xùn)練時(shí)見(jiàn)過(guò)的歌手聲音，就像廚師只能做出食譜上已有的菜品一樣。如果你想要一個(gè)全新歌手的聲音來(lái)演唱，這些系統(tǒng)就束手無(wú)策了。更要命的是，這些早期系統(tǒng)使用的"食材"（訓(xùn)練數(shù)據(jù)）非常有限，通常只有幾百小時(shí)的歌聲錄音，這就像讓廚師只用幾種食材就要做出滿漢全席一樣，顯然是不可能的任務(wù)。

近年來(lái)，一些研究團(tuán)隊(duì)開(kāi)始嘗試擴(kuò)大數(shù)據(jù)規(guī)模，將訓(xùn)練材料增加到數(shù)千小時(shí)，這確實(shí)是個(gè)進(jìn)步。但這些系統(tǒng)存在一個(gè)根本性問(wèn)題：它們采用的是"跟著感覺(jué)走"的合成方式。具體來(lái)說(shuō)，它們需要你先提供一段現(xiàn)有歌曲的旋律，然后跟著這個(gè)旋律來(lái)生成新的歌聲。這就像是一個(gè)只會(huì)跟著別人跳舞的舞者，雖然能跳得不錯(cuò)，但永遠(yuǎn)無(wú)法獨(dú)立創(chuàng)作新的舞蹈。這種方式在實(shí)際音樂(lè)制作中會(huì)遇到兩個(gè)大問(wèn)題：首先，你必須先有一首歌的旋律作為參考，這限制了創(chuàng)作的自由度；其次，生成的歌聲在時(shí)間節(jié)拍上很難精確控制，就像舞者跟不上音樂(lè)節(jié)拍一樣，這會(huì)導(dǎo)致歌聲與伴奏音樂(lè)出現(xiàn)不協(xié)調(diào)的情況。

面對(duì)這些挑戰(zhàn)，研究團(tuán)隊(duì)決定從根本上重新思考這個(gè)問(wèn)題。他們的解決方案SoulX-Singer就像是培養(yǎng)了一位既能看譜即唱，又能跟著旋律哼唱的全能歌手。更令人驚嘆的是，這個(gè)"數(shù)字歌手"接受了超過(guò)42000小時(shí)的歌聲訓(xùn)練——這相當(dāng)于一個(gè)人不間斷地聽(tīng)歌將近5年的時(shí)間，而且涵蓋了中文、英文和粵語(yǔ)三種語(yǔ)言。這種規(guī)模的訓(xùn)練讓SoulX-Singer具備了前所未有的"零樣本"能力，也就是說(shuō)，即使是它從未聽(tīng)過(guò)的全新歌手聲音，只需要一小段示例，它就能學(xué)會(huì)模仿并創(chuàng)作出高質(zhì)量的歌聲。

研究團(tuán)隊(duì)的創(chuàng)新之處在于設(shè)計(jì)了一個(gè)雙模式控制系統(tǒng)。在"樂(lè)譜控制"模式下，你只需要提供MIDI格式的樂(lè)譜和歌詞，系統(tǒng)就能自主創(chuàng)作出完整的歌聲，這就像給一個(gè)歌手一份樂(lè)譜，他就能完美演繹一樣。而在"旋律控制"模式下，系統(tǒng)可以根據(jù)現(xiàn)有歌曲的旋律特征，配上新的歌詞或者換成不同的歌手聲音來(lái)演唱。這種雙重能力讓SoulX-Singer既能滿足從零開(kāi)始的音樂(lè)創(chuàng)作需求，也能適應(yīng)對(duì)現(xiàn)有音樂(lè)的改編和再創(chuàng)作需求。

為了驗(yàn)證這個(gè)系統(tǒng)的實(shí)際效果，研究團(tuán)隊(duì)還專門(mén)構(gòu)建了一個(gè)嚴(yán)格的測(cè)試基準(zhǔn)。這個(gè)測(cè)試包含了50位從未在訓(xùn)練中出現(xiàn)過(guò)的歌手樣本，就像是為這個(gè)"數(shù)字歌手"安排了一場(chǎng)盲聽(tīng)考試，看它能否準(zhǔn)確模仿完全陌生的聲音。測(cè)試結(jié)果顯示，SoulX-Singer在音準(zhǔn)控制、聲音相似度、發(fā)音清晰度和整體音樂(lè)質(zhì)量等各個(gè)方面都達(dá)到了業(yè)界領(lǐng)先水平，甚至在某些指標(biāo)上接近了真人演唱的效果。

一、數(shù)據(jù)處理：從混合音軌到純凈歌聲的魔法

在探索SoulX-Singer的技術(shù)秘密之前，我們需要先了解一個(gè)基礎(chǔ)但關(guān)鍵的問(wèn)題：如何從復(fù)雜的音樂(lè)作品中提取出純凈的歌聲數(shù)據(jù)來(lái)訓(xùn)練AI系統(tǒng)？這個(gè)過(guò)程就像是從一鍋復(fù)雜的湯中精確分離出每一種食材一樣，需要極其精密的技術(shù)和大量的處理工作。

當(dāng)我們聽(tīng)一首完整的歌曲時(shí)，實(shí)際上聽(tīng)到的是多種聲音的混合體：主唱歌聲、背景人聲、各種樂(lè)器伴奏，甚至還有錄音棚添加的混響效果。對(duì)于人耳來(lái)說(shuō)，我們可以自然地將注意力集中在主唱身上，就像在嘈雜的派對(duì)中依然能聽(tīng)清朋友說(shuō)話一樣。但對(duì)于機(jī)器來(lái)說(shuō)，這種"雞尾酒會(huì)效應(yīng)"卻是極其困難的技術(shù)挑戰(zhàn)。

研究團(tuán)隊(duì)設(shè)計(jì)的數(shù)據(jù)處理流程就像是一個(gè)多重過(guò)濾系統(tǒng)。首先，他們使用了專門(mén)的聲音分離技術(shù)，這個(gè)技術(shù)基于一種叫做Mel-Band Roformer的先進(jìn)模型。這個(gè)過(guò)程就像是用一個(gè)極其精密的篩子，能夠?qū)⒒煸谝黄鸬母鞣N聲音成分逐一分離出來(lái)。具體來(lái)說(shuō)，系統(tǒng)首先識(shí)別并提取主唱聲音，同時(shí)抑制背景和聲以及伴奏樂(lè)器的干擾。這一步完成后，得到的是相對(duì)純凈的人聲軌道，但還不夠完美。

接下來(lái)是第二重處理：去除混響效果。商業(yè)音樂(lè)制作中通常會(huì)為歌聲添加各種音頻效果來(lái)增強(qiáng)聽(tīng)覺(jué)體驗(yàn)，但這些效果對(duì)于AI訓(xùn)練來(lái)說(shuō)卻是噪音。研究團(tuán)隊(duì)使用了另一個(gè)專門(mén)的去混響模型來(lái)清理這些人工添加的聲音效果，就像是用特殊的清潔劑去除玻璃上的裝飾涂層，還原出最原始透明的狀態(tài)。經(jīng)過(guò)這兩步處理，他們獲得了干凈純凈的"干聲"，為后續(xù)的高質(zhì)量合成訓(xùn)練提供了理想的聲學(xué)基礎(chǔ)。

有了純凈的歌聲音頻后，下一個(gè)挑戰(zhàn)是理解歌詞內(nèi)容和時(shí)間對(duì)應(yīng)關(guān)系。這個(gè)過(guò)程類似于給一段錄音配字幕，但要求更加精確。研究團(tuán)隊(duì)首先使用語(yǔ)言識(shí)別技術(shù)判斷歌曲使用的是中文、英文還是粵語(yǔ)。這就像是一個(gè)多語(yǔ)言翻譯員在聽(tīng)到外語(yǔ)時(shí)首先判斷這是哪種語(yǔ)言一樣。確定語(yǔ)言后，系統(tǒng)使用專門(mén)針對(duì)不同語(yǔ)言優(yōu)化的語(yǔ)音識(shí)別模型來(lái)提取歌詞和對(duì)應(yīng)的時(shí)間戳。

對(duì)于中文和粵語(yǔ)，他們使用了Paraformer模型；對(duì)于英文，則采用了Parakeet-TDT模型。這些模型經(jīng)過(guò)專門(mén)的微調(diào)，能夠處理歌聲中的特殊發(fā)音特征。歌唱時(shí)的發(fā)音往往與日常說(shuō)話不同，就像戲曲演員的唱腔與普通對(duì)話有很大差別一樣，所以需要專門(mén)適應(yīng)這種差異的識(shí)別系統(tǒng)。

為了確保提取出的歌詞準(zhǔn)確無(wú)誤，研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)質(zhì)量控制機(jī)制。他們會(huì)將自動(dòng)識(shí)別的歌詞與人工標(biāo)注的參考歌詞進(jìn)行對(duì)比，就像是用標(biāo)準(zhǔn)答案來(lái)檢查學(xué)生的考試成績(jī)一樣。如果發(fā)現(xiàn)有詞語(yǔ)增加或遺漏的情況，這些樣本會(huì)被直接丟棄；如果只是個(gè)別詞語(yǔ)識(shí)別錯(cuò)誤，系統(tǒng)會(huì)使用參考答案進(jìn)行糾正。這個(gè)嚴(yán)格的質(zhì)量控制流程確保了訓(xùn)練數(shù)據(jù)的語(yǔ)言準(zhǔn)確性。

最后一步是音樂(lè)理論層面的處理：音符轉(zhuǎn)錄。這個(gè)過(guò)程就像是讓一個(gè)音樂(lè)老師聽(tīng)著錄音，然后在五線譜上準(zhǔn)確標(biāo)注出每個(gè)音符的音高、時(shí)長(zhǎng)和類型。研究團(tuán)隊(duì)使用ROSVOT模型來(lái)完成這項(xiàng)任務(wù)，該模型能夠分析歌聲的音高變化，識(shí)別音符邊界，并將結(jié)果與之前提取的歌詞時(shí)間戳精確對(duì)齊。

通過(guò)這個(gè)音符轉(zhuǎn)錄過(guò)程，每個(gè)歌詞片段都被賦予了詳細(xì)的音樂(lè)屬性信息：包括對(duì)應(yīng)的文字、音高等級(jí)、音符類型（休止、歌詞音符或連音符），以及精確的持續(xù)時(shí)間。這就像是為每個(gè)字制作了一張?jiān)敿?xì)的身份證，記錄了它在音樂(lè)中的所有重要特征。這種精細(xì)化的標(biāo)注為后續(xù)的可控歌聲合成提供了必要的基礎(chǔ)，讓AI能夠理解歌詞與旋律之間的精確對(duì)應(yīng)關(guān)系。

經(jīng)過(guò)這套完整的數(shù)據(jù)處理流程，研究團(tuán)隊(duì)最終獲得了約42000小時(shí)的高質(zhì)量訓(xùn)練素材。其中中文和英文各占約20000小時(shí)，粵語(yǔ)約2000小時(shí)。這些數(shù)據(jù)都被組織成音符級(jí)別的表示形式，每個(gè)音符都包含對(duì)應(yīng)的文字符號(hào)、音高分類和音符類型等信息。這種以音符為基本單位的數(shù)據(jù)組織方式為SoulX-Singer提供了進(jìn)行精確可控歌聲合成的堅(jiān)實(shí)基礎(chǔ)，讓系統(tǒng)能夠在語(yǔ)言內(nèi)容和音樂(lè)結(jié)構(gòu)之間建立準(zhǔn)確的對(duì)應(yīng)關(guān)系。

二、SoulX-Singer架構(gòu)：雙模式控制的智能歌聲生成器

理解了數(shù)據(jù)處理過(guò)程后，我們來(lái)看看SoulX-Singer系統(tǒng)本身是如何工作的。如果把這個(gè)系統(tǒng)比作一個(gè)高科技的音樂(lè)制作工作室，那么它的核心就是一個(gè)能夠同時(shí)理解文字、音樂(lè)和聲音特征的智能指揮家，能夠?qū)⑦@些不同的元素完美融合，創(chuàng)造出自然流暢的歌聲。

SoulX-Singer采用了一種叫做流匹配（Flow Matching）的技術(shù)架構(gòu)，這個(gè)技術(shù)就像是一個(gè)精密的調(diào)色板系統(tǒng)。傳統(tǒng)的圖像調(diào)色是將各種基礎(chǔ)顏色按比例混合得到目標(biāo)色彩，而流匹配技術(shù)則是將隨機(jī)的聲音"噪音"逐步轉(zhuǎn)換成有意義的歌聲。這個(gè)過(guò)程類似于雕塑家從一塊粗糙的石料開(kāi)始，通過(guò)一系列精確的雕琢步驟，最終創(chuàng)作出精美的藝術(shù)品。

整個(gè)系統(tǒng)的心臟是一個(gè)基于擴(kuò)散變換器（Diffusion Transformer）的解碼器。這個(gè)解碼器就像是那位智能指揮家，它接收來(lái)自不同部門(mén)的信息——歌詞內(nèi)容、旋律指導(dǎo)、聲音風(fēng)格等——然后將這些信息整合，生成出梅爾頻譜圖（一種聲音的數(shù)字表示形式）。這些梅爾頻譜圖隨后通過(guò)神經(jīng)聲碼器轉(zhuǎn)換成最終的音頻波形，就像是將樂(lè)譜轉(zhuǎn)換成實(shí)際的演奏一樣。

為了有效處理歌聲合成所需的各種復(fù)雜信息，SoulX-Singer配備了一個(gè)專門(mén)的歌聲內(nèi)容編碼器。這個(gè)編碼器就像是一個(gè)多語(yǔ)言翻譯中心，能夠?qū)⒉煌愋偷妮斎胄畔ⅰ淖?、音?lè)記號(hào)、音符類型、音調(diào)變化等——轉(zhuǎn)換成統(tǒng)一的內(nèi)部表示格式，為解碼器提供結(jié)構(gòu)化和信息豐富的輸入內(nèi)容。通過(guò)將基于流的非自回歸建模與專門(mén)的內(nèi)容編碼相結(jié)合，SoulX-Singer實(shí)現(xiàn)了既有表現(xiàn)力控制又有高效高保真合成的雙重目標(biāo)。

SoulX-Singer最顯著的特點(diǎn)是它的雙模式控制能力，這就像是一輛既能手動(dòng)駕駛又能自動(dòng)駕駛的智能汽車，可以根據(jù)不同的使用場(chǎng)景選擇最適合的操作方式。

在處理文本信息方面，系統(tǒng)采用了精心設(shè)計(jì)的多語(yǔ)言表示策略。對(duì)于中文和粵語(yǔ)，建模單位是字符級(jí)的拼音，而英文則使用音素表示。為了幫助系統(tǒng)準(zhǔn)確區(qū)分不同語(yǔ)言的發(fā)音規(guī)律，每個(gè)英文單詞的音素序列都被特殊的邊界標(biāo)記包圍，就像給每個(gè)單詞加上了獨(dú)特的包裝，讓系統(tǒng)能夠清楚地知道詞與詞之間的界限。同時(shí)，中文和粵語(yǔ)的拼音會(huì)被附加上語(yǔ)言特定的標(biāo)識(shí)，這樣系統(tǒng)就能夠區(qū)分同樣拼音在不同語(yǔ)言中的發(fā)音差異。這些文本信息通過(guò)線性嵌入層轉(zhuǎn)換成數(shù)值向量，為后續(xù)處理做好準(zhǔn)備。

在音樂(lè)信息處理方面，系統(tǒng)需要同時(shí)處理兩種不同類型的旋律輸入：離散的音符音高序列和連續(xù)的基頻變化序列。這就像是既要理解樂(lè)譜上的音符標(biāo)記，又要感知實(shí)際演唱時(shí)的音調(diào)變化細(xì)節(jié)。系統(tǒng)首先通過(guò)二元門(mén)控層對(duì)這兩種輸入進(jìn)行預(yù)處理，然后通過(guò)線性投影產(chǎn)生相應(yīng)的嵌入向量。

這里的門(mén)控機(jī)制特別巧妙，它就像是一個(gè)智能開(kāi)關(guān)系統(tǒng)。在訓(xùn)練階段，系統(tǒng)會(huì)隨機(jī)選擇只使用音符信息或只使用基頻信息，這種設(shè)計(jì)鼓勵(lì)系統(tǒng)從單一信息源中提取出盡可能豐富的特征，增強(qiáng)了系統(tǒng)的魯棒性。在實(shí)際使用時(shí)，用戶可以根據(jù)具體需求靈活選擇啟用哪種控制模式：如果你有完整的樂(lè)譜，可以啟用基于音符的生成模式；如果你有現(xiàn)成的旋律錄音，則可以選擇基于基頻的生成模式。

為了將這些不同來(lái)源的信息統(tǒng)一到相同的時(shí)間分辨率，系統(tǒng)采用了長(zhǎng)度調(diào)節(jié)器作為核心的特征整合機(jī)制。這個(gè)調(diào)節(jié)器就像是一個(gè)時(shí)間同步器，它根據(jù)每個(gè)音符的持續(xù)時(shí)間信息，將音符級(jí)別的各種嵌入向量（音符類型、音高、文本等）擴(kuò)展到梅爾頻譜圖的時(shí)間尺度上。經(jīng)過(guò)長(zhǎng)度擴(kuò)展后，所有嵌入向量都具有了相同的時(shí)間維度和特征維度，然后通過(guò)元素級(jí)加法進(jìn)行融合，產(chǎn)生統(tǒng)一的條件序列輸入到解碼器中。

這種明確的音符到梅爾頻譜對(duì)齊機(jī)制是實(shí)現(xiàn)精確可控歌聲合成的關(guān)鍵。它確保了語(yǔ)言內(nèi)容和音樂(lè)結(jié)構(gòu)之間的精確同步，就像確保舞者的每一個(gè)動(dòng)作都能完美配合音樂(lè)的節(jié)拍一樣。這種精確對(duì)齊能力正是SoulX-Singer能夠生成高質(zhì)量可控歌聲的技術(shù)基礎(chǔ)。

三、訓(xùn)練策略：從短片段到長(zhǎng)篇音樂(lè)的漸進(jìn)式學(xué)習(xí)

SoulX-Singer的訓(xùn)練過(guò)程采用了一種類似于學(xué)習(xí)音樂(lè)的自然進(jìn)程：先掌握基礎(chǔ)技巧，再學(xué)習(xí)復(fù)雜的長(zhǎng)篇演奏。這種兩階段訓(xùn)練策略不僅提高了模型的整體性能，還增強(qiáng)了它在各種條件下的穩(wěn)定性和適應(yīng)性。

第一階段的訓(xùn)練就像是讓一個(gè)初學(xué)者練習(xí)音樂(lè)片段。在這個(gè)階段，系統(tǒng)使用相對(duì)較短的音頻段落進(jìn)行訓(xùn)練，時(shí)長(zhǎng)控制在2秒到16秒之間。這個(gè)時(shí)長(zhǎng)選擇很有講究——太短了無(wú)法學(xué)習(xí)到完整的音樂(lè)短語(yǔ)結(jié)構(gòu)，太長(zhǎng)了又會(huì)增加訓(xùn)練難度。更重要的是，研究團(tuán)隊(duì)在這個(gè)階段采用了一個(gè)反直覺(jué)但極其巧妙的設(shè)計(jì)：提示音頻故意選擇與目標(biāo)音頻不相鄰的片段。

這種設(shè)計(jì)的妙處在于強(qiáng)迫系統(tǒng)更多地依賴提供的語(yǔ)言和音樂(lè)條件信息，而不是簡(jiǎn)單地依靠聲學(xué)上的連續(xù)性。就像訓(xùn)練一個(gè)歌手不是讓他照著前一句的音調(diào)接唱，而是要求他根據(jù)樂(lè)譜和歌詞準(zhǔn)確演唱每一個(gè)新片段一樣。這種訓(xùn)練方式顯著提升了系統(tǒng)在各種提示條件下的魯棒性和泛化能力，讓它能夠更好地處理多樣化的音樂(lè)創(chuàng)作需求。

第二階段的訓(xùn)練則轉(zhuǎn)向長(zhǎng)篇音樂(lè)建模，這就像是從練習(xí)短曲轉(zhuǎn)向?qū)W習(xí)完整的交響樂(lè)章。在這個(gè)階段，系統(tǒng)開(kāi)始處理30秒到90秒的長(zhǎng)音頻片段，這些片段通過(guò)將相鄰的音頻段落連接而成。這種長(zhǎng)時(shí)間跨度的訓(xùn)練讓系統(tǒng)能夠?qū)W習(xí)和捕獲歌唱表演中的長(zhǎng)程時(shí)間依賴關(guān)系，比如一首歌從開(kāi)頭到結(jié)尾的情感變化，或者不同段落之間的音樂(lè)連貫性。

與第一階段不同，第二階段的提示音頻策略也發(fā)生了相應(yīng)調(diào)整。這時(shí)候，提示音頻會(huì)從目標(biāo)音頻的緊鄰前段中采樣，這樣的設(shè)計(jì)有助于系統(tǒng)學(xué)習(xí)如何保持長(zhǎng)篇演唱中的聲音一致性和風(fēng)格連貫性。就像一個(gè)歌手在演唱長(zhǎng)曲時(shí)需要保持整體風(fēng)格統(tǒng)一，同時(shí)又能在不同段落間自然過(guò)渡一樣。

這種從短片段非相鄰提示到長(zhǎng)片段相鄰提示的漸進(jìn)訓(xùn)練策略，讓SoulX-Singer既具備了強(qiáng)大的條件生成能力，又能夠有效建模長(zhǎng)時(shí)間音頻序列。這個(gè)訓(xùn)練過(guò)程就像是培養(yǎng)一個(gè)既能即興演奏又能完整演繹長(zhǎng)篇作品的全能音樂(lè)家。

四、推理模式：靈活切換的雙重控制系統(tǒng)

當(dāng)SoulX-Singer完成訓(xùn)練準(zhǔn)備實(shí)際工作時(shí)，它展現(xiàn)出了極大的使用靈活性，就像是一個(gè)能夠適應(yīng)不同演出需求的專業(yè)歌手。系統(tǒng)提供兩種互補(bǔ)的生成模式，用戶可以根據(jù)手頭可用的素材和創(chuàng)作需求無(wú)縫切換。

旋律控制模式專門(mén)設(shè)計(jì)用于已有目標(biāo)旋律的場(chǎng)景。在這種模式下，用戶需要提供目標(biāo)歌詞和從參考音頻中提取的連續(xù)基頻輪廓。這種配置特別適合音樂(lè)改編或翻唱場(chǎng)景，比如你想用不同的歌手聲音來(lái)演唱一首經(jīng)典歌曲，或者想要改變歌詞內(nèi)容但保持原有的旋律特征。

系統(tǒng)在這種模式下能夠忠實(shí)保留細(xì)膩的旋律細(xì)節(jié)和表現(xiàn)性聲樂(lè)技巧，同時(shí)允許靈活修改歌詞內(nèi)容或轉(zhuǎn)換音色特征。這就像是一個(gè)技藝精湛的模仿演員，能夠完美復(fù)制某種表演風(fēng)格，同時(shí)又能根據(jù)新的劇本內(nèi)容進(jìn)行適當(dāng)?shù)恼{(diào)整。這種能力對(duì)于音樂(lè)制作中的風(fēng)格轉(zhuǎn)換和個(gè)性化創(chuàng)作非常有價(jià)值。

樂(lè)譜控制模式則是為純創(chuàng)作場(chǎng)景而設(shè)計(jì)的。在這種模式下，用戶只需要提供MIDI格式的樂(lè)譜信息和目標(biāo)歌詞，系統(tǒng)就能自主生成相應(yīng)的聲學(xué)特征。這種模式擺脫了對(duì)預(yù)錄制旋律的依賴，為創(chuàng)作者提供了更大的藝術(shù)創(chuàng)作自由度。

這個(gè)模式就像是給一個(gè)專業(yè)歌手一份全新的樂(lè)譜，他能夠根據(jù)自己的理解和技巧將其完美演繹出來(lái)。系統(tǒng)會(huì)根據(jù)提供的樂(lè)譜約束自主生成自然真實(shí)的聲學(xué)特征，包括音調(diào)變化、節(jié)奏控制、發(fā)音特點(diǎn)等各個(gè)方面。這種能力特別適合原創(chuàng)音樂(lè)制作，讓創(chuàng)作者能夠快速將音樂(lè)創(chuàng)意轉(zhuǎn)化為完整的歌聲演示。

這兩種推理模式的設(shè)計(jì)體現(xiàn)了SoulX-Singer在實(shí)用性方面的深度考慮。無(wú)論是專業(yè)音樂(lè)制作人需要快速制作演示版本，還是個(gè)人用戶想要進(jìn)行音樂(lè)創(chuàng)作實(shí)驗(yàn)，系統(tǒng)都能提供合適的工作模式。更重要的是，這種靈活性讓SoulX-Singer能夠適應(yīng)不同的創(chuàng)作流程和使用習(xí)慣，真正成為音樂(lè)創(chuàng)作過(guò)程中的實(shí)用工具。

五、性能評(píng)估：全方位的能力驗(yàn)證

為了全面驗(yàn)證SoulX-Singer的實(shí)際能力，研究團(tuán)隊(duì)構(gòu)建了一套comprehensive的評(píng)估體系，就像是為這個(gè)"數(shù)字歌手"安排了一系列嚴(yán)格的考試，從不同角度測(cè)試其表現(xiàn)水平。

評(píng)估過(guò)程使用了兩個(gè)互補(bǔ)的數(shù)據(jù)集。GMO-SVS數(shù)據(jù)集建立在多個(gè)公開(kāi)的歌聲合成語(yǔ)料庫(kù)基礎(chǔ)上，包括GTSinger、M4Singer和Opencpop等知名數(shù)據(jù)集。這個(gè)評(píng)估集總共包含802個(gè)測(cè)試樣本，涵蓋了中文和英文兩種語(yǔ)言，以及不同歌手的多樣化演唱風(fēng)格。重要的是，這些開(kāi)源數(shù)據(jù)集完全沒(méi)有參與SoulX-Singer的訓(xùn)練過(guò)程，確保了評(píng)估的客觀性和公正性。

SoulX-Singer-Eval則是研究團(tuán)隊(duì)專門(mén)為零樣本能力評(píng)估而構(gòu)建的全新數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含50位完全未見(jiàn)過(guò)的歌手樣本，其中中文和英文各25位，每位歌手提供2個(gè)演唱片段。所有樣本都經(jīng)過(guò)了精確的人工旋律標(biāo)注，以滿足不同零樣本SVS模型的輸入要求。這就像是安排了一場(chǎng)盲聽(tīng)測(cè)試，看系統(tǒng)能否成功模仿完全陌生的聲音。

評(píng)估指標(biāo)的設(shè)計(jì)涵蓋了歌聲合成的各個(gè)關(guān)鍵維度。音調(diào)準(zhǔn)確性通過(guò)F0幀錯(cuò)誤率（FFE）來(lái)衡量，這個(gè)指標(biāo)計(jì)算預(yù)測(cè)音高偏離真實(shí)音高超過(guò)20%的幀數(shù)比例，就像測(cè)試一個(gè)歌手的音準(zhǔn)能力一樣。音色相似性使用余弦相似度（SIM）來(lái)評(píng)估，通過(guò)比較合成音頻與參考提示音頻的說(shuō)話人嵌入向量，判斷系統(tǒng)是否成功復(fù)制了目標(biāo)聲音特征。

語(yǔ)音清晰度通過(guò)詞錯(cuò)誤率（WER）來(lái)測(cè)量，這個(gè)指標(biāo)比較目標(biāo)歌詞與自動(dòng)語(yǔ)音識(shí)別系統(tǒng)對(duì)合成音頻的轉(zhuǎn)錄結(jié)果，評(píng)估發(fā)音準(zhǔn)確性。對(duì)于中文樣本，實(shí)際計(jì)算的是字符級(jí)錯(cuò)誤率，但為了保持一致性，報(bào)告中統(tǒng)一使用WER術(shù)語(yǔ)。整體歌聲質(zhì)量則采用兩個(gè)專門(mén)的客觀評(píng)估指標(biāo)：SingMOS是專門(mén)訓(xùn)練用于歌聲質(zhì)量評(píng)估的指標(biāo)，能夠與人類感知緊密對(duì)齊；Sheet-SSQA則從MOS-Bench框架衍生而來(lái)，在零樣本場(chǎng)景下表現(xiàn)出良好的泛化能力。

六、實(shí)驗(yàn)結(jié)果：超越現(xiàn)有技術(shù)的卓越表現(xiàn)

在GMO-SVS數(shù)據(jù)集上的測(cè)試結(jié)果充分證明了SoulX-Singer的技術(shù)優(yōu)勢(shì)。與現(xiàn)有的基線模型相比，SoulX-Singer在中文和英文任務(wù)上都取得了全面的性能領(lǐng)先。

在旋律控制模式下，SoulX-Singer達(dá)到了最低的FFE值，顯著超越了表現(xiàn)最佳的基線模型YingMusic-Singer。這個(gè)結(jié)果表明，明確的聲學(xué)特征能夠有效引導(dǎo)流匹配解碼器生成準(zhǔn)確的音高軌跡。當(dāng)系統(tǒng)接收到連續(xù)的F0輪廓作為輸入時(shí)，它能夠精確地跟隨這些音調(diào)指導(dǎo)，生成與目標(biāo)旋律高度一致的歌聲。

相比之下，在樂(lè)譜控制模式下，SoulX-Singer獲得了最低的WER，在發(fā)音準(zhǔn)確性方面超越了Vevosing和TCSinger等競(jìng)爭(zhēng)對(duì)手。這個(gè)結(jié)果特別重要，因?yàn)樗C明了基于MIDI音符的時(shí)間約束能夠有效穩(wěn)定發(fā)音和節(jié)奏控制，尤其是對(duì)于復(fù)雜音素的處理。當(dāng)系統(tǒng)依賴離散的音樂(lè)記號(hào)而不是連續(xù)的聲學(xué)信號(hào)時(shí)，它能夠更好地保持語(yǔ)言內(nèi)容的準(zhǔn)確性。

在兩種控制模式下，SoulX-Singer都在SingMOS和SIM指標(biāo)上達(dá)到了最先進(jìn)的性能水平，這進(jìn)一步確認(rèn)了該架構(gòu)在音高條件和樂(lè)譜條件合成場(chǎng)景下的魯棒性和泛化能力。這種一致的優(yōu)秀表現(xiàn)表明，SoulX-Singer的設(shè)計(jì)能夠有效適應(yīng)不同類型的輸入條件，無(wú)論是基于連續(xù)聲學(xué)特征還是基于符號(hào)化音樂(lè)表示。

歌聲編輯任務(wù)的結(jié)果揭示了不同方法的一個(gè)重要差異。當(dāng)歌詞被修改時(shí)，基于旋律的方法表現(xiàn)出明顯的語(yǔ)音清晰度下降。這種下降是可以理解的，因?yàn)樵夹珊透柙~之間存在內(nèi)在的相關(guān)性——比如音調(diào)輪廓與原始詞語(yǔ)的對(duì)齊關(guān)系。當(dāng)修改歌詞時(shí)，這種不匹配會(huì)導(dǎo)致系統(tǒng)性能下降。

然而，SoulX-Singer在支持基于MIDI樂(lè)譜控制的情況下，在歌詞修改場(chǎng)景下保持了更好的性能。通過(guò)依賴明確的樂(lè)譜而不是原始聲學(xué)旋律，系統(tǒng)能夠有效適應(yīng)重寫(xiě)的歌詞，而不會(huì)犧牲發(fā)音準(zhǔn)確性或節(jié)奏一致性。這個(gè)能力對(duì)于實(shí)際音樂(lè)制作工作流程具有重要價(jià)值，因?yàn)楦柙~修改和創(chuàng)作是音樂(lè)創(chuàng)作過(guò)程中的常見(jiàn)需求。

在SoulX-Singer-Eval數(shù)據(jù)集上的零樣本評(píng)估結(jié)果更加令人印象深刻。面對(duì)訓(xùn)練期間完全未見(jiàn)過(guò)的目標(biāo)說(shuō)話人，SoulX-Singer依然能夠持續(xù)超越基線模型。特別值得注意的是，基于音樂(lè)樂(lè)譜控制的SoulX-Singer獲得了最高的SIM分?jǐn)?shù)，在中文和英文任務(wù)上分別達(dá)到0.922和0.914，展現(xiàn)了強(qiáng)大的零樣本聲音克隆能力。

跨語(yǔ)言合成評(píng)估進(jìn)一步證明了系統(tǒng)的先進(jìn)性。這種評(píng)估要求嚴(yán)格分離說(shuō)話人身份和語(yǔ)言內(nèi)容，比如使用中文提示音頻來(lái)合成英文歌聲。基線模型Vevosing在這個(gè)任務(wù)上出現(xiàn)了嚴(yán)重的語(yǔ)音清晰度下降，WER高達(dá)0.717，表明從提示音頻中泄露了語(yǔ)言模式到生成輸出中。相比之下，SoulX-Singer達(dá)到了0.110的WER，同時(shí)保持了0.898的高SIM分?jǐn)?shù)，展現(xiàn)了在跨語(yǔ)言場(chǎng)景下強(qiáng)大的說(shuō)話人身份保持能力。

這些結(jié)果突出了歌聲內(nèi)容編碼器的有效性，該編碼器成功地將與語(yǔ)言無(wú)關(guān)的音色特征從與語(yǔ)言相關(guān)的語(yǔ)言內(nèi)容中分離出來(lái)，實(shí)現(xiàn)了高保真的跨語(yǔ)言風(fēng)格轉(zhuǎn)換，而不會(huì)影響發(fā)音或聲音身份。這種能力對(duì)于多語(yǔ)言音樂(lè)制作和國(guó)際化內(nèi)容創(chuàng)作具有重要的實(shí)用價(jià)值。

七、技術(shù)創(chuàng)新：突破性的工程實(shí)現(xiàn)

SoulX-Singer在技術(shù)層面實(shí)現(xiàn)了多項(xiàng)重要?jiǎng)?chuàng)新，這些創(chuàng)新不僅解決了現(xiàn)有技術(shù)的局限性，還為未來(lái)的研究發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

首先是大規(guī)模數(shù)據(jù)處理流程的建立。研究團(tuán)隊(duì)開(kāi)發(fā)了一套完整的自動(dòng)化數(shù)據(jù)處理管道，能夠從帶有背景音樂(lè)的原始歌曲中自動(dòng)生成干凈的聲音錄音，并配有對(duì)齊的歌詞和音樂(lè)樂(lè)譜。這個(gè)處理流程就像是建立了一條高度自動(dòng)化的生產(chǎn)線，能夠?qū)⒃嫉囊魳?lè)素材加工成適合AI訓(xùn)練的標(biāo)準(zhǔn)化數(shù)據(jù)格式。

這種自動(dòng)化處理能力的重要性不容忽視。在SoulX-Singer之前，構(gòu)建高質(zhì)量的歌聲合成數(shù)據(jù)集通常需要大量的人工標(biāo)注工作，這不僅成本高昂，而且嚴(yán)重限制了數(shù)據(jù)規(guī)模的擴(kuò)展。通過(guò)這套自動(dòng)化流程，研究團(tuán)隊(duì)能夠構(gòu)建包含超過(guò)42000小時(shí)聲音錄音的多語(yǔ)言歌聲數(shù)據(jù)集，這個(gè)數(shù)據(jù)規(guī)模比現(xiàn)有SVS研究中使用的數(shù)據(jù)量增加了一個(gè)數(shù)量級(jí)。

其次是統(tǒng)一框架下的雙控制模式設(shè)計(jì)。SoulX-Singer在單一系統(tǒng)中同時(shí)支持基于音樂(lè)樂(lè)譜的輸入和基于旋律的輸入，這種設(shè)計(jì)就像是制造了一輛既能在公路上行駛又能在鐵軌上運(yùn)行的交通工具。這種統(tǒng)一性不僅簡(jiǎn)化了系統(tǒng)部署和維護(hù)，還為用戶提供了更大的使用靈活性。

雙控制模式的技術(shù)實(shí)現(xiàn)依靠精心設(shè)計(jì)的門(mén)控機(jī)制和特征融合策略。在訓(xùn)練過(guò)程中，系統(tǒng)通過(guò)隨機(jī)丟棄不同類型的輸入來(lái)鼓勵(lì)從單一模態(tài)中提取魯棒特征；在推理過(guò)程中，用戶可以根據(jù)可用的輸入類型靈活選擇相應(yīng)的生成模式。這種設(shè)計(jì)既保證了系統(tǒng)的技術(shù)一致性，又滿足了不同應(yīng)用場(chǎng)景的實(shí)際需求。

第三個(gè)重要?jiǎng)?chuàng)新是基于流匹配的非自回歸架構(gòu)選擇。與傳統(tǒng)的自回歸生成模型不同，SoulX-Singer采用的流匹配技術(shù)能夠并行生成整個(gè)音頻序列，顯著提高了合成效率。這種技術(shù)選擇就像是從串行生產(chǎn)轉(zhuǎn)向并行生產(chǎn)，大大提升了整體工作效率。

同時(shí)，基于擴(kuò)散變換器的解碼器設(shè)計(jì)充分利用了Transformer架構(gòu)在序列建模方面的優(yōu)勢(shì)，能夠有效處理長(zhǎng)程依賴關(guān)系和復(fù)雜的條件信息。這種架構(gòu)組合既保證了生成質(zhì)量，又實(shí)現(xiàn)了計(jì)算效率的平衡。

第四個(gè)創(chuàng)新點(diǎn)是專門(mén)的歌聲內(nèi)容編碼器設(shè)計(jì)。這個(gè)編碼器能夠有效整合來(lái)自不同模態(tài)的輸入信息——文本、音樂(lè)記號(hào)、音符類型、基頻變化等——并將它們轉(zhuǎn)換成統(tǒng)一的內(nèi)部表示。更重要的是，這個(gè)編碼器通過(guò)精心設(shè)計(jì)的長(zhǎng)度調(diào)節(jié)機(jī)制，實(shí)現(xiàn)了不同信息源之間的精確時(shí)間對(duì)齊。

這種對(duì)齊能力是實(shí)現(xiàn)高質(zhì)量可控合成的關(guān)鍵技術(shù)基礎(chǔ)。傳統(tǒng)的序列到序列模型往往難以處理輸入和輸出之間復(fù)雜的對(duì)應(yīng)關(guān)系，而SoulX-Singer通過(guò)明確的音符到梅爾頻譜對(duì)齊，確保了語(yǔ)言內(nèi)容和音樂(lè)結(jié)構(gòu)之間的精確同步，從而實(shí)現(xiàn)了精細(xì)的控制能力。

最后是兩階段漸進(jìn)式訓(xùn)練策略的應(yīng)用。這種訓(xùn)練策略模仿了人類學(xué)習(xí)音樂(lè)的自然過(guò)程，從簡(jiǎn)單短片段開(kāi)始，逐步過(guò)渡到復(fù)雜長(zhǎng)序列。第一階段的非相鄰提示策略鼓勵(lì)模型更多依賴條件信息而不是聲學(xué)連續(xù)性，提高了泛化能力；第二階段的相鄰提示策略則幫助模型學(xué)習(xí)長(zhǎng)程時(shí)間依賴關(guān)系，增強(qiáng)了連貫性建模能力。

這種漸進(jìn)式策略不僅改善了最終模型的性能，還提高了訓(xùn)練過(guò)程的穩(wěn)定性和收斂速度。通過(guò)合理安排訓(xùn)練難度的遞增，系統(tǒng)能夠更有效地學(xué)習(xí)復(fù)雜的歌聲生成任務(wù)。

說(shuō)到底，SoulX-Singer代表了歌聲合成技術(shù)發(fā)展的一個(gè)重要里程碑。通過(guò)將大規(guī)模數(shù)據(jù)、先進(jìn)架構(gòu)和巧妙訓(xùn)練策略相結(jié)合，這項(xiàng)研究成功解決了零樣本歌聲合成中的核心挑戰(zhàn)，為AI音樂(lè)創(chuàng)作領(lǐng)域開(kāi)辟了新的可能性。

更重要的是，SoulX-Singer的開(kāi)源發(fā)布為整個(gè)研究社區(qū)提供了寶貴的技術(shù)資源和研究基礎(chǔ)。無(wú)論是學(xué)術(shù)研究者還是工業(yè)界從業(yè)者，都可以在這個(gè)系統(tǒng)的基礎(chǔ)上進(jìn)行進(jìn)一步的創(chuàng)新和應(yīng)用開(kāi)發(fā)。這種開(kāi)放性不僅能夠加速技術(shù)進(jìn)步，還能促進(jìn)更多創(chuàng)新應(yīng)用的涌現(xiàn)。

從實(shí)用角度來(lái)看，SoulX-Singer為音樂(lè)制作工作流程帶來(lái)了革命性的改進(jìn)。音樂(lè)制作人可以使用這個(gè)系統(tǒng)快速生成演示版本，測(cè)試不同的編曲想法；獨(dú)立音樂(lè)人可以利用它制作完整的歌曲作品，即使沒(méi)有專業(yè)歌手資源；教育工作者可以用它來(lái)輔助音樂(lè)教學(xué)，讓學(xué)生更直觀地理解音樂(lè)理論和歌聲技巧。

當(dāng)然，這項(xiàng)技術(shù)的發(fā)展也提醒我們需要認(rèn)真考慮相關(guān)的倫理問(wèn)題。正如研究團(tuán)隊(duì)在論文中強(qiáng)調(diào)的，用戶在使用SoulX-Singer時(shí)應(yīng)當(dāng)尊重知識(shí)產(chǎn)權(quán)、隱私權(quán)和個(gè)人同意權(quán)。系統(tǒng)不應(yīng)被用于未經(jīng)授權(quán)的聲音模仿，也不應(yīng)用于制作欺騙性或誤導(dǎo)性的音頻內(nèi)容。負(fù)責(zé)任的技術(shù)使用對(duì)于維護(hù)數(shù)字音樂(lè)創(chuàng)作環(huán)境的健康發(fā)展至關(guān)重要。

展望未來(lái)，SoulX-Singer所展現(xiàn)的技術(shù)能力預(yù)示著AI輔助音樂(lè)創(chuàng)作時(shí)代的到來(lái)。隨著技術(shù)的進(jìn)一步完善和應(yīng)用的不斷擴(kuò)展，我們有理由期待看到更多創(chuàng)新性的音樂(lè)作品和創(chuàng)作方式的涌現(xiàn)。這不僅會(huì)豐富我們的音樂(lè)文化生活，也會(huì)為藝術(shù)創(chuàng)作開(kāi)辟全新的表達(dá)途徑。對(duì)于那些有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過(guò)論文編號(hào)arXiv:2602.07803v1查閱完整的研究?jī)?nèi)容。

Q&A

Q1：SoulX-Singer相比其他AI歌聲合成系統(tǒng)有什么優(yōu)勢(shì)？

A：SoulX-Singer最大的優(yōu)勢(shì)是支持真正的零樣本合成和雙重控制模式。它使用了超過(guò)42000小時(shí)的訓(xùn)練數(shù)據(jù)，比以往系統(tǒng)多出一個(gè)數(shù)量級(jí)，能夠模仿從未見(jiàn)過(guò)的歌手聲音。同時(shí)支持MIDI樂(lè)譜控制和旋律控制兩種模式，既能從零創(chuàng)作新歌，也能改編現(xiàn)有歌曲，在音準(zhǔn)、發(fā)音清晰度和音色相似度等各項(xiàng)指標(biāo)上都達(dá)到了業(yè)界領(lǐng)先水平。

Q2：普通人可以使用SoulX-Singer來(lái)創(chuàng)作音樂(lè)嗎？

A：可以的。SoulX-Singer已經(jīng)開(kāi)源發(fā)布，代碼可在GitHub上獲取。普通用戶可以通過(guò)提供MIDI樂(lè)譜和歌詞來(lái)創(chuàng)作全新歌曲，或者通過(guò)現(xiàn)有歌曲的旋律來(lái)生成不同歌手聲音的版本。系統(tǒng)支持中文、英文和粵語(yǔ)三種語(yǔ)言，為個(gè)人音樂(lè)創(chuàng)作提供了強(qiáng)大的工具支持。

Q3：SoulX-Singer在音樂(lè)制作行業(yè)會(huì)產(chǎn)生什么影響？

A：SoulX-Singer將大大降低音樂(lè)制作的門(mén)檻和成本。制作人可以快速生成歌曲演示版本，測(cè)試不同編曲方案；獨(dú)立音樂(lè)人無(wú)需專業(yè)歌手就能制作完整作品；教育領(lǐng)域可用于音樂(lè)教學(xué)輔助。不過(guò)這項(xiàng)技術(shù)更多是作為創(chuàng)作工具而非替代真人歌手，它為音樂(lè)創(chuàng)作提供了新的可能性和表達(dá)方式。