新智元報(bào)道

編輯：好困 Aeneas

【新智元導(dǎo)讀】面壁智能2B小模型VoxCPM 2驚艷開源，一眾外國(guó)網(wǎng)友瘋狂了！30種語(yǔ)言與9大方言它是信手拈來(lái)，復(fù)刻的賀煒激昂解說(shuō)與徐志勝脫口秀，相似度簡(jiǎn)直直擊靈魂。這哪是工具，分明是降維打擊的生產(chǎn)力核武器！

最近，這個(gè)AI直接讓我們瘋狂了！

事情是這樣的。

我們寫了段脫口秀，上傳了一段徐志勝的錄音，讓AI用他的聲音念出來(lái)。

音頻一出，編輯部安靜了三秒，然后集體炸了。

那個(gè)山東味兒的換氣聲，那個(gè)冤種氣質(zhì)，連說(shuō)到一半突然卡殼的停頓都一模一樣。

但這真不是徐志勝。

干這事的叫VoxCPM 2，面壁智能聯(lián)合OpenBMB開源社區(qū)、清華大學(xué)人機(jī)語(yǔ)音交互實(shí)驗(yàn)室開發(fā)的2B小模型，4月剛剛開源。

體驗(yàn)鏈接：

https://voxcpm.modelbest.cn/

GitHub開源鏈接：

https://github.com/OpenBMB/VoxCPM/

Hugging Face鏈接：

https://huggingface.openbmb.com/model/openbmb/VoxCPM2

而且，不只我們瘋了。前天VoxCPM 2首發(fā)時(shí)，X推文的瀏覽量分分鐘飆到30多萬(wàn)。

官方放出的demo，直接把一眾網(wǎng)友震了。

只見(jiàn)「硅谷鋼鐵俠」馬斯克化身Q版數(shù)字人，周游了十幾個(gè)國(guó)家。每到一個(gè)國(guó)家，他都用極度地道的當(dāng)?shù)卣Z(yǔ)言，結(jié)合當(dāng)?shù)匚幕妥约夜警偪裢虏邸?/p>

在法國(guó)，他會(huì)用法語(yǔ)吐槽「8月份在這里等一封郵件，比殖民火星還難」；在意大利，他又用意大利語(yǔ)嚴(yán)正聲明：「披薩上放菠蘿，簡(jiǎn)直比炸毀一枚火箭還要罪惡」。

在中國(guó)，他用字正腔圓的中文感慨：「這里開源模型的發(fā)布頻率，簡(jiǎn)直比我發(fā)射星鏈還要密集」；在泰國(guó)，他被辣到懷疑人生，「這木瓜沙拉辣得把我大腦都重啟了，Neuralink趕緊記下來(lái)！」

評(píng)論區(qū)里，網(wǎng)友們瘋狂夸贊說(shuō)：VoxCPM 2又一次提高了開源TTS的標(biāo)準(zhǔn)，它可能會(huì)徹底改變我們創(chuàng)作音頻的方式！

能接得住梗，只是VoxCPM 2的基本功而已。

它包含30種語(yǔ)言，9種方言，有48kHz的CD級(jí)音質(zhì)。對(duì)于聲音克隆、情緒控制，它樣樣能打，還有一招更絕的「音色設(shè)計(jì)」，能無(wú)中生有，憑空創(chuàng)造一種從未存在過(guò)的聲音。

別家要好幾個(gè)模型疊起來(lái)干的活，它一個(gè)全包。開源，免費(fèi)，工具鏈全套附送。

這個(gè)AI真的不是來(lái)參加比賽的，而是直接把桌子都掀了！

五場(chǎng)實(shí)測(cè)，拆解AI語(yǔ)音能力上限

一段錄音喂進(jìn)去，賀煒直接復(fù)刻

音色克隆，是VoxCPM 2的一大殺手锏，屬于人無(wú)我有的功能。它實(shí)現(xiàn)了業(yè)界領(lǐng)先的克隆相似度，真正做到了聲臨其境。

最近，所有人都被張雪機(jī)車的熱血故事刷屏了。在WSBK葡萄牙站，張雪憑一己之力，干掉了杜卡迪川崎雅馬哈，打破了歐日的百年壟斷，一戰(zhàn)封神！

那讓我們?cè)囈辉?，模仿賀煒的解說(shuō)風(fēng)格，用激情澎湃、熱淚盈眶、驕傲自豪的聲音有節(jié)奏感、有停頓地解說(shuō)下面這段話：

比賽結(jié)束了！冠軍！張雪和他的國(guó)產(chǎn)機(jī)車，在葡萄牙，在WSBK的賽場(chǎng)上，創(chuàng)造了歷史！

此時(shí)此刻，波爾蒂芒賽道的空氣仿佛都凝固了。我們看到張雪機(jī)車的賽車手在最后一個(gè)彎道壓低了身姿，那不是簡(jiǎn)單的傾斜，那是理想主義者在向地心引力發(fā)起的最后沖鋒！

賀煒這直擊靈魂深處的激昂怒吼，已經(jīng)被一比一完美復(fù)刻，這穿透屏幕的聲浪，讓全世界都聽(tīng)到：中國(guó)智造，已經(jīng)走到了世界巔峰。

一個(gè)字，絕。

方言一響，AI瞬間有了人味

AI說(shuō)中文不奇怪，但它能說(shuō)出那種帶著大蒜味、火鍋味、甚至臘汁肉夾饃味的家鄉(xiāng)話嗎？

VoxCPM 2支持9種中國(guó)方言，四川話、粵語(yǔ)、吳語(yǔ)、東北話、河南話、陜西話、山東話、天津話、閩南話。光看名單沒(méi)感覺(jué)，得聽(tīng)。

為了試出它的底牌，我們請(qǐng)出《武林外傳》里的經(jīng)典人物。

首先，我們先給模型喂了一段佟掌柜的經(jīng)典臺(tái)詞。原本擔(dān)心AI會(huì)把陜西方言念成「標(biāo)準(zhǔn)普通話帶口音」，結(jié)果音頻一出，全辦公室都沉默了。

佟湘玉（陜西話）： 「額錯(cuò)咧，額真滴錯(cuò)咧，額從一開始就不該嫁到這兒來(lái)……」

簡(jiǎn)直了，這個(gè)微微上揚(yáng)的尾音，把那種風(fēng)情萬(wàn)種又委屈巴巴的勁兒掐得死死的。

山東方言里獨(dú)特的重音位置和喜感，粵語(yǔ)里的文藝腔和江湖氣，VoxCPM 2全接住了。

燕小六（山東話）： 「給俺照看好俺七舅姥爺！」（幫我照顧好我七舅老爺）

無(wú)雙（粵語(yǔ)）：「有啲人天生血脈帶風(fēng)，注定一世都要漂泊?！?（有些人血里有風(fēng)，注定是要漂泊的）

最后，再來(lái)幾段有故事感的。

我們給VoxCPM 2下了一道指令，「閩南語(yǔ)，女性，語(yǔ)氣又兇又心疼」，讓它演一個(gè)叫孫子回來(lái)吃飯的閩南阿嬤。

死囡仔！叫你緊來(lái)食飯你就裝無(wú)聽(tīng)著！菜攏冷去矣！你若閣無(wú)來(lái)，碗筷我就收起來(lái)，今仔暗你去食風(fēng)就好！......好啦好啦，緊來(lái)坐，我共你留一碗雞湯。

閩南阿嬤管你吃飯，廣東老師傅管你吃好。

我們讓VoxCPM 2用粵語(yǔ)念了一段干炒牛河的旁白，控制指令只寫了一句「像紀(jì)錄片旁白，渾厚從容」。

一碟好嘅干炒牛河，鑊氣系靈魂。猛火燒鑊，牛油落鑊嘅一刻，成間廚房都系香味。河粉要炒到條條分明，牛肉要滑而唔韌。老師傅講，干炒牛河唔系炒出嚟嘅，系「拋」出嚟嘅。

不緊不慢地講述節(jié)奏，聽(tīng)完想立刻下樓找大排檔。

上海話也不甘示弱。

先來(lái)一段上海阿姨吐槽鄰居裝修，語(yǔ)速快、嗲中帶刺，每個(gè)字都在翻白眼。

儂曉得伐，阿拉隔壁鄰居又開始裝修了。禮拜六一大早就叮叮咚咚，我整個(gè)人困在床浪向，感覺(jué)自家屋里廂就像住在拆遷現(xiàn)場(chǎng)。我發(fā)消息過(guò)去講，能不能輕一點(diǎn)？人家回我一句，「快了快了」?？炝丝炝酥v了三個(gè)號(hào)頭了！

同樣是上海話，這次換成低沉威嚴(yán)的中年男聲，像老克勒靠在沙發(fā)上跟晚輩講規(guī)矩。

我信過(guò)交情，也吃過(guò)生活。到如今我想通了，這個(gè)世界浪向，第一樁事體就是勿要讓別人曉得儂心里廂到底想啥。儂今朝來(lái)尋我，我?guī)蛢z這個(gè)忙，但是將來(lái)總有一日，我要儂幫我做一樁事體。這樁事體，儂勿好推脫。

同一種方言，一個(gè)嗲到骨頭酥，一個(gè)冷到脊背涼。VoxCPM 2的駕馭，已經(jīng)不是「能說(shuō)」的問(wèn)題了，是「能演」。

為什么效果這么好？因?yàn)槟Ｐ妥プ×朔窖岳锏恼Z(yǔ)氣詞、頓挫感和情緒顆粒度，方言不再是幾種發(fā)音規(guī)律的組合，而是一種情感的復(fù)刻。

對(duì)于自媒體短視頻、文化出海團(tuán)隊(duì)來(lái)說(shuō)，這簡(jiǎn)直是核武器級(jí)的生產(chǎn)力。

憑空捏出一個(gè)聲優(yōu)，還能千人千面

VoxCPM 2的另一大突出能力，就是音色設(shè)計(jì)。

現(xiàn)在市面上多數(shù)模型只能對(duì)固定音色進(jìn)行情感或風(fēng)格控制，但VoxCPM 2卻能支持任意音色的生成。

因此，我們可以先用文字創(chuàng)造一個(gè)理想聲音，精確控制它的情感和風(fēng)格，這就為內(nèi)容創(chuàng)作打開了無(wú)限空間。

比如下面這個(gè)武俠短劇的配音，無(wú)論是浪子俠客、活潑少女還是江湖老者，角色的貼合度都到了毛孔級(jí)別。

它不再是那種錄音棚里冷冰冰的、毫無(wú)波瀾的對(duì)白，而是帶上了呼吸聲、帶上了情緒的起伏。

這就是核彈級(jí)的降維打擊，從此再也不需要滿世界去找配音演員了，VoxCPM 2一個(gè)AI就能生成千變?nèi)f化的音色。

另外，我們還試著讓VoxCPM 2設(shè)計(jì)了一段《戀與深空》男主沈星移對(duì)女主的表白。

設(shè)計(jì)細(xì)節(jié)如下。

音色：清澈男中音，偏冷調(diào)但非冰冷，類似「月光落在雪地上」的質(zhì)感

語(yǔ)速：日常語(yǔ)速偏慢，約每分鐘130-150字；內(nèi)心戲時(shí)更緩

氣息：句尾常有極輕的吸氣或嘆息感，表現(xiàn)隱忍

果然，VoxCPM 2分分鐘復(fù)現(xiàn)了一個(gè)乙女游戲男主的音色，像是在克制情緒，卻又無(wú)法藏住那份對(duì)女主那份壓抑隱忍的深情，簡(jiǎn)直滿分！

溫柔能設(shè)計(jì)，冷也能。

我們用控制指令寫了一段人設(shè)，「中年男性，聲音干澀發(fā)緊，語(yǔ)速很慢，每說(shuō)完一句就停下來(lái)，音量始終很低，像是自言自語(yǔ)」，讓它念一段魯迅體吐槽。

我翻開朋友圈一查，滿屏都寫著兩個(gè)字，副業(yè)。橫豎睡不著，仔細(xì)看了半夜，才從字縫里看出字來(lái)，割韭菜。

沒(méi)有參考音頻，沒(méi)有克隆對(duì)象，這個(gè)聲音是VoxCPM 2憑一段文字描述從零生成的。

浪子俠客、深情男主、冷面文人，音色設(shè)計(jì)的上限取決于你的想象力。

李白痛飲，七句詩(shī)七種情緒

甚至，我們還能通過(guò)指令，讓每一句話都擁有不同的情緒。

「棄我去者，昨日之日不可留」，指令寫「聲音沉緩，咬著字尾，像酒后吐郁氣」。模型給出了每個(gè)字都頓一下的沉悶感，透著力。

「長(zhǎng)風(fēng)萬(wàn)里送秋色」，指令寫「像深吸一口氣往外放，暢快激動(dòng)」?！盖锷苟直幻黠@拉長(zhǎng)，聲音一下子打開了。

「抽刀斷水水更流，舉杯銷愁愁更愁」，指令寫「語(yǔ)速放慢，音調(diào)降低，尾音拖長(zhǎng)」?！赋罡睢谷齻€(gè)字幾乎是嘆氣，但又帶著一股不服氣。

從郁悶到豪邁，從悲傷到釋然，每一句的情緒走向都精確跟著控制指令在轉(zhuǎn)。

30種語(yǔ)言覆蓋全球，哪吒出海不用找翻譯

除了音色克隆和設(shè)計(jì)，這一次，VoxCPM 2還給出了跨語(yǔ)種的降維打擊。

它不僅30種全球主流語(yǔ)言，而且尤其強(qiáng)化了東南亞八國(guó)的語(yǔ)種，包括泰語(yǔ)、越南語(yǔ)、印尼語(yǔ)、馬來(lái)語(yǔ)、菲律賓語(yǔ)等。

要知道，這些語(yǔ)種全是出海團(tuán)隊(duì)盯得最緊的賽道，現(xiàn)在一個(gè)模型全包了。

說(shuō)到這兒，那就少不了我們國(guó)產(chǎn)電影和電視劇的東南亞出海了。

狂攬159億票房的《哪吒之魔童鬧海》中，哪吒有一段經(jīng)典臺(tái)詞：「我命由我不由天，是魔是仙，我自己說(shuō)了算！」

VoxCPM 2給出的泰語(yǔ)、越南語(yǔ)版本，都呈現(xiàn)出極其自然的原聲質(zhì)感。哪吒那種混不吝的狠勁兒，都在異國(guó)語(yǔ)境里被完美顯現(xiàn)出來(lái)。

曾經(jīng)出海配音需要面對(duì)的文化隔閡、口音偏差和昂貴的人力成本，現(xiàn)在在 VoxCPM 2面前，都徹底失去了屏障！

接下來(lái)，我們做一個(gè)東南亞語(yǔ)言的真實(shí)商業(yè)場(chǎng)景測(cè)試。

我們寫了一條15秒帶貨廣告腳本，用VoxCPM 2分別輸出泰語(yǔ)、越南語(yǔ)、印尼語(yǔ)、馬來(lái)語(yǔ)、菲律賓語(yǔ)五個(gè)版本。

控制指令統(tǒng)一設(shè)定為「年輕女性，清亮活潑，像電商直播主播推薦產(chǎn)品」。

早上好！新到的冰椰拿鐵，椰香濃郁，入口絲滑?，F(xiàn)在下單第二杯半價(jià)，今天喝過(guò)的朋友都回來(lái)復(fù)購(gòu)了。別猶豫，點(diǎn)下面鏈接直接拍！

結(jié)果讓人大為驚喜：五個(gè)語(yǔ)種切下來(lái)，發(fā)音原汁原味，是我們的東南亞朋友都聽(tīng)不出破綻的程度了。

成本呢？如果是用那些按字符收費(fèi)的閉源平臺(tái)，五種語(yǔ)言一天跑30條，一個(gè)月下來(lái)光賬單就得好幾千美金，讓老板們?nèi)馓邸?/p>

但如果是VoxCPM 2上場(chǎng)，成本也就是一張4090顯卡的幾度電費(fèi)的錢，大大利好跨境電商團(tuán)隊(duì)！

五場(chǎng)測(cè)試跑完，克隆、方言、設(shè)計(jì)、情緒、多語(yǔ)種，沒(méi)有一個(gè)場(chǎng)景讓它露怯。

中國(guó)小模型全家桶獨(dú)一份

開發(fā)者瘋狂用腳投票

在AI開源界，好用是一方面，配套全不全才是決定開發(fā)者用不用腳投票的關(guān)鍵。

這次，面壁智能提供的是全家桶級(jí)的工具箱，真正做到了讓用戶上手即用。

部署層面，原生Torch推理、LoRA微調(diào)、全參數(shù)微調(diào)都支持。高吞吐場(chǎng)景有專門的VoxCPM-NanoVLLM做GPU推理。

生態(tài)層面，ComfyUI、WebUI插件一應(yīng)俱全，甚至為性能狂魔準(zhǔn)備了Rust語(yǔ)言重構(gòu)版本。

從MiniCPM到VoxCPM，面壁智能一直押注「高知識(shí)密度」路線，用更小的參數(shù)量（2B）打出超越百億級(jí)的性能。

對(duì)開發(fā)者來(lái)說(shuō)，部署成本更低，推理速度更快，端側(cè)應(yīng)用更靈活。

而它的開源路線，更是讓人瘋狂打call。

要知道，現(xiàn)在語(yǔ)音模型的頭部閉源平臺(tái)ElevenLabs，光Pro套餐就要99刀一個(gè)月，而這只有50萬(wàn)字符額度，超了另算。

相比之下，VoxCPM 2完全是開源的，不收一分錢，可以隨意拿去修改和商用。

目前，VoxCPM 2的體驗(yàn)鏈接已經(jīng)上線，GitHub開源倉(cāng)庫(kù)在OpenBMB/VoxCPM，模型權(quán)重開放下載。

技術(shù)理想主義

讓中國(guó)AGI更有「聲音」

VoxCPM 2能做到以上這些，底層是技術(shù)路線的選擇。

目前開源TTS領(lǐng)域的主流技術(shù)路線是Token-based。把連續(xù)的語(yǔ)音信號(hào)先切成離散的聲學(xué)Token，再用語(yǔ)言模型逐個(gè)預(yù)測(cè)。這個(gè)過(guò)程不可避免會(huì)丟失聲學(xué)信息和情感細(xì)節(jié)。

VoxCPM 2走的是另一條路，擴(kuò)散自回歸連續(xù)表征。

用個(gè)類比來(lái)解釋。

Token-based的方法像是先把一幅油畫拍成馬賽克照片，再試圖從馬賽克還原油畫。每次「打馬賽克」都會(huì)丟失一些色彩過(guò)渡的細(xì)節(jié)。

VoxCPM 2的方法是在連續(xù)的顏色空間里作畫，不經(jīng)過(guò)馬賽克這一步。聲音的細(xì)膩紋理天然保留得更完整。

落到聽(tīng)感上，差異很明顯。

你去聽(tīng)VoxCPM 2克隆出來(lái)的聲音，氣息感、齒音、喉嚨的震動(dòng)，這些微妙的聲學(xué)細(xì)節(jié)保留度好得多。

開頭那段魯迅的冷諷之所以能做到「不靠音量靠氣息」，底層就是這條技術(shù)路線在撐著。

至此，AI語(yǔ)音的「暴力美學(xué)」時(shí)代正式結(jié)束，VoxCPM 2開啟的是一個(gè)更細(xì)膩、更普惠的新時(shí)代。

這場(chǎng)比賽，已經(jīng)被徹底殺死了。

參考資料：

https://voxcpm.modelbest.cn/

https://github.com/OpenBMB/VoxCPM/

https://huggingface.openbmb.com/model/openbmb/VoxCPM2