這項(xiàng)由Mistral AI團(tuán)隊(duì)主導(dǎo)的研究發(fā)表于2026年2月，研究成果以論文形式提交至arXiv預(yù)印本服務(wù)器，編號(hào)為arXiv:2602.11298v1。有興趣深入了解的讀者可以通過該編號(hào)查詢完整論文內(nèi)容。

當(dāng)你和朋友在電話里聊天時(shí)，你們幾乎可以瞬間理解對方說的話，并立即做出回應(yīng)。但對于機(jī)器來說，這種看似簡單的能力卻一直是個(gè)巨大挑戰(zhàn)。大部分現(xiàn)有的語音識(shí)別系統(tǒng)就像一個(gè)需要聽完整個(gè)句子才能理解意思的慢性子朋友——它們必須等你說完全部內(nèi)容，然后花時(shí)間"消化"一遍，最后才能告訴你聽到了什么。這種方式在制作視頻字幕或處理錄音時(shí)還算可以接受，但在需要實(shí)時(shí)對話的場景中就顯得力不從心了。

現(xiàn)在，Mistral AI的研究團(tuán)隊(duì)開發(fā)出了一個(gè)名為Voxtral Realtime的新系統(tǒng)，它就像一個(gè)反應(yīng)極快的同聲傳譯員，能夠在你剛說完一個(gè)詞的幾百毫秒內(nèi)就準(zhǔn)確識(shí)別出來。這個(gè)系統(tǒng)支持13種不同語言，包括中文、英文、法文、德文等主要語言，而且在準(zhǔn)確性方面已經(jīng)達(dá)到了與知名的Whisper離線識(shí)別系統(tǒng)相當(dāng)?shù)乃健?/p>

更令人興奮的是，研究團(tuán)隊(duì)不僅開發(fā)出了這個(gè)系統(tǒng)，還將其完整的技術(shù)方案以Apache 2.0許可證的形式免費(fèi)開放給全世界使用。這意味著任何人都可以獲取這項(xiàng)技術(shù)，并將其應(yīng)用到自己的產(chǎn)品中，比如智能客服、實(shí)時(shí)翻譯、語音助手或者無障礙輔助工具等。

這項(xiàng)研究的突破在于徹底重新思考了機(jī)器處理語音的方式。傳統(tǒng)系統(tǒng)就像先錄下你的話，再回放給翻譯聽，而Voxtral Realtime更像是一個(gè)能夠邊聽邊理解的聰明聽眾。它采用了一種叫做"延遲流建模"的技術(shù)框架，本質(zhì)上是讓機(jī)器學(xué)會(huì)在聽到足夠信息的瞬間就開始輸出文字，而不是等待完整的語音結(jié)束。

一、革命性的實(shí)時(shí)處理能力

要理解Voxtral Realtime的創(chuàng)新之處，我們可以用餐廳點(diǎn)菜的場景來類比。傳統(tǒng)的語音識(shí)別系統(tǒng)就像一個(gè)很謹(jǐn)慎的服務(wù)員，必須等你完整地說完"我要一份宮保雞丁，不要放辣椒，再來一碗米飯"這整句話后，才開始在本子上寫菜單。而實(shí)時(shí)語音識(shí)別系統(tǒng)則像一個(gè)經(jīng)驗(yàn)豐富的服務(wù)員，當(dāng)你剛說出"我要一份宮保"時(shí)，就已經(jīng)開始在本子上寫字了，但會(huì)等你說完"雞丁"才確定這道菜，然后繼續(xù)監(jiān)聽是否有特殊要求。

Voxtral Realtime在480毫秒的延遲下就能達(dá)到與Whisper相同的準(zhǔn)確率，這個(gè)時(shí)間大約相當(dāng)于你眨兩次眼的時(shí)間。在語音處理領(lǐng)域，這種速度已經(jīng)接近人類大腦處理語言的反應(yīng)時(shí)間了。更神奇的是，當(dāng)延遲時(shí)間放寬到960毫秒（不到一秒鐘）時(shí)，這個(gè)系統(tǒng)的表現(xiàn)甚至超越了目前市面上最好的實(shí)時(shí)語音識(shí)別服務(wù)。

這種能力的實(shí)現(xiàn)依賴于一個(gè)精心設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。整個(gè)系統(tǒng)就像一個(gè)由三個(gè)專門部門組成的高效工廠。首先是"音頻理解部門"，專門負(fù)責(zé)將聲音波形轉(zhuǎn)換成機(jī)器能理解的數(shù)字信息。這個(gè)部門采用了因果性設(shè)計(jì)，意思是它只能"看到"當(dāng)前和過去的信息，不能預(yù)知未來的聲音，這樣才能實(shí)現(xiàn)真正的實(shí)時(shí)處理。接著是"信息壓縮部門"，將音頻信息進(jìn)行精簡處理，保留最重要的特征。最后是"文字生成部門"，將處理過的音頻信息轉(zhuǎn)換成我們能讀懂的文字。

二、智能的延遲控制機(jī)制

Voxtral Realtime最聰明的地方在于它的"延遲控制"機(jī)制。就像調(diào)節(jié)水龍頭的水流一樣，用戶可以根據(jù)實(shí)際需要來調(diào)整系統(tǒng)的反應(yīng)速度和準(zhǔn)確度之間的平衡。如果你需要極快的響應(yīng)速度，可以將延遲設(shè)置為240毫秒，雖然準(zhǔn)確度會(huì)稍有下降，但仍然能夠滿足大部分實(shí)時(shí)對話的需求。如果你更看重準(zhǔn)確性，可以將延遲調(diào)整到2400毫秒，這時(shí)系統(tǒng)的表現(xiàn)幾乎能與最先進(jìn)的離線處理系統(tǒng)媲美。

這種靈活性是通過一種叫做"自適應(yīng)RMS歸一化"的技術(shù)實(shí)現(xiàn)的。簡單來說，這就像給系統(tǒng)安裝了一個(gè)"心理調(diào)節(jié)器"，讓它能夠根據(jù)不同的時(shí)間要求調(diào)整自己的"緊張程度"。當(dāng)要求快速響應(yīng)時(shí)，系統(tǒng)會(huì)變得更加"急躁"，傾向于在獲得相對確定的信息時(shí)就輸出結(jié)果。當(dāng)允許更多思考時(shí)間時(shí)，系統(tǒng)會(huì)變得更加"沉穩(wěn)"，等待收集更多信息后再給出答案。

更有趣的是，整個(gè)訓(xùn)練過程中，系統(tǒng)會(huì)隨機(jī)接受不同延遲要求的訓(xùn)練，就像一個(gè)運(yùn)動(dòng)員在各種不同強(qiáng)度下進(jìn)行訓(xùn)練一樣。這使得最終的模型能夠適應(yīng)從80毫秒到2400毫秒之間任何延遲要求，而且只需要一個(gè)統(tǒng)一的模型就能處理所有情況，無需為不同延遲要求訓(xùn)練不同的模型。

三、突破性的音頻編碼技術(shù)

傳統(tǒng)的語音識(shí)別系統(tǒng)在處理音頻時(shí)就像一個(gè)只能同時(shí)看前后文的閱讀者，它們依賴于能夠"回頭"查看之前音頻信息的能力來提高準(zhǔn)確性。但在實(shí)時(shí)處理場景中，系統(tǒng)不能等待未來的音頻信息，這就像要求一個(gè)人在只看到文章前半句的情況下猜測整個(gè)句子的意思。

Voxtral Realtime解決這個(gè)問題的方法是從零開始訓(xùn)練了一個(gè)"只向前看"的音頻編碼器。這個(gè)編碼器就像一個(gè)只能朝前走的探險(xiǎn)家，雖然不能回頭，但通過精心訓(xùn)練，學(xué)會(huì)了如何從當(dāng)前和過去的信息中提取足夠的線索來理解語音內(nèi)容。

這個(gè)音頻編碼器采用了現(xiàn)代人工智能領(lǐng)域的多項(xiàng)先進(jìn)技術(shù)。它使用了一種叫做"滑動(dòng)窗口注意力"的機(jī)制，可以記住過去15秒內(nèi)的音頻信息，這就足夠它理解大部分語音的上下文了。同時(shí)，它還采用了一些能夠提高訓(xùn)練穩(wěn)定性的技術(shù)組件，比如RMSNorm（一種改進(jìn)的數(shù)據(jù)標(biāo)準(zhǔn)化方法）、SwiGLU（一種更高效的激活函數(shù)）和RoPE（一種更好的位置編碼方式）。

為了確保實(shí)時(shí)處理的連續(xù)性，這個(gè)音頻編碼器還采用了特殊的緩存機(jī)制。就像一個(gè)錄音設(shè)備會(huì)保留最后幾秒的錄音緩存一樣，系統(tǒng)會(huì)維護(hù)一個(gè)4幀長度的歷史緩沖區(qū)，確保在處理新音頻時(shí)能夠獲得足夠的上下文信息。

四、巧妙的文字生成策略

Voxtral Realtime在文字生成方面采用了一種非常巧妙的策略。系統(tǒng)不是簡單地將每個(gè)音頻段直接轉(zhuǎn)換成文字，而是學(xué)會(huì)了什么時(shí)候應(yīng)該"保持沉默"，什么時(shí)候應(yīng)該開始輸出文字。

這個(gè)過程可以用交通信號(hào)燈來類比。系統(tǒng)引入了兩種特殊的"信號(hào)"：一個(gè)是"等待信號(hào)"（用[P]表示），另一個(gè)是"開始信號(hào)"（用[W]表示）。當(dāng)音頻中出現(xiàn)的詞語還沒有完整結(jié)束，或者系統(tǒng)認(rèn)為當(dāng)前信息還不足以確定時(shí)，它會(huì)發(fā)出"等待信號(hào)"，相當(dāng)于亮起紅燈。只有當(dāng)一個(gè)完整的詞語已經(jīng)在音頻中完全出現(xiàn)，并且達(dá)到了預(yù)設(shè)的延遲時(shí)間后，系統(tǒng)才會(huì)發(fā)出"開始信號(hào)"，然后輸出相應(yīng)的文字內(nèi)容。

這種策略的好處是讓系統(tǒng)能夠自主學(xué)會(huì)合適的輸出時(shí)機(jī)，而不需要依賴外部的語音活動(dòng)檢測工具或預(yù)先設(shè)定的強(qiáng)制對齊規(guī)則。系統(tǒng)通過訓(xùn)練數(shù)據(jù)中的時(shí)間戳信息，自然地學(xué)會(huì)了如何在音頻流和文字流之間建立精確的時(shí)間對應(yīng)關(guān)系。

在訓(xùn)練過程中，系統(tǒng)學(xué)會(huì)了一個(gè)重要的技巧：當(dāng)連續(xù)的多個(gè)詞語在同一個(gè)時(shí)間段內(nèi)出現(xiàn)時(shí)，它不會(huì)在每個(gè)詞之間都插入"開始信號(hào)"，而是將它們作為一個(gè)整體來處理。這樣做不僅提高了效率，還保持了原始語言模型的文字生成能力，因?yàn)檫@些詞語的組合方式與語言模型在訓(xùn)練時(shí)見過的正常文本更加相似。

五、大規(guī)模多語言訓(xùn)練

Voxtral Realtime的強(qiáng)大能力來自于其大規(guī)模的多語言訓(xùn)練過程。整個(gè)訓(xùn)練過程就像培養(yǎng)一個(gè)精通多國語言的同聲傳譯員，需要讓系統(tǒng)接觸大量不同語言、不同口音、不同說話風(fēng)格的音頻數(shù)據(jù)。

訓(xùn)練過程分為兩個(gè)主要階段。第一個(gè)階段叫做"音頻編碼器預(yù)熱"，占整個(gè)訓(xùn)練時(shí)間的5%。在這個(gè)階段，系統(tǒng)的文字生成部分保持不變，只訓(xùn)練音頻處理部分。這就像先讓一個(gè)學(xué)徒專心練習(xí)聽聲音的技巧，而不用擔(dān)心如何表達(dá)。這樣做是為了防止隨機(jī)初始化的音頻編碼器在訓(xùn)練初期產(chǎn)生的"噪音"干擾已經(jīng)訓(xùn)練好的文字生成部分。

第二個(gè)階段是"端到端聯(lián)合訓(xùn)練"，占剩余95%的時(shí)間。在這個(gè)階段，整個(gè)系統(tǒng)作為一個(gè)整體進(jìn)行訓(xùn)練，就像讓聽力部分和表達(dá)部分學(xué)會(huì)協(xié)同工作。系統(tǒng)使用了AdamW優(yōu)化器，這是目前深度學(xué)習(xí)領(lǐng)域最有效的訓(xùn)練方法之一。

訓(xùn)練過程中遇到了一個(gè)有趣的技術(shù)問題。研究人員發(fā)現(xiàn)，文字生成部分的輸出數(shù)值會(huì)變得越來越大，這導(dǎo)致音頻信息的影響力相對變小，系統(tǒng)開始過分依賴文字上下文而忽略實(shí)際的音頻輸入。為了解決這個(gè)問題，他們采用了一種叫做"Z-loss"的技術(shù)，就像給系統(tǒng)安裝了一個(gè)"平衡器"，確保音頻信息和文字信息在系統(tǒng)中保持合理的影響力比例。

六、先進(jìn)的部署服務(wù)方案

開發(fā)出強(qiáng)大的模型只是成功的一半，如何讓這個(gè)模型能夠在實(shí)際環(huán)境中高效運(yùn)行同樣重要。Mistral AI團(tuán)隊(duì)與vLLM框架的開發(fā)者合作，專門為Voxtral Realtime開發(fā)了一套完整的實(shí)時(shí)服務(wù)解決方案。

這套服務(wù)方案解決了實(shí)時(shí)語音識(shí)別面臨的幾個(gè)關(guān)鍵技術(shù)挑戰(zhàn)。首先是內(nèi)存管理問題。Voxtral Realtime需要同時(shí)維護(hù)兩套不同的"記憶系統(tǒng)"：一套用于處理音頻信息（每秒處理50個(gè)時(shí)間點(diǎn)），另一套用于處理文字信息（每秒處理12.5個(gè)時(shí)間點(diǎn)）。這就像一個(gè)人需要同時(shí)跟蹤兩個(gè)不同節(jié)拍的音樂一樣，需要精心設(shè)計(jì)的協(xié)調(diào)機(jī)制。

為了解決這個(gè)問題，團(tuán)隊(duì)開發(fā)了一種"分頁注意力"機(jī)制的擴(kuò)展版本。傳統(tǒng)的分頁注意力就像圖書館的借閱系統(tǒng)，每次只能處理固定大小的信息塊。新的系統(tǒng)則更加靈活，能夠處理不同大小的信息塊，并確保音頻信息和文字信息的處理節(jié)奏保持同步。

其次是連續(xù)輸入處理的問題。大部分服務(wù)框架都假設(shè)輸入是一次性提供的，就像考試時(shí)你拿到完整試卷然后開始答題。但實(shí)時(shí)語音識(shí)別需要處理持續(xù)流入的音頻數(shù)據(jù)，就像邊聽課邊做筆記一樣。為此，團(tuán)隊(duì)開發(fā)了"可恢復(fù)請求"機(jī)制，允許系統(tǒng)在處理新音頻的同時(shí)保持之前處理結(jié)果的狀態(tài)，實(shí)現(xiàn)真正的流式處理。

最后，團(tuán)隊(duì)還提供了基于WebSocket的實(shí)時(shí)API接口，讓開發(fā)者可以輕松地將Voxtral Realtime集成到自己的應(yīng)用中。這個(gè)接口支持雙向?qū)崟r(shí)通信，客戶端可以持續(xù)發(fā)送音頻數(shù)據(jù)，同時(shí)實(shí)時(shí)接收識(shí)別結(jié)果，整個(gè)過程的通信開銷很小，適合對延遲要求極高的應(yīng)用場景。

七、全面的性能驗(yàn)證

為了驗(yàn)證Voxtral Realtime的實(shí)際效果，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模的性能測試，涵蓋了英語短語音、英語長語音、多語言基準(zhǔn)測試以及Mozilla Common Voice數(shù)據(jù)集等多個(gè)維度。

在英語短語音識(shí)別方面，Voxtral Realtime在480毫秒延遲下的表現(xiàn)已經(jīng)能夠與Whisper這樣的知名離線系統(tǒng)相媲美，在一些具體任務(wù)上甚至更好。特別是在LibriSpeech這個(gè)業(yè)界標(biāo)準(zhǔn)測試集上，Voxtral Realtime在960毫秒延遲下的錯(cuò)誤率僅為1.96%，而Whisper的錯(cuò)誤率是1.84%，兩者的差距已經(jīng)很小了。在一些更有挑戰(zhàn)性的測試集上，比如包含各種口音和說話風(fēng)格的GigaSpeech，Voxtral Realtime的表現(xiàn)甚至超越了Whisper。

在多語言能力方面，Voxtral Realtime展現(xiàn)出了優(yōu)秀的跨語言泛化能力。在FLEURS多語言測試集上，涵蓋了從阿拉伯語到中文的13種不同語言，系統(tǒng)在480毫秒延遲下的平均錯(cuò)誤率為8.72%，而Whisper的錯(cuò)誤率為8.23%。當(dāng)延遲增加到960毫秒時(shí)，Voxtral Realtime的錯(cuò)誤率降低到7.70%，已經(jīng)超越了Whisper的表現(xiàn)。

更重要的是，Voxtral Realtime在與目前業(yè)界領(lǐng)先的實(shí)時(shí)語音識(shí)別API（如ElevenLabs的Scribe v2 Realtime）的對比中顯示出了競爭優(yōu)勢。在相同或更低的延遲條件下，Voxtral Realtime在大部分測試任務(wù)上都獲得了更好的準(zhǔn)確性，特別是在處理長篇語音和多種語言混合的場景中表現(xiàn)尤為突出。

研究團(tuán)隊(duì)特別值得稱贊的一點(diǎn)是，他們不僅測試了系統(tǒng)在理想條件下的表現(xiàn)，還驗(yàn)證了在各種實(shí)際應(yīng)用場景中的魯棒性。比如在包含背景噪音的CHiME-4數(shù)據(jù)集上，在電話語音質(zhì)量的Switchboard數(shù)據(jù)集上，以及在包含各種專業(yè)術(shù)語的財(cái)經(jīng)播報(bào)Earnings系列數(shù)據(jù)集上，Voxtral Realtime都展現(xiàn)出了穩(wěn)定的性能。

八、關(guān)鍵技術(shù)細(xì)節(jié)的深入分析

研究團(tuán)隊(duì)還深入分析了幾個(gè)關(guān)鍵技術(shù)選擇對系統(tǒng)性能的影響，這些分析為未來的改進(jìn)指明了方向。

首先是延遲控制機(jī)制的選擇。團(tuán)隊(duì)比較了三種不同的方法：直接將延遲信息加到輸入中、使用特殊標(biāo)記來表示延遲要求，以及采用自適應(yīng)RMS歸一化的方法。通過在三種不同語言上的對比實(shí)驗(yàn)，他們發(fā)現(xiàn)自適應(yīng)RMS歸一化方法不僅收斂速度更快，最終的準(zhǔn)確率也更高。這個(gè)發(fā)現(xiàn)很有意思，因?yàn)樗砻髟谀Ｐ偷膬?nèi)部表示空間中注入條件信息比在輸入層面添加信息更加有效。

其次是訓(xùn)練目標(biāo)構(gòu)建策略的影響。團(tuán)隊(duì)發(fā)現(xiàn)，將同一時(shí)間段內(nèi)的多個(gè)詞語作為一個(gè)整體來處理，而不是在每個(gè)詞之間都插入邊界標(biāo)記，對保持語言模型的原有能力非常重要。這個(gè)發(fā)現(xiàn)的背后原理是，這樣的處理方式讓訓(xùn)練過程中見到的詞語序列更接近語言模型預(yù)訓(xùn)練時(shí)的文本分布，從而更好地利用了預(yù)訓(xùn)練語言模型的知識(shí)。

最后是左填充策略的作用。研究團(tuán)隊(duì)發(fā)現(xiàn)，在音頻開始之前添加一定長度的靜音（對應(yīng)文字流中的等待標(biāo)記），能夠顯著提升系統(tǒng)的整體性能。他們推測這些額外的標(biāo)記可能起到了類似"注意力錨點(diǎn)"的作用，為系統(tǒng)提供了穩(wěn)定的初始狀態(tài)。這個(gè)發(fā)現(xiàn)雖然看起來簡單，但為系統(tǒng)優(yōu)化提供了一個(gè)實(shí)用的技巧。

通過這些細(xì)致的分析，研究團(tuán)隊(duì)不僅驗(yàn)證了他們的技術(shù)選擇，還為這個(gè)領(lǐng)域的后續(xù)研究提供了寶貴的經(jīng)驗(yàn)和洞察。這種嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)態(tài)度也是這項(xiàng)研究獲得成功的重要原因之一。

說到底，Voxtral Realtime的成功在于它找到了實(shí)時(shí)性和準(zhǔn)確性之間的最佳平衡點(diǎn)。就像一個(gè)優(yōu)秀的同聲傳譯員既不能太快而導(dǎo)致錯(cuò)誤，也不能太慢而跟不上節(jié)奏，這個(gè)系統(tǒng)通過精心的設(shè)計(jì)和大量的訓(xùn)練，學(xué)會(huì)了在合適的時(shí)機(jī)給出準(zhǔn)確的識(shí)別結(jié)果。

更重要的是，這項(xiàng)研究的開源性質(zhì)意味著全世界的開發(fā)者和研究者都可以基于這個(gè)基礎(chǔ)進(jìn)行進(jìn)一步的創(chuàng)新。無論是改進(jìn)語音助手的響應(yīng)速度，還是開發(fā)更好的實(shí)時(shí)翻譯工具，或者創(chuàng)造新的無障礙輔助技術(shù)，Voxtral Realtime都為這些應(yīng)用提供了一個(gè)強(qiáng)大而可靠的技術(shù)基礎(chǔ)。

對于普通用戶來說，這項(xiàng)技術(shù)的普及意味著未來我們與機(jī)器的語音交互會(huì)變得更加自然流暢。不再需要對著設(shè)備說話后等待幾秒鐘才能得到回應(yīng)，而是可以像與朋友對話一樣進(jìn)行實(shí)時(shí)交流。這種體驗(yàn)的改善不僅會(huì)讓技術(shù)變得更加人性化，也會(huì)為語音交互在更多場景中的應(yīng)用鋪平道路。

研究團(tuán)隊(duì)將模型權(quán)重以Apache 2.0許可證的形式完全開放，這種慷慨的分享精神體現(xiàn)了科學(xué)研究服務(wù)社會(huì)的本質(zhì)。任何有興趣的讀者都可以通過arXiv:2602.11298v1這個(gè)編號(hào)找到完整的技術(shù)論文，深入了解更多實(shí)現(xiàn)細(xì)節(jié)。

Q&A

Q1：Voxtral Realtime與普通語音識(shí)別軟件有什么區(qū)別？

A：最大區(qū)別在于響應(yīng)速度。普通語音識(shí)別需要等你說完整句話才能給出結(jié)果，而Voxtral Realtime能在你剛說完一個(gè)詞的幾百毫秒內(nèi)就識(shí)別出來。就像普通系統(tǒng)是先錄音再翻譯，而Voxtral Realtime是邊聽邊翻譯的同聲傳譯員。

Q2：480毫秒的延遲在實(shí)際使用中感覺如何？

A：480毫秒大約相當(dāng)于眨兩次眼的時(shí)間，在日常對話中幾乎察覺不到延遲。這個(gè)速度已經(jīng)接近人類大腦處理語言的自然反應(yīng)時(shí)間，能夠支持流暢的實(shí)時(shí)對話體驗(yàn)，比如語音助手、實(shí)時(shí)翻譯或視頻通話字幕等應(yīng)用。

Q3：普通開發(fā)者能否使用Voxtral Realtime技術(shù)？

A：完全可以。Mistral AI團(tuán)隊(duì)將完整技術(shù)以Apache 2.0許可證免費(fèi)開放，任何人都能獲取和使用。他們還與vLLM合作提供了完整的部署方案，包括WebSocket實(shí)時(shí)API接口，讓開發(fā)者能夠輕松集成到自己的應(yīng)用中。