新智元報道

編輯：LRST

【新智元導(dǎo)讀】文本領(lǐng)域的大模型滿分選手，換成語音就集體掛科？大模型引以為傲的多輪對話邏輯，在真實人聲面前竟然如此脆弱。Scale AI正式發(fā)布首個原生音頻多輪對話基準(zhǔn)Audio MultiChallenge，直接撕開了大模型靠合成語音評測維持的優(yōu)等生假象。實驗顯示，強如Gemini 3 Pro在真實場景下的通過率也僅過半數(shù)，而GPT-4o Audio的表現(xiàn)更是令人大跌眼鏡。

隨著實時語音大模型的普及，人們一度以為AI實時伴侶已經(jīng)跨越了自然交互的最后一道門檻。

然而，大模型在語音對話中表現(xiàn)出的聰明，很大程度上源于評測手段的滯后。

此前，Scale AI推出的MultiChallenge基準(zhǔn)憑借對指令保留、推理記憶和自我一致性的嚴(yán)苛考察，被公認(rèn)為評估大模型邏輯長性的黃金標(biāo)準(zhǔn)。

但長久以來，該基準(zhǔn)一直缺少一個真正的音頻原聲版本。

最近，Scale AI正式補齊了這塊拼圖，發(fā)布Audio MultiChallenge，不僅刷新了語音交互的新高度，更揭開了行業(yè)內(nèi)一個公開的秘密：

由于缺乏原生音頻測試集，模型廠商在發(fā)布報告時，往往不得不利用T2S（Text-to-Speech）將文本基準(zhǔn)轉(zhuǎn)換為語音進(jìn)行評測。

論文鏈接：https://arxiv.org/pdf/2512.14865

這種做法雖然讓數(shù)據(jù)看起來很漂亮，卻在無形中給模型加了一層過度美化的濾鏡。

撕掉語音外殼

為什么TTS測不出真本事？

利用TTS轉(zhuǎn)換來進(jìn)行評測，實際上是為模型營造了一個完美的無菌環(huán)境。

TTS 生成的語音平滑、規(guī)律且高度標(biāo)準(zhǔn)化，徹底過濾掉了人類語言中最重要的特質(zhì)：日常說話時的各種吞吐、重復(fù)、瑣碎停頓以及臨時改口。

當(dāng)你對AI說：我想定周一，哦不，是周三的票，等下……還是周二吧。

這種充滿了邏輯回溯和口語碎片的自然場景，是目前TTS技術(shù)極力避免但在現(xiàn)實生活中無處不在的。

過去，模型穿上了一層由合成語音搭建的語音外殼，本質(zhì)上是在用文本思維處理潔凈信號。

而一旦脫離這個外殼，面對Audio MultiChallenge中47名真實說話者錄制的原始音頻，模型的邏輯鏈條便會迅速崩塌。

論文直言不諱地指出：模型在合成語音上的得分顯著高于真實人聲，這證實了干凈的合成音頻掩蓋了模型在現(xiàn)實世界中的失敗模式（Masking real-world failure modes）。

Gemini 3 Pro勉強登頂

GPT-4o意外折戟標(biāo)題

Audio MultiChallenge延續(xù)了原版的嚴(yán)苛邏輯，并針對音頻特性新增了致命的一擊，從指令保留、推理記憶、自我一致性以及核心的Voice Editing（語音編輯） 四個軸向?qū)δＰ瓦M(jìn)行綜合考核。

根據(jù)論文公布的排行榜，目前全球頂尖模型的音頻原生能力普遍處于及格線以下：

實驗數(shù)據(jù)揭露了一個驚人的落差：Gemini 3 Pro Preview憑借其推理架構(gòu)在邏輯深度上維持了領(lǐng)先；而GPT-4o Audio Preview在面對真實人類語音時，表現(xiàn)出的魯棒性遠(yuǎn)低于預(yù)期，通過率甚至只有Gemini的一半左右。

揭秘三大失敗模式

語音邏輯的深層鴻溝

論文通過詳細(xì)的錯誤分析，精準(zhǔn)捕捉到了模型在音頻模態(tài)下的三個軟肋，這些結(jié)論直接指出了大模型在語音交互中的底層Gap：

語音編輯是邏輯黑洞：這是本次基準(zhǔn)新增的維度。當(dāng)用戶在說話過程中中途改口或邏輯回溯時，大多數(shù)模型會死板地執(zhí)行聽到的第一個指令。該維度的平均通過率僅為17.99%，這意味著模型在聽覺上無法有效處理信息的撤回與覆蓋。

時長驅(qū)動的崩潰：模型表現(xiàn)隨著音頻總時長增加而穩(wěn)步惡化。數(shù)據(jù)顯示，當(dāng)對話累計音頻超過8分鐘時，模型的自我一致性得分會驟降至 13% 左右。這意味著目前的語音模型在處理長程語音上下文時，狀態(tài)追蹤能力極其薄弱。

音頻線索的感知缺失：當(dāng)任務(wù)要求模型識別非語義信號（如背景的環(huán)境聲、說話人的語氣情緒）來輔助推理時，模型表現(xiàn)比純語義任務(wù)下降了 36.5%。這說明模型依然把語音當(dāng)成脫水的文字在讀，而沒能真正聽懂聲音背后的物理世界。

結(jié)語

Audio MultiChallenge的發(fā)布證明了語音絕不僅是文本的簡單投射，包含著實時狀態(tài)跟蹤、情緒理解以及復(fù)雜的口語特質(zhì)處理。

Scale AI的這一記重錘敲醒了業(yè)界：如果我們不能撕掉那層精美的語音外殼，解決模型對自然語音中不完美特征的感知斷層，那么AGI驅(qū)動的自由交互，將永遠(yuǎn)停留在聽懂單詞卻不懂邏輯的初級階段。

參考資料：

https://arxiv.org/pdf/2512.14865

秒追ASI

?點贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點亮星標(biāo)，鎖定新智元極速推送！