隨著多模態(tài)大語言模型（MLLMs）在多語言場(chǎng)景中的廣泛應(yīng)用，模型的事實(shí)準(zhǔn)確性問題日益凸顯。然而，現(xiàn)有事實(shí)性評(píng)估基準(zhǔn)主要聚焦英語文本或視覺模態(tài)，對(duì)多語言、尤其是語音輸入的評(píng)估仍存在明顯不足。

為此，哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與交互機(jī)器人研究中心知識(shí)計(jì)算組聯(lián)合鵬城實(shí)驗(yàn)室數(shù)據(jù)智能研究所，提出跨語言跨模態(tài)事實(shí)性基準(zhǔn) CCFQA。該基準(zhǔn)包含覆蓋 8 種語言的平行語音—文本事實(shí)問答數(shù)據(jù)，用于系統(tǒng)評(píng)估 MLLMs 在跨語言與跨模態(tài)條件下的事實(shí)一致性。實(shí)驗(yàn)結(jié)果顯示，現(xiàn)有模型在多語言語音問答任務(wù)中表現(xiàn)受限，語音與文本輸入下的回答存在顯著不一致。針對(duì)這一問題，本文提出一種基于少樣本遷移學(xué)習(xí)的改進(jìn)方法，以提升模型的事實(shí)準(zhǔn)確性。該研究已被 AAAI 2026 接收。

論文名稱： CCFQA: A Benchmark for Cross-Lingual and Cross-Modal Speech and Text Factuality Evaluation 論文鏈接： https://arxiv.org/pdf/2508.07295 代碼鏈接： https://github.com/yxduir/ccfqa 數(shù)據(jù)集鏈接： https://huggingface.co/datasets/yxdu/ccfqa

隨著多模態(tài)大語言模型（MLLMs）在多語言環(huán)境中的日益普及，確保無幻覺的事實(shí)準(zhǔn)確性變得尤為重要。然而，現(xiàn)有評(píng)估可靠性的基準(zhǔn)主要集中在以英語為主的文本或視覺模態(tài)，這導(dǎo)致在處理多語言輸入（尤其是語音）時(shí)存在評(píng)估空白。

為彌補(bǔ)這一不足，哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與交互機(jī)器人研究中心知識(shí)計(jì)算組和鵬城實(shí)驗(yàn)室數(shù)據(jù)智能研究所聯(lián)合發(fā)布跨語言跨模態(tài)事實(shí)性基準(zhǔn)（CCFQA），以推動(dòng)具備更可靠語音理解能力的MLLMs發(fā)展。該基準(zhǔn)包含涵蓋8種語言的平行語音-文本事實(shí)問答數(shù)據(jù)集，旨在系統(tǒng)評(píng)估MLLMs的跨語言與跨模態(tài)事實(shí)性一致性能力。

實(shí)驗(yàn)結(jié)果表明，當(dāng)前多模態(tài)大語言模型在CCFQA基準(zhǔn)上仍面臨顯著挑戰(zhàn)，尤其是在多語言語音問答任務(wù)中表現(xiàn)有待提升，模型對(duì)語音與文本輸入的回復(fù)存在明顯不一致。針對(duì)MLLMs的跨語言與跨模態(tài)事實(shí)不一致問題，本文提出了一種基于少樣本遷移學(xué)習(xí)的改進(jìn)策略，旨在增強(qiáng)模型的事實(shí)準(zhǔn)確性。該論文現(xiàn)已被AAAI 2026錄用。

圖1:MLLM中的事實(shí)性不一致（a）對(duì)同一問題，不同語言回復(fù)的答案不一致；（b）對(duì)同一問題，不同模態(tài)輸入的答案不一致。 二、CCFQA基準(zhǔn)介紹 2.1 事實(shí)性基準(zhǔn)

事實(shí)性基準(zhǔn)作為評(píng)幻覺的有效工具受到越來越多關(guān)注。如表1所示，當(dāng)前基準(zhǔn)側(cè)重于文本或視覺輸入，且主要針對(duì)英語設(shè)計(jì)，缺乏對(duì)多語言語音場(chǎng)景的覆蓋。目前仍然缺少用于評(píng)估多語言語音設(shè)置下模型事實(shí)性的綜合基準(zhǔn)。

表1：CCFQA與已有基準(zhǔn)對(duì)比 2.2 CCFQA介紹

為了彌補(bǔ)多語言語音幻覺檢測(cè)空白，研究團(tuán)隊(duì)提出了跨語言和跨模態(tài)事實(shí)性基準(zhǔn)（CCFQA），系統(tǒng)評(píng)估MLLM在跨語言和跨模態(tài)場(chǎng)景中的事實(shí)知識(shí)一致性。CCFQA基準(zhǔn)的獨(dú)特之處在于，每個(gè)事實(shí)性問題都以文本和語音兩種輸入形式呈現(xiàn)，旨在評(píng)估MLLM在不同語言和輸入模態(tài)之間的一致性：

• 跨語言一致性：模型能否在多種語言中產(chǎn)生等效的答案？

• 跨模態(tài)一致性：模型能否在文本和語音輸入之間保持答案質(zhì)量？

該基準(zhǔn)包含8種語言的平行語音-文本事實(shí)性問題：英語、中文普通話、法語、日語、韓語、俄語、西班牙語、港式粵語。

表2:CCFQA樣本示例

研究團(tuán)隊(duì)從MKQA和MOOCCubeX數(shù)據(jù)集中收集原始英文問答文本，經(jīng)過翻譯和真人錄制，最終構(gòu)建了包含14,400個(gè)語音和文本問題樣本的高質(zhì)量數(shù)據(jù)集，涵蓋20個(gè)不同領(lǐng)域知識(shí)類別。

CCFQA基準(zhǔn)支持四種任務(wù)設(shè)置：多語言文本問答（QA）、跨語言文本問答（XQA）、多語言口語問答（SQA）、跨語言口語問答（XSQA）。

圖2：CCFQA數(shù)據(jù)集統(tǒng)計(jì) 三、少樣本遷移學(xué)習(xí)策略

為了提高M(jìn)LLM在事實(shí)知識(shí)方面的一致性，研究團(tuán)隊(duì)提出了一種基于英語作為樞紐語言的策略，以彌合跨語言問答中的知識(shí)鴻溝。該方法采用了一種簡潔而有效的端到端流程：首先將非英語問題翻譯成英語，然后利用LLM在英語語境下強(qiáng)大的事實(shí)推理能力生成答案，最后將答案翻譯回目標(biāo)語言。實(shí)驗(yàn)表明，該方法僅需使用5樣本進(jìn)行跨語言語音問答訓(xùn)練，即可實(shí)現(xiàn)多語言語音問答功能，顯著提升了MLLM的事實(shí)一致性和可靠性。

圖3：少樣本遷移學(xué)習(xí)策略 四、實(shí)驗(yàn)

系統(tǒng)評(píng)估表明，現(xiàn)有MLLM在跨語言和跨模態(tài)的事實(shí)知識(shí)方面存在顯著不一致。即使是簡單的問題，模型在同一查詢以不同語言或模態(tài)呈現(xiàn)時(shí)，也經(jīng)常產(chǎn)生矛盾的答案，這凸顯了在多樣化輸入下保持事實(shí)一致性的難度。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)前多模態(tài)大語言模型在CCFQA 基準(zhǔn)上仍面臨嚴(yán)峻挑戰(zhàn)，尤其在跨語言和跨模態(tài)場(chǎng)景中，模型性能顯著下降。實(shí)驗(yàn)對(duì)比了包括 GPT-4o-mini-Audio、Qwen2.5-Omni等當(dāng)前效果最佳的多模態(tài)大語言模型。結(jié)果表明，當(dāng)前主流多模態(tài)大語言模型在多語言語音問答任務(wù)中，普遍存在相比文本模態(tài)明顯的性能不一致問題。

表3：MLLMs在4個(gè)任務(wù)上的F1和LLM評(píng)估得分 五、總結(jié)

本研究針對(duì)多模態(tài)大語言模型在多語言語音中存在的事實(shí)性幻覺問題，提出了一個(gè)名為CCFQA的創(chuàng)新基準(zhǔn)。該基準(zhǔn)填補(bǔ)了現(xiàn)有評(píng)估體系在多語言語音模態(tài)上的空白，涵蓋8種語言的平行語音-文本問答數(shù)據(jù)，支持跨語言與跨模態(tài)一致性評(píng)估。實(shí)驗(yàn)表明，當(dāng)前MLLMs在應(yīng)對(duì)不同語言和輸入模態(tài)時(shí)存在顯著的事實(shí)不一致性。后續(xù)的研究有待在提升提升模型在多語言與跨模態(tài)場(chǎng)景下的一致性，并探索更有效的抗幻覺方法。

論文作者：都業(yè)興，劉開元，潘囿丞，初征，楊博，馮驍騁，劉銘，相洋 來源：公眾號(hào)【賽爾實(shí)驗(yàn)室】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈