FaithLens 模型在忠實(shí)性幻覺檢測任務(wù)上，達(dá)到了當(dāng)前最優(yōu)效果。

作者丨鄭佳美

編輯丨岑峰

大語言模型的能力在不斷增強(qiáng)，但幻覺問題仍然是橫亙在現(xiàn)實(shí)應(yīng)用前的一道關(guān)鍵障礙。

即便在有文檔和檢索結(jié)果作為依據(jù)的情況下，模型仍可能生成與事實(shí)不符、缺乏依據(jù)甚至與原文相矛盾的內(nèi)容，而且表達(dá)通常流暢、自洽，不易被發(fā)現(xiàn)。這對法律、醫(yī)療、金融、檢索增強(qiáng)生成等對可靠性要求極高的場景帶來了明顯風(fēng)險(xiǎn)。

雖然業(yè)內(nèi)不斷通過“做更大的模型”“更復(fù)雜的檢索”“更強(qiáng)的安全對齊”等方式來緩解問題，但成本與算力需求持續(xù)攀升，而幻覺為何產(chǎn)生、如何系統(tǒng)檢測與解釋，依然缺乏有效答案。

在這樣的背景下，清華大學(xué)孫茂松團(tuán)隊(duì)聯(lián)合深言科技提出了新論文《FaithLens: Training Large Language Models to Detect Hallucinations with Useful Explanations》。這項(xiàng)工作不再把幻覺檢測看成簡單的對錯(cuò)分類，而是把它提升為對模型推理過程與證據(jù)一致性的整體評估。

FaithLens 的核心思路是：模型不僅需要判斷是否存在幻覺，還要生成清晰、具體、真正能幫助另一個(gè)模型做出正確判斷的解釋，并把這種“解釋是否有用”直接作為訓(xùn)練信號(hào)來優(yōu)化模型。

為此，研究團(tuán)隊(duì)設(shè)計(jì)了一套結(jié)合監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)的訓(xùn)練框架，通過合成數(shù)據(jù)、解釋過濾和獎(jiǎng)勵(lì)機(jī)制，使模型在給出結(jié)論的同時(shí)，也學(xué)會(huì)說明依據(jù)在哪里、推理是怎么來的。實(shí)驗(yàn)表明，在這一范式下，僅 8B 參數(shù)規(guī)模的模型，就在多個(gè)跨領(lǐng)域幻覺檢測任務(wù)上超過多款閉源大模型，同時(shí)在解釋質(zhì)量與推理一致性方面取得明顯優(yōu)勢。

論文地址：https://arxiv.org/pdf/2512.20182

01
8B 模型反超多款閉源大模型

這項(xiàng)工作的核心實(shí)驗(yàn)結(jié)果表明，研究團(tuán)隊(duì)提出的FaithLens 模型在忠實(shí)性幻覺檢測任務(wù)上達(dá)到了當(dāng)前最優(yōu)甚至超過閉源大模型的效果。

所謂忠實(shí)性幻覺，是指大語言模型在給定文檔或檢索信息的基礎(chǔ)上生成了與原文不一致、無法支持甚至相矛盾的內(nèi)容。實(shí)驗(yàn)覆蓋 12 個(gè)跨領(lǐng)域跨任務(wù)的數(shù)據(jù)集，包括新聞?wù)z索增強(qiáng)生成問答、固定文檔問答、事實(shí)核查和多跳推理等廣泛場景。這些任務(wù)分別來自 LLM-AggreFact 和 HoVer 兩大標(biāo)準(zhǔn)基準(zhǔn)，具有很強(qiáng)代表性。

實(shí)驗(yàn)采用宏平均 F1 值作為評價(jià)指標(biāo)，從實(shí)驗(yàn)結(jié)果來看，FaithLens 在這 12 個(gè)任務(wù)上的整體平均指標(biāo)超過了所有對比系統(tǒng)。特別是與當(dāng)前最強(qiáng)開放或閉源的大模型相比，比如 GPT-4.1、GPT-4o、o3、Claude 3.7 Sonnet 以及 Llama-3.1-405B 等，F(xiàn)aithLens 在整體性能上均取得領(lǐng)先。這一結(jié)果非常重要，因?yàn)?FaithLens 僅基于 8B 參數(shù)規(guī)模，而這些對比模型大多在百億乃至千億級別。

在多跳推理任務(wù) HoVer 上，F(xiàn)aithLens 尤為突出。該任務(wù)要求模型綜合多個(gè)證據(jù)片段，進(jìn)行事實(shí)鏈推理，再判斷給定斷言是否被支持或被反駁。FaithLens 在這一任務(wù)上的顯著領(lǐng)先，說明它不僅依靠淺層模式匹配，而是具備了在文檔基礎(chǔ)上進(jìn)行結(jié)構(gòu)化推理和一致性分析的能力。

進(jìn)一步看細(xì)節(jié)，實(shí)驗(yàn)還比較了 FaithLens 與專門為幻覺檢測而設(shè)計(jì)的系統(tǒng)，如 AlignScore、FactCG、MiniCheck 和 ClearCheck 等。實(shí)驗(yàn)表明，在絕大部分任務(wù)中，FaithLens 的表現(xiàn)明顯優(yōu)于這些專用系統(tǒng)，而且在任務(wù)間的性能方差最低，說明不同類型的幻覺現(xiàn)象（例如摘要中的微扭曲、檢索問答中的無中生有、多跳推理中的推理缺環(huán)等）都可以被統(tǒng)一識(shí)別，從而具有較強(qiáng)的魯棒性與跨任務(wù)泛化能力。

此外，研究人員還對“解釋生成質(zhì)量”做了專門實(shí)驗(yàn)。他們通過人工評價(jià)以及 GPT-4.1 自動(dòng)評價(jià)兩種方式，從可讀性、幫助性和信息量等維度，系統(tǒng)比較不同模型產(chǎn)生的解釋。結(jié)果表明，FaithLens 所生成的解釋比大多數(shù)模型更清晰、更具體，且能夠有效指出幻覺產(chǎn)生的原因，例如“文檔中不存在該事實(shí)”“因果關(guān)系被錯(cuò)誤推出”“數(shù)字被曲解”等，而不是簡單重復(fù)問題或泛泛而談。

更為關(guān)鍵的一點(diǎn)是計(jì)算成本。實(shí)驗(yàn)給出了不同模型在同等樣本數(shù)量上的推理成本，F(xiàn)aithLens 由于參數(shù)規(guī)模小，可以用顯著更低的 GPU 資源實(shí)現(xiàn)推理，其成本大幅低于 API 級閉源模型，同時(shí)性能反而更優(yōu)。實(shí)驗(yàn)結(jié)果綜合表明，FaithLens 在精度、穩(wěn)定性、解釋性以及成本四個(gè)方面都具有明顯優(yōu)勢。

02
既要判斷對，也要解釋清，還要格式完整

這項(xiàng)工作的實(shí)驗(yàn)設(shè)計(jì)依托于一個(gè)完整的模型訓(xùn)練框架，該框架包含兩個(gè)核心階段：冷啟動(dòng)監(jiān)督微調(diào)階段（SFT）和基于規(guī)則的強(qiáng)化學(xué)習(xí)階段（RL）。研究團(tuán)隊(duì)的設(shè)計(jì)目標(biāo)不是簡單提高分類準(zhǔn)確率，而是希望同時(shí)優(yōu)化兩個(gè)輸出維度：一是是否存在忠實(shí)性幻覺的判斷結(jié)果，二是對此判斷的自然語言解釋。

在冷啟動(dòng)監(jiān)督微調(diào)階段，首要問題是訓(xùn)練數(shù)據(jù)的獲取。傳統(tǒng)做法需要人工標(biāo)注幻覺與否，同時(shí)撰寫解釋，這不僅昂貴且一致性差。

研究團(tuán)隊(duì)選擇利用強(qiáng)大的現(xiàn)成推理模型生成合成數(shù)據(jù)，具體做法是從公開任務(wù)數(shù)據(jù)集中抽取文檔與斷言，輸入到大型推理模型中，令其輸出三種內(nèi)容：一是推理鏈條（chain-of-thought），二是自然語言解釋，三是標(biāo)簽。這樣得到的樣本同時(shí)包含語義上下文、任務(wù)斷言、模型推理、解釋和結(jié)論。

然而，合成數(shù)據(jù)質(zhì)量并不穩(wěn)定。為此，研究人員提出了三層過濾機(jī)制來對數(shù)據(jù)質(zhì)量進(jìn)行控制。

第一層過濾關(guān)注標(biāo)簽正確性，即比較強(qiáng)模型給出的標(biāo)簽與原始標(biāo)注是否一致，若不一致則丟棄該樣本。這一機(jī)制可以防止模型學(xué)習(xí)“錯(cuò)誤但看起來合理的解釋”，避免解釋與真實(shí)標(biāo)簽脫節(jié)。

第二層過濾關(guān)注解釋質(zhì)量。團(tuán)隊(duì)沒有采用人工打分，而是提出了一種“解釋能否提高預(yù)測能力”的客觀指標(biāo)：先計(jì)算模型在無解釋情況下預(yù)測正確標(biāo)簽的困惑度，再加入解釋重新預(yù)測，如果困惑度下降，則認(rèn)定解釋確實(shí)提供了信息支持；否則，該解釋被視為冗余甚至誤導(dǎo)，從而對應(yīng)樣本被剔除。

第三層過濾關(guān)注數(shù)據(jù)多樣性。由于前兩層過濾容易保留大量“簡單樣本”，從而導(dǎo)致模型過擬合某些模式，因此研究團(tuán)隊(duì)使用句向量表示文檔-斷言對，通過聚類算法控制不同類別分布，選取具有代表性的樣本，使模型充分暴露于多種幻覺類型之中。

之后，模型在這些通過三重過濾后的數(shù)據(jù)上進(jìn)行監(jiān)督微調(diào)，使其獲得初步的幻覺檢測能力和解釋生成能力。然而，該階段主要屬于模仿學(xué)習(xí)，模型傾向于復(fù)制訓(xùn)練數(shù)據(jù)中的推理習(xí)慣，而不會(huì)主動(dòng)優(yōu)化解釋質(zhì)量或判斷可靠性。因此研究人員引入第二階段 —— 基于規(guī)則的強(qiáng)化學(xué)習(xí)。

在強(qiáng)化學(xué)習(xí)階段，模型針對同一輸入生成多條候選輸出，每條輸出同時(shí)包含推理過程、解釋和最終標(biāo)簽。研究人員采用 GRPO（Group Relative Policy Optimization）算法來更新策略模型。這一算法無需訓(xùn)練額外獎(jiǎng)勵(lì)模型，而是直接利用一組候選之間的相對表現(xiàn)進(jìn)行優(yōu)化，更加高效。

實(shí)驗(yàn)的關(guān)鍵創(chuàng)新在于獎(jiǎng)勵(lì)設(shè)計(jì)。首先是預(yù)測正確獎(jiǎng)勵(lì)，判斷模型最終是否正確識(shí)別幻覺或忠實(shí)內(nèi)容。該獎(jiǎng)勵(lì)直接作用于分類準(zhǔn)確性。其次是解釋質(zhì)量獎(jiǎng)勵(lì)，這是這項(xiàng)工作最重要的貢獻(xiàn)之一。

研究團(tuán)隊(duì)提出使用一個(gè)較弱的新手模型作為評價(jià)器，將 FaithLens 生成的解釋輸入給新手模型，若新手模型因此更容易作出正確判斷，則說明該解釋具備清晰性和信息性，因而應(yīng)當(dāng)給予獎(jiǎng)勵(lì)。這樣系統(tǒng)便能自動(dòng)學(xué)習(xí)生成“對他人有用”的解釋，而不是僅僅“自我感覺良好”的描述。第三項(xiàng)獎(jiǎng)勵(lì)是格式獎(jiǎng)勵(lì)，用于約束輸出結(jié)構(gòu)，使其包含完整的推理、解釋和標(biāo)簽，避免語句缺失或結(jié)構(gòu)混亂。

通過三種獎(jiǎng)勵(lì)的合成，F(xiàn)aithLens 在 RL 階段逐步學(xué)會(huì)兼顧判斷準(zhǔn)確性與解釋質(zhì)量。實(shí)驗(yàn)還進(jìn)行了系統(tǒng)性的消融實(shí)驗(yàn)，將三重過濾、解釋質(zhì)量獎(jiǎng)勵(lì)、RL 階段等組件依次去除，對性能影響進(jìn)行分析，結(jié)果顯示，這些組件均對最終模型性能具有關(guān)鍵貢獻(xiàn)，尤其是解釋質(zhì)量獎(jiǎng)勵(lì)對解釋可用性提升顯著。

03
從黑箱判別，到透明可解釋

從學(xué)術(shù)層面來看，這項(xiàng)工作最重要的意義在于，它將幻覺檢測從簡單判別問題轉(zhuǎn)變?yōu)榭山忉尩耐评碓u估問題。以往的多數(shù)檢測模型只給出二元判斷，用戶并不知道模型依據(jù)何在，也無法定位幻覺的來源。FaithLens 的框架使模型不僅判斷“對或錯(cuò)”，同時(shí)說明“錯(cuò)在何處、為什么錯(cuò)”，從而使幻覺檢測從黑箱工具轉(zhuǎn)向可以審查、可以復(fù)核的透明系統(tǒng)。

從應(yīng)用層面來看，研究解決了現(xiàn)實(shí)系統(tǒng)中的兩個(gè)矛盾：一方面，先進(jìn)閉源大模型雖然檢測和解釋能力強(qiáng)，但成本極高，不適合大規(guī)模部署。另一方面，小規(guī)模模型推理便宜，但質(zhì)量不足。FaithLens 表明，通過精心設(shè)計(jì)的數(shù)據(jù)合成策略與強(qiáng)化學(xué)習(xí)方案，中等規(guī)模模型完全可以實(shí)現(xiàn)接近甚至超過閉源大模型的檢測與解釋能力，從而顯著提高系統(tǒng)可落地性。

從方法論角度來看，研究團(tuán)隊(duì)提出了一種新的訓(xùn)練思想：即通過解釋是否能教會(huì)另一模型來衡量解釋質(zhì)量，這突破了傳統(tǒng)的 BLEU、ROUGE 等表面指標(biāo)，將解釋從文本評價(jià)對象轉(zhuǎn)變?yōu)楣δ苄怨ぞ?。這一思想不僅適用于幻覺檢測，還可以推廣到推理鏈驗(yàn)證、數(shù)學(xué)推理解釋、事實(shí)核查說明等領(lǐng)域。

更深層的意義在于，這項(xiàng)研究對 AI 可信性提出了新的標(biāo)準(zhǔn)。它暗含這樣一個(gè)觀點(diǎn)：未來的智能系統(tǒng)不能只輸出答案，而必須提供可追溯、可核驗(yàn)、可被他模型使用的解釋。這與醫(yī)療、司法、教育、金融等高風(fēng)險(xiǎn)領(lǐng)域的審計(jì)訴求高度契合，具有長遠(yuǎn)的社會(huì)價(jià)值。

04
成果背后的科研力量

本論文共有三位共同第一作者，分別來自清華大學(xué)、復(fù)旦大學(xué)以及伊利諾伊大學(xué)香檳分校（UIUC），三人共同主導(dǎo)了本項(xiàng)工作的研究推進(jìn)與論文撰寫。

其中，來自清華大學(xué)的司書正同時(shí)就職于深言科技，現(xiàn)為清華大學(xué)計(jì)算機(jī)系二年級博士生，其導(dǎo)師為孫茂松教授。他的研究方向主要包括自然語言處理和大規(guī)模語言模型。在相關(guān)領(lǐng)域，他以第一作者或共同第一作者身份在 NeurIPS、ACL、ICLR、EMNLP 等頂級國際會(huì)議發(fā)表論文 12 篇，其相關(guān)論文累計(jì)被引用 800 余次，GitHub 項(xiàng)目獲得超過 5000 顆星標(biāo)，其中一篇第一作者論文獲得 EMNLP 2025 SAC Highlights Award。

參考鏈接：https://s1s-z.github.io/

這項(xiàng)工作的通訊錄為孫茂松，他是清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長聘教授、博士生導(dǎo)師，是我國自然語言處理（NLP）與人工智能領(lǐng)域的重要學(xué)者之一。他現(xiàn)任清華大學(xué)人工智能研究院常務(wù)副院長，并兼任清華大學(xué)多個(gè)重要學(xué)術(shù)組織與研究機(jī)構(gòu)的負(fù)責(zé)人，長期在教學(xué)、科研與人才培養(yǎng)一線工作，對我國 NLP 學(xué)科體系建設(shè)產(chǎn)生了深遠(yuǎn)影響。

早年求學(xué)期間，孫茂松教授在清華大學(xué)計(jì)算機(jī)系完成本科與碩士學(xué)習(xí)，之后又在海外繼續(xù)深造并獲得計(jì)算語言學(xué)博士學(xué)位，形成了扎實(shí)的語言學(xué)與計(jì)算機(jī)科學(xué)交叉背景。

作為清華大學(xué)自然語言處理實(shí)驗(yàn)室（THUNLP）的主要學(xué)術(shù)帶頭人之一，孫茂松教授長期關(guān)注中文信息處理、機(jī)器翻譯、語義計(jì)算、大模型訓(xùn)練與推理、語言資源與知識(shí)圖譜、社會(huì)與人文計(jì)算等研究方向，帶領(lǐng)團(tuán)隊(duì)圍繞 NLP 的基礎(chǔ)理論與關(guān)鍵技術(shù)開展系統(tǒng)性研究。他的研究既覆蓋語言建模、語義表示、推理等核心科學(xué)問題，也關(guān)注技術(shù)在教育、文化與社會(huì)治理等領(lǐng)域的落地與影響。

在科研成果方面，他指導(dǎo)和參與的團(tuán)隊(duì)在 ACL、EMNLP、NAACL、COLING、AAAI、IJCAI 等國際頂級會(huì)議與期刊上發(fā)表了大量論文，并主持或承擔(dān)多項(xiàng)國家級重大科研項(xiàng)目。其研究成果涵蓋語言技術(shù)基礎(chǔ)理論、中文處理平臺(tái)、智能問答與翻譯系統(tǒng)、新一代大規(guī)模預(yù)訓(xùn)練語言模型等多個(gè)方向，為推動(dòng)中文 NLP 技術(shù)進(jìn)入國際前列發(fā)揮了關(guān)鍵作用。

除學(xué)術(shù)研究外，孫茂松教授也十分重視技術(shù)轉(zhuǎn)化與社會(huì)服務(wù)。他積極推動(dòng)語言資源建設(shè)與相關(guān)國際標(biāo)準(zhǔn)制定，參與組織重要科研平臺(tái)與學(xué)術(shù)組織建設(shè)，并倡導(dǎo)人工智能技術(shù)在教育普惠、文化傳承與公共治理中的應(yīng)用。他主持推動(dòng)了多項(xiàng)具有社會(huì)影響力的工程與平臺(tái)，使語言智能技術(shù)真正走向公眾與產(chǎn)業(yè)實(shí)際場景。

在學(xué)術(shù)榮譽(yù)方面，孫茂松教授獲得了多項(xiàng)國內(nèi)外重要學(xué)術(shù)稱號(hào)與獎(jiǎng)勵(lì)，包括國際學(xué)術(shù)組織會(huì)士等榮譽(yù)，充分體現(xiàn)了國際同行對其學(xué)術(shù)貢獻(xiàn)的認(rèn)可。他培養(yǎng)的學(xué)生與團(tuán)隊(duì)成員已在國內(nèi)外高校與企業(yè)成長為骨干力量，形成了在 NLP 領(lǐng)域具有持續(xù)影響力的學(xué)術(shù)梯隊(duì)。

總體而言，孫茂松教授既是中國 NLP 早期開拓者之一，也是近年來大語言模型與可信 AI 研究的重要推動(dòng)者。面發(fā)揮了關(guān)鍵作用。

https://nlp.csai.tsinghua.edu.cn/staff/sms/

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請先在「AI科技評論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。