新智元報(bào)道

　　編輯：LRST

　　【新智元導(dǎo)讀】動(dòng)態(tài)檢索增強(qiáng)生成（Dynamic RAG）通過(guò)自適應(yīng)判斷「何時(shí)檢索」來(lái)緩解大語(yǔ)言模型的幻覺問(wèn)題，但現(xiàn)有方法普遍依賴模型內(nèi)部信號(hào)（logits、entropy、attention等），而LLM本身的信號(hào)校準(zhǔn)較差，即常對(duì)錯(cuò)誤答案「自信滿滿」。近日，來(lái)自伊利諾伊大學(xué)芝加哥分校、紐約大學(xué)、與蒙納士大學(xué)的聯(lián)合團(tuán)隊(duì)提出QuCo-RAG，首次跳出「從模型自己內(nèi)部信號(hào)來(lái)評(píng)估不確定性」的思維定式，轉(zhuǎn)而用預(yù)訓(xùn)練語(yǔ)料的客觀統(tǒng)計(jì)來(lái)量化不確定性，在多跳QA基準(zhǔn)上對(duì)OLMo系列模型實(shí)現(xiàn)5-14個(gè)EM點(diǎn)的顯著提升，并且有效性成功遷移至Llama3、Qwen2.5、GPT4.1/5等預(yù)訓(xùn)練數(shù)據(jù)未公開的模型。

　　當(dāng)檢索增強(qiáng)生成（RAG）從靜態(tài)走向動(dòng)態(tài)，一個(gè)核心問(wèn)題浮出水面：何時(shí)該觸發(fā)檢索？

　　現(xiàn)有方法的答案是：看模型內(nèi)部信號(hào)。FLARE看句子中的token生成概率，DRAGIN看entropy和attention，ETC看entropy的一階二階差分，SeaKR看FFN內(nèi)部狀態(tài)……

　　但這一范式存根本性缺陷：LLM通常校準(zhǔn)能力很差，經(jīng)常對(duì)錯(cuò)誤輸出表現(xiàn)出高置信度。

　　DRAGIN vs QuCo-RAG對(duì)比。(a)DRAGIN依賴模型內(nèi)部信號(hào)，錯(cuò)誤地將問(wèn)題中的「Il」標(biāo)記為高不確定性，卻對(duì)幻覺出的錯(cuò)誤導(dǎo)演名顯示低不確定性。(b) QuCo-RAG通過(guò)預(yù)訓(xùn)練語(yǔ)料中的零共現(xiàn)檢測(cè)，正確識(shí)別出幻覺。

　　DRAGIN在生成錯(cuò)誤的導(dǎo)演名「Mario Camerini」時(shí)顯示低不確定性（Uncertainty < threshold），卻對(duì)問(wèn)題中的普通token「Il」報(bào)出高不確定性（Uncertainty = 1.47 > threshold）。

　　這就是所謂的「自信地胡說(shuō)八道」（confident hallucination）——模型不知道自己不知道，內(nèi)部信號(hào)完全失效。

　　更根本地，近期理論工作（Kalai & Vempala, 2024）證明：對(duì)于罕見事實(shí)，即使是完美校準(zhǔn)的模型也必須產(chǎn)生幻覺以維持統(tǒng)計(jì)一致性。

　　那么，有沒有一種方法，能繞過(guò)這些不可靠的內(nèi)部信號(hào)？

　　伊利諾伊大學(xué)芝加哥分校、紐約大學(xué)、與蒙納士大學(xué)的聯(lián)合團(tuán)隊(duì)提出QuCo-RAG，首次跳出「從模型自己內(nèi)部信號(hào)來(lái)評(píng)估不確定性」的思維定式，轉(zhuǎn)而用預(yù)訓(xùn)練語(yǔ)料的客觀統(tǒng)計(jì)來(lái)量化不確定性，在多跳QA基準(zhǔn)上對(duì)OLMo系列模型實(shí)現(xiàn)5-14個(gè)EM點(diǎn)的顯著提升，并且有效性成功遷移至Llama3、Qwen2.5、GPT4.1/5等預(yù)訓(xùn)練數(shù)據(jù)未公開的模型。

　　論文鏈接：https://arxiv.org/abs/2512.19134

　　開源代碼：https://github.com/ZhishanQ/QuCo-RAG

　　QuCo-RAG的核心洞察是：LLM的事實(shí)知識(shí)本質(zhì)上由預(yù)訓(xùn)練語(yǔ)料塑造。

　　低頻實(shí)體 = 長(zhǎng)尾知識(shí)風(fēng)險(xiǎn)：如果一個(gè)實(shí)體在預(yù)訓(xùn)練語(yǔ)料中很少出現(xiàn)，模型就難以可靠地記憶關(guān)于它的知識(shí)。

　　零共現(xiàn) = 幻覺高風(fēng)險(xiǎn)：如果兩個(gè)實(shí)體在整個(gè)預(yù)訓(xùn)練語(yǔ)料中從未在同時(shí)出現(xiàn)，那么模型聲稱的它們之間的關(guān)系就缺乏任何證據(jù)支撐——這幾乎必然是幻覺。

　　更重要的是，這種因果關(guān)系是不對(duì)稱的：

　　共現(xiàn) ≠ 正確（兩個(gè)實(shí)體可能以不同關(guān)系共現(xiàn)）

　　零共現(xiàn) ≈ 幻覺（模型無(wú)法可靠地生成訓(xùn)練數(shù)據(jù)中從未見過(guò)的實(shí)體關(guān)系）

　　基于這一洞察，QuCo-RAG從「主觀內(nèi)部置信度」轉(zhuǎn)向「客觀語(yǔ)料統(tǒng)計(jì)」，通過(guò)Infini-gram引擎對(duì)4萬(wàn)億token的OLMo-2預(yù)訓(xùn)練語(yǔ)料進(jìn)行毫秒級(jí)查詢，實(shí)現(xiàn)精準(zhǔn)的檢索觸發(fā)。

　　QuCo-RAG框架總覽。兩階段檢測(cè)：生成前知識(shí)評(píng)估（檢查實(shí)體頻率）+ 運(yùn)行時(shí)聲明驗(yàn)證（檢查實(shí)體共現(xiàn)）。

　　QuCo-RAG通過(guò)兩階段檢測(cè)機(jī)制量化不確定性：

　　第一階段：生成前知識(shí)評(píng)估（Pre-Generation Knowledge Assessment）
在模型開始生成之前，系統(tǒng)首先「診斷」輸入問(wèn)題：

　　提取問(wèn)題中的關(guān)鍵實(shí)體（如Silas Hardy、Lee Mantle）；

　　查詢每個(gè)實(shí)體在4萬(wàn)億token預(yù)訓(xùn)練語(yǔ)料中的出現(xiàn)頻率；

　　如果平均頻率低于閾值（默認(rèn)1000次），觸發(fā)檢索；

　　核心邏輯：低頻實(shí)體代表「長(zhǎng)尾知識(shí)」，模型很可能沒有可靠記憶。

　　第二階段：運(yùn)行時(shí)聲明驗(yàn)證（Runtime Claim Verification）

　　在模型生成過(guò)程中，系統(tǒng)持續(xù)監(jiān)控每個(gè)生成的句子：

　　使用輕量級(jí)0.5B模型提取知識(shí)三元組（頭實(shí)體, 關(guān)系, 尾實(shí)體）；

　　查詢頭尾實(shí)體在預(yù)訓(xùn)練語(yǔ)料中的共現(xiàn)次數(shù)；

　　如果共現(xiàn)次數(shù)為0，觸發(fā)檢索并重新生成；

　　核心邏輯：零共現(xiàn)意味著模型正在「無(wú)中生有」——編造訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過(guò)的實(shí)體關(guān)系。

　　毫秒級(jí)語(yǔ)料庫(kù)查詢

　　
如何在4萬(wàn)億token的語(yǔ)料庫(kù)上實(shí)現(xiàn)實(shí)時(shí)查詢？

　　QuCo-RAG利用Infini-gram引擎——一個(gè)基于后綴數(shù)組的索引系統(tǒng)，支持對(duì)萬(wàn)億級(jí)token語(yǔ)料庫(kù)的毫秒級(jí)頻率和共現(xiàn)查詢。

　　輕量級(jí)三元組提取器

　　為了最小化開銷，團(tuán)隊(duì)從GPT-4o-mini蒸餾了一個(gè)專用的0.5B三元組提取模型，基于Qwen2.5-0.5B-Instruct微調(diào)。

　　QuCo-RAG各組件運(yùn)行時(shí)間分解。LLM生成占主導(dǎo)（55-74%），Infini-gram查詢僅占18-31%，證明語(yǔ)料庫(kù)檢測(cè)引入的開銷適度。

　　實(shí)驗(yàn)結(jié)果

　　全面領(lǐng)先，遷移能力驚人

　　OLMo-2全系列5-12點(diǎn)提升

　　QuCo-RAG在所有模型規(guī)模和數(shù)據(jù)集上均取得最佳性能，EM提升5-12點(diǎn)。

　　在2WikiMultihopQA和HotpotQA兩大多跳QA基準(zhǔn)上，QuCo-RAG在OLMo-2全系列模型（7B、13B、32B）上全面超越所有baseline：

　　OLMo-2-7B：+7.4 EM (2Wiki), +5.6 EM (HotpotQA)

　　OLMo-2-13B：+12.0 EM (2Wiki), +5.3 EM (HotpotQA)

　　OLMo-2-32B：+9.4 EM (2Wiki), +10.8 EM (HotpotQA)

　　而基于內(nèi)部信號(hào)的方法（FLARE、DRAGIN、ETC、SeaKR）表現(xiàn)極不穩(wěn)定，有時(shí)甚至不如簡(jiǎn)單的單輪檢索（SR-RAG）。

　　主實(shí)驗(yàn)為什么選擇OLMo-2？

　　QuCo-RAG的核心是利用預(yù)訓(xùn)練語(yǔ)料的統(tǒng)計(jì)信息。但一個(gè)關(guān)鍵問(wèn)題是：如何驗(yàn)證「語(yǔ)料統(tǒng)計(jì)」這個(gè)信號(hào)源本身是有效的？

　　這就需要一個(gè)「匹配語(yǔ)料」設(shè)置——即模型的預(yù)訓(xùn)練數(shù)據(jù)必須完全公開，才能精確計(jì)算實(shí)體頻率和共現(xiàn)統(tǒng)計(jì)。

　　OLMo-2是目前滿足這一條件的高性能代表性開源模型：

　　提供完整的4萬(wàn)億token預(yù)訓(xùn)練語(yǔ)料

　　性能與Qwen2.5等主流模型相當(dāng)

　　覆蓋7B/13B/32B多個(gè)規(guī)模

　　這使得OLMo-2成為驗(yàn)證QuCo-RAG核心假設(shè)的理想測(cè)試平臺(tái)。

　　跨模型遷移：代理語(yǔ)料庫(kù)同樣有效

　　一個(gè)關(guān)鍵問(wèn)題：如果模型的預(yù)訓(xùn)練數(shù)據(jù)不公開怎么辦？

　　研究團(tuán)隊(duì)驗(yàn)證了一個(gè)重要假設(shè)：網(wǎng)絡(luò)規(guī)模的預(yù)訓(xùn)練語(yǔ)料庫(kù)之間存在大量重疊。

　　因此，使用OLMo-2的語(yǔ)料庫(kù)作為「代理語(yǔ)料庫(kù)」，同樣可以有效指導(dǎo)其他模型。

　　QuCo-RAG在Qwen2.5、Llama-3、GPT-4.1、GPT-5等模型上均實(shí)現(xiàn)顯著提升。

　　關(guān)鍵發(fā)現(xiàn)：

　　Qwen2.5-32B：2WikiMultihopQA上提升14.1 EM

　　GPT-5-chat：2WikiMultihopQA上提升8.7 EM

　　相比之下，GPT模型自帶的Web搜索工具反而低于不檢索基線（可能因?yàn)榫W(wǎng)絡(luò)噪聲）

　　效率分析：更少檢索，更高性能

　　效率-性能權(quán)衡分析。QuCo-RAG以最少的token消耗和LLM調(diào)用次數(shù)達(dá)到最高EM。

　　QuCo-RAG實(shí)現(xiàn)了「精準(zhǔn)狙擊」式的檢索：

　　平均每個(gè)問(wèn)題僅觸發(fā)1.70次檢索

　　token消耗僅87個(gè)，LLM調(diào)用僅1.84次

　　而FS-RAG和DRAGIN消耗2-4倍的token，性能卻大幅落后

　　領(lǐng)域泛化：生物醫(yī)學(xué)問(wèn)答同樣有效

　　在PubMedQA生物醫(yī)學(xué)問(wèn)答基準(zhǔn)上，QuCo-RAG同樣表現(xiàn)出色：

　　QuCo-RAG在PubMedQA上達(dá)到66.4%準(zhǔn)確率，超越Wo-RAG 11.2個(gè)百分點(diǎn)。

　　內(nèi)部信號(hào)方法在這個(gè)專業(yè)領(lǐng)域暴露出兩種失敗模式：

　　過(guò)度檢索：FLARE平均2.79次檢索，token消耗516。顯著高于它在通用領(lǐng)域的檢索次數(shù)和token消耗。

　　檢索不足：DRAGIN和ETC觸發(fā)檢索的次數(shù)顯著低于它在通用領(lǐng)域的檢索次數(shù)。Acc表現(xiàn)與不檢索基線持平。

　　QuCo-RAG則兩者兼顧：平均0.93次檢索，54.9個(gè)token，最高準(zhǔn)確率。

　　深度分析：為什么實(shí)體頻率分析有效？

　　按實(shí)體頻率分層的性能分析。低頻區(qū)QuCo-RAG優(yōu)勢(shì)明顯，高頻區(qū)優(yōu)勢(shì)依然保持。

　　研究團(tuán)隊(duì)按實(shí)體在語(yǔ)料庫(kù)中的出現(xiàn)頻率將問(wèn)題分組，揭示了有趣的規(guī)律：

　　低頻區(qū)：模型缺乏知識(shí)，但內(nèi)部信號(hào)無(wú)法識(shí)別這種知識(shí)缺陷

　　中頻區(qū)：模型處于「部分學(xué)習(xí)」?fàn)顟B(tài)，熵等內(nèi)部信號(hào)變得相對(duì)有效

　　高頻區(qū)：實(shí)體頻率 ≠ 事實(shí)頻率——即使實(shí)體常見，它們的特定關(guān)系可能罕見

　　這最后一點(diǎn)尤為重要：高頻實(shí)體讓模型「過(guò)度自信」，但QuCo-RAG通過(guò)共現(xiàn)檢測(cè)捕捉到模型對(duì)熟悉實(shí)體的錯(cuò)誤關(guān)系聲明。

　　深遠(yuǎn)影響與未來(lái)方向

　　本文將語(yǔ)料統(tǒng)計(jì)確立為模型內(nèi)部不確定性信號(hào)的客觀替代方案。雖然本文聚焦于RAG系統(tǒng)中的檢索觸發(fā)，但這一范式轉(zhuǎn)變?cè)贏I安全與魯棒性領(lǐng)域開辟了多個(gè)值得探索的研究方向。

　　賦能可信AI應(yīng)用

　　實(shí)驗(yàn)證明，語(yǔ)料統(tǒng)計(jì)比內(nèi)部信號(hào)提供了更可靠的不確定性度量。這種可靠性不僅對(duì)RAG有價(jià)值，還可擴(kuò)展到更廣泛的安全關(guān)鍵任務(wù)：

　　選擇性回答：當(dāng)缺乏證據(jù)支撐時(shí)，模型可以拒絕回答

　　正確性預(yù)測(cè)：語(yǔ)料統(tǒng)計(jì)為生成的聲明提供有據(jù)可依的置信度評(píng)分

　　從推理時(shí)干預(yù)到以數(shù)據(jù)為中心的AI

　　語(yǔ)料統(tǒng)計(jì)分析能夠精確識(shí)別模型的知識(shí)盲區(qū)。

　　這一信號(hào)可以指導(dǎo)訓(xùn)練數(shù)據(jù)策劃：與其僅在推理時(shí)通過(guò)檢索來(lái)彌補(bǔ)知識(shí)缺口，開發(fā)者可以在持續(xù)預(yù)訓(xùn)練或后訓(xùn)練階段主動(dòng)收集低頻實(shí)體的數(shù)據(jù)。類似地，語(yǔ)料統(tǒng)計(jì)還可以指導(dǎo)：

　　合成數(shù)據(jù)過(guò)濾：在納入訓(xùn)練集之前，用語(yǔ)料統(tǒng)計(jì)驗(yàn)證LLM生成的訓(xùn)練樣本

　　模型編輯：區(qū)分哪些事實(shí)需要定向注入，哪些已被模型可靠學(xué)習(xí)

　　范式的延伸方向

　　多個(gè)研究方向值得探索：

　　多語(yǔ)言驗(yàn)證：通過(guò)跨語(yǔ)言統(tǒng)計(jì)實(shí)現(xiàn)多語(yǔ)言場(chǎng)景的不確定性量化

　　時(shí)序動(dòng)態(tài)：利用帶時(shí)間戳的語(yǔ)料處理知識(shí)演變問(wèn)題

　　超越實(shí)體：將方法擴(kuò)展到事件、關(guān)系和數(shù)值聲明的驗(yàn)證

　　智能體集成：作為自我驗(yàn)證工具集成到智能體系統(tǒng)中，在執(zhí)行動(dòng)作前驗(yàn)證生成內(nèi)容

　　理論基礎(chǔ)

　　跨模型遷移的有效性引發(fā)了一些值得思考的問(wèn)題：為什么代理語(yǔ)料能跨模型族生效？能否形式化地建立「給定語(yǔ)料統(tǒng)計(jì)的幻覺概率」的信息論界限？這些問(wèn)題與LLM中「記憶vs泛化」的更廣泛討論相關(guān)聯(lián)。

　　參考資料：

　　https://arxiv.org/abs/2512.19134