在實際應(yīng)用中，模型常常會忽略關(guān)鍵線索，這就是 “Lost in the Middle” 現(xiàn)象，即模型對出現(xiàn)在輸入中間位置的信息關(guān)注度明顯下降?，F(xiàn)有的優(yōu)化思路大致分為兩類：

• 硬選擇：先檢索或裁剪出相關(guān)片段，再送入模型，但可能會丟失對推理至關(guān)重要的上下文。
• 軟選擇：通過摘要或壓縮來縮短輸入，但有損壓縮難免引入失真。

兩類方法都在 “動” 原始輸入或原始權(quán)重。那么，能不能既保留完整的上下文，又能準(zhǔn)確地告訴模型 “重點(diǎn)看哪里”？HiLight 提出一條 “輸入側(cè)干預(yù)” 的新路徑：在原文中插入少量高亮標(biāo)簽，引導(dǎo)模型的注意力。

方法概述

在實際部署當(dāng)中，大模型往往是API 付費(fèi)調(diào)用、規(guī)模巨大，甚至權(quán)重不開放的黑盒服務(wù)，直接對它做 SFT 或 RL 微調(diào)往往不現(xiàn)實。因此，HiLight 選擇了一條更實用的路徑：凍結(jié)推理模型，訓(xùn)練一個輕量的 “助手模型” 來幫助它劃重點(diǎn)。

• 論文標(biāo)題：Learning Evidence Highlighting for Frozen LLMs
• 論文地址：https://arxiv.org/abs/2604.22565
• 作者：Shaoang Li1,?, Yanhang Shi1,?, Yufei Li2, Mingfu Liang2, Xiaohan Wei2, Yunchen Pu2, Fei Tian2, Chonglin Sun2, Frank Shyu2, Luke Simon2, Sandeep Pandey2, Xi Liu2,?, Jian Li1,?
• 機(jī)構(gòu)：1 石溪大學(xué)（Stony Brook University），2 Meta AI
• 說明：? 共同第一作者；? 共同通訊作者

流程如下：

1. 輕量模型（Emphasis Actor）閱讀完整的上下文，為每個 token 打出重要性分?jǐn)?shù)。

2. 輕量模型在得分最高的片段兩邊插入高亮標(biāo)簽，如 < start_important > 和 < end_important>。

3. 凍結(jié)的推理模型（Solver LLM）接收帶標(biāo)簽的文本，完成推理并輸出結(jié)果。

該訓(xùn)練過程只用 Solver 的任務(wù)獎勵作為反饋信號，不需要任何人工標(biāo)注的證據(jù)。在訓(xùn)練方式上，因為沒有 token 級別的證據(jù)標(biāo)注，研究者將高亮選擇建模為強(qiáng)化學(xué)習(xí)問題，用下游任務(wù)指標(biāo)（如 HR@10、EM、F1）作為獎勵信號，通過分組策略梯度來更新 Actor。

為了防止 Actor “全部高亮” 的偷懶行為，該框架還引入了高亮預(yù)算機(jī)制：輕量語言模型最多只能標(biāo)注一定比例的 token，并通過 span 合并策略將零散的 token 級選擇合并為語義連貫的片段。

實驗表明，HiLight 對預(yù)算取值并不敏感。這意味著，在實際部署時無需精細(xì)調(diào)參，選取一個合理的中間值即可。

實驗結(jié)果

研究者在四個任務(wù)上進(jìn)行了評測：Amazon-Beauty（序列推薦）、HotpotQA（多跳問答）、SQuAD 2.0（閱讀理解）和 PubMedQA（生物醫(yī)學(xué)分類）。對比方法涵蓋了當(dāng)前主流的 prompt optimization 方法，包括 PRL、BFRS、OPRO、DSPy（MIPROv2）和 APE。

提升幅度最大的是序列推薦（Amazon-Beauty），在其它任務(wù)上，雖然提升相對溫和，但依然一致正向。

高亮＞裁剪，保留上下文的優(yōu)勢

消融實驗做了一個有趣的對比：把 Actor 選擇的高亮片段單獨(dú)裁剪出來喂給 Solver，會怎么樣？

結(jié)果顯示，在 Amazon-Beauty 上，裁剪也能取得不錯的效果。但在 HotpotQA 上出現(xiàn)了相反的情況。因為多跳問答推理需要保留連接性的上下文，裁剪雖然能選出關(guān)鍵證據(jù)，卻破壞了語義的完整性。而HiLight 在標(biāo)注重點(diǎn)的同時保留了完整語境。

一個高亮模型，服務(wù)多個大模型

Actor 學(xué)習(xí)到的高亮策略具有很強(qiáng)的遷移能力。研究者用 Qwen3-14B 作為 Solver 訓(xùn)練 Actor，直接將其應(yīng)用到五個從未見過的 Solver 上。與之相對比的做法是讓目標(biāo) Solver 自己先高亮證據(jù)再作答。

結(jié)果顯示，HiLight 的 Actor 高亮在五個 Solver 上的效果都明顯優(yōu)于自我高亮。原因也很簡單，專門訓(xùn)練的輕量模型，比大模型自己猜 “哪里重要” 更靠譜。HiLight 的 Actor 是通過任務(wù)獎勵顯式訓(xùn)練出來的，知道什么樣的證據(jù)能真正提升下游指標(biāo)。

沒有人工標(biāo)注，卻與人工高度重合

盡管訓(xùn)練過程中沒有任何 token 級別的證據(jù)標(biāo)注，但Actor 的高亮區(qū)域與 HotpotQA 數(shù)據(jù)集中人工標(biāo)注的支持事實高度重合，最高達(dá)到 0.78 F1。隨著 Actor 規(guī)模從 0.6B 增大到 8B，F(xiàn)1 從 0.68 單調(diào)上升到 0.78。

如圖所示，Precision、Recall、F1 三項指標(biāo)都隨 Actor 規(guī)模單調(diào)提升，Precision 甚至達(dá)到 0.84，說明Actor 高亮的 token 中，絕大多數(shù)都是人工判定的關(guān)鍵證據(jù)。

上圖展示了一個 HotpotQA 樣本上的 token 級分?jǐn)?shù)分布：藍(lán)色曲線是 Actor 打出的重要性分?jǐn)?shù)，紅色陰影區(qū)是人工標(biāo)注的支持事實所在區(qū)間。在一個包含 1200 多個 token 的長上下文中，Actor 只在兩個狹窄的區(qū)域打出高分，而這兩個區(qū)域正是數(shù)據(jù)集標(biāo)注的 ground-truth 證據(jù)所在。

低部署成本

• Solver 端 token 開銷：< 1.01 倍（僅插入少量標(biāo)簽 token）。
• Actor 推理延遲：0.6B 模型約 0.05 秒，4B 模型約 0.23 秒（p50），相比 Solver 的 8 至 18 秒可忽略不計。
• 訓(xùn)練成本：僅需約 12K 次 Solver 調(diào)用，而 PRL 需要 120K 次，APE 需要 60K 次。

一個直觀案例：序列推薦優(yōu)化

在 Amazon-Beauty 的一個典型案例中，模型需要通過給定的用戶歷史購買摘要和一批候選商品，依據(jù)用戶下一個可能感興趣的商品，對候選商品進(jìn)行重排序。Actor 精準(zhǔn)地高亮標(biāo)記了兩個關(guān)鍵內(nèi)容。這兩個信號幫助 Solver 將真實目標(biāo)商品（一款主打 “Grips Makeup To Last” 的底妝產(chǎn)品）的推薦排序從第 14 名提升到第 5 名，是一個顯著的排序改進(jìn)。

與黑盒注意力機(jī)制不同，HiLight 直接告訴用戶：模型之所以提升該商品的排名，是因為看到了這兩段高亮文本。這大大提升了模型推薦結(jié)果的可信度。

結(jié)語

HiLight 的思路非常簡單，用一個輕量模型劃重點(diǎn)，讓大模型集中精力推理。這種方式帶來了幾個好處：

• 性能提升：推薦任務(wù)性能提升可達(dá) 27%，問答任務(wù)也正向提升。
• 不用改模型：Solver 凍結(jié)，API 友好。
• 可解釋：高亮標(biāo)簽?zāi)軌蛑苯痈嬖V人類 “模型在看哪里”，以及模型決策的依據(jù)。
• 可遷移：一個 Actor 可以服務(wù)于多個不同的大模型。
• 低成本：訓(xùn)練成本低，額外延遲和推理成本小。

隨著越來越多系統(tǒng)通過 API 調(diào)用大模型，HiLight 提供了一種不必改動 Solver 也能實現(xiàn)性能提升的辦法。

值得一提的是，本文作者名單與 Meta 的 GR2（Generative Reasoning Re-ranker，arXiv:2602.07774）團(tuán)隊有相當(dāng)程度的重疊，HiLight 這套做法很可能在不遠(yuǎn)的將來被用進(jìn) GR2 這樣的生產(chǎn)級 re-ranking 系統(tǒng)里。