一作：陳紫軍，合肥工業(yè)大學(xué)博士生，研究方向?yàn)榇竽Ｐ透怕士煽啃砸约翱山忉屝�，曾�?ICLR，AAAI, COLING 等頂級會議上發(fā)表論文。

通訊作者：胡文波，合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院副教授，黃山青年學(xué)者。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)，包括貝葉斯概率機(jī)器學(xué)習(xí)、人工智能安全以及科學(xué)人工智能。

當(dāng)你問 AI 「如何關(guān)掉房間的燈（how to kill the lights）」，卻被冰冷拒絕「無法提供相關(guān)幫助」；當(dāng)你想探討「黑客技術(shù)的正向應(yīng)用」，得到的卻是「拒絕涉及非法活動」的機(jī)械回應(yīng) —— 你遇到的正是大語言模型（LLMs）的「過度拒絕」（over-refusal）痛點(diǎn)。

為了平衡安全與實(shí)用性，現(xiàn)有對齊技術(shù)往往強(qiáng)化模型的拒絕機(jī)制，卻讓模型變得「草木皆兵」，把含表面風(fēng)險(xiǎn)詞匯但語義無害的指令誤判為有害。這不僅嚴(yán)重影響用戶體驗(yàn)，還會導(dǎo)致「對齊稅」（alignment tax），讓模型在通用任務(wù)上的性能大打折扣。

針對這一行業(yè)難題，合肥工業(yè)大學(xué)與科大訊飛聯(lián)合團(tuán)隊(duì)提出了全新的低秩參數(shù)修剪框架ProSafePrune，該工作已被國際頂會 ICLR 2026 錄用。通過精準(zhǔn)定位模型內(nèi)部的認(rèn)知偏差并針對性修剪，ProSafePrune 在大幅降低過度拒絕率的同時(shí)，不僅不損害模型的安全防御能力，還能輕微提升通用任務(wù)性能，為 LLM 的安全部署提供了全新思路。

• 論文鏈接：https://openreview.net/forum?id=QkHKaPfRAB
• Github 鏈接：https://github.com/hfutml/PROSAFEPRUNE

研究背景：

過度拒絕的核心痛點(diǎn)與現(xiàn)有方案局限

大語言模型在內(nèi)容創(chuàng)作、智能客服等領(lǐng)域的廣泛應(yīng)用，讓安全對齊成為必答題。主流的 SFT（監(jiān)督微調(diào)）、RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）等技術(shù)，雖能有效抑制惡意輸出，卻容易陷入「過度防御」的困境 。

這種「過度拒絕」本質(zhì)上是模型在特征層面的認(rèn)知偏差：LLM 的隱藏狀態(tài)會自然編碼輸入的安全屬性，但偽有害指令（語義無害但含風(fēng)險(xiǎn)詞匯）會同時(shí)投影到有害子空間和無害子空間。過度的安全微調(diào)會放大這種投影中的有害成分，壓制無害成分，導(dǎo)致模型內(nèi)部決策邊界偏移，最終誤判拒絕。

更棘手的是，這種認(rèn)知偏差還會引發(fā)「對齊稅」：模型為了追求絕對安全變得過度謹(jǐn)慎，通用推理、知識問答等核心能力會隨之下降。

現(xiàn)有緩解方案存在明顯短板：

• 訓(xùn)練 - based 方法：需要額外標(biāo)注數(shù)據(jù)和大量計(jì)算資源，成本高且實(shí)用性有限；
• 訓(xùn)練 - free 方法：雖無需參數(shù)更新，但多在推理時(shí)干預(yù)，會引入額外延遲，且需要固定干預(yù)向量，不方便部署。

找到一種輕量化、能直擊問題根源的解決方案，成為 LLM 安全部署的關(guān)鍵。

核心發(fā)現(xiàn)：

過度拒絕的根源是「過度有害編碼」

團(tuán)隊(duì)通過探針實(shí)驗(yàn)揭示：過度拒絕的本質(zhì)是模型對偽有害指令的「過度有害編碼」（over-harmful encoding）。

研究人員在 LLaMA-2-7B 和 LLaMA-3-8B 上的實(shí)驗(yàn)發(fā)現(xiàn)：偽有害指令在模型早期層會因詞匯相似性呈現(xiàn)強(qiáng)有害信號，中間層隨著全局語義浮現(xiàn)，有害信號會減弱，但 LLaMA-2-7B 的深層卻不能有效削弱有害特征，這與其 38.5% 的高誤拒率高度相關(guān)（LLaMA-3-8B 誤拒率僅 10.5%）。

這種「過度有害編碼」不僅導(dǎo)致了過度拒絕，還使得模型過度謹(jǐn)慎，導(dǎo)致通用任務(wù)性能下降。這一發(fā)現(xiàn)為解決方案指明了方向：直接在參數(shù)空間中移除這些冗余的低秩有害成分，就能在不影響安全防御的前提下，緩解過度拒絕并降低對齊稅。

ProSafePrune：

三大核心設(shè)計(jì)，精準(zhǔn)修剪認(rèn)知偏差

ProSafePrune 的核心思路是：通過子空間投影分離偽有害特征與真正有害特征，在模型最具辨別力的中間層，針對性修剪放大偽有害性的低秩參數(shù)方向。整個(gè)框架無需額外訓(xùn)練，推理時(shí)無任何開銷，實(shí)現(xiàn)了「一次修剪，永久生效」。

1. 子空間提�。河� SVD 精準(zhǔn)分離特征

團(tuán)隊(duì)采用奇異值分解（SVD），從安全、有害、偽有害三類指令的模型輸出中，分別提取對應(yīng)的子空間。這種分解能在最小化信息損失的前提下，捕捉最具判別力的特征方向，確保分離出的子空間精準(zhǔn)可靠。

具體來說，針對模型第 l 層的每個(gè)子模塊（Q、K、V、O、FFN），收集三類指令的輸出激活并池化為向量矩陣，通過 SVD 分解得到：

2. 重疊算子：精準(zhǔn)定位「過度有害」成分

為了避免修剪時(shí)誤刪真正的安全防御成分，團(tuán)隊(duì)設(shè)計(jì)了獨(dú)特的重疊算子：

該算子通過三步精準(zhǔn)篩選：

這種設(shè)計(jì)能精準(zhǔn)定位需要修剪的「過度有害」成分，確保修剪后模型仍能有效拒絕真正的惡意指令。

3. 中間層修剪：平衡效果與性能

通過 t-SNE 可視化和輪廓系數(shù)（silhouette score）分析，團(tuán)隊(duì)發(fā)現(xiàn)模型的中間層具有最強(qiáng)的特征分離能力，是安全相關(guān)特征判別最關(guān)鍵的區(qū)域。修剪這些層既能高效緩解過度拒絕，又能最小化對模型整體性能的影響。

最終修剪操作通過以下公式實(shí)現(xiàn)：

其中 λ∈[0,1] 控制修剪強(qiáng)度，通過調(diào)節(jié) λ 可平衡過度拒絕緩解效果與安全性能。

實(shí)驗(yàn)驗(yàn)證：

全方位碾壓 SOTA，安全與實(shí)用雙提升

團(tuán)隊(duì)在 LLaMA-2/3、Qwen2.5/3 等多個(gè)系列模型（7B-70B 參數(shù)）上進(jìn)行了全面評估，涵蓋過度拒絕、安全防御、通用任務(wù)三大維度，結(jié)果顯示 ProSafePrune 表現(xiàn)突出。

1. 過度拒絕顯著緩解

在 OR-Bench、PHTest 等四大偽有害指令基準(zhǔn)上，ProSafePrune 的合規(guī)率（C.R.）大幅提升。以 LLaMA-2-7B 為例，合規(guī)率從默認(rèn)的 11.0% 提升至 73.0%，遠(yuǎn)超 Self-CD（43.5%）、Surgical（57.5%）等 SOTA 方法，意味著更多偽有害指令能被正確響應(yīng)。從內(nèi)部表征的角度，可以明顯觀察到經(jīng)過裁剪，后續(xù)層過度的有害性編碼被有效緩解。

2. 安全防御能力不降級

在 AdvBench、JailbreakBench 等惡意指令基準(zhǔn)上，ProSafePrune 的安全分?jǐn)?shù)（S.S.）與原始模型相比下降微小，證明修剪僅移除「過度有害」成分，不會過度損害模型對真正惡意指令的拒絕能力。

3. 通用任務(wù)性能略微提升

內(nèi)部過度有害編碼與對齊稅具有關(guān)聯(lián)性，ProSafePrune 還能輕微提升模型的通用能力：LLaMA-2-7B 在 MMLU 上的得分從 37.1 提升至 39.6，CommonQA 從 49.0 提升至 53.0，GSM8K 從 23.0 提升至 25.5。

4. 消融實(shí)驗(yàn)驗(yàn)證關(guān)鍵設(shè)計(jì)

• 單獨(dú)修剪單個(gè)子模塊（如 V.proj）的合規(guī)率僅 30.5%，遠(yuǎn)低于修剪整個(gè)層的 73.0%，證明過度拒絕源于子模塊間的交互；
• 若移除偽有害子空間投影，雖能進(jìn)一步提升合規(guī)率，但安全分?jǐn)?shù)會從 96% 暴跌至 75% 左右，驗(yàn)證了重疊算子的精準(zhǔn)篩選作用；
• 修剪中間層的效果遠(yuǎn)超底層和頂層，證實(shí)了中間層在安全特征判別中的核心作用。

方法優(yōu)勢：

部署友好，泛化性強(qiáng)

相比現(xiàn)有方案，ProSafePrune 具有三大實(shí)用優(yōu)勢：

1. 無推理開銷：修剪后生成獨(dú)立模型，無需額外存儲干預(yù)向量或推理時(shí)調(diào)整，部署成本低；

2. 推理速度快：在 OR-Bench-Hard-1K 測試中，ProSafePrune 僅需 16 分鐘，遠(yuǎn)快于 Self-CD（43 分鐘）、SCAN（20 分鐘）；

3. 泛化性強(qiáng)：在 32B 參數(shù)的 Qwen3 和 70B 參數(shù)的 LLaMA-2 上仍有效，LLaMA-2-70B 的 OR-Bench 合規(guī)率從 6.5 提升至 68.5。

總結(jié)與展望

ProSafePrune 的核心貢獻(xiàn)在于從表征空間角度揭示了過度拒絕的根源，并提出了參數(shù)層面的根治方案。通過子空間投影與低秩修剪的結(jié)合，該方法實(shí)現(xiàn)了「安全防御不降級、過度拒絕大緩解、通用性能小提升」的三重目標(biāo)，為 LLM 的安全對齊提供了新范式。

隨著 LLM 在各行各業(yè)的深度滲透，安全與實(shí)用的平衡成為核心競爭力。ProSafePrune 的開源發(fā)布，將為開發(fā)者提供高效的解決方案，推動 AI 技術(shù)更安全、更友好地落地。