本文介紹來自哈爾濱工業(yè)大學(xué)SCIR實驗室的研究。該研究目標(biāo)是緩解指令微調(diào)過程會無意間破壞模型的安全對齊機(jī)制，其核心挑戰(zhàn)在于如何在維持調(diào)優(yōu)所帶來性能收益的同時減輕其引入的安全風(fēng)險，需要同時兼顧任務(wù)性能收益和安全風(fēng)險。盡管先前的研究在數(shù)據(jù)處理、對齊、調(diào)優(yōu)以及后處理階段嘗試了各種方法，但它們通常存在不穩(wěn)定性、不可解釋性，并且在性能方面仍有很大的提升空間。

為了解決這一挑戰(zhàn)，本研究錨定模型激活中存在的拒絕方向，它在先前的研究中被證明對于模型安全行為有很強(qiáng)的可控性。基于這一見解，本研究首先通過定量分析觀測到該方向在調(diào)優(yōu)期間會發(fā)生顯著漂移，并設(shè)計了投影約束的方法（即約束訓(xùn)練樣本在該方向上投影強(qiáng)度的變化），從而緩解拒絕方向的漂移。實驗表明，隨著投影約束的強(qiáng)度增強(qiáng)，拒絕方向的漂移可以隨之緩解，并且引入的安全風(fēng)險會隨之減弱。這表明拒絕方向的漂移是安全風(fēng)險引入的原因之一，這是模型表現(xiàn)出的能力遺忘。

然而，過大的強(qiáng)度雖然會大幅減輕安全風(fēng)險，但也會影響任務(wù)性能的收益，這違背了微調(diào)最初的目標(biāo)。為了解決這一問題，本研究進(jìn)而提出了預(yù)熱策略（即鼓勵僅在早期添加強(qiáng)約束）以及擴(kuò)展數(shù)據(jù)分布（增強(qiáng)約束信號以穩(wěn)定拒絕方向）。在不同的模型、數(shù)據(jù)集以及微調(diào)場景下，本研究所提出的ProCon方法能夠在維持任務(wù)性能收益的同時大幅減輕安全風(fēng)險，超越了當(dāng)前各種強(qiáng)基線的表現(xiàn)。

論文題目： Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint 論文鏈接： https://arxiv.org/abs/2509.06795

ProCon方法 1.1 拒絕方向的識別

與先前的研究保持一致，本研究首先通過收集良性-惡意指令對，并收集其在前向傳播過程中的激活。隨后，通過difference-in-means方法計算基于良性與惡意指令所得到激活的差值，來確定拒絕方向。計算公式如下：

1.2 拒絕方向的漂移

為了觀測在調(diào)優(yōu)期間拒絕方向是否發(fā)生變化？在調(diào)優(yōu)期間，我們識別每一輪訓(xùn)練后的拒絕方向，并計算其與初始拒絕方向的余弦相似度，其計算公式如下：

通過在不同模型上進(jìn)行分析，本研究發(fā)現(xiàn)在訓(xùn)練期間該方向會發(fā)生顯著漂移，其分析結(jié)果如下：

拒絕方向漂移分析

為了驗證該方向漂移與安全風(fēng)險的關(guān)聯(lián)性，本研究提出了一種簡單的投影約束方法，即約束訓(xùn)練樣本的隱狀態(tài)在拒絕方向上投影強(qiáng)度的變化。其中，投影可以表示為：

投影約束可以計算為：

該約束項會添加到損失函數(shù)中，并且通過 α 來控制約束強(qiáng)度：

我們的初步分析表明，通過這一簡單的約束可以緩解拒絕方向的漂移（見“討論與分析”），并在如下圖所示，隨著約束強(qiáng)度的增強(qiáng)，引入的安全風(fēng)險會隨之減弱，這證明了拒絕方向的漂移是安全風(fēng)險引入的原因之一。但隨著約束強(qiáng)度的增強(qiáng)，任務(wù)性能收益也會受到損失。為了解決這一問題，我們提出了增強(qiáng)的ProCon方法。

約束強(qiáng)度對總體性能的影響 1.3 增強(qiáng)的ProCon方法

本研究基于拒絕方向漂移分析觀測到的現(xiàn)象以及數(shù)據(jù)驅(qū)動視角引入了預(yù)熱策略和擴(kuò)展數(shù)據(jù)分布的策略。

• 預(yù)熱策略：在先前的分析中，我們觀測到拒絕方向的漂移在早期更為顯著，而后期的漂移幅度通常較小。這表明遺忘更多的發(fā)生在早期，可能是由于訓(xùn)練損失較大，而后期由于訓(xùn)練損失較小，其影響并不顯著。基于這一現(xiàn)象，我們引入預(yù)熱策略，即鼓勵在訓(xùn)練早期添加一個強(qiáng)約束，而在后期轉(zhuǎn)化為不添加任何約束（在“討論與分析”中，我們證明了早期進(jìn)行強(qiáng)約束的重要性）。

• 擴(kuò)展數(shù)據(jù)分布：由于拒絕方向是貫穿于良性和惡意指令表示空間，而在訓(xùn)練過程中，所使用的訓(xùn)練樣本可以被認(rèn)為是良性指令，聚集于該方向的一側(cè)。從fisher信息論的角度，我們認(rèn)為，添加一些包含安全導(dǎo)向的樣本（包含惡意指令）有助于增強(qiáng)約束信號，從而穩(wěn)定拒絕方向（在“討論與分析”中，我們證明了安全導(dǎo)向樣本的引入有助于穩(wěn)定該方向）。

通過引入上述策略，我們實現(xiàn)了增強(qiáng)的ProCon方法。

二、主實驗 2.1 實驗設(shè)置

• 訓(xùn)練數(shù)據(jù)：在本研究中，我們在知識密集型任務(wù)下模型微調(diào)過程，即采用UltraInteract邏輯推理數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，并融入通用域?qū)υ挃?shù)據(jù)維持回復(fù)的流暢性。

• 實驗場景：本研究關(guān)注良性微調(diào)和攻擊微調(diào)場景。對于良性微調(diào)場景，其模擬用戶出于兩星目的調(diào)優(yōu)模型，無意間損害模型的安全性。對于攻擊微調(diào)場景，其模擬攻擊者將攻擊數(shù)據(jù)惡意注入訓(xùn)練數(shù)據(jù)中，以實現(xiàn)對模型安全行為的破壞。

• 評估設(shè)置：對于安全性評估，本研究采取了兩個安全基準(zhǔn)以及四種越獄攻擊方法，報告了有害性評分以及攻擊成功率。對于性能評估，本研究報告了在邏輯推理數(shù)據(jù)上的準(zhǔn)確率。

此外，本研究比較了各種強(qiáng)基線，基線的介紹可參見論文。對于ProCon方法，我們進(jìn)行了如下的設(shè)置：

• ProCons代表添加簡單的投影約束。

• ProConwu代表引入預(yù)熱策略、

• ProConssafe代表引入數(shù)據(jù)分布擴(kuò)展策略。

• ProConwusafe代表同時引入預(yù)熱和數(shù)據(jù)分別擴(kuò)展策略。

我們的實驗結(jié)果表明，在不同的LLMs以及場景下，所提出的ProCon方法均可以在不損害性能收益的同時顯著減輕安全風(fēng)險，并且顯著優(yōu)于各種強(qiáng)基線。相關(guān)的結(jié)果對比可以參考論文，實驗結(jié)果如下：

在良性微調(diào)場景下基于LLaMA2的結(jié)果

在良性微調(diào)場景下基于LLaMA3和Qwen2的結(jié)果

在攻擊微調(diào)場景下基于LLaMA3和Qwen2的結(jié)果

三、分析與討論 3.1 ProCon方法對于拒絕方向的影響

ProCon方法可以顯著減輕拒絕方向的漂移，且預(yù)熱和數(shù)據(jù)擴(kuò)展策略對于穩(wěn)定拒絕方向均起正向作用。

ProCon方法對于拒絕方向的影響
3.2 在GSM8K數(shù)據(jù)集下，基于LLaMA2的實驗結(jié)果

即使面對不同的微調(diào)數(shù)據(jù)，也保持強(qiáng)大的性能收益。

GSM8K數(shù)據(jù)集下，基于LLaMA2的實驗結(jié)果

3.3 預(yù)熱輪數(shù)對于性能的影響

LLaMA系列模型經(jīng)歷4輪預(yù)熱可以取得不錯的收益，而Qwen需要預(yù)熱16輪，這可能與模型本身安全性能有關(guān)。

預(yù)熱輪數(shù)對于性能的影響

此外，本研究還提供了其他詳細(xì)的分析，具體討論與分析可以參考論文。

四、總結(jié)與展望

為了緩解微調(diào)引入的安全風(fēng)險，本研究錨定拒絕方向這一表征，它對于保障語言模型的安全性起著至關(guān)重要的作用。本研究發(fā)現(xiàn)，在微調(diào)過程中，拒絕方向往往會發(fā)生偏移，這被歸因為安全風(fēng)險引入的原因之一。為了穩(wěn)定拒絕方向，本研究提出了一種投影約束方法ProCon，并輔以預(yù)熱策略和擴(kuò)展的數(shù)據(jù)分布，以增強(qiáng)其有效性和魯棒性。實驗結(jié)果表明，在各種數(shù)據(jù)集、場景和語言模型中，ProCon方法能夠有效地緩解拒絕方向的偏移，從而降低相關(guān)安全風(fēng)險，同時保持任務(wù)性能收益。至關(guān)重要的是，本研究深入探討了語言模型的可解釋性機(jī)制，并揭示了安全風(fēng)險的潛在原因，為未來的安全導(dǎo)向研究奠定了基礎(chǔ)。

本文第一作者在安全方面的近期工作，歡迎各位交流： MoGU框架： MoGU: A Framework for Enhancing Safety of LLMs While Preserving Their Usability https://arxiv.org/abs/2405.14488 邁向安全的微調(diào)： Towards Secure Tuning: Mitigating Security Risks Arising from Benign Instruction Fine-Tuning https://arxiv.org/abs/2410.04524

模型的安全風(fēng)險： Investigating the Security Threat Arising from “Yes-No” Implicit Bias in Large Language Models https://ojs.aaai.org/index.php/AAAI/article/view/34554 MoGU v2框架： MoGU V2: Toward a Higher Pareto Frontier Between Model Usability and Security https://arxiv.org/abs/2509.06807

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈