不重新訓(xùn)練，僅靠「輕推一把」就能改變大模型的「信念」與行為 ——Steering 正在成為大模型時(shí)代最重要的認(rèn)知控制手段之一。

近期《Science》發(fā)表的研究《Toward universal steering and monitoring of AI models》表明，通過解析 AI 內(nèi)部表征，可實(shí)現(xiàn)對(duì)模型行為的通用引導(dǎo)與監(jiān)控。當(dāng) AI 越來越強(qiáng)大，如何確保它們的行為可控可預(yù)測(cè)，已經(jīng)成為一個(gè)關(guān)乎安全與信任的核心議題。
浙大聯(lián)合阿里的兩篇 ACL 2026 主會(huì)論文，從運(yùn)行機(jī)理、系統(tǒng)評(píng)估兩大維度全面揭示了 Steering 的工作原理與能力邊界，并賦能阿里安全 AGI 實(shí)驗(yàn)室御風(fēng)大模型訓(xùn)練和落地過程；同時(shí)，浙大團(tuán)隊(duì)開源的一站式 Steering 框架 EasyEdit2，讓這一切觸手可及。從「為什么有效」到「有效到什么程度」再到「如何輕松上手」，三項(xiàng)工作全面展示了 Steering 的價(jià)值。

什么是 Steering？給大模型裝一個(gè)「方向盤」

想象你正在駕駛一輛高性能的跑車。駕駛員（你）通過方向盤很容易就能調(diào)整車的行駛方向，只需要輕輕轉(zhuǎn)動(dòng)幾度，整個(gè)幾噸重的汽車就改變了方向。但如果你想改變發(fā)動(dòng)機(jī)的工作方式呢？比如讓它在高速時(shí)更省油，或者在爬坡時(shí)更有力？那可能就需要修改發(fā)動(dòng)機(jī)了。

大語言模型也面臨類似的問題：怎樣讓大模型按照我們的意圖行動(dòng)，而不需要「拆開發(fā)動(dòng)機(jī)」重新訓(xùn)練？

Steering（行為引導(dǎo)）就是答案。它指的是在模型推理階段，對(duì)模型內(nèi)部表示或激活進(jìn)行即時(shí)調(diào)控，以引導(dǎo)模型輸出符合預(yù)期目標(biāo)。簡(jiǎn)單來說，就像給大模型裝上了一個(gè)「方向盤」—— 輕輕一轉(zhuǎn)，模型就能改變輸出方向。

Steering 的應(yīng)用非常廣泛：改變模型的人格或情緒傾向、強(qiáng)化安全策略、調(diào)整語言風(fēng)格，甚至控制推理策略和知識(shí)編輯等等。本質(zhì)上，Steering 是在塑造 AI 的「信念」與「認(rèn)知傾向」。就像人類社會(huì)中，教育和文化塑造了一個(gè)人的價(jià)值觀和行為方式，Steering 則是在重新塑造 AI 的「價(jià)值觀」和行為模式。

舉個(gè)例子，模型原始回答冷冰冰，Steering 之后模型立刻可以變得熱情洋溢。不改變模型原有知識(shí)與能力，按需塑造輸出風(fēng)格與行為傾向—— 這就是 Steering 的魅力。

但關(guān)鍵問題來了：

• 為什么 Steering 能起作用？模型內(nèi)部到底發(fā)生了什么？
• Steering 的能力邊界在哪兒？什么時(shí)候有效，什么時(shí)候失效？如何系統(tǒng)評(píng)估？

浙大聯(lián)合阿里的兩篇論文，正是為了回答這兩個(gè)核心問題。

第一篇：為什么 Steering 能起作用？統(tǒng)一的機(jī)理解釋

• 論文鏈接：https://arxiv.org/pdf/2602.02343

五花八門的方法，背后有統(tǒng)一的原理嗎？

目前 Steering 方法可謂百花齊放 —— 有的修改前饋層參數(shù)，有的用低秩分解（LoRA），有的在各處激活上進(jìn)行干預(yù)。這些方法看似完全不同，但都能起作用。

這就像不同的醫(yī)生用不同的藥治同一種病，都能治好。那背后一定有某種共同的機(jī)制 ——找到這個(gè)機(jī)制，就是這篇論文的目標(biāo)。

核心發(fā)現(xiàn)一：統(tǒng)一視角 —— 殊途同歸的動(dòng)態(tài)權(quán)重更新

作者發(fā)現(xiàn)，無論是局部參數(shù)微調(diào)、LoRA 低秩更新，還是推理階段的激活干預(yù)，這些方法都可以被理解為：

在模型前向傳播過程中，對(duì)模型線性層權(quán)重進(jìn)行動(dòng)態(tài)更新，從而改變激活表示及其演化軌跡。

不同控制方法的核心差異，僅在于擾動(dòng)注入的位置、幅度和干預(yù)形式，而非作用機(jī)理本身。

如圖所示，任意線性層中：局部權(quán)重更新對(duì)應(yīng)權(quán)重矩陣的調(diào)整，LoRA 對(duì)權(quán)重進(jìn)行低秩更新，激活干預(yù)則對(duì)應(yīng)偏置項(xiàng)的調(diào)整。所有干預(yù)均可通過控制強(qiáng)度系數(shù)來調(diào)節(jié)強(qiáng)度，形式上可統(tǒng)一表示為：

核心發(fā)現(xiàn)二：三階段規(guī)律 ——Steering 不是越強(qiáng)越好

通過大量實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)逐步增大 Steering 強(qiáng)度時(shí)，模型行為會(huì)呈現(xiàn)出高度一致的三階段變化：

1. 線性可控區(qū)間：溫柔的引導(dǎo)

• Steering 強(qiáng)度較小時(shí)，模型偏好近似線性變化，效用基本保持穩(wěn)定；
• 就像輕轉(zhuǎn)方向盤，車平穩(wěn)地改變方向。

2. 過渡區(qū)間：開始不穩(wěn)定

• 強(qiáng)度進(jìn)一步增大，偏好變化偏離線性，效用出現(xiàn)波動(dòng)；
• 方向盤轉(zhuǎn)得有點(diǎn)猛，方向一步到位，但車開始晃。

3. 非線性崩塌區(qū)間：用力過猛

• 超過臨界點(diǎn)后，偏好與效用同時(shí)崩塌，模型輸出質(zhì)量急劇下降；
• 方向盤打死了，車直接失控。

關(guān)鍵啟示：Steering 存在一個(gè)「最優(yōu)權(quán)衡區(qū)間」?？刂菩Ч⒎窃綇?qiáng)越好，找到最優(yōu)強(qiáng)度才是關(guān)鍵。

核心發(fā)現(xiàn)三：激活流形假設(shè) —— 揭示深層機(jī)理

為什么不同方法會(huì)表現(xiàn)出相同的三階段規(guī)律？要回答這個(gè)問題，先要談一個(gè)重要背景。

此前，大模型 Steering 領(lǐng)域的一個(gè)主流假設(shè)是線性表征假說（Linear Representation Hypothesis），它認(rèn)為高層概念在模型的表征空間中以線性方向編碼。這也是 Steering 向量能夠起作用的直覺解釋 —— 找到一個(gè)概念對(duì)應(yīng)的方向，沿該方向推動(dòng)激活，就能引導(dǎo)模型行為。

然而，線性假說只能解釋「為什么能引導(dǎo)」，卻無法解釋「為什么會(huì)崩塌」。而且越來越多的研究表明，線性假設(shè)并不充分。

在這一背景下，作者引入了更進(jìn)一步的解釋 ——激活流形假設(shè)（Activation Manifold Hypothesis）：

在預(yù)訓(xùn)練與指令微調(diào)過程中，語言模型的有效激活狀態(tài)并非分布在整個(gè)高維空間中，而是集中在一個(gè)低維、連續(xù)且結(jié)構(gòu)化的「激活流形」附近。

可以說，線性假設(shè)是流形假設(shè)的局部近似，而流形假設(shè)揭示了更完整的圖景。

打個(gè)比方：大模型的「思考過程」發(fā)生在一個(gè)復(fù)雜的地形上，這個(gè)地形有山峰、山谷、通道。Steering 不是隨意改變地形或原地起飛，而是讓模型沿著地形上的「軌道」行走：輕推一把，模型沿軌道平穩(wěn)移動(dòng)（線性可控）；推過頭了，模型被推離軌道，「脫軌」就崩塌了。

這一假設(shè)為后續(xù)的控制現(xiàn)象提供了幾何層面的解釋。

• 弱 Steering：模型在流形上小幅移動(dòng)，行為可控；
• 中等 Steering：模型沿流形方向走到最優(yōu)點(diǎn)，效果最好；
• 強(qiáng) Steering：模型被推離流形，「脫軌」導(dǎo)致崩塌。

在激活流形假設(shè)下，這些不同控制方法呈現(xiàn)相似規(guī)律并不意外：

• 它們本質(zhì)上都在沿某一方向推動(dòng)激活狀態(tài)；
• 只要推動(dòng)方向在期望行為方向上存在投影，期望行為隨著縮放系數(shù)變化近似線性；
• 與此同時(shí)，推動(dòng)方向或幅度使激活脫離流形，導(dǎo)致激活有效性衰減，非線性退化不可避免。

這為不同控制方法的共性行為，提供了統(tǒng)一的機(jī)制解釋。

有趣的是，神經(jīng)科學(xué)領(lǐng)域也有類似發(fā)現(xiàn)：人腦的神經(jīng)群體活動(dòng)同樣存在集中在低維流形的現(xiàn)象，而非利用所有可能的神經(jīng)狀態(tài)。大模型與生物神經(jīng)網(wǎng)絡(luò)在這一點(diǎn)上的相似性，頗為耐人尋味。

在該假設(shè)基礎(chǔ)上，作者進(jìn)一步將「激活脫離流形后有效性全局衰減」這一機(jī)制形式化，提出了有效性衰減公式，并將其融入 Steering 強(qiáng)度與模型行為的關(guān)系建模中，成功擬合了三階段變化規(guī)律，具體細(xì)節(jié)詳見論文。

從理論到實(shí)踐：SPLIT 方法

基于上述機(jī)理，作者提出了SPLIT方法。訓(xùn)練目標(biāo)由效用損失（保持模型能力）和偏好損失（增強(qiáng)目標(biāo)行為傾向）兩部分組成。核心思想是在增強(qiáng)偏好的同時(shí)，延緩激活脫離流形所導(dǎo)致的非線性崩塌，從而擴(kuò)展線性可控區(qū)間的范圍。

實(shí)驗(yàn)表明，SPLIT 在多個(gè)模型（Gemma、Qwen 等）和多個(gè)任務(wù)上均表現(xiàn)出色，有效擴(kuò)展了可控區(qū)間。

第二篇：大模型到底有多可控？首個(gè) Steering 系統(tǒng)評(píng)估框架

論文鏈接：https://arxiv.org/pdf/2603.02578

第一篇論文解釋了「為什么 Steering 能工作」。但緊接著一個(gè)更實(shí)際的問題浮出水面：在真實(shí)場(chǎng)景中，Steering 到底有多好用？它的能力邊界在哪兒？

為什么需要更全面系統(tǒng)的評(píng)估？

以往的研究往往只在單一任務(wù)或單一粒度上測(cè)試 Steering。有人說「我用 Steering 改了模型性格」，有人說「我用 Steering 提升了安全性」—— 但改了多少？在什么條件下有效？換個(gè)場(chǎng)景還行不行？

沒有統(tǒng)一的評(píng)估標(biāo)準(zhǔn)，就無法真正理解 Steering 的能力和局限。

SteerEval 框架：多領(lǐng)域 × 三粒度的評(píng)估體系和自動(dòng)化基準(zhǔn)數(shù)據(jù)合成框架

作者提出了SteerEval框架，從多個(gè)行為領(lǐng)域和三個(gè)粒度層級(jí)全面評(píng)估大模型的可控性。

多個(gè)行為領(lǐng)域：

• Personality（人格特征）：能否讓模型穩(wěn)定表現(xiàn)出特定「人設(shè)」？如更友善、更謹(jǐn)慎、更直率；
• Sentiment（情感傾向）：能否精確控制模型的情感色彩？如從積極到消極的細(xì)粒度調(diào)控；
• Language Features（語言特征）：能否改變模型的表達(dá)方式？如正式 / 口語 / 學(xué)術(shù)風(fēng)格的切換；

三個(gè)粒度層級(jí)（借鑒神經(jīng)科學(xué)家 David Marr 的三層分析框架）：

Marr 在上世紀(jì) 80 年代提出，理解任何信息處理系統(tǒng)（包括人腦）都應(yīng)從三個(gè)層級(jí)入手：計(jì)算目標(biāo)是什么、用什么算法實(shí)現(xiàn)、具體如何執(zhí)行。

作者將這一經(jīng)典框架巧妙地移植到 LLM 行為評(píng)估中，定義了三層行為粒度：

• L1: Computational Level（表達(dá)什么）

行為目標(biāo) / 意圖層級(jí)，如「表現(xiàn)出熱情」

• L2: Algorithmic Level（如何表達(dá)）

行為策略與模式層級(jí)，如「使用主動(dòng)語態(tài)和充滿活力的贊美」

• L3: Implementational Level（如何實(shí)例化）

具體文本實(shí)現(xiàn)層級(jí)，如「必須包含兩次 'hooray'」

打個(gè)比方：核心目標(biāo)是讓模型「更友善」——L1 看它是不是整體都變友善了，L2 看它是通過什么方式表現(xiàn)友善的，L3 看它在每一句具體回復(fù)中是否使用了指定用詞表現(xiàn)友善。

整個(gè)基準(zhǔn)包含7560 條數(shù)據(jù)，涵蓋多個(gè)主流大模型。

關(guān)鍵發(fā)現(xiàn)：粒度越細(xì)，控制越難

Steering 的控制能力隨著粒度細(xì)化而顯著衰減！

• 在宏觀層面（L1），Steering 效果很好，甚至能優(yōu)于基于提示的方法；
• 到了中觀層面（L2），開始有損失；
• 到了微觀層面（L3），效果明顯下降。

這意味著什么？你讓模型「變友善」這種粗粒度目標(biāo)很容易實(shí)現(xiàn)。但如果你想讓模型「用『您好』表達(dá)友善」，那就很難做到了。

這個(gè)發(fā)現(xiàn)的意義在于：

• Steering 在宏觀層面相當(dāng)可靠，可以放心用于粗粒度的行為控制；
• 但細(xì)粒度的精確控制仍是當(dāng)前方法的瓶頸，也是未來研究的重要方向；
• 實(shí)際應(yīng)用中需要根據(jù)場(chǎng)景選擇合適的控制粒度。

工具賦能：EasyEdit2—— 一站式 Steering 開源框架

上述兩篇論文的所有實(shí)驗(yàn)，均基于浙大團(tuán)隊(duì)此前開源的EasyEdit2框架實(shí)現(xiàn)。

開源工具鏈接：https://github.com/zjunlp/EasyEdit/blob/main/README_2.md

EasyEdit2 是一個(gè)專為大模型行為控制設(shè)計(jì)的開源工具框架，核心特點(diǎn)包括：

• 即插即用：無需改動(dòng)模型源代碼，支持 LLaMA、Mistral 等主流大模型；
• 方法全面：集成了多種 Steering 方法（激活干預(yù)、LoRA、SPLIT 等）；
• 評(píng)估內(nèi)置：集成 SteerEval 評(píng)估體系，從向量生成到效果驗(yàn)證的完整鏈路；
• 向量庫(kù)：提供預(yù)訓(xùn)練的 Steering 向量，開箱即用。

兩篇論文與 EasyEdit2 形成了一個(gè)完整的研究閉環(huán)：機(jī)理論文提供理論基礎(chǔ) → EasyEdit2 提供實(shí)現(xiàn)工具 → 評(píng)估論文驗(yàn)證能力邊界。

無論是想復(fù)現(xiàn)上述工作，還是想在自己的項(xiàng)目中實(shí)驗(yàn) Steering，EasyEdit2 都是最直接的起點(diǎn)。

總結(jié)與展望

本文介紹了浙大聯(lián)合阿里在大模型 Steering 方向的兩項(xiàng)系統(tǒng)性工作：

• 機(jī)理層面：首次提出統(tǒng)一視角，揭示了不同 Steering 方法的共性機(jī)制（動(dòng)態(tài)權(quán)重更新 → 三階段規(guī)律 → 激活流形假設(shè)），并提出 SPLIT 方法擴(kuò)展可控區(qū)間；
• 評(píng)估層面：構(gòu)建了首個(gè)多維度、多粒度的 Steering 評(píng)估框架 SteerEval，發(fā)現(xiàn)了「控制衰減」現(xiàn)象，為 Steering 研究提供了統(tǒng)一的評(píng)估標(biāo)準(zhǔn)；
• 工具層面：開源框架 EasyEdit2 讓 Steering 的實(shí)驗(yàn)與應(yīng)用觸手可及。

隨著 AI 能力的持續(xù)增強(qiáng)，如何確保其行為可控、可預(yù)測(cè)、可信賴，已不僅是技術(shù)問題，更關(guān)乎安全與治理。

Steering 本質(zhì)上是對(duì) AI「認(rèn)知」與「信念」的精準(zhǔn)調(diào)控 —— 掌握這種控制能力，將是保障 AI 安全對(duì)齊的關(guān)鍵一環(huán)。

作者介紹

徐子文，目前就讀于浙江大學(xué)人工智能專業(yè)，碩士二年級(jí)，研究方向?yàn)榇笳Z言模型、模型編輯與干預(yù)、大模型機(jī)理與安全等等。已在 ACL、EMNLP 等頂級(jí)會(huì)議上發(fā)表論文若干，本文介紹的三篇論文均為第一作者。目前在阿里安全 AGI 實(shí)驗(yàn)室御風(fēng)大模型團(tuán)隊(duì)實(shí)習(xí)。