這項由香港科技大學研究團隊完成的研究以預印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.16826，有興趣深入了解的讀者可通過該編號查詢完整論文。

現(xiàn)在的AI大模型，就像一個擁有超強學習能力的學生。你可以專門訓練它學數學、學編程、學金融或者學醫(yī)學，每個方向都能訓練出一個"?？聘呤?。但問題來了——如果你想要一個既懂數學、又懂編程、還通曉金融和醫(yī)學的"全能選手"，怎么辦？

最笨的辦法是把所有領域的數據混在一起，重新從頭訓練一遍。但這太費時費力了，而且你已經有了好幾個訓練好的"?？聘呤?，直接把他們"合并"成一個人不好嗎？這就是AI領域里一個叫做"模型合并"的技術方向——把多個分別訓練好的AI模塊拼在一起，期望得到一個集所有本領于一身的綜合體。

然而現(xiàn)實總是很骨感。每次合并之后，效果往往比預期差很多，甚至還不如單獨的?？颇K。這就像你把幾位廚師合并成一個人，結果他連一道菜都做不好。研究人員們?yōu)榇私g盡腦汁：到底是哪個環(huán)節(jié)出了問題？

香港科技大學的研究團隊決定追根溯源，找出模型合并失敗的真正原因。他們的發(fā)現(xiàn)出乎意料——問題不是出在整體合并過程中，而是藏在AI模塊內部一個叫做"B矩陣"的小零件里。更關鍵的是，他們由此開發(fā)出了一種叫做**Pico**的修復方法，用極低的成本讓合并效果大幅提升，甚至超越了從頭聯(lián)合訓練的效果。

一、先搞清楚AI的"技能模塊"是怎么工作的

要理解這個研究，先得明白現(xiàn)代AI是怎么"學習新技能"的。

大型語言模型（可以理解為ChatGPT這類AI的底層結構）的參數量高達數十億甚至數百億。如果每次學習一個新領域都要調整所有參數，代價極為高昂。于是有人發(fā)明了一種叫做**LoRA**（低秩適配，Low-Rank Adaptation）的技巧。

可以把AI的整個知識體系比作一本厚厚的百科全書。LoRA的做法是：不去修改這本百科全書本身，而是在旁邊放一張薄薄的便利貼，上面只寫著"這個領域的補充知識"。這張便利貼極其精簡，只占原書體積的極小一部分，卻能讓AI在某個特定領域表現(xiàn)得非常出色。

從數學角度講，這張"便利貼"被寫成兩個矩陣的乘積，記作 ΔW = B × A。其中A矩陣負責把輸入信息"壓縮"進一個低維空間，B矩陣再把這個低維表示"展開"回輸出空間。兩個矩陣的乘積就是實際生效的"知識補丁"。

由于LoRA模塊體積極小，如今網上有成千上萬個針對不同領域、不同任務訓練好的LoRA模塊，就像一個巨大的"技能庫"。把這些模塊合并，理論上就能得到一個多面手。但合并之后效果變差這個問題，一直困擾著研究者。

二、抽絲剝繭：問題到底藏在哪里

研究團隊做了一件很有意思的事情——他們不去籠統(tǒng)地研究"合并為什么失敗"，而是把問題拆解到更細的層面：ΔW = B × A這個便利貼里，是A出了問題，還是B出了問題，還是兩個都有問題？

為此，他們專門訓練了四個領域的LoRA模塊：數學推理、代碼編寫、金融分析、醫(yī)學問答，都基于同一個基礎模型（Llama-3.1-8B）。然后，他們測量了這四個模塊之間的"相似程度"——具體來說，就是看不同模塊的A矩陣之間有多相似，B矩陣之間又有多相似。

這里有個關鍵概念叫做"子空間重疊度"，可以用更通俗的方式理解：假設每個LoRA模塊在一個多維空間里"占據"了一片領土。如果兩個模塊的領土大量重疊，說明它們在用幾乎相同的方向存儲知識；如果幾乎不重疊，說明它們各自開辟了獨立的知識空間。

測量結果令人驚訝。A矩陣的情況還好——數學、編程、金融、醫(yī)學四個領域的A矩陣彼此之間重疊極小，就像四個人各自在城市不同角落圈了一塊地，互不干擾。但B矩陣的情況完全不同——四個領域的B矩陣高度重疊，就好像這四個人不約而同地都擠進了城市中心的同一塊黃金地段，大家都在用幾乎相同的幾個方向來表達自己的知識。

這種差異隨著LoRA的"秩"（可以理解為便利貼的厚度，越厚能存的信息越多）增大而愈發(fā)明顯。在秩為8時，B矩陣的平均重疊度已經是A矩陣的4到5倍；當秩增大到64時，查詢投影模塊中B矩陣的平均重疊度達到0.0839，而A矩陣只有0.0172。而且這個規(guī)律幾乎沒有任何例外——在研究者測量的所有層、所有模塊配對中，B矩陣的重疊度幾乎總是高于A矩陣。

更值得關注的是第二個發(fā)現(xiàn)：B矩陣不僅重疊度高，而且它實際使用的方向數量極少。用專業(yè)術語說就是B矩陣的"有效秩"很低。在秩為64的情況下，B矩陣的平均有效秩只有約2.9，而A矩陣的有效秩高達6.5。這意味著什么？意味著即使便利貼理論上有64層，B矩陣實際上只在用其中大約3層來存儲信息。而這僅僅3層，恰好是所有領域共用的那幾層。

研究團隊還進一步分析了這些共享方向的"貢獻度分布"。以第16層查詢投影矩陣為例，把四個領域的B矩陣疊加在一起做分析后發(fā)現(xiàn)，排名第一的共享方向就占據了總能量的相當大比例，前3個共享方向合計占53.7%的能量，前5個就達到了68.8%。換句話說，將近七成的"共享知識"都擠在了最前面的5個方向里。

而且這些共享方向并不是平等地來自各個領域——金融、數學、醫(yī)學對這些主導方向的貢獻明顯多于編程領域。這就意味著在合并時，那些對共享方向貢獻少的領域（比如編程），其特有知識更容易被淹沒。

三、為什么合并會失?。阂粋€簡單的數學道理

理解了上面的發(fā)現(xiàn)之后，合并失敗的原因就很清楚了。

回到便利貼的比喻。假設數學模塊的B矩陣有一個方向特別突出，叫做"方向X"，其強度為3分。金融模塊的B矩陣也有"方向X"，強度也是3分。醫(yī)學和編程也類似。當你把四個模塊直接平均合并時，"方向X"在合并結果里的強度就變成了4×3÷4=3分（完整保留），但每個模塊各自獨有的特異方向，在合并時被稀釋為原來的四分之一，只剩0.75分。

原本"共享方向"和"專屬方向"的比例是3:3，合并后變成了3:0.75，也就是4:1。共享的知識被放大了，專屬的知識被壓縮了。任務數越多，這種失衡就越嚴重——任務數為T時，這個比例就會擴大T倍。這就是為什么合并后的AI在每個具體領域都變差了：各領域的獨特知識被稀釋成了零頭，而那些所有領域通用的、反復被累加的方向卻主導了整個合并結果。

更糟糕的是，這個問題主要集中在B矩陣里，而現(xiàn)有的合并方法幾乎沒有人專門針對B矩陣做處理——大家都是把ΔW=B×A當作一個整體來操作，完全沒有區(qū)分A和B各自扮演的不同角色。

四、Pico：一針見血的修復方案

既然問題主要出在B矩陣的少數幾個方向被過度共享，修復思路也就順理成章了：在合并之前，先把B矩陣里那些被共享過頭的方向適當"降調"，讓它們不要那么強勢，給各領域的專屬方向留出更多空間。

Pico（Pre-merge Interference Calibration in Output-space，合并前輸出空間干擾校準）的工作流程可以分成四個環(huán)節(jié)，就像一個調音師在樂隊合奏前先檢查每件樂器的音量是否合理。

第一步，識別共享方向。對于模型的每一層，Pico把所有領域的B矩陣橫向拼接在一起，然后對這個拼接后的大矩陣做奇異值分解（SVD）。通過這個分解，就能得到一組"共同基向量"，以及每個基向量被使用的強度（奇異值）。這就像把樂隊所有樂器的聲音錄下來，分析哪些頻率出現(xiàn)得最頻繁、最響亮。

第二步，計算校準系數。對于每個共享方向，Pico計算一個"共享程度分數"——這個方向在整體能量中占多大比例。占比越高，說明它越是被各領域共同依賴的"公共方向"。然后根據這個分數，計算一個縮放系數：完全不共享的方向（分數接近0）保持不變，縮放系數接近1；而占據主導地位的共享方向則被壓縮，縮放系數向1/T靠近（T是要合并的模塊數量）。這就像調音師把過于響亮的頻率適當調低，讓各種聲音更加均衡。

第三步，應用校準并合并。用這些縮放系數構建一個校準算子，直接作用在每個領域的B矩陣上，產生"校準后的B矩陣"，再重新組合成校準后的更新量。然后再用常規(guī)的合并方法（比如任務算術、TIES或TSV-M）對這些校準后的更新量進行合并。關鍵在于，A矩陣完全不動——因為A矩陣各領域之間本來就差異足夠大，不需要校準。

第四步，重新調整幅度。校準過程會壓縮一些方向，導致合并后的更新量整體"變輕"了——就像調低了所有樂器的音量。為了保證合并后的AI仍然有足夠的"力度"，Pico最后會把合并結果乘以一個縮放因子，使其幅度恢復到原始各領域模塊的平均水平。

整個Pico流程完全不需要任何額外的訓練數據，只需要原有的各領域LoRA模塊本身，計算代價也很低——每層只需要做一次SVD分解，以及對每個模塊的B矩陣做一次矩陣乘法。它不是一個全新的合并方法，而是一個可以"插件式"地接在任何現(xiàn)有合并方法前面的預處理步驟。

五、實驗結果：數字背后的故事

研究團隊在四個領域（數學、編程、金融、醫(yī)學）共八個基準測試上進行了全面評估。數學領域用的是GSM8K和MATH兩個測試集，編程用HumanEval和MBPP，金融用FinanceBench和ConvFinQA，醫(yī)學用PubMedQA和MedQA-USMLE。訓練數據方面，每個領域從各自的專業(yè)數據集中抽取了5萬條樣本進行訓練，保證各領域條件的公平可比。

在對比的現(xiàn)有方法中，除了"不做任何校準直接合并"的基線，還包括了幾種當前最先進的合并優(yōu)化技術：DARE（通過稀疏化減少沖突）、DELLA（基于參數幅度的采樣策略）、KnOTS（在共享奇異向量基礎上對齊再合并）、Core Space（在共享子空間中進行低秩合并）。

在三種主流合并框架（任務算術、TIES、TSV-M）上，Pico的提升效果都非常顯著。以"任務算術"為基礎合并框架時，不加校準的基線整體平均分是0.4093，加上Pico后提升到0.4430，絕對提升3.4個百分點，遠超DARE（0.4186）、DELLA（0.4089）、KnOTS（0.4088）和Core Space（0.4065）。

"TIES"框架的基線更低，只有0.3859，加上Pico后躍升至0.4328，絕對提升4.7個百分點，其中醫(yī)學領域的平均分更是從0.5241大幅提高到0.6116。"TSV-M"框架的基線最低，僅有0.3473，加上Pico后達到0.4305，絕對提升8.3個百分點——這個框架原本因為在低秩奇異向量空間中操作，與B矩陣的共享方向問題高度耦合，所以受益最大。在編程領域，TSV-M的基線只有可憐的0.1570，Pico加持后直接翻近一倍達到0.2942。

另一個頗具說服力的對比是與"聯(lián)合多任務訓練"的比較。如果把四個領域的數據全部混在一起，訓練一個統(tǒng)一的LoRA模塊，整體平均分是0.3688。而Pico加任務算術的合并結果達到了0.4430，比聯(lián)合訓練高出7.4個百分點。這說明在這個實驗設置下，精心校準過的合并方法不僅節(jié)省了重新訓練的成本，實際效果還超過了從零開始的聯(lián)合訓練。

各個單領域專家模塊的數據也很有意思：數學LoRA在數學領域平均0.2830，但編程只有0.1090，醫(yī)學只有0.3665；編程LoRA在編程領域最強（0.3598），但在其他領域都比較一般。這種"各自為政、互不兼容"的格局，正是模型合并的價值所在。而Pico合并后的模型在每個領域都能拿到相當不錯的分數，真正實現(xiàn)了多面均衡。

六、細節(jié)追究：每個設計選擇都有理由

研究團隊還通過消融實驗（也就是逐步去掉某個設計組件，看效果如何變化）驗證了Pico各個環(huán)節(jié)的必要性。

在校準空間的選擇上，他們對比了四種方案：只校準A矩陣、只校準B矩陣、同時校準整個ΔW=B×A、以及Pico的做法（只校準B）。結果清楚地顯示，只校準B矩陣的效果最好（整體均分0.4430），而校準A矩陣反而讓效果變差（0.3916），同時校準整個更新量的效果更差（0.3743）。這與理論分析完全一致——A矩陣各領域本來就差異顯著，貿然壓縮共享方向會破壞有用的領域特異性；而B矩陣才是真正堆積了過多共享信息的地方。

關于最后的幅度恢復步驟，有沒有必要？實驗給出了明確答案。去掉幅度恢復后，整體均分從0.4430下降到0.3908，盡管方向已經校準好了。有趣的是，去掉幅度恢復后金融領域的分數反而從0.5431微升至0.5646，但編程和醫(yī)學領域卻大幅下降。原因在于方向校準壓縮了共享信號，使得整體更新量"太輕"，在某些領域尚可接受，但在另一些依賴足夠強信號的領域就會明顯掉分。幅度恢復確保了校準后的合并結果不會因為整體信號太弱而失效。

在不同LoRA秩（8、16、32、64）的魯棒性測試中，Pico在所有設置下都保持了最強的表現(xiàn)。特別值得關注的是TSV-M框架：在沒有校準的情況下，隨著秩從16增大到32再到64，TSV-M的整體均分從0.3473一路下滑至0.3206，再跌到0.2926——秩越大，B矩陣的共享問題越嚴重，TSV-M受到的沖擊也越大。而Pico加持下的TSV-M則穩(wěn)定保持在0.43以上，完全抵抗了這種隨秩增大的性能衰減。

團隊還在不同的基礎模型上驗證了Pico的遷移性。在Qwen3-4B-Base上重復了同樣的四領域對比實驗，結果與主實驗高度一致：不加校準的基線是0.4881，Pico提升至0.5557，提升幅度約6.8個百分點，同樣是所有對比方法中最好的。

漸進式合并實驗則考察了一個更貼近實際應用的場景：如果你有一個編程模塊，然后陸續(xù)往里加入金融、醫(yī)學、數學、法律……每次加入一個新模塊后，原有的編程能力會保留多少？實驗結果顯示，不加校準的方法隨著合并數量增加變得越來越不穩(wěn)定——有時候加進一個新模塊反而會讓編程分數提升（因為新模塊的某些知識對編程有幫助），但總體上波動很大。Pico則在合并數量從2增加到6的全過程中始終保持最高的編程平均分，而且相對穩(wěn)定，表現(xiàn)出更強的魯棒性。

七、為什么現(xiàn)有方法不夠用，Pico的位置在哪里

在相關工作的梳理中，研究團隊仔細區(qū)分了Pico與現(xiàn)有方法的本質不同。

現(xiàn)有大多數合并優(yōu)化方法，無論是DARE的參數稀疏化、DELLA的幅度采樣、TIES的符號沖突解決，還是KnOTS和Core Space的共享空間對齊，都是在把ΔW=B×A當作一個整體來處理。它們要么在整個參數矩陣上做篩選，要么在完整的更新量上做對齊，從來沒有追問：這個更新量內部，是A的問題還是B的問題？

Pico的獨特之處恰恰在于它把問題的根源追溯到了LoRA分解內部。它不是改變合并策略，而是在合并之前先修正B矩陣——去掉那些會在合并時被反復累加的共享方向，讓每個領域的B矩陣更專注于自己真正獨特的信息。正因為Pico是一個預處理步驟而不是一個新的合并算法，它才能無縫地插接在任何現(xiàn)有合并方法前面，而不需要改變任何下游邏輯。

與另一個相關工作SVC（Li et al., 2026）相比，后者也關注了合并后奇異方向被過度累積的問題，但其做法是在合并之后對結果進行光譜校正。Pico則是在合并之前就處理，且明確針對的是B矩陣這個特定來源。兩者的出發(fā)點不同，作用階段也不同。

歸根結底，這項研究揭示了一個此前被集體忽視的事實：LoRA模塊里的A和B并不是對等的，它們在訓練過程中扮演著非常不同的角色，因此在合并時也應該被區(qū)別對待。把它們當成一個整體來處理，就像你要合并兩支樂隊，卻只關注總體音量，忽略了各個樂器的特性——結果必然是一團混響。

Pico的做法就是在合并前先認真審視B矩陣的"頻譜"，把那些被所有樂隊共同過度使用的頻率適當壓制，然后再讓各樂隊合并演奏。最終，樂隊融合后的聲音既保留了每支樂隊的特色，又有了令人滿意的整體效果。

這項研究給整個模型合并領域帶來的最大啟示，或許不僅僅是Pico這個具體方法，而是一種新的思考方式：當一個復雜系統(tǒng)出現(xiàn)問題時，不要只在表面層面修補，要敢于深入到內部結構，找到真正的不對稱性，然后有針對性地處理。換句話說，對癥下藥總比全身用藥更有效。

對于關心AI技術發(fā)展的普通讀者來說，這項研究的意義在于：它讓"把多個專業(yè)AI模塊合并成一個多面手"這件事變得更加可行和高效。未來，當我們想要一個既能幫你寫代碼、又能回答醫(yī)學問題、還能做財務分析的AI助手時，也許只需要把幾個分別訓練好的小模塊合并一下，加上Pico這樣的校準步驟，就能得到一個真正稱職的全能助手——而不需要耗費巨大資源重新訓練一個從零開始的大模型。

Q&A

Q1：LoRA模型合并為什么總會導致性能下降？

A：LoRA合并失敗的核心原因在于B矩陣（輸出側矩陣）中存在大量被各任務共享的方向。當多個模塊直接合并時，這些共享方向被反復累加，在最終合并結果中占據主導地位，而每個任務各自獨特的專屬知識則被大幅稀釋，導致合并后的模型在每個具體領域都表現(xiàn)下降。

Q2：Pico方法需要額外的訓練數據嗎？

A：不需要。Pico是一種完全數據無關的預處理方法，只需要原有的各領域LoRA模塊本身，通過對B矩陣做奇異值分解（SVD）來識別并校準過度共享的方向，不依賴任何額外的訓練數據，計算代價也很低。

Q3：Pico合并的效果能超過把所有數據混在一起重新訓練的聯(lián)合模型嗎？

A：在該研究的實驗設置下，Pico加任務算術的合并結果（整體均分0.4430）比聯(lián)合多任務訓練的結果（0.3688）高出約7.4個百分點。也就是說，經過校準的合并方法不僅節(jié)省了重新訓練的成本，實際效果還超過了從零開始的聯(lián)合訓練。