這項(xiàng)由香港大學(xué)領(lǐng)導(dǎo)的研究發(fā)表于2026年3月的預(yù)印本論文（論文編號：arXiv:2603.01683v1），為解決人工智能訓(xùn)練中的一個(gè)經(jīng)典難題提供了創(chuàng)新解決方案。有興趣深入了解的讀者可以通過該論文編號查詢完整論文。

當(dāng)我們教會AI新技能時(shí)，往往會遇到一個(gè)令人頭疼的問題：就像一個(gè)學(xué)生在學(xué)新課程時(shí)把以前學(xué)過的知識都忘得一干二凈。這種現(xiàn)象在AI領(lǐng)域被稱為"災(zāi)難性遺忘"。香港大學(xué)的研究團(tuán)隊(duì)提出了一種叫做"外科手術(shù)式訓(xùn)練"（SPOT）的新方法，就像醫(yī)生做精密手術(shù)一樣，只修復(fù)AI推理中的錯(cuò)誤部分，而不破壞它原本的知識結(jié)構(gòu)。

這項(xiàng)研究的核心發(fā)現(xiàn)是，傳統(tǒng)的AI訓(xùn)練方法就像用大錘敲核桃，雖然能解決問題，但會造成不必要的損傷。研究團(tuán)隊(duì)開發(fā)的新方法更像是用精密的手術(shù)刀，只在需要修正的地方動刀，其他部分保持完好無損。通過這種方法，他們讓一個(gè)名為Qwen3-8B的AI模型在數(shù)學(xué)推理能力上提高了6.2個(gè)百分點(diǎn)，而且只用了28分鐘的訓(xùn)練時(shí)間。

一、為什么AI會"忘記"以前學(xué)過的東西

當(dāng)我們訓(xùn)練AI學(xué)習(xí)新技能時(shí)，就像教一個(gè)健忘的學(xué)生。這個(gè)學(xué)生很聰明，學(xué)新東西很快，但有個(gè)致命弱點(diǎn)：每次學(xué)新知識時(shí)，都會把以前學(xué)過的東西覆蓋掉一部分。

傳統(tǒng)的訓(xùn)練方法主要分為兩種。第一種叫做"監(jiān)督微調(diào)"，就像給學(xué)生一本標(biāo)準(zhǔn)答案，讓他反復(fù)練習(xí)直到能背出來。這種方法的問題是，學(xué)生會過分專注于新題目，把以前掌握的解題方法都忘了。第二種是"強(qiáng)化學(xué)習(xí)"，更像是讓學(xué)生自己摸索，做對了給獎勵(lì)，做錯(cuò)了給懲罰。這種方法雖然不容易忘記舊知識，但需要大量的試錯(cuò)時(shí)間，就像讓學(xué)生把每道題都做一百遍才能找到正確答案。

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：即使用完全相同的學(xué)習(xí)材料，不同的訓(xùn)練方式會產(chǎn)生截然不同的結(jié)果。當(dāng)他們讓AI用傳統(tǒng)方法學(xué)習(xí)時(shí)，AI的通用能力（比如理解指令的能力）會明顯下降。但如果換一種訓(xùn)練方式，AI不僅能學(xué)會新技能，還能保持原有的能力。

這個(gè)發(fā)現(xiàn)引發(fā)了一個(gè)關(guān)鍵問題：到底是學(xué)習(xí)材料本身的問題，還是學(xué)習(xí)方式的問題？研究團(tuán)隊(duì)通過精心設(shè)計(jì)的對比實(shí)驗(yàn)發(fā)現(xiàn)，學(xué)習(xí)方式比學(xué)習(xí)材料更重要。就算給AI提供最接近它原本知識結(jié)構(gòu)的學(xué)習(xí)材料，如果用錯(cuò)誤的訓(xùn)練方式，它依然會忘記以前學(xué)過的東西。

二、發(fā)現(xiàn)AI訓(xùn)練中的"彈性拴繩"機(jī)制

為了理解為什么不同的訓(xùn)練方式會產(chǎn)生如此不同的結(jié)果，研究團(tuán)隊(duì)深入分析了AI學(xué)習(xí)過程中的數(shù)學(xué)原理。他們發(fā)現(xiàn)了一個(gè)重要的機(jī)制，可以比作"彈性拴繩"。

在傳統(tǒng)的監(jiān)督訓(xùn)練中，就像用一根僵硬的繩子拉動AI朝著目標(biāo)前進(jìn)。不管AI離目標(biāo)有多近，這根繩子都會用同樣的力度拉扯，結(jié)果往往是用力過猛，把AI拉過了頭。這就像騎自行車時(shí)剎車失靈，明明只需要輕踩一下，卻一腳踩到底，結(jié)果摔了個(gè)跟頭。

而研究團(tuán)隊(duì)發(fā)現(xiàn)的好方法就像使用了一根"彈性拴繩"。當(dāng)AI距離目標(biāo)很遠(yuǎn)時(shí)，這根繩子會用力拉扯，幫助AI快速接近目標(biāo)。但當(dāng)AI已經(jīng)很接近目標(biāo)時(shí)，繩子的拉力會自動減弱，甚至接近于零，這樣就避免了過度調(diào)整。

具體來說，當(dāng)AI對某個(gè)答案的把握程度很高時(shí)（比如它認(rèn)為自己有99%的把握答對），傳統(tǒng)方法還會繼續(xù)強(qiáng)迫它提高到99.9%，這種過度優(yōu)化就會破壞AI的其他能力。而"彈性拴繩"機(jī)制會在AI達(dá)到合理的把握程度后自動停止調(diào)整，就像一個(gè)有經(jīng)驗(yàn)的教練知道什么時(shí)候該停止訓(xùn)練一樣。

研究團(tuán)隊(duì)通過數(shù)學(xué)分析證明了這種機(jī)制的有效性。他們發(fā)現(xiàn)，當(dāng)AI的表現(xiàn)已經(jīng)足夠好時(shí)，傳統(tǒng)方法的更新力度仍然是1.0，而彈性拴繩機(jī)制的更新力度會降低到0.000045，減少了兩萬多倍。這種巨大的差異解釋了為什么不同的訓(xùn)練方式會產(chǎn)生如此不同的結(jié)果。

三、精密的"外科手術(shù)"數(shù)據(jù)處理流程

光有好的訓(xùn)練機(jī)制還不夠，研究團(tuán)隊(duì)還開發(fā)了一套精妙的數(shù)據(jù)處理流程，就像外科醫(yī)生在手術(shù)前的精心準(zhǔn)備。

這個(gè)流程的核心思想是"最小化干預(yù)"。就像醫(yī)生做手術(shù)時(shí)只切除病變組織，保留健康部分一樣，研究團(tuán)隊(duì)設(shè)計(jì)了一種方法，只修正AI推理過程中的錯(cuò)誤步驟，而保持正確部分不變。

整個(gè)過程分為三個(gè)步驟。首先是"錯(cuò)誤收集"階段，研究團(tuán)隊(duì)讓AI嘗試解決數(shù)學(xué)問題，收集它犯錯(cuò)的案例。這就像醫(yī)生先進(jìn)行全面體檢，找出患者的所有問題點(diǎn)。

接下來是"精準(zhǔn)修復(fù)"階段，這是整個(gè)流程的關(guān)鍵。研究團(tuán)隊(duì)引入了一個(gè)"指導(dǎo)老師"（可以是人類專家或更強(qiáng)大的AI模型），讓它扮演外科醫(yī)生的角色。這個(gè)指導(dǎo)老師會仔細(xì)分析AI的錯(cuò)誤答案，找出具體在哪一步出了問題，然后進(jìn)行最小化的修正。比如，如果AI在計(jì)算"250÷20"時(shí)得出了"125"這個(gè)錯(cuò)誤答案，指導(dǎo)老師不會重寫整個(gè)解題過程，而是只把這一步修正為"12.5"，保持其他所有步驟不變。

最后是"質(zhì)量控制"階段，研究團(tuán)隊(duì)使用了一種叫做"最長公共子序列"的技術(shù)來確保修正后的答案確實(shí)與原答案足夠相似。他們設(shè)定了一個(gè)標(biāo)準(zhǔn)：修正后的答案與原答案的相似度必須超過40%。這就像確保手術(shù)后的器官仍然保持大部分原有功能一樣。

通過這種精密的處理流程，研究團(tuán)隊(duì)生成了大量"近距離正確答案"。這些答案與AI原本的錯(cuò)誤答案在表達(dá)方式、推理風(fēng)格等方面幾乎完全一致，只在關(guān)鍵的錯(cuò)誤步驟上有所不同。這種高度的相似性確保了訓(xùn)練過程不會對AI的整體知識結(jié)構(gòu)造成沖擊。

四、突破傳統(tǒng)排序方法的二元分類訓(xùn)練

傳統(tǒng)的AI偏好訓(xùn)練就像讓AI在兩個(gè)選項(xiàng)中選擇"哪個(gè)更好"，但這種相對比較的方式對數(shù)學(xué)推理這樣有明確對錯(cuò)標(biāo)準(zhǔn)的任務(wù)并不理想。研究團(tuán)隊(duì)提出了一種全新的訓(xùn)練方式，把問題轉(zhuǎn)化為簡單的"對"或"錯(cuò)"判斷。

這種轉(zhuǎn)變的重要性可以用考試來類比。傳統(tǒng)方法就像讓學(xué)生在兩道題中選擇"哪道題做得相對更好"，即使兩道題都有錯(cuò)誤，學(xué)生也必須選出一個(gè)"較優(yōu)"的答案。這種訓(xùn)練方式的問題是，AI可能會通過降低錯(cuò)誤答案的分?jǐn)?shù)來獲得好評，而不是專注于提高正確答案的質(zhì)量。

新的訓(xùn)練方式更像是讓AI分別回答"這道題做對了嗎？"和"那道題做錯(cuò)了嗎？"這樣的直接問題。這種方法給了AI更清晰的學(xué)習(xí)信號：對于正確的推理步驟，要提高信心；對于錯(cuò)誤的推理步驟，要降低信心。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了傳統(tǒng)方法的一個(gè)隱藏問題，他們稱之為"拉升效應(yīng)"。當(dāng)只用正確答案訓(xùn)練AI時(shí)，AI不僅會提高對正確答案的信心，還會意外地提高對相似錯(cuò)誤答案的信心。這就像教學(xué)生正確的解法時(shí)，學(xué)生也錯(cuò)誤地提高了對類似錯(cuò)誤解法的信心。

為了解決這個(gè)問題，研究團(tuán)隊(duì)設(shè)計(jì)了兩種改進(jìn)的訓(xùn)練目標(biāo)。第一種是"二元交叉熵"方法，同時(shí)告訴AI什么是對的（要增強(qiáng)信心）和什么是錯(cuò)的（要降低信心）。第二種是"二元分類優(yōu)化"方法，在第一種方法的基礎(chǔ)上增加了一個(gè)動態(tài)調(diào)節(jié)機(jī)制，能夠根據(jù)AI的學(xué)習(xí)進(jìn)度自動調(diào)整訓(xùn)練強(qiáng)度。

這種動態(tài)調(diào)節(jié)就像一個(gè)智能的健身教練，會根據(jù)學(xué)員的體能狀況調(diào)整訓(xùn)練強(qiáng)度。當(dāng)AI還在學(xué)習(xí)階段時(shí)，訓(xùn)練強(qiáng)度較大；當(dāng)AI已經(jīng)掌握得很好時(shí)，訓(xùn)練強(qiáng)度會自動降低，避免過度訓(xùn)練導(dǎo)致的副作用。

五、令人矚目的實(shí)驗(yàn)成果

研究團(tuán)隊(duì)在兩個(gè)不同的AI模型上測試了他們的方法：Qwen3-8B和Llama-3.1-8B-Instruct。實(shí)驗(yàn)結(jié)果證明了這種"外科手術(shù)式訓(xùn)練"方法的卓越效果。

在數(shù)學(xué)推理能力測試中，使用新方法訓(xùn)練的AI模型表現(xiàn)出色。以Qwen3-8B為例，它在多個(gè)數(shù)學(xué)競賽級別的測試中都有顯著提升。在AIME24競賽中，準(zhǔn)確率從22.0%提升到28.0%；在AIME25競賽中，從19.3%提升到27.3%；在AMC23競賽中，從66.5%提升到71.5%。這些都是國際知名的數(shù)學(xué)競賽，能在這些測試中取得提升說明AI的數(shù)學(xué)推理能力確實(shí)得到了實(shí)質(zhì)性改善。

更重要的是，這種提升并沒有以犧牲其他能力為代價(jià)。在測試AI通用指令理解能力的IFEval測試中，Qwen3-8B的表現(xiàn)不僅沒有下降，反而從83.0%提升到84.8%。這說明新的訓(xùn)練方法確實(shí)解決了"學(xué)新忘舊"的問題。

在另一個(gè)更嚴(yán)格的測試中，研究團(tuán)隊(duì)使用了Connect4游戲來評估AI的邏輯推理能力。這個(gè)游戲要求AI分析棋盤狀態(tài)，預(yù)測獲勝策略，是一個(gè)純粹的邏輯推理任務(wù)。結(jié)果顯示，使用新方法訓(xùn)練的AI在這個(gè)任務(wù)上的表現(xiàn)從10.9%大幅提升到36.0%，證明了訓(xùn)練效果的普適性。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的對比實(shí)驗(yàn)，證明了方法中每個(gè)組件的重要性。他們發(fā)現(xiàn)，僅僅使用接近AI原始分布的訓(xùn)練數(shù)據(jù)是不夠的，關(guān)鍵在于訓(xùn)練方式的改進(jìn)。而且，他們提出的二元分類方法確實(shí)比傳統(tǒng)的偏好排序方法更適合數(shù)學(xué)推理這樣的任務(wù)。

特別值得一提的是訓(xùn)練效率的提升。整個(gè)訓(xùn)練過程只需要在8塊H800 GPU上運(yùn)行28分鐘，這比傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法快了幾十倍。而且只需要4000個(gè)精心制作的訓(xùn)練樣本，相比之下傳統(tǒng)方法往往需要數(shù)萬甚至數(shù)十萬個(gè)樣本。

六、方法論的深層創(chuàng)新與技術(shù)突破

這項(xiàng)研究的創(chuàng)新不僅僅在于解決了一個(gè)具體問題，更在于提供了一種全新的思維框架。傳統(tǒng)的AI訓(xùn)練就像用流水線的方式批量生產(chǎn)，所有數(shù)據(jù)都使用相同的處理方式。而這項(xiàng)研究提出的方法更像是定制化的精密制造，每個(gè)訓(xùn)練樣本都經(jīng)過精心設(shè)計(jì)和處理。

研究團(tuán)隊(duì)深入分析了為什么他們的方法如此有效。他們發(fā)現(xiàn)，關(guān)鍵在于實(shí)現(xiàn)了"精確制導(dǎo)"的訓(xùn)練。傳統(tǒng)方法就像往整個(gè)池塘里投石頭，會激起很大的波浪，影響到池塘的每個(gè)角落。而新方法更像是用激光筆精確指向目標(biāo)點(diǎn)，只在需要改變的地方產(chǎn)生影響。

在數(shù)學(xué)層面，研究團(tuán)隊(duì)證明了他們引入的"獎勵(lì)偏移"機(jī)制實(shí)際上起到了"動態(tài)平衡"的作用。這個(gè)機(jī)制能夠根據(jù)AI當(dāng)前的學(xué)習(xí)狀態(tài)自動調(diào)整訓(xùn)練強(qiáng)度，就像汽車的自動變速器會根據(jù)路況自動選擇合適的檔位一樣。當(dāng)AI需要大幅改進(jìn)時(shí)，系統(tǒng)會提供強(qiáng)力的學(xué)習(xí)信號；當(dāng)AI已經(jīng)接近最優(yōu)狀態(tài)時(shí)，系統(tǒng)會自動減少干預(yù)，避免過度調(diào)整。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：他們的方法能夠突破"教師能力天花板"的限制。傳統(tǒng)的知識蒸餾方法中，學(xué)生模型的能力上限往往受到教師模型的限制。但在他們的框架中，由于提供了正確答案作為參考，指導(dǎo)老師的任務(wù)從"從零開始解題"變成了"修正現(xiàn)有錯(cuò)誤"，這大大降低了對指導(dǎo)老師能力的要求，甚至可以讓AI模型指導(dǎo)自己的改進(jìn)。

另一個(gè)重要的技術(shù)突破是"梯度聚焦"機(jī)制。由于經(jīng)過精心處理的訓(xùn)練數(shù)據(jù)中，正確答案和錯(cuò)誤答案在大部分內(nèi)容上都相同，只在關(guān)鍵錯(cuò)誤點(diǎn)上有差異，這使得AI的學(xué)習(xí)注意力能夠自動聚焦到最需要改進(jìn)的地方。這就像一個(gè)經(jīng)驗(yàn)豐富的編輯在審閱文章時(shí)，能夠快速定位到需要修改的段落，而不需要重寫整篇文章。

七、實(shí)用價(jià)值與未來展望

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了學(xué)術(shù)范圍，它為AI的實(shí)際應(yīng)用提供了重要的技術(shù)支撐。在當(dāng)前AI快速發(fā)展的時(shí)代，如何讓AI既能快速學(xué)習(xí)新技能，又能保持已有能力的穩(wěn)定性，是一個(gè)亟待解決的現(xiàn)實(shí)問題。

對于AI產(chǎn)品開發(fā)者來說，這種方法提供了一條高效的改進(jìn)路徑。以往要提升AI的某項(xiàng)能力，往往需要大量的計(jì)算資源和時(shí)間，而且還要擔(dān)心是否會影響其他功能?，F(xiàn)在有了這種"外科手術(shù)式"的訓(xùn)練方法，開發(fā)者可以更精確、更安全地改進(jìn)AI的特定能力。

在教育領(lǐng)域，這種方法的潛力尤其引人注目。AI教學(xué)助手可以通過這種方式快速學(xué)習(xí)新的學(xué)科知識，同時(shí)保持在其他學(xué)科上的教學(xué)能力。這意味著一個(gè)AI助手可以同時(shí)勝任數(shù)學(xué)、物理、化學(xué)等多個(gè)學(xué)科的教學(xué)工作，而不需要為每個(gè)學(xué)科訓(xùn)練專門的模型。

對于企業(yè)應(yīng)用而言，這種方法解決了AI系統(tǒng)升級時(shí)的一個(gè)核心痛點(diǎn)。企業(yè)在部署AI系統(tǒng)后，往往需要根據(jù)實(shí)際使用情況進(jìn)行調(diào)優(yōu)，但傳統(tǒng)的調(diào)優(yōu)方法可能會影響系統(tǒng)的其他功能。新方法讓企業(yè)可以更放心地對AI系統(tǒng)進(jìn)行持續(xù)改進(jìn)，而不用擔(dān)心"顧此失彼"的問題。

研究團(tuán)隊(duì)也指出了當(dāng)前方法的一些限制和未來的改進(jìn)方向。目前的方法還需要依賴"指導(dǎo)老師"來進(jìn)行錯(cuò)誤修正，這在某種程度上限制了方法的完全自主化。未來的研究可能會探索如何讓AI模型具備自我糾錯(cuò)的能力，進(jìn)一步提高訓(xùn)練的自動化程度。

另一個(gè)有趣的發(fā)展方向是將這種"外科手術(shù)式"的訓(xùn)練方法推廣到其他類型的任務(wù)上。雖然這項(xiàng)研究主要關(guān)注數(shù)學(xué)推理，但同樣的原理可能也適用于代碼生成、邏輯分析、策略規(guī)劃等其他需要精確推理的任務(wù)。

這項(xiàng)研究為整個(gè)AI領(lǐng)域提供了一種新的思路：與其粗暴地用大量數(shù)據(jù)"喂養(yǎng)"AI，不如精心設(shè)計(jì)訓(xùn)練過程，讓AI能夠更智能、更高效地學(xué)習(xí)。這種思路的轉(zhuǎn)變可能會催生更多創(chuàng)新的訓(xùn)練方法，推動AI技術(shù)向更加精細(xì)化、個(gè)性化的方向發(fā)展。

從更廣闊的視角來看，這項(xiàng)研究體現(xiàn)了AI發(fā)展的一個(gè)重要趨勢：從"暴力計(jì)算"向"智能訓(xùn)練"的轉(zhuǎn)變。隨著AI模型規(guī)模的不斷增大，如何更高效地訓(xùn)練和改進(jìn)AI系統(tǒng)變得越來越重要。這種"外科手術(shù)式"的訓(xùn)練方法為這個(gè)方向的探索提供了寶貴的經(jīng)驗(yàn)和啟示。

歸根結(jié)底，香港大學(xué)團(tuán)隊(duì)的這項(xiàng)研究不僅解決了AI訓(xùn)練中的一個(gè)技術(shù)難題，更重要的是為我們提供了一種全新的思考方式：在追求AI能力提升的同時(shí)，如何確保這種提升是可控的、精確的、不會產(chǎn)生副作用的。這種思維方式對于AI技術(shù)的健康發(fā)展具有重要的指導(dǎo)意義，也為未來更多的技術(shù)突破奠定了基礎(chǔ)。

Q&A

Q1：什么是外科手術(shù)式訓(xùn)練（SPOT）？

A：SPOT是香港大學(xué)開發(fā)的一種AI訓(xùn)練方法，就像醫(yī)生做精密手術(shù)一樣，只修復(fù)AI推理過程中的錯(cuò)誤步驟，保持其他部分不變。這種方法能讓AI學(xué)會新技能的同時(shí)不忘記以前學(xué)過的知識，避免了傳統(tǒng)訓(xùn)練中的"災(zāi)難性遺忘"問題。

Q2：為什么傳統(tǒng)AI訓(xùn)練會出現(xiàn)"學(xué)新忘舊"的問題？

A：傳統(tǒng)訓(xùn)練就像用大錘敲核桃，雖然能解決問題但會造成不必要的損傷。研究發(fā)現(xiàn)問題關(guān)鍵在于訓(xùn)練方式：傳統(tǒng)方法會持續(xù)強(qiáng)制AI提高性能，即使AI已經(jīng)掌握得很好了，這種過度優(yōu)化會破壞AI的其他能力。

Q3：SPOT方法的訓(xùn)練效率如何？

A：SPOT方法非常高效，只需要在8塊H800 GPU上訓(xùn)練28分鐘，使用4000個(gè)精心制作的訓(xùn)練樣本，就能讓Qwen3-8B模型的數(shù)學(xué)推理準(zhǔn)確率提高6.2個(gè)百分點(diǎn)，比傳統(tǒng)強(qiáng)化學(xué)習(xí)方法快幾十倍。