這項(xiàng)由李想汽車（Li Auto Inc.）研究團(tuán)隊(duì)完成的研究，以預(yù)印本形式發(fā)布于2026年4月16日，論文編號為arXiv:2604.14629，有興趣深入了解的讀者可以通過該編號查詢完整論文。

手機(jī)拍下一張路邊招牌，問AI上面寫的是什么字、是什么風(fēng)格的餐廳、門口停的車是什么型號——這類"看圖說話"的任務(wù)，現(xiàn)在的大型視覺語言模型（可以理解圖片又能用文字回答的AI）已經(jīng)做得相當(dāng)不錯了。但這類強(qiáng)大的AI有個讓人頭疼的問題：它們太"重"了。運(yùn)行一個頂尖的視覺語言模型，需要大量的內(nèi)存和算力，放在云端服務(wù)器上還好說，一旦要裝進(jìn)手機(jī)、車載系統(tǒng)或者其他資源有限的設(shè)備里，就像把一臺工業(yè)級冰箱搬進(jìn)宿舍，根本塞不下。

于是工程師們想了一個辦法——"知識蒸餾"。簡單來說，就是讓一個能力強(qiáng)大的"老師模型"把自己的知識傳授給一個體型小巧的"學(xué)生模型"，讓小模型在不增加自身重量的前提下，盡可能地"聰明"起來。這個思路在純文字AI領(lǐng)域已經(jīng)被驗(yàn)證得相當(dāng)成熟，但一旦涉及既要看圖又要說話的視覺語言模型，事情就復(fù)雜多了。

李想汽車研究團(tuán)隊(duì)正是盯上了這個復(fù)雜性。他們提出了一套名為Switch-KD的蒸餾框架，核心思路非常有意思：與其讓老師和學(xué)生各自在圖像世界和文字世界里分頭學(xué)習(xí)，不如把兩個世界的知識統(tǒng)一到同一個"語言"里來傳遞。這套框架讓一個只有5億參數(shù)的迷你學(xué)生模型，從一個30億參數(shù)的老師模型那里汲取知識，在10個權(quán)威測試基準(zhǔn)上平均提升了3.6分，而且完全不需要改動學(xué)生模型的結(jié)構(gòu)。

一、為什么"看圖"和"說話"的知識很難同時傳遞

要理解這個研究解決了什么問題，得先弄清楚視覺語言模型是怎么工作的。

可以把一個視覺語言模型想象成一位翻譯兼評論員。他的工作流程是這樣的：先由一雙訓(xùn)練有素的"眼睛"（視覺編碼器，通常是一種叫做ViT的圖像處理網(wǎng)絡(luò)）把輸入的圖片轉(zhuǎn)化成一串?dāng)?shù)字信號；這串信號隨后經(jīng)過一個"翻譯接口"（投影器）被轉(zhuǎn)換成語言模型能夠理解的格式；最后由語言模型（LLM）這個"大腦"綜合圖像信息和文字提問，生成回答。整個流程就像是：眼睛看到圖→翻譯接口把圖像信息轉(zhuǎn)成大腦語言→大腦思考后用文字作答。

在這個流程里，圖像信息最終是以"語言大腦"能理解的方式流通的——也就是說，所有信息最終都匯聚在文字概率空間里。當(dāng)語言大腦輸出答案時，它實(shí)際上是在所有可能的詞匯里給每個詞分配一個概率，然后選出最可能的詞一個一個輸出。

現(xiàn)有的蒸餾方法大多聚焦在這個輸出階段：老師模型說完一句話，學(xué)生模型也說一句，然后比較兩者對每個詞的概率分布有多接近，差距越小就說明學(xué)生學(xué)得越好。這個方法對"語言側(cè)"的監(jiān)督相當(dāng)充分，但對"視覺側(cè)"的監(jiān)督就有些力不從心了——畢竟，學(xué)生模型的"眼睛"（視覺編碼器）看到的東西，并沒有被直接放到老師的語言大腦里去檢驗(yàn)。

為了補(bǔ)足視覺側(cè)的監(jiān)督，有研究者嘗試直接比較老師和學(xué)生的圖像特征向量，或者約束兩者的注意力圖譜要相似。但問題在于，這類方法把視覺監(jiān)督和語言監(jiān)督分開處理，就像兩條獨(dú)立的考核標(biāo)準(zhǔn)，沒有形成一個統(tǒng)一的評判體系。結(jié)果是視覺知識傳遞和語言知識傳遞各自為政，缺乏內(nèi)在的一致性。

二、"換眼看世界"：Switch-KD的核心創(chuàng)意

Switch-KD的核心設(shè)計(jì)思路，可以用一個生動的場景來理解。

假設(shè)你在培訓(xùn)一名新攝影師（學(xué)生模型）。老師攝影師（老師模型）有一雙經(jīng)驗(yàn)豐富的眼睛和一個見多識廣的大腦。傳統(tǒng)的培訓(xùn)方式是：讓學(xué)生拍一張照片，讓老師也拍一張，然后比較兩張照片的相似程度，以及兩人最終寫出的圖片說明是否一致。視覺側(cè)和語言側(cè)分別考核。

Switch-KD提出的方式則更為巧妙：把學(xué)生的眼睛臨時"接"到老師的大腦上，讓老師的大腦通過學(xué)生的眼睛看世界，然后看看老師的大腦對這個"學(xué)生視角"的解讀，和老師用自己眼睛看到的解讀差多遠(yuǎn)。如果差距很大，說明學(xué)生的眼睛還沒練好，還不能給老師的大腦提供足夠高質(zhì)量的圖像信息；如果差距越來越小，說明學(xué)生的眼睛已經(jīng)在接近老師的水平了。

在技術(shù)實(shí)現(xiàn)上，這個"換眼"操作是這樣進(jìn)行的。學(xué)生模型正常處理一張圖片，它的視覺編碼器會輸出一串圖像特征。在正常的蒸餾流程之外，這串圖像特征被"切換"送入老師模型的投影器和語言大腦，走一遍老師的語言通路，生成一組"視覺切換邏輯值"——也就是老師的大腦在接收學(xué)生眼睛信號時對各個詞匯的概率預(yù)測。這組概率預(yù)測隨后與老師用自己眼睛看到的正常輸出進(jìn)行比較，差距就是視覺側(cè)知識傳遞的損失信號。

這個設(shè)計(jì)的精妙之處在于，視覺側(cè)的監(jiān)督完全是在語言概率空間里完成的，和語言側(cè)的監(jiān)督使用同一套度量標(biāo)準(zhǔn)，實(shí)現(xiàn)了真正意義上的統(tǒng)一。無需額外引入特征對齊損失或者注意力對齊損失，整個框架干凈利落。

研究團(tuán)隊(duì)把整個訓(xùn)練目標(biāo)寫成了一個公式：總損失等于語言建模損失加上標(biāo)準(zhǔn)對齊蒸餾損失加上視覺切換蒸餾損失，后兩項(xiàng)分別由兩個權(quán)重系數(shù)控制，在所有實(shí)驗(yàn)中均被設(shè)置為1.0，保持平衡。

三、"動態(tài)裁剪"：DBiLD損失函數(shù)的設(shè)計(jì)邏輯

Switch-KD的另一根支柱是一個叫做DBiLD（動態(tài)雙向邏輯差異損失）的損失函數(shù)。要理解它，得先聊聊語言模型輸出的一個普遍特征。

語言大腦在輸出每一個詞之前，會給詞匯表里的幾萬個詞分配概率。通常情況下，最可能的幾個詞會占據(jù)絕大部分概率質(zhì)量，而剩下的成千上萬個詞加起來的概率微乎其微。打個比方，如果問"天空是什么顏色"，"藍(lán)色"可能占80%的概率，"灰色"占10%，"白色"占5%，其余幾萬個詞加起來才占5%。這種分布就是典型的"長尾分布"——頭部信息豐富，尾部噪聲居多。

對于知識蒸餾而言，那條漫長的尾巴其實(shí)是噪聲，強(qiáng)行讓學(xué)生去模仿老師對冷僻詞的細(xì)微概率差異，不僅沒什么意義，還會干擾學(xué)習(xí)效果。所以很多研究會只取老師輸出里概率最高的k個詞來做對齊。但問題是，k取多少合適？固定值顯然不夠靈活——不同的問題、不同的圖片，語言模型的輸出分布差異很大，對于某些問題老師非常確定（分布很尖銳），k應(yīng)該小一點(diǎn)；對于另一些問題老師比較模糊（分布比較平坦），k就應(yīng)該大一點(diǎn)。

DBiLD的解法是讓k自適應(yīng)變化。具體方法借用了工程領(lǐng)域一個叫做"Kneedle算法"的技術(shù)——該算法專門用于在曲線上找到"拐點(diǎn)"，也就是曲線從陡峭變?yōu)槠骄彽哪莻€臨界位置。把排好序并歸一化的詞匯概率值畫成一條曲線，這條曲線的拐點(diǎn)就是從"高價(jià)值信息區(qū)"過渡到"低價(jià)值噪聲區(qū)"的邊界。DBiLD把這個拐點(diǎn)對應(yīng)的排名位置定為動態(tài)k值，每個樣本、每次前向傳播都獨(dú)立計(jì)算一次，確保只聚焦在真正有信息量的部分。

找到了動態(tài)k值之后，DBiLD并不直接比較老師和學(xué)生的概率值本身，而是比較它們的內(nèi)部相對差異。具體來說，取出老師排名前k的詞的邏輯值，計(jì)算所有配對之間的差值（比如第1名和第2名的差、第1名和第3名的差……以此類推），形成一個差值向量；同時取出學(xué)生在這些相同詞匯上的邏輯值，也計(jì)算同樣的配對差值。然后把這兩組差值向量分別歸一化成概率分布，用反向KL散度來衡量它們的差距。

為什么要比較"差值"而不是直接比較概率？因?yàn)椴钪捣从车氖悄Ｐ蛢?nèi)部的相對排序關(guān)系，這種關(guān)系比絕對概率更穩(wěn)定、更具代表性。老師覺得"藍(lán)色比綠色可能性高多少"，這個相對判斷比"藍(lán)色的概率絕對值是多少"更能傳遞知識的本質(zhì)。

這個過程還是雙向的。除了以老師的top-k為基準(zhǔn)來約束學(xué)生（老師引導(dǎo)分支），DBiLD還以學(xué)生自己的top-k為基準(zhǔn)，把學(xué)生最有把握的那些詞拿出來，檢驗(yàn)學(xué)生對它們的相對排序判斷和老師是否一致（學(xué)生引導(dǎo)分支）。兩個方向加在一起，形成一個互相驗(yàn)證的閉環(huán)：老師告訴學(xué)生"哪些詞最重要、它們之間的優(yōu)先級是怎樣的"，學(xué)生則用自己最有把握的判斷和老師比對，看看自己的自信是否站得住腳。

四、實(shí)驗(yàn)結(jié)果：數(shù)字背后的真實(shí)含義

研究團(tuán)隊(duì)在10個權(quán)威的多模態(tài)測試基準(zhǔn)上評估了Switch-KD，這些測試覆蓋了感知與理解、認(rèn)知與推理、文字識別、幻覺抵抗以及特定領(lǐng)域魯棒性五大能力維度。

在最受關(guān)注的小模型組別（低于15億參數(shù)）中，Switch-KD驅(qū)動的5億參數(shù)學(xué)生模型，Avg10綜合評分達(dá)到60.1分，比同規(guī)模的LLaVA-KD基線高出1.3分，比未經(jīng)蒸餾的TinyLLaVA基線高出3.6分。在VizWiz這個專門測試"盲人用戶拍攝的模糊照片"理解能力的基準(zhǔn)上，Switch-KD提升幅度尤為突出，比純標(biāo)準(zhǔn)對齊蒸餾高出3.4分——這意味著學(xué)生的"眼睛"經(jīng)過換眼訓(xùn)練后，對低光、運(yùn)動模糊等惡劣視覺條件的適應(yīng)能力顯著增強(qiáng)。

在中等規(guī)模組別（約15億參數(shù)）中，Switch-KD的15億參數(shù)模型在Avg7評分上比LLaVA-MoD高出4.4分，比LLaVA-KD高出0.4分，同時所用訓(xùn)練數(shù)據(jù)只有120萬條，遠(yuǎn)少于LLaVA-MoD的500萬條。用更少的數(shù)據(jù)、相近的模型規(guī)模，取得更好的結(jié)果，這在工程實(shí)踐中意味著相當(dāng)可觀的成本節(jié)省。

研究團(tuán)隊(duì)還與另一個對比方法Align-KD做了跨架構(gòu)測試。在使用更輕量的Qwen2.5-1.5B語言骨干、僅120萬條訓(xùn)練樣本的條件下，Switch-KD相比MobileVLM V2基線提升了3.5分，而Align-KD在使用MobileLLaMA-1.7B骨干和360萬條短樣本數(shù)據(jù)的條件下只提升了2.0分。Switch-KD用三分之一的數(shù)據(jù)，配合更輕的骨干，取得了更大的提升幅度。

注意力圖的可視化結(jié)果也印證了定量評分背后的機(jī)制。研究團(tuán)隊(duì)展示了六張注意力熱力圖的對比：老師模型的注意力精準(zhǔn)聚焦在一張風(fēng)景照的語義核心區(qū)域（木橋與遠(yuǎn)山的交匯處）；SFT基線的注意力大致接近老師，但細(xì)節(jié)對齊不足；LLaVA-KD的注意力幾乎均勻鋪滿全圖，缺乏語義焦點(diǎn)；Align-KD（由于視覺編碼器在訓(xùn)練中被凍結(jié)）只激活了部分語義區(qū)域；Switch-KD則最為接近老師的注意力模式，忠實(shí)地捕捉到了同樣的語義核心區(qū)域。

五、消融實(shí)驗(yàn)：拆解每個設(shè)計(jì)決策的貢獻(xiàn)

一項(xiàng)嚴(yán)謹(jǐn)?shù)难芯坎粌H要展示最終結(jié)果，還要通過控制變量的消融實(shí)驗(yàn)證明每個設(shè)計(jì)選擇都是必要的。

關(guān)于視覺切換機(jī)制本身：在相同的DBiLD損失函數(shù)下，加入視覺切換路徑的版本（Avg10得60.1）比不加（Avg10得58.8）高出1.3分。這1.3分的差距來自VQAv2、GQA、TextVQA等多個測試點(diǎn)上的一致性提升，尤其VizWiz的3.4分提升最為顯著，證明換眼機(jī)制確實(shí)為視覺側(cè)知識傳遞帶來了實(shí)質(zhì)增益。

關(guān)于損失函數(shù)的設(shè)計(jì)選擇：研究團(tuán)隊(duì)系統(tǒng)比較了六種損失函數(shù)組合。單獨(dú)使用前向KL散度或反向KL散度都得到58.3分；引入雙向差異結(jié)構(gòu)但保留前向KL得到58.4分；把前向KL替換為反向KL提升至58.6分；加入動態(tài)top-k選擇后進(jìn)一步提升至58.8分。這個逐步遞進(jìn)的結(jié)果清晰地說明，雙向結(jié)構(gòu)、反向KL以及動態(tài)k值選擇三個設(shè)計(jì)各自都有貢獻(xiàn)，缺一不可。

關(guān)于蒸餾在哪個訓(xùn)練階段進(jìn)行：標(biāo)準(zhǔn)的預(yù)訓(xùn)練+監(jiān)督微調(diào)方案（PT-SFT）得到Avg10 56.5分；在預(yù)訓(xùn)練階段加蒸餾（DPT-SFT）只提升到57.4分，說明早期階段的蒸餾監(jiān)督效果有限；在微調(diào)階段加蒸餾（PT-DFT）則跳升至58.8分，提升幅度遠(yuǎn)大于預(yù)訓(xùn)練階段；而在兩個階段都加蒸餾（DPT-DFT）反而略微下滑到58.7分，沒有產(chǎn)生累加效果。研究團(tuán)隊(duì)據(jù)此選擇了最簡潔有效的兩階段方案：普通預(yù)訓(xùn)練加蒸餾微調(diào)，既避免了額外的訓(xùn)練成本，又最大化了蒸餾效果。

關(guān)于老師模型規(guī)模的影響：當(dāng)學(xué)生是5億參數(shù)模型時，30億參數(shù)的老師帶來60.1分，換用70億參數(shù)的老師反而略微下滑到59.8分。但當(dāng)學(xué)生是15億參數(shù)模型時，70億參數(shù)的老師（65.3分）確實(shí)優(yōu)于30億參數(shù)的老師（64.8分）。這個結(jié)果揭示了一個規(guī)律：學(xué)生的容量決定了它能從更強(qiáng)老師那里汲取多少知識。過于龐大的老師和過于迷你的學(xué)生之間存在能力鴻溝，超出學(xué)生消化能力的知識反而會造成干擾。

六、當(dāng)前局限與未來方向

Switch-KD并非沒有局限。研究團(tuán)隊(duì)在論文結(jié)尾坦誠地指出，這套框架目前要求老師模型和學(xué)生模型共享同樣的特征空間和詞匯表。換句話說，老師的語言大腦和學(xué)生的語言大腦得"說同一種內(nèi)部語言"，切換后的信號才能被正確解讀。這個要求限制了Switch-KD在異構(gòu)架構(gòu)之間的應(yīng)用——比如，如果老師用的是一種語言大腦，學(xué)生用的是完全不同體系的另一種，這套切換機(jī)制就無法直接套用。

研究團(tuán)隊(duì)提出的解決方向是開發(fā)不依賴架構(gòu)同質(zhì)性的蒸餾方法，或者引入適配器層來搭建不同架構(gòu)之間的橋梁，讓知識切換在更廣泛的模型組合之間成為可能。這也意味著Switch-KD目前更適合在同一模型家族內(nèi)（比如Qwen2.5系列）進(jìn)行大小模型之間的蒸餾，跨家族的蒸餾還有待后續(xù)工作。

說到底，Switch-KD做的事情可以用一句話來概括：它找到了一種更聰明的方式，讓小模型通過"借用老師的大腦檢驗(yàn)自己的眼睛"來學(xué)會更好地看世界。視覺知識和語言知識不再是兩條平行的考核賽道，而是被統(tǒng)一到同一個評判標(biāo)準(zhǔn)下，形成互相印證的閉環(huán)。這個思路在概念上的清晰度，和它在實(shí)驗(yàn)上取得的一致性提升，共同構(gòu)成了這項(xiàng)工作的說服力所在。

對于每天依賴手機(jī)AI助手、車載語音系統(tǒng)或各類智能設(shè)備的普通用戶而言，這類研究的長遠(yuǎn)意義在于：更強(qiáng)的小模型意味著更多功能可以在設(shè)備本地運(yùn)行，響應(yīng)更快、隱私更安全、不依賴網(wǎng)絡(luò)連接。一個經(jīng)過Switch-KD訓(xùn)練的5億參數(shù)模型，在理解圖片內(nèi)容方面的能力已經(jīng)接近甚至在某些任務(wù)上超越了幾倍大的未蒸餾模型——這正是讓AI真正"輕裝上陣"走進(jìn)每個人日常生活的必經(jīng)之路。

有興趣深入研究技術(shù)細(xì)節(jié)的讀者，可以通過論文編號arXiv:2604.14629查閱完整原文。

Q&A

Q1：Switch-KD的"視覺切換"機(jī)制具體是怎么操作的？

A：Switch-KD在訓(xùn)練時會把學(xué)生模型的視覺編碼器輸出的圖像特征，切換送入老師模型的投影器和語言大腦，讓老師的大腦通過學(xué)生的"眼睛"生成輸出概率分布。這個分布再和老師用自己眼睛生成的正常輸出做比較，差距越小說明學(xué)生的視覺編碼器越接近老師的水平，從而實(shí)現(xiàn)在語言概率空間內(nèi)統(tǒng)一完成視覺側(cè)知識傳遞，無需單獨(dú)設(shè)計(jì)視覺特征對齊模塊。

Q2：DBiLD損失函數(shù)里的動態(tài)k值是怎么確定的？

A：DBiLD借用了工程領(lǐng)域的Kneedle算法來尋找"拐點(diǎn)"。具體做法是把排好序并歸一化的詞匯邏輯值畫成一條曲線，找到曲線從陡峭變?yōu)槠骄彽呐R界位置，這個位置對應(yīng)的排名序號就是動態(tài)k值。不同樣本、不同模型的輸出分布不同，k值會隨之自動調(diào)整，確保每次只聚焦在真正富含信息的高概率詞匯區(qū)域，而不會被低概率的噪聲詞匯干擾蒸餾效果。

Q3：Switch-KD為什么只在微調(diào)階段做蒸餾而不在預(yù)訓(xùn)練階段做？

A：消融實(shí)驗(yàn)顯示，在預(yù)訓(xùn)練階段加入蒸餾（DPT-SFT方案）相比標(biāo)準(zhǔn)預(yù)訓(xùn)練只帶來0.9分的Avg10提升，而在微調(diào)階段加入蒸餾（PT-DFT方案）則帶來2.3分的提升，效果遠(yuǎn)更顯著。同時，在兩個階段都加蒸餾（DPT-DFT）并沒有產(chǎn)生累加收益，反而略微下降。因此，為了在訓(xùn)練效率和蒸餾效果之間取得最優(yōu)平衡，研究團(tuán)隊(duì)選擇了只在微調(diào)階段進(jìn)行蒸餾的兩階段方案。