作為一名 AI 領(lǐng)域的博士生，徐玉莊的經(jīng)歷比較特殊。本科畢業(yè)于國防科技大學，隨后在部隊工作了 5 年，接著在清華大學獲得碩士學位，目前在哈爾濱工業(yè)大學讀博。

圖 | 徐玉莊（來源：徐玉莊）

由其擔任第一作者的一篇論文于近日被 AAAI 2026 接收，在論文中他和所在團隊打造出一種名為 CAMERA 的新技術(shù)，該技術(shù)能在短短五分鐘，為一個擁有 570 億參數(shù)的巨型模型 Qwen2-57B-A14B 完成一次全面的冗余檢查，并在此基礎上進行高效的修剪和壓縮，從而讓大模型在手機、平板等小型設備上的高效運行距離普通人更進一步。

徐玉莊告訴 DeepTech：“我們的方法能夠?qū)崿F(xiàn)精準剪枝 20% 后模型效果幾乎無損。我甚至有一個或許還值得討論的提議就是，基礎模型訓練團隊可以用我們這個分析框架判斷自己的模型是不是充分訓練了，如果沒有或許值得多訓一些?！?/p>

思維大轉(zhuǎn)變：從修剪枝葉到修剪神經(jīng)元

此次成果要解決的問題是：想象一下，你有一個由上百位不同領(lǐng)域的專家組成的超級智庫，每當你問一個問題，一個聰明的調(diào)度員就會根據(jù)問題類型，立刻叫出其中幾位最擅長的專家來為你解答。這就是當前的大模型內(nèi)部的一種名為混合專家模型的先進工作方式，它讓 AI 擁有了處理海量知識和復雜任務的能力。

然而，這個超級智庫有一個幸福的煩惱：專家太多了。雖然每次只需要激活幾位，但是所有專家的知識儲備也就是模型參數(shù)都需要時刻準備著，這會帶來驚人的計算消耗和存儲成本。

更關(guān)鍵的是，人們發(fā)現(xiàn)增加專家數(shù)量帶來的性能提升，遠不如增加的成本那么明顯，這意味著智庫里存在大量的冗余或不那么關(guān)鍵的知識。

而徐玉莊等人就像是給這個巨型大腦做手術(shù)的神經(jīng)外科醫(yī)生，他們發(fā)現(xiàn)了一種更加精妙的手術(shù)方案，不僅能讓大模型大幅瘦身，還能保持甚至提高其智商。

（來源：資料圖）

在過去，人們?yōu)榱俗尰旌蠈＜夷Ｐ停∕oE，Mixture of Experts）瘦身，主要采用兩種粗放式的方法：

第一種方法是專家級修剪，即直接砍掉整個專家，就好比由于某個專家的偶爾懶散，因此把他的整個團隊解散了，但這難免會丟失重要知識；

第二種方法是專家級合并，即把幾個看似相似的專家合并為一個，這就像讓一位文學教授去教高等數(shù)學，往往效果不佳。

這些方法之所以效果有限，是因為它們要么把一個專家當做不可分割的整體來決定去留，要么僅局限于對單個參數(shù)矩陣進行孤立地壓縮。但是，徐玉莊等人想到一個更加本質(zhì)的視角：為什么不看得更細一點呢？

基于此，他們提出了微專家這樣一個全新的概念。如果把每個專家看做一個功能部門，那么微專家就是這個部門里最基礎的、一個個獨立負責具體任務的神經(jīng)元或工作小組。

關(guān)鍵在于，一個微專家是由跨三個矩陣的特定行列共同定義的，它們通過協(xié)同工作完成了一個最基礎的知識轉(zhuǎn)換動作。

整個 MoE 層的輸出，實際上是所有微專家工作成果的加權(quán)綜合。徐玉莊等人的核心發(fā)現(xiàn)是：在不同的任務場景下，這些微專家的貢獻天差地別。大部分輸出其實是由一小部分至關(guān)重要的微專家決定的，而很多微專家則貢獻甚微，存在大量的冗余和馬太效應。

這就好比在解答如何做番茄炒蛋這一問題時，負責烹飪技巧和食材特性的微專家大放異彩，而負責量子物理的專家則幾乎在圍觀。

傳統(tǒng)的粗放修剪可能會誤傷重要的烹飪專家，或者把量子物理專家硬塞進烹飪團隊。而 CAMERA 的思路是：精準定位每一個圍觀或者低效的微專家，然后以幾乎無傷害的方式剔除它。

（來源：資料圖）

CAMERA 算法：給每個微專家打分的智能秤

那么，如何從數(shù)以萬計的微專家中，快速準確地找出誰重要、誰冗余呢？這聽起來像是一個超級復雜的組合優(yōu)化問題，在數(shù)學上被證明是 NP 難題，即無法在短時間內(nèi)精確求解。

但是，徐玉莊等人的巧思在于：他們設計了一個極其巧妙的近似估計算法，為每個微專家定義了一個能量指標。

這個能量由兩部分決定：

第一部分是激活系數(shù)，它指的是當模型處理不同問題的時候，這個微專家被調(diào)用的頻繁程度和強度；第二部分是權(quán)重向量范數(shù)，它指的是微專家自身知識儲備的規(guī)模大小。

一個微專家的能量越高，意味著它越經(jīng)常得到使用，而且自身承載的知識量越大，也就越重要。相反，能量極低的，就是可以優(yōu)先考慮修剪的冗余部分。

CAMERA 算法利用一個很小的校準數(shù)據(jù)集比如 128 段文本，就能在幾分鐘內(nèi)為模型所有層中的所有微專家計算出來能量并進行排序。這就像使用一把智能秤，可以快速地稱出來每個工作小組的貢獻度。

更令人贊嘆的是，他們從數(shù)學上證明了基于這種能量排序的修剪策略，其效果與理論上的最優(yōu)的壓縮方法之間的差距不僅很小而且是可控的，這為 CAMERA 的可靠性和有效性提供了堅實的理論背書。

（來源：資料圖）

CAMERA-P：一把精準的大模型手術(shù)刀

有了精準的微專家能量排名，就可以開始做手術(shù)了，這就是 Camera-P，P 指的是 Pruning，也就是修剪的意思。

Camera-P 的目標是：按照設定的比例比如 20% 或者 40%，移除能量最低的那部分微專家。具體操作非常的結(jié)構(gòu)化，對于一個被選中的冗余微專家，Camera-P 會將其對應的三個矩陣中的特定行或特定列同時置零或直接剪除。

這樣做的好處是顯而易見的：

首先，可以保持功能完整，避免了過去單獨修剪某個矩陣可能造成的功能失調(diào)；其次，可以真正實現(xiàn)加速推理，被置零的權(quán)重在計算時會被跳過，這直接可以減少計算量，提高模型的運行速度；再次，無需進行重新訓練，整個過程是訓練后的，無需使用大量數(shù)據(jù)來重新訓練模型。

實驗結(jié)果表明：Camera-P 在多個主流 MoE 模型上比如 DeepSeek-MoE-16B、Qwen2-57B 上，從 20% 到 60% 的不同修剪比例下，在語言理解、常識推理、數(shù)學問題等 9 項任務上的表現(xiàn)，都超越了之前最好的方法。尤其在高達 60% 的激進修剪下，模型性能下降遠遠小于其他方法，展現(xiàn)了驚人的魯棒性。

（來源：資料圖）

CAMERA-Q：給重要知識進行高保真，給次要知識省空間

除了直接修剪，另一種常見的模型壓縮技術(shù)是量化，即降低存儲每個權(quán)重數(shù)值所需的比特位數(shù)，比如從 16 比特降低到 4 比特，這就像把高清無損音樂轉(zhuǎn)換成 MP3，在盡量保持聽感的同時大幅減少文件體積。

現(xiàn)有的 MoE 量化方法主要是在專家級別分配不同的精度也就是比特數(shù)，比如給活躍的專家高精度，給不活躍的專家低精度。但是，徐玉莊等人認為這仍然不夠精細，每個專家內(nèi)部也有重要的微專家和次要的微專家。

于是，他們提出了 CAMERA-Q，Q 指的是 Quantization，就是量化的意思。它利用 CAMERA 得到全局微專家的能量排名，然后在每個專家內(nèi)部進行混合精度分配。

具體來說：能量排名最高的那一小部分微專家，分配較高的比特位，精心保留其知識細節(jié)；能量中等的那一小部分微專家，分配標準的比特位比如 2 比特；能量最低的那一小部分微專家，分配較低的比特位比如 1 比特，從而可以大大節(jié)省空間。

這種方法的精妙之處在于，它確保了每個微專家內(nèi)部三個矩陣的精度是一致的，避免了好比“一條腿穿皮鞋，一條腿穿草鞋”的尷尬，維護了基本功能單元的完整性。

實驗證明，這種微專家感知的量化策略，在激進的 2 比特平均精度下，效果顯著優(yōu)于傳統(tǒng)的專家級量化方法。

CAMERA 技術(shù)的意義遠不止于學術(shù)論文中的漂亮數(shù)據(jù)。它為解決大模型落地應用的核心瓶頸——計算成本與存儲開銷提供了一套高效、實用的解決方案。

（來源：資料圖）

徐玉莊表示：“在路線上，我們首次把大模型的壓縮單元從一個權(quán)重矩陣內(nèi)部擴展到了跨越多個權(quán)重矩陣的情形，首次把微專家這個功能完備的微結(jié)構(gòu)作為剪枝或混合精度配置對象。”

在方法論上，這一研究也首次在數(shù)學上給出混合微專家的簡潔表示形式，首次描述微專家壓縮這一最優(yōu)化問題并給出一個還算簡單有效的解決方案。

未來，人們或許能在手機、平板電腦甚至智能手表上，運行如今需要龐大算力支撐的尖端 AI 模型。CAMERA 技術(shù)能讓這些模型在保持高性能的同時，體積更小、耗電更少、響應更快。

對于提供 AI 服務的公司來說，模型壓縮意味著可以用更少的服務器資源來服務更多的用戶，從而可以降低運營成本，最終可能讓 AI 服務的價格得到降低。

在生物、醫(yī)藥、材料等需要復雜 AI 模擬的科研領(lǐng)域，研究者們往往受限于計算資源，而更加輕量級的強大模型，能讓更多科研機構(gòu)參與前沿探索。

CAMERA 尤其是 CAMERA-P 還可以和其他模型壓縮技術(shù)進行無縫結(jié)合，從而實現(xiàn)組合拳般的效果，進而達到更高的壓縮率。

如前所述，徐玉莊目前在哈爾濱工業(yè)大學讀博。此外，他也在以端側(cè)大模型業(yè)務見長的面壁智能擔任實習算法研究員。未來，他將繼續(xù)深耕大模型領(lǐng)域。

參考資料：

相關(guān)論文 https://arxiv.org/pdf/2508.02322

運營/排版：何晨龍