大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自夕小瑤科技說

AI 的腦回路，終于也開始學(xué)會做減法了。

就在最近，OpenAI 悄悄開源了一個“奇葩”模型——僅 0.4B 參數(shù)，但 99.9% 的權(quán)重是 0。

沒錯，你沒看錯。一個幾乎“空著”的大腦，反而更聰明、更透明了。

我說怎么有點眼熟，原來正好是前段時間刷到的一篇的 OpenAI 論文"Weight-sparse transformers have interpretable circuits"《權(quán)重稀疏的 Transformer 具有可解釋性特征》的開源實現(xiàn)。

他們發(fā)現(xiàn)，讓神經(jīng)網(wǎng)絡(luò)“不全連”，反而能讓它更聰明、更可解釋。

有人甚至直言：這種極致稀疏、功能解耦的思路，可能會讓當(dāng)下熱門的 MoE（混合專家模型）走上末路。

過去幾年，AI 的能力一路狂飆，從寫作、編程到科研樣樣精通，但問題也越來越明顯——它雖強，卻太神秘。我們能看到結(jié)果，卻看不懂過程。

尤其是當(dāng) AI 已經(jīng)開始參與科學(xué)研究、教育決策、甚至醫(yī)療診斷時，這種說不清自己在想什么的智能，顯然讓人不太踏實。

于是，AI 科學(xué)家們開始思考：

我們能不能真正看懂神經(jīng)網(wǎng)絡(luò)是怎么思考的？

能不能設(shè)計出一種從結(jié)構(gòu)上就清晰、可解釋的 AI？

這就是 OpenAI 這篇論文要講的事。

他們想從根子上解決問題——從一開始就訓(xùn)練一個“整潔”的大腦。

論文標題：
Weight-sparse transformers have interpretable circuits

論文鏈接：
https://cdn.openai.com/pdf/41df8f28-d4ef-43e9-aed2-823f9393e470/circuit-sparsity-paper.pdf

傳統(tǒng)Dense Networks，剪不斷，理還亂

要理解 OpenAI 這套新方法有多“逆天”，我們得先看看當(dāng)下神經(jīng)網(wǎng)絡(luò)的真實模樣——一句話形容：亂到讓人頭皮發(fā)麻。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，也叫Dense Networks（密集網(wǎng)絡(luò)），它們的連線方式很樸素也很暴力：

每一層的每個神經(jīng)元，都要和下一層的所有神經(jīng)元連一條線。

想象一下一個房間，里面站著一百個人，每個人都要和其他所有人各牽一根線……沒幾秒，這房間就變成“貓抓了五十次的毛線球”。

隨著模型變大，這種混亂會呈指數(shù)級爆炸。

在這種亂麻結(jié)構(gòu)里，單個神經(jīng)元往往會執(zhí)行多種不同的功能：

貓的圖片它管、法語句子它也管，甚至還會跑去參與推理任務(wù)......

這種神經(jīng)元“多線程兼職”現(xiàn)象叫Superposition（功能疊加）。

它的問題是：

你一旦想問——“這個神經(jīng)元到底負責(zé)什么？”

它就像一個離職交接不清楚的老員工一樣：

業(yè)務(wù)太多，講不清楚。。。

可解釋性研究過去幾年都在努力想辦法：

從外面觀察損失曲線、激活模式、注意力可視化……

但本質(zhì)上，這就像試圖通過拉扯毛線球外側(cè)幾根線，來猜里面的結(jié)構(gòu)。

離真正“看懂大腦”還是差了十萬八千里。

問題卡在這兒：我們一直在給一團本來就纏成死結(jié)的“毛線球”做體檢——量了血壓，拍了片，做了可視化報告，但毛線依然是一團毛線。

與其在事后想盡辦法解釋這種先天就混亂的結(jié)構(gòu)，一個更激進的問題開始浮現(xiàn)出來：能不能從一開始，就別把它織成這樣？

別解毛線了，干脆重織一個干凈的網(wǎng)吧

當(dāng)大家還在試圖給這團毛線球做 CT、照 X 光、打標簽的時候，OpenAI 換了個腦洞：

我們能不能，不從解毛線開始，而是從一開始就織一張整潔的？

也就是說——與其想辦法解釋一個本來就亂七八糟的網(wǎng)絡(luò)，不如讓它一出生就規(guī)規(guī)矩矩：別亂連，別多連，別到處伸手。

這便是權(quán)重稀疏”（Weight-sparse）模型的核心思想。

新研究中，在訓(xùn)練語言模型時，研究人員使用了一種與 GPT-2 相似的架構(gòu)，但增加了一個關(guān)鍵的約束：強制模型中絕大多數(shù)的權(quán)重為零。

什么意思？

• 原來 100 條線，現(xiàn)在只允許用 5 條

• 神經(jīng)元不準“八面玲瓏”，只能干好自己的事

由于每個神經(jīng)元只能從少數(shù)幾個上游通道讀取信息，或向下游少數(shù)幾個通道寫入信息，模型就被“勸退”了，不再將概念表征分散到多個殘差通道中，也不會使用超出嚴格需要的神經(jīng)元來表示單個概念。

這種方法就像是要求一位工程師在布線時，必須走線清晰，每個接口功能單一，不要把所有電線都纏在一起。

不過，把線剪掉、結(jié)構(gòu)變干凈，只是第一步。

要回答“它是不是真的可解釋”，就得進一步追問：在這樣一張極簡的線路板上，具體是哪幾條線、哪幾個元件，在共同完成一項明確的功能？

為了衡量稀疏模型在多大程度上解開了其計算過程，研究者引入了“電路”（Circuits）的概念。

這里的“電路”指的是模型中負責(zé)執(zhí)行某個特定行為的、最小化的那一部分網(wǎng)絡(luò)結(jié)構(gòu)。研究人員手動策劃了一套簡單的算法任務(wù)，對于每項任務(wù)，他們都對模型進行“修剪”（Pruning），直到找到能夠完成該任務(wù)的最小“電路”，然后檢查這個電路有多簡單。

為使這一概念更直觀，論文給出了模型處理 Python 代碼任務(wù)的一個案例，任務(wù)很簡單：

在 Python 中，字符串開頭是什么引號，結(jié)尾也必須用同樣的引號。

比如：

• ‘hello → 末尾必須是'

• "hi→ 末尾必須是 "

在傳統(tǒng)的密集模型中，這可能涉及到成百上千個神經(jīng)元的復(fù)雜互動，最后誰貢獻了啥你根本解釋不清。

但在 OpenAI 訓(xùn)練的可解釋模型中，研究者發(fā)現(xiàn)了一個清晰解耦的“電路”，整個流程分為四步，講得清清楚楚：

① 編碼

模型在不同殘差通道里，分別記錄：

• “出現(xiàn)過單引號”

• “出現(xiàn)過雙引號”

② 分類處理

第 0 層的 MLP 做兩件事：

• 判斷“是否存在引號”

• 判斷出現(xiàn)的是 ' 還是 "

③ 跳回去找開引號

第 10 層注意力一出手：

• 直接忽略所有中間的 hello、hi，跳回最近出現(xiàn)的引號位置

• 把那里的“引號類型”信息復(fù)制過來

④ 輸出匹配引號

最后一步：模型根據(jù)復(fù)制回來的信息，輸出 ' 或 " 。

這個被找到的引號匹配電路非常簡潔：僅涉及 5 條殘差通道、第 0 層 MLP 的 2 個神經(jīng)元，以及第 10 層注意力機制中的 1 個查詢-鍵通道和 1 個值通道。

就這么點。。。

而且研究人員做了個非常硬核的驗證：

• 只保留這些連接，模型依然能完美完成引號補全任務(wù)

• 刪除任何一個關(guān)鍵連接（即使其他幾千個參數(shù)還在），模型立刻失敗

這次是真的看明白了。沒有任何旁門左道，稀疏模型里的任務(wù)完全靠正經(jīng)邏輯完成??！

但咱先別急，就算是在這些相對小的稀疏模型里，仍然有部分計算路線無法完全解釋。放在巨大模型里面，怎么辦呢？

OpenAI 認為未來有兩條路：

一是給現(xiàn)有“大黑箱”做手術(shù)（Dense → Sparse Circuits）。

怎么辦？

• 找到它負責(zé)這個任務(wù)的激活區(qū)域

• 把和這項任務(wù)無關(guān)的渠道“剪掉”

• 只保留必要的最小子結(jié)構(gòu)

• 得到一個可以單獨運行、也可以完全解釋的小模型

這就是所謂的 Circuit Extraction（電路提?。?。

二是進化出“天生可解釋”的大模型（Train Sparse from the Start）。

就像這篇論文做的那樣：

• 把絕大多數(shù)權(quán)重設(shè)為 0

• 限制連接

• 限制信息擴散

• 讓概念天然拆分

• 電路天然局部化

從訓(xùn)練之初，就給模型施加稀疏度約束，逼它長成線條清晰的極簡大腦。

記得太多也是一種負擔(dān)

在前面的研究里，OpenAI 試圖從結(jié)構(gòu)層面讓模型的大腦變得“干凈”——靠稀疏連接、靠可解釋電路，讓思考路徑本身更清晰、更可靠。

但大腦的運行不僅取決于“線怎么連”，還取決于“記什么、不記什么”。

當(dāng)下的大型模型和智能助手似乎無所不知、過目不忘。然而，這表面上的優(yōu)點，卻可能讓 AI 的大腦變成一間雜亂無章的倉庫：什么都往里塞，久而久之反而影響了服務(wù)質(zhì)量和安全。

就像一個人如果對所有經(jīng)歷過的事都記得清清楚楚，他的大腦可能被痛苦和噪音填滿，難以專注當(dāng)下。

這個時候，就需要來一場認知上的“斷舍離”。

首先，從隱私和倫理角度看，一個永遠記得你所有對話的助手并不可愛。想象一下，你正在寫演講稿，它突然冒一句“要不要講你那次很痛苦的經(jīng)歷？那感覺想必相當(dāng)糟糕。

其次，從技術(shù)性能上講，恰當(dāng)?shù)倪z忘有助于模型避免“過載”。這樣做一方面消除了模型記住大量無用甚至錯誤信息對后續(xù)回答的干擾，另一方面也防止它對舊細節(jié)過度執(zhí)著。畢竟，對 AI 而言，無差別地記住所有細節(jié)反而可能導(dǎo)致“信息噪音”掩蓋真正有用的知識。

懶得其所，忘得有道

從稀疏專家模型到機器遺忘術(shù)，我們看到 AI 領(lǐng)域一個有趣的轉(zhuǎn)變：讓 AI“少做點、少記點”，反而讓它變得更聰明了。

稀疏網(wǎng)絡(luò)教會 AI 精打細算地分配“大腦線路”——該連的連，不該連的斷；

機器遺忘術(shù)則教會它在記憶空間里“輕裝前行”——該留的留，不該留的散。

一個發(fā)生在結(jié)構(gòu)層，一個發(fā)生在記憶層，方向不同，卻殊途同歸：摒棄冗余，聚焦關(guān)鍵。

當(dāng) AI 既不會傻傻地把所有電路都連在一起浪費算力，也不會傻傻地把所有往事都銘記于心無法釋懷——也許，我們距離真正聰明又善解人意的機器伙伴就更近了一步。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計費，平均節(jié)省開支30%以上！

掃碼了解詳情?

點「贊」的人都變好看了哦！