本研究系統(tǒng)追蹤了大規(guī)模語言模型在持續(xù)預(yù)訓(xùn)練階段知識回路的動態(tài)演化，由宏觀表現(xiàn)到微觀拓?fù)渑c組件逐層解析，揭示出若干關(guān)鍵規(guī)律。我們認(rèn)為，大語言模型并非不可解釋的黑箱，而是由海量知識回路構(gòu)成的精密系統(tǒng)；深入理解這些回路的演化機制，或為構(gòu)建更可控、更高效且更安全的人工智能奠定理論與技術(shù)基礎(chǔ)。

論文題目： How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training 論文鏈接： https://arxiv.org/abs/2502.11196v2 代碼鏈接： https://github.com/zjunlp/DynamicKnowledgeCircuits

當(dāng)今大語言模型正進(jìn)化得越來越聰明，展現(xiàn)出強大的“百科全書”能力，但你是否好奇它們是如何習(xí)得這些知識的？特別是當(dāng)世界不斷變化，新知識層出不窮，模型如何“更新”自己的認(rèn)知？究竟是“死記硬背”還是會在內(nèi)部重新組織結(jié)構(gòu)？

為了探索這些問題，本文從“知識回路”的視角切入，通過追蹤分析模型內(nèi)部的計算子圖的動態(tài)演化，系統(tǒng)揭示了大語言模型在持續(xù)預(yù)訓(xùn)練期間如何結(jié)構(gòu)性地整合、存儲和優(yōu)化新知識。

二、核心方法

本文首先構(gòu)建了一個可控的合成知識數(shù)據(jù)集，由虛構(gòu)人物及其出生地、大學(xué)、公司等信息構(gòu)成，覆蓋高、中、低頻率知識，并確保這些知識在模型的預(yù)訓(xùn)練階段不存在，屬于新知識的范疇，并同時涵蓋相關(guān)新知識和全新知識兩種類型。隨后對decoder-only 架構(gòu)的 GPT-2、TinyLLaMA、Phi-1.5 等系列模型在合成構(gòu)建的新知識語料庫上進(jìn)行了持續(xù)預(yù)訓(xùn)練。

傳統(tǒng)的分析手段往往將大語言模型中的知識視為分散的“知識神經(jīng)元”或“記憶塊”，而本文從新穎的“知識回路”視角來進(jìn)行研究。什么是知識回路？它是模型內(nèi)部一個稀疏的計算子圖，由模型完整計算圖中少部分關(guān)鍵節(jié)點和邊組成，專門負(fù)責(zé)存儲和處理某一類特定知識。本文使用現(xiàn)有的回路發(fā)現(xiàn)方法EAP-IG，為模型中的每一條邊分配一個重要性分?jǐn)?shù)，通過保留分?jǐn)?shù)絕對值最高的若干（約7%～15%）邊來識別回路。通過在持續(xù)預(yù)訓(xùn)練期間不同的訓(xùn)練檢查點上運行 EAP-IG 方法可以識別不同階段的知識回路，進(jìn)一步可以分析它們的演化規(guī)律。本文的分析將由表及里從三個層面展開：

• 性能表現(xiàn)：知識回路獨立重現(xiàn)模型行為的表現(xiàn)如何變化？

• 拓?fù)浣Y(jié)構(gòu)：知識回路的拓?fù)浣Y(jié)構(gòu)如何變化？

• 功能組件：組成知識回路的結(jié)點與邊如何變化？

通過分析知識回路在持續(xù)預(yù)訓(xùn)練期間的性能變化，本文發(fā)現(xiàn)模型對于新知識的習(xí)得遵從知識相關(guān)性原則（Knowledge Relevance Principle），即模型更容易學(xué)習(xí)與已有知識相關(guān)的新知識（如已知實體新的屬性），而對完全陌生的知識更難吸收，表明說大語言模型更擅長在已有認(rèn)知框架內(nèi)進(jìn)行擴展。更擅長在已有認(rèn)知框架內(nèi)進(jìn)行擴展。

知識回路拓?fù)浞治?/strong>

在知識回路的拓?fù)浣Y(jié)構(gòu)層面，本文首先檢查每個中間檢查點上的知識回路與最終回路之間的相似度，通過回路中的邊構(gòu)成的集合的交集除以并集所得的比例來衡量。實驗發(fā)現(xiàn)，在所有的模型上，回路的相似度都呈現(xiàn)出一個穩(wěn)定的上升趨勢，表明隨著知識習(xí)得的進(jìn)行，知識回路與最終回路越來越相似，檢查點之間不存在很大幅度的調(diào)整。

根據(jù)觀察到的趨勢，本文進(jìn)一步提出了假設(shè)：在模型的知識習(xí)得過程中，知識回路會逐步獲取特定的知識，回路會越來越高效和精確，其中一小部分關(guān)鍵節(jié)點和邊緣會變得越來越重要，影響也越來越大。為了驗證這一假設(shè)，本文借鑒信息論設(shè)計了回路熵指標(biāo)，并探索知識回路演化過程中的熵變化。實驗發(fā)現(xiàn)，在持續(xù)預(yù)訓(xùn)練期間，知識回路的熵呈現(xiàn)穩(wěn)定下降趨勢，表明知識回路的拓?fù)浣Y(jié)構(gòu)變得越來越集中，特定邊的重要性在不斷增加。

同時實驗還發(fā)現(xiàn)，回路相似度的上升趨勢和回路熵的下降趨勢在訓(xùn)練達(dá)到某一步之后明顯放緩，本文將這一有趣現(xiàn)象總結(jié)為知識回路的雙階段演化（Biphasic Circuit Evolution），即知識回路的演化先經(jīng)歷形成階段，快速鎖定基礎(chǔ)結(jié)構(gòu)，關(guān)鍵邊和節(jié)點逐漸凸顯，回路結(jié)構(gòu)變化大；再進(jìn)入優(yōu)化階段，結(jié)構(gòu)趨于穩(wěn)定，在已有結(jié)構(gòu)上不斷提升表現(xiàn)，性能繼續(xù)增長直至收斂。

知識回路組件分析

在知識回路的組件層級，本文主要關(guān)注回路中的關(guān)鍵結(jié)點即注意力頭的行為變化。實驗發(fā)現(xiàn)，位于知識回路的中到深層的注意力頭先學(xué)會從模型參數(shù)中提取特定的知識，而位于知識回路較淺層的注意力頭在訓(xùn)練期間持續(xù)豐富特定知識的表征。

四、總結(jié)

本文通過對大語言模型在持續(xù)預(yù)訓(xùn)練過程中的知識回路的動態(tài)變化進(jìn)行追蹤，由表及里地對知識回路的表現(xiàn)、拓?fù)浜徒M件進(jìn)行了全面分析，揭示了幾個關(guān)鍵發(fā)現(xiàn)。我們相信大語言模型并非黑盒，而是由無數(shù)知識回路組成的精密系統(tǒng)，理解這些回路的演化規(guī)律，也許是邁向更可控、更高效、更安全人工智能的關(guān)鍵步驟。

作者：歐翌昕 來源：知識引擎實驗室-ZJU

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈