機器之心報道

最近幾年，大模型賽道好不熱鬧。

叫得上名字的幾乎數都數不過來：從 GPT、Llama、Gemma、Mistral，到 DeepSeek、Qwen、Kimi、GLM、MiniMax 等等，新模型幾乎以周更的速度出現。

但問題是，當架構創(chuàng)新越來越多時，理解它們反而變得越來越困難。不同論文里的模型結構圖風格各異、模塊命名不統一，即便是研究者，也很難快速看清一個模型究竟在哪些地方做出了關鍵改動。

如果把過去幾年主流模型的架構放在一起，你會發(fā)現一個明顯的空白：我們擁有大量模型，卻缺少一張清晰的大模型架構圖。

最近，AI 研究者 Sebastian Raschka 就嘗試給了這樣一張圖，他將過去幾年主流大模型的結構重新繪制，并整理成了一個在線圖譜 「LLM Architecture Gallery」。

• 原文地址：https://sebastianraschka.com/llm-architecture-gallery/#card-olmo-2-7b
• GitHub 地址：https://github.com/rasbt/llm-architecture-gallery

根據 Raschka 介紹，該網站匯集了他此前兩篇博客中的內容，這兩篇博客分別為《The Big LLM Architecture Comparison》 和 《A Dream of Spring for Open-Weight LLMs》。

從「LLM Architecture Gallery」頁面結構上看，這個圖譜幾乎像一張大模型名錄。

這里匯集了大量近年來出現的主流模型，包括 Llama、DeepSeek、Gemma、Mistral、Qwen、Kimi、GLM等多個系列，參數規(guī)模從幾億參數的小模型，一直延伸到千億乃至萬億級模型。

點擊任意模型即可鏈接到對應位置，比如，這里我們點擊 DeepSeek R1，鏈接就跳轉到相應的模型卡：

每一張模型卡都會展示該模型的核心架構圖、關鍵模塊設計、參數規(guī)模、發(fā)布時間、相關概念等基本信息，讓讀者能夠在同一套視覺框架下快速理解模型的結構組成。

不止 DeepSeek R1，像 Gemma、Llama 等一系列主流模型，也都被納入這一圖譜之中。用戶只需點擊對應模型名稱，就可以進入該模型的專屬頁面，查看其完整架構示意圖以及關鍵設計細節(jié)。

對于研究者而言，「LLM Architecture Gallery」相當于提供了一份可快速查閱的大模型架構索引，用戶可以在一個頁面中瀏覽和對比不同模型的設計思路，模型架構的關鍵創(chuàng)新點，從而更高效地理解技術演化路徑，也為后續(xù)的研究和模型設計提供參考。

正如 AI 研究者 Andrej Karpathy 所評價的那樣：「這簡直就是一個創(chuàng)意、想法的資源庫?！?/p>