北京時間8月5日，OpenAI 終于發(fā)布了其自 GPT-2 以來的首個開源大模型 gpt-oss，整個技術(shù)圈瞬間沸騰。在眾多媒體和開發(fā)者涌向官方博客和性能榜單的同時，我更習(xí)慣直奔主題——扒開它在 Hugging Face 上公開的 config.json 配置文件，從最底層的技術(shù)架構(gòu)，一探究竟。

這次時隔多年的“Open”，究竟是革命性的技術(shù)突破，還是現(xiàn)有技術(shù)的精巧組合？它與 Qwen3、Kimi K2 等國產(chǎn)開源大模型相比，在設(shè)計(jì)思路上有何本質(zhì)不同？其實(shí)際體驗(yàn)和可玩性又如何？

本文將從 【技術(shù)架構(gòu)解析與對比】、【上手體驗(yàn)與感悟】 和 【快速使用指南】 三個部分，為你帶來一份全面且深入的 gpt-oss 分析報告。

Part.01

開源技術(shù)分析和國內(nèi)開源大模型對比

我第一時間去hugging face上扒了120B模型的config文件，也就是模型的描述文件，就想看看它這次時隔多年的開源，到底有沒有什么重磅內(nèi)容。

這是詳細(xì)內(nèi)容，layer_ types層是sliding_ attention和full_attention的交錯分布，所以省略了。

作為對比，這里放了Qwen3的結(jié)構(gòu)。

先來看GPT oss的結(jié)構(gòu)，MoE寫的明明白白了：GptOssForCausalLM，現(xiàn)在的大模型暫時還跑不出MoE這種結(jié)構(gòu)范圍內(nèi)，畢竟這種結(jié)構(gòu)兼容了性能和速度，不二之選。

獨(dú)特的Attention交替排列

attention大家都用，傳統(tǒng)full attention，linear attnetion挺多，但是這種sliding_ attention和full_ attention交替排列的還是在開源大模型里面第一次見。

Qwen用的full_attention，剛剛看了下Kimi K2，也是full attention（繼承的DeepSeek R1結(jié)構(gòu)），可以說這個交錯的attention使用或者應(yīng)用，算是GPT oss一個獨(dú)創(chuàng)性的工作。

這種方式的直接效果就是極大的減少內(nèi)容的使用，這也是120B可以放到單卡H100，20B消費(fèi)級顯卡就可以使用的一個重要原因。

但是相比起full_attention，這種方式必定會減少一定程度的性能，但是至于是多少，得看更多的案例分析。

很稀疏的MoE + 路由器的強(qiáng)行均衡

num_local_experts: 128
experts_per_token: 4: 4

在其內(nèi)部，每一層都設(shè)有128個“專家”網(wǎng)絡(luò)，但在處理任何一個任務(wù)時，系統(tǒng)只會智能地激活最相關(guān)的4位專家來協(xié)同工作。

但有一個細(xì)節(jié)，router_ aux_ loss_ coef: 0.9，解釋一下，比如有很多個專家，但是系統(tǒng)可能會抽風(fēng)，那么就會老讓最熱門的幾個專家（比如數(shù)學(xué)和編程專家）干活，他們肯定會忙不過來，造成交通擁堵，針對這種可能性GPT oss定了一個非常嚴(yán)格的規(guī)矩（router_aux_loss_coef: 0.9）。這個規(guī)矩強(qiáng)制調(diào)度員必須公平地給各位專家分配任務(wù)，確保冷門的專家也能得到鍛煉，不會出現(xiàn)“旱的旱死，澇的澇死”的情況。

與此相比，Qwen3 模型在專家協(xié)作上則采用了截然不同的策略，它一次會激活 8位專家（是 gpt-oss 的兩倍），相當(dāng)于為每個任務(wù)都組建一個更龐大的“專家小組”，理論上能調(diào)動的瞬時智慧更多。

更關(guān)鍵的是，它的“調(diào)度員”規(guī)則非常寬松（router_ aux_ loss_coef: 0.001），幾乎不干涉專家的選擇。這更像一個“自由市場”，允許最頂尖的專家處理絕大部分他們擅長的問題，從而可能在特定領(lǐng)域形成極強(qiáng)的專業(yè)優(yōu)勢。

在這一點(diǎn)兒上，OpenAI非常的保守，它通過強(qiáng)有力的外部規(guī)則來保證系統(tǒng)的整體穩(wěn)定和健康，相信一個泛化、均衡的系統(tǒng)是通往強(qiáng)大通用人工智能的更可靠路徑。

而國內(nèi)的大多數(shù)開源大模型要激進(jìn)一些，它相信通過賦予模型內(nèi)部組件最大的自由，能夠涌現(xiàn)出更高效、更專業(yè)化的內(nèi)部結(jié)構(gòu)，從而沖擊更高的性能極限。

Context：128K

這個上下文并沒有很夸張，中規(guī)中矩，畢竟Gemini直接干到了100萬，kimi也是。

就是RoPE + YaRN，核心代碼就是這里，本來的4096個，翻了32倍，直接干到128K。

Qwen3沒用這個，不過在Kimi k2，也就是DeepSeek R1上找到了類似的用法。

區(qū)別就是factor和rope_theta。

但是相比起開源的早晚，DeepSeek很早就應(yīng)用了這個技術(shù)并開源，功德更高。

詞表大小

只是列舉出區(qū)別，之前聽過有大佬說，這玩意也不是越大越好，但事實(shí)上GPT oss的詞表最大。

GPT oss：201088

Qwen3: 151936

Kimi k2: 129280

選擇性的量化

還是追求性能，應(yīng)該就是要把模型塞進(jìn)單卡里作為一個硬性約束，直接做了4bit的量化，不過在關(guān)鍵的部位依舊保持高精度。

DeepSeek也有類似的應(yīng)用，不過比起4bit要柔和了不少，用的8bit。

Part.02

體驗(yàn)效果分享和感悟

開源大模型從整體上暫時弱于閉源大模型。

這種弱幾乎是全方面的。

所以比較性能意義不大，之需要知道這個大模型還不錯，可以單卡運(yùn)行即可。

要關(guān)注的是它的可玩性：

• Apache 2.0 許可：可自由用于實(shí)驗(yàn)、定制和商業(yè)部署。

• 可調(diào)的推理力度：可設(shè)為“低、中、高”三檔，以平衡延遲與性能。

• 完整的思維鏈：完全訪問模型的推理過程，便于調(diào)試和建立信任（不建議對終端用戶展示）。

• 可微調(diào)：支持參數(shù)微調(diào)，以完全適應(yīng)特定業(yè)務(wù)。

• 原生智能體能力：內(nèi)置函數(shù)調(diào)用、網(wǎng)頁瀏覽、代碼執(zhí)行和結(jié)構(gòu)化輸出能力。

• 原生 MXFP4 量化：訓(xùn)練時自帶的量化精度，使120B模型能在單張H100上運(yùn)行，20B模型僅需16GB內(nèi)存。

我在OpenRouter上用20B的模型跟，Qwen3的30B，GLM4.5 Air和Kimi K2做了對比實(shí)驗(yàn)。

結(jié)果粗看大家性能都差不太多，GLM4.5 Air成功的破解了問題里預(yù)設(shè)的“雞蛋陷阱”，而GPT oss結(jié)果有點(diǎn)兒小問題，還是比較低級的計(jì)算問題，kimi k2發(fā)現(xiàn)了雞蛋陷阱，但是方法采用的是假設(shè)法，不是很理想。Qwen3也有點(diǎn)兒小問題，那就是最開始的時候竟然沒有區(qū)分公斤和斤，在做了提示之后沒什么問題，也避開了陷阱。

Part.03

使用方法介紹

OpenAI建議通過Huggingface使用：https://huggingface.co/openai/gpt-oss-120b

其中OpenAI提供了免費(fèi)玩的地方：

本地玩玩的話，推薦用Ollama，連代碼都不用運(yùn)行，直接一鍵激活下載功能。

有老哥在M1 ultra上測試了，token速度還可以。

最后，開源這個模型，對于OpenAI來說很重要，因?yàn)榻K于它Open了一把，但是對于整個開源大模型社區(qū)，意義不是特別大，只是現(xiàn)有技術(shù)的組合應(yīng)用，相信很快會有基于GPT oss的二創(chuàng)。