新智元報道

編輯：桃子

【新智元導(dǎo)讀】Claude Mythos核心架構(gòu)，竟被一個22歲天才扒了個精光！OpenMythos現(xiàn)已全開源，不靠堆參數(shù)，原地「循環(huán)思考」16次就能推理。閉源實驗室的護城河，真的還在嗎？

簡直太瘋狂了！

Anthropic捂得最嚴實的Claude Mythos，竟被一個22歲的年輕人扒開了。

不是泄露，不是內(nèi)部員工跳槽帶出來的。

是一個叫Kye Gomez的初創(chuàng)CEO，以第一性原理，硬生生把Claude Mythos的核心架構(gòu)從頭推導(dǎo)了出來。

更炸裂的是，他把這一項目——OpenMythos全開源了。

復(fù)現(xiàn)帖引近100萬人圍觀

一時間，全網(wǎng)都坐不住了，網(wǎng)友們紛紛驚嘆Mythos背景精妙的設(shè)計。

不堆參數(shù)，原地「循環(huán)思考」16次

先說結(jié)論，Kye Gomez認為——

Claude Mythos的核心不是一個更大的Transformer，而是一種叫做「循環(huán)深度Transformer」（Recurrent-Depth Transformer, RDT）的架構(gòu)。

說白了就是，同一套權(quán)重，在一次前向傳播里循環(huán)跑最多16次。

傳統(tǒng)大模型像蓋高樓，一層一層往上堆參數(shù)。100層不夠就200層，200層不夠就500層。

參數(shù)越多，模型越大，顯存吃得越猛，訓(xùn)練成本越恐怖。

但RDT完全換了一個思路：不蓋高樓，原地跑圈。

模型只有一個核心計算塊，但這個塊會被反復(fù)執(zhí)行。每循環(huán)一次，隱藏狀態(tài)就更新一次，就相當(dāng)于「多想了一步」。

而且所有的思考都在連續(xù)潛空間里默默進行——不用像思維鏈（CoT）那樣，每一步都吐出可見的token。

這不是重復(fù)計算，是迭代推理。

架構(gòu)全拆解：三段式設(shè)計

整個OpenMythos的架構(gòu)分三段：

Prelude（序曲）→ Recurrent Block（循環(huán)核心）→ Coda（終章）

Prelude和Coda是標準的Transformer層，各跑一次。

真正的計算核心是中間的「循環(huán)塊」，它最多循環(huán)16次，每次循環(huán)的更新規(guī)則是：

h_{t+1} = A·h_t + B·e + Transformer(h_t, e)

其中e是Prelude編碼后的原始輸入，每一步都會被重新注入，防止模型在循環(huán)中「跑偏」。

MoE給廣度，循環(huán)給深度

光靠循環(huán)能解釋Mythos推理的「深度」，但解釋不了廣度。

OpenMythos在循環(huán)核心的每個FFN層，都替換成了MoE層，設(shè)計參考了DeepSeek-MoE：

• 大量細粒度的路由專家；

• 每個token只激活其中一小部分；

• 少量「共享專家」始終激活，負責(zé)吸收跨領(lǐng)域的通用知識。

最精妙的一點，隨著隱藏狀態(tài)h_t在循環(huán)中不斷演化，路由器在每一層循環(huán)深度會選擇不同的專家子集。

也就是說，雖然權(quán)重共享，但每次循環(huán)的計算路徑完全不同：

MoE提供廣度，循環(huán)提供深度。

項目地址：https://github.com/kyegomez/OpenMythos

注意力機制默認使用「多潛變量注意力」（Multi-Latent Attention），來自DeepSeek-V2，把KV緩存壓縮成低秩潛變量，在生產(chǎn)規(guī)模下能實現(xiàn)10-20倍的KV顯存節(jié)省。

三個額外機制保證循環(huán)穩(wěn)定性：LTI約束注入（譜半徑強制小于1）、自適應(yīng)計算時間（ACT）逐位置停機、以及深度級LoRA適配器讓每次迭代都有獨立的行為調(diào)整能力。

細思極恐，這套設(shè)計精密得像一臺瑞士鐘表。

770M打平1.3B，參數(shù)效率直接翻倍

這不是嘴上說說。

此前，來自Parcae團隊的實驗數(shù)據(jù)：一個770M參數(shù)的循環(huán)模型，在同等訓(xùn)練數(shù)據(jù)下，能達到1.3B標準Transformer的下游任務(wù)質(zhì)量。

換句話說——用一半的參數(shù)，干了同樣的活。

這對整個行業(yè)意味著什么？

對消費級硬件來說，這是天大的利好。以前跑個像樣的模型，沒有A100你連門都進不了。

現(xiàn)在呢？推理深度是時間換空間——你不需要更多的顯存，只需要多跑幾圈。

更重磅的是，這徹底改寫了AI的Scaling法則。以前拼的是誰的參數(shù)多、誰的GPU多、誰的電費賬單厚。

現(xiàn)在的規(guī)則變了：未來最強的模型，不是參數(shù)最多的，而是想得最多次的。

不過，作者也表示，這目前只是理論上的說法，還需要保留一些意見。

高中畢業(yè)，就當(dāng)上了CEO

這位扒開22歲Claude Mythos黑箱的大男孩Kye Gomez，是Swarms的創(chuàng)始人，之前還領(lǐng)導(dǎo)過Agora Labs。

他的研究重點是——大規(guī)模多智能體系統(tǒng)、替代模型架構(gòu)和多模態(tài)模型。

個人主頁顯示，Kye Gomez高中畢業(yè)之后，就開始投身于創(chuàng)業(yè)。

在2021年-2024年間，他同時擔(dān)任了三家公司的聯(lián)創(chuàng)/CEO，創(chuàng)建立了一個以「APAC」為品牌的生態(tài)體系。

其覆蓋了AI深科技、媒體、食品科技等多個領(lǐng)域。

22歲小哥，開源了Anthropic神級模型

這件事最讓人震撼的，不是架構(gòu)本身有多厲害。

是一個22歲的創(chuàng)業(yè)者，只用公開論文和第一性原理，就把Anthropic藏了一年的黑箱直接復(fù)現(xiàn)了出來。

還全開源了，而且只要幾行代碼就能跑。

這意味著什么？

閉源實驗室的架構(gòu)優(yōu)勢，正在以肉眼可見的速度消失。

FT最新報道中，Dario Amodei重磅預(yù)測，中國將在12個月內(nèi)，完全復(fù)刻出具備Claude Mythos級別能力的大模型。

針對外界對LLM性能是否觸及天花板的質(zhì)疑，Amode用一句富有詩意的話給出了回應(yīng)——

彩虹沒有盡頭，只有彩虹本身。

他強調(diào)，目前完全看不到技術(shù)放緩的跡象。

當(dāng)一個人用公開信息就能重建最核心的技術(shù)，護城河就不再是架構(gòu)了。

參考資料：

https://x.com/KyeGomezB/status/2045659150340723107?s=20

https://github.com/kyegomez/OpenMythos