作者 | 封華

編輯 | 魏曉

來自中國(guó)的Kimi，再一次引發(fā)了硅谷AI圈的注意。

3月16日，月之暗面Kimi發(fā)布了一項(xiàng)技術(shù)報(bào)告《Attention Residuals》（注意力殘差），重新設(shè)計(jì)了深度學(xué)習(xí)中核心的殘差連接結(jié)構(gòu)。

報(bào)告發(fā)布后，引來了一眾企業(yè)家和AI大佬的圍觀。連續(xù)三天登上Twitter全球熱搜榜，主貼閱讀量超過 460萬，堪比一次模型重要版本發(fā)布。

OpenAI的“推理模型之父”、前OpenAI研究副總裁Jerry Tworek表示：“深度學(xué)習(xí)2.0要來了”。

馬斯克稱贊道：“Kimi的研究令人印象深刻（Impressive work from Kimi）”。隨后，Kimi進(jìn)行了回應(yīng)：“你的火箭造得也不錯(cuò)！”

中外AI，在這一刻產(chǎn)生了惺惺相惜之感。

馬斯克在業(yè)內(nèi)一向“口無遮攔”，曾嘲諷Anthropic大規(guī)模竊取訓(xùn)練數(shù)據(jù)，也曾批評(píng)OpenAI成為“逐利公司”。只有真心認(rèn)可，他才會(huì)不吝點(diǎn)贊。

這次馬斯克對(duì)Kimi大加贊賞，正是震驚于AI技術(shù)的突破。

Kimi提出的注意力殘差，旨在突破大模型架構(gòu)中的瓶頸，改寫大模型訓(xùn)練效率與成本曲線。

技術(shù)突破“炸場(chǎng)”的同時(shí)，月之暗面創(chuàng)始人楊植麟還成為英偉達(dá)年度大會(huì)GTC 2026，唯一受邀演講的中國(guó)大模型公司創(chuàng)始人。

在演講中，楊植麟沒有去講Kimi的用戶數(shù)，或是其他商業(yè)數(shù)據(jù)，而是解讀了一個(gè)核心問題：當(dāng)算力基建的規(guī)模化（Scaling）已成為行業(yè)共識(shí)，我們到底該Scale什么？

當(dāng)全球AI競(jìng)爭(zhēng)進(jìn)入深水區(qū)，Kimi的估值已狂飆至1200億元。從這次的技術(shù)突破，和楊植麟干貨滿滿的演講中，能看到Kimi對(duì)追求智能上限的執(zhí)著。

新技術(shù)改變了什么？

Kimi這次的突破，不是“調(diào)參數(shù)”，而是“動(dòng)地基”。

當(dāng)前大多數(shù)大規(guī)模深度學(xué)習(xí)模型都在使用“殘差連接”的結(jié)構(gòu)，以保證能訓(xùn)練幾十層乃至上百層而不崩潰。

這個(gè)設(shè)計(jì)來自何愷明在2015年參與的ResNet論文，十年來不曾被動(dòng)搖根基。

其簡(jiǎn)單邏輯是：每一層的輸出=當(dāng)前層的結(jié)果+前面數(shù)層的累加。每一層網(wǎng)絡(luò)在做完自己的計(jì)算之后，把自己的輸出和輸入加在一起，然后傳到下一層去再做計(jì)算。

這樣做的好處是，這樣一路累加下去，每一層都能“記住”前面所有層的信息。

但這個(gè)機(jī)制并不是完美的，在大模型PreNorm主流范式下，殘差連接中所有層的

貢獻(xiàn)都是等權(quán)累加。

這樣將信息進(jìn)行“無差別疊加”，沒有任何有效機(jī)制，去判斷哪一層的信息更重要，哪一層的信息可以忽略。隨著層數(shù)的增加，早期層信息的重要性就會(huì)被稀釋。并且，后面的層想要產(chǎn)生影響，就必須輸出模長(zhǎng)更大的激活值，這反過來又加劇了訓(xùn)練的不穩(wěn)定性。

就像咱們普通用戶在使用AI時(shí)，提示詞要盡量精準(zhǔn)、簡(jiǎn)練，如果事無巨細(xì)地進(jìn)行長(zhǎng)篇大論，反而增加了AI理解信息的難度。

AI訓(xùn)練也是如此，重要信息被稀釋，并且計(jì)算效率較為低下，這是一種浪費(fèi)和負(fù)擔(dān)。

Kimi團(tuán)隊(duì)的最新技術(shù)報(bào)告提出一種全新方案——既然不想要“無差別累加”，那就讓網(wǎng)絡(luò)自己決定該提取什么信息。也就是，允許模型在每一層選擇性地關(guān)注此前各層的輸出，而不是簡(jiǎn)單地進(jìn)行求和。

這一創(chuàng)新不僅優(yōu)化了計(jì)算效率，還顯著提升了大模型的訓(xùn)練效果。報(bào)告顯示，經(jīng)過改進(jìn)的48B模型訓(xùn)練效率提升了1.25倍。

Kimi的研究表明，當(dāng)把動(dòng)態(tài)、與輸入相關(guān)的注意力機(jī)制引入進(jìn)來之后，模型不再是簡(jiǎn)單地“全盤接收”信息，而是具備了“結(jié)構(gòu)性判斷能力”，能夠更有選擇地抓住關(guān)鍵內(nèi)容。

結(jié)果也很直接——改寫了大模型訓(xùn)練效率與成本曲線。

Kimi團(tuán)隊(duì)這次對(duì)慣性的大膽反思，瞄準(zhǔn)的是那座最不起眼卻最承重的“地基”。這并非一次局部?jī)?yōu)化，而是有機(jī)會(huì)成為未來大模型架構(gòu)里的“標(biāo)配組件”。隨著驗(yàn)證逐步展開，世界上其他AI團(tuán)隊(duì)大概率會(huì)跟進(jìn)類似思路，去探索新的架構(gòu)路徑。

楊植麟此次在英偉達(dá)GTC 2026現(xiàn)場(chǎng)的演講，更將Kimi團(tuán)隊(duì)的技術(shù)實(shí)力與獨(dú)特思考，第一次完整展示給硅谷核心技術(shù)圈。

對(duì)“祖?zhèn)骷夹g(shù)”動(dòng)刀

重構(gòu)前沿范式

北京時(shí)間3月18日凌晨，楊植麟站在英偉達(dá)年度大會(huì)GTC 2026的現(xiàn)場(chǎng)，發(fā)表了主題為《How We Scaled Kimi K2.5》的演講，首次完整披露了Kimi的技術(shù)路線圖。

按照他講述的Kimi K2.5的進(jìn)化邏輯，只有在“Token效率、長(zhǎng)上下文、智能體集群”三個(gè)維度同時(shí)找到規(guī)模效應(yīng)，才能實(shí)現(xiàn)遠(yuǎn)超現(xiàn)狀的智能水平。

如果說三維邏輯是戰(zhàn)略，那么對(duì)三大底層技術(shù)的重構(gòu)就是戰(zhàn)術(shù)。

楊植麟提出，行業(yè)目前普遍使用的很多技術(shù)標(biāo)準(zhǔn)，本質(zhì)上是八九年前的產(chǎn)物，正逐漸成為大模型 Scaling 的瓶頸。

這也是本次演講的真正“硬核”所在，楊植麟直接勾勒出了下一代大模型的思考路徑：

要真正實(shí)現(xiàn)智能上限的突破，不是來自于對(duì)舊架構(gòu)的修修補(bǔ)補(bǔ)，而是對(duì)優(yōu)化器、注意力機(jī)制、殘差連接等底層基石的重構(gòu)。

其一，優(yōu)化器革命：從Adam到MuonClip。

在超大規(guī)模訓(xùn)練中，Adam優(yōu)化器在提升Token效率上的瓶頸日益凸顯，尋找更具 Token 效率的替代方案已成趨勢(shì)。

Kimi團(tuán)隊(duì)在實(shí)驗(yàn)中驗(yàn)證了Muon優(yōu)化器的潛力，但在擴(kuò)展到萬億參數(shù)時(shí)遇到了“Logits爆炸”的難題。

對(duì)此，他們開出了自己的藥方：MuonClip。通過結(jié)合Newton-Schulz迭代并結(jié)合QK-Clip機(jī)制，他們不僅解決了穩(wěn)定性問題，更實(shí)現(xiàn)了2倍于傳統(tǒng)AdamW的計(jì)算效率。

這一突破意義重大，在算力約束、成本高企的當(dāng)下，誰能用更少的計(jì)算量榨取更多的智能，誰就掌握了通往AGI的速通卡。

其二，Kimi Linear：全注意力機(jī)制“終結(jié)者”。

楊植麟展示了基于KDA架構(gòu)的Kimi Linear，一種混合線性注意力架構(gòu)。它挑戰(zhàn)了“所有層必須使用全注意力”的慣例，通過優(yōu)化遞歸存儲(chǔ)管理，在128K甚至1M的超長(zhǎng)上下文中，將解碼速度提升了5到6倍。

這不僅是速度的提升，更是對(duì)注意力機(jī)制本質(zhì)的思考：“按需分配”的注意力，才是不同場(chǎng)景下的務(wù)實(shí)選擇。

其三：殘差連接：從固定加法到注意力殘差

繼論文受到各方AI大佬圍觀之后，楊植麟再次在演講中介紹了這一技術(shù)突破。

針對(duì)已有十年歷史的殘差連接，Kimi引入Attention Residuals方案，將傳統(tǒng)的固定加法累加，替換為對(duì)前序?qū)虞敵龅腟oftmax注意力。

這一改動(dòng)，通過選擇性聚合信息，讓每一層都能獲得前面所有層中更有價(jià)值的信息，而不是淹沒在求和“噪聲”中。

之后，楊植麟提出了一項(xiàng)預(yù)判。他認(rèn)為，未來的智能形態(tài)將從單智能體向動(dòng)態(tài)生成的集群進(jìn)化。Kimi K2.5引入的Orchestrator機(jī)制，能夠?qū)?fù)雜的長(zhǎng)任務(wù)拆解給數(shù)十個(gè)子Agent并行處理，實(shí)現(xiàn)自協(xié)調(diào)的群體執(zhí)行。

上述框架，并非零散的技術(shù)點(diǎn)疊加，而是一套從底層基石到上層應(yīng)用的完整技術(shù)閉環(huán)，每一個(gè)環(huán)節(jié)都直指行業(yè)沿用近十年的技術(shù)標(biāo)準(zhǔn)的核心瓶頸。

跳出“中國(guó)版ChatGPT”框架

Kimi K2.5是全球用戶量最大的AI編程平臺(tái)Cursor唯一接入的開源模型，也是唯一的中國(guó)模型。也是全球最大的獨(dú)立AI搜索服務(wù)商Perplexity唯一接入的中國(guó)模型，開源的K2.5在跟OpenAI、Anthropic和Google的頂尖閉源模型同場(chǎng)競(jìng)技。

一同起飛的，是Kimi商業(yè)化的躍遷：20天收入即超2025年全年。

K2.5發(fā)布后，Kimi通過其性能90%、價(jià)格七分之一的性價(jià)比優(yōu)勢(shì)，在海外斬獲高速的收入增長(zhǎng)，海外收入在總營(yíng)收中占比已超過國(guó)內(nèi)，海外API開放平臺(tái)日均訪問量翻10-20倍。

Kimi Claw于今年1月上線后，1月個(gè)人訂閱支付訂單環(huán)比暴增8280%，2月再漲123.8%。

業(yè)內(nèi)認(rèn)可之外，資本的追捧也極具說服力。

最近三個(gè)月，估值漲了4倍，融資超過10億美元，超過大模型同行IPO募資額。

最備受期待的，是Kimi“身份”的轉(zhuǎn)變——其已跳出“中國(guó)版ChatGPT”的狹窄框架，直接參與到了全球AI技術(shù)的底層創(chuàng)新。

楊植麟談到了 AI 研究范式的轉(zhuǎn)變，從中我們得以一窺，為什么Kimi能不斷地從“古老”技術(shù)中挖掘出新的突破？

他提到，十年前的研究往往更看重新想法的發(fā)表，但受限于算力資源，很難通過不同規(guī)模的實(shí)驗(yàn)來驗(yàn)證這些想法。而現(xiàn)在由于擁有了足夠的資源和“縮放階梯（Scaling Ladder）”，研究者可以進(jìn)行嚴(yán)謹(jǐn)?shù)囊?guī)�；瘜�(shí)驗(yàn)，從而得出更自信、更可靠的結(jié)論。

楊植麟傳遞出的信息清晰而堅(jiān)定：Kimi不想只做一個(gè)更好的模型，而是要做那個(gè)定義下一代模型架構(gòu)的引領(lǐng)者：審視那些被沿用近十年的“舊技術(shù)”，嚴(yán)謹(jǐn)驗(yàn)證，大膽重構(gòu)，找到突破智能上限的下一個(gè)項(xiàng)關(guān)鍵技術(shù)。