2026年初，DeepSeek 團隊再次向 AI 業(yè)界投下重磅炸彈，發(fā)布了名為mHC（Manifold-Constrained Hyper-Connections，流形約束超連接）的新型架構(gòu)技術(shù)。這一創(chuàng)新由 DeepSeek 創(chuàng)始人梁文鋒親自署名，標(biāo)志著深度學(xué)習(xí)底層架構(gòu)從“暴力堆疊”向“精密設(shè)計”的又一次躍遷。

如果說 DeepSeek 此前著名的MLA（多頭潛在注意力）是管推理效率的“省錢利器”，那么mHC就是管訓(xùn)練穩(wěn)定性的“定海神針”。兩者互補，共同構(gòu)成了下一代超級大模型的雙支柱架構(gòu)。

一、 原理大白話：給信息流裝上“穩(wěn)壓器”

為了理解 mHC 的精妙，我們可以用“給城市供水”來打個比方：

1. 傳統(tǒng)殘差連接（Residual Connection）：一根細(xì)水管
   為了讓信號在極深的模型里不走丟，模型通常會接一根細(xì)細(xì)的“直通水管”。它雖穩(wěn)，但由于水管太細(xì)（信息通道寬度受限），供水量有限，限制了模型的表達上限。

2. 傳統(tǒng)“超連接”（Hyper-Connections, HC）：多根大粗管
   為了變強，有人想多加幾根粗管子，讓信息多路并發(fā)。結(jié)果發(fā)現(xiàn)，水流變得極其狂暴，信號增益峰值甚至能飆升到 3000 倍。這種“信號大爆炸”會瞬間沖垮模型，導(dǎo)致訓(xùn)練直接崩潰。

3. mHC：帶“高精穩(wěn)壓器”的超大供水網(wǎng)絡(luò)
   mHC 保留了多路連接的超強輸送能力，但在每一路連接上都安裝了高精度的“節(jié)流閥”和“穩(wěn)壓器”。

• 黑科技武器： 引入數(shù)學(xué)中的“流形約束”和“雙隨機矩陣”（通過 Sinkhorn-Knopp 算法實現(xiàn)）。

• 效果： 它將信號增益嚴(yán)格控制在 1.6 倍 左右。水流既充沛又平穩(wěn)，保證了模型在變大、變深時依然能“氣定神閑”地工作。

mHC 并非實驗室里的花瓶，其在實際大規(guī)模測試中展現(xiàn)出了驚人的效費比：

維度

傳統(tǒng)架構(gòu) (Baseline)

mHC 架構(gòu)

提升/變動

推理任務(wù)準(zhǔn)確率

基準(zhǔn)水平

顯著增強

提升約 7%

訓(xùn)練開銷 (27B 模型)

100%

106.7%

僅增加 6.7%

訓(xùn)練穩(wěn)定性

極易出現(xiàn)梯度爆炸/消失

極其穩(wěn)定

質(zhì)的飛躍

信號增益峰值

約 3000 倍 (HC)

約 1.6 倍

完美受控

核心洞察： 在 AI 領(lǐng)域，通常 1% 的準(zhǔn)確率提升往往需要翻倍的算力投入。mHC 僅用不到 7% 的額外開銷就換取了 7% 的準(zhǔn)確率飛躍，這在邊際效應(yīng)遞減的今天近乎于“煉金術(shù)”。

為了避免混淆，我們需要理清 DeepSeek 的這兩項“神技”：

特性

MLA (Multi-Head Latent Attention)

mHC (Manifold-Constrained Hyper-Connections)

解決目標(biāo)

推理效率 & 顯存占用

訓(xùn)練穩(wěn)定性 & 擴展性天花板

核心手段

壓縮 KV Cache（鍵值緩存）

數(shù)學(xué)約束殘差連接空間

應(yīng)用階段

推理（生成文字時更省顯存、更快）

訓(xùn)練（模型變大時不容易跑崩）

主要意義

降低了長文本處理的成本

掃清了通往 V4、V5 規(guī)模的障礙

四、 產(chǎn)業(yè)意義與深遠(yuǎn)影響

mHC 的出現(xiàn)，不僅僅是一個算法的改進，更是對整個 AI 工業(yè)界的一次重塑：

1. 訓(xùn)練規(guī)模化的新天花板
   大模型并非想做多大就能做多大，規(guī)模越大，數(shù)學(xué)上的不穩(wěn)定性就越致命。mHC 為 DeepSeek-V4 等后續(xù)百萬億參數(shù)級模型的研發(fā)鋪平了道路，解決了“模型越大越難練”的痛點。

2. 國產(chǎn)芯片的深度適配
   mHC 團隊在研發(fā)過程中，針對底層算子進行了極致優(yōu)化（如內(nèi)核融合、智能重計算）。這使得該架構(gòu)能更高效地跑在國產(chǎn) AI 算力（如中昊芯英 TPU 集群等）上，減少了對特定高端顯卡的硬性依賴。

3. 算力民主化的推動者
   當(dāng)同樣的算力能跑出更強的效果時，追求極致性能的成本門檻降低了。這讓更多資源有限的研究機構(gòu)或企業(yè)，能夠訓(xùn)練出足以媲美頂級巨頭的中等規(guī)模高性能模型。

mHC 是 AI 底層架構(gòu)從“經(jīng)驗主義”向“數(shù)學(xué)嚴(yán)謹(jǐn)性”的一次重要進化。

它通過精妙的流形約束，成功馴服了狂暴的超連接，實現(xiàn)了訓(xùn)練穩(wěn)定性和模型能力的雙贏。隨著 DeepSeek 逐步將該架構(gòu)推向生產(chǎn)環(huán)境，我們有理由相信，未來的大模型將不再只是計算資源的堆砌，而是結(jié)構(gòu)之美與工程之巔的完美融合。

*本文依據(jù)網(wǎng)絡(luò)搜集數(shù)據(jù)整理，由AI工具輔助完成

All rights reserved. Copyright ? 2025