AIPress.com.cn報道

2026 年剛開年，DeepSeek就放出了一項重要技術(shù)進展。

1月1日，DeepSeek發(fā)表論文《Manifold-Constrained Hyper-Connections》，提出一種全新的模型連接結(jié)構(gòu) mHC（流形約束超連接），直擊當前大模型訓(xùn)練領(lǐng)域中長期存在卻難以攻克的核心問題：模型越大，訓(xùn)練越不穩(wěn)定。

該論文由DeepSeek團隊完成，創(chuàng)始人兼CEO梁文鋒也出現(xiàn)在作者名單中。

為什么大模型越來越“難訓(xùn)練”？

目前主流的大模型，幾乎都建立在“殘差連接”之上。這種結(jié)構(gòu)的好處是讓信息在深層網(wǎng)絡(luò)中更順暢地傳遞，是 Transformer 能夠成功的關(guān)鍵之一。

但隨著模型規(guī)模不斷擴大，研究者們開始嘗試更復(fù)雜的連接方式，比如 Hyper-Connections（超連接），希望讓模型具備更強的表達能力。

問題也恰恰出在這里。

論文指出，這類結(jié)構(gòu)雖然在理論上更靈活，但在實際訓(xùn)練中容易出現(xiàn) 梯度爆炸、信號失真、訓(xùn)練不穩(wěn)定 等問題。在部分實驗場景中，信號甚至?xí)环糯笊锨П?，?dǎo)致模型難以收斂，訓(xùn)練成本急劇上升。

DeepSeek 的解法：給“連接”加上約束

針對這一痛點，DeepSeek 提出了 mHC（流形約束超連接） 方案。

簡單來說，mHC 并不是完全推翻原有結(jié)構(gòu)，而是給超連接增設(shè)一道“約束”，將原本自由度極高的連接矩陣，限制在一個數(shù)學(xué)層面更加穩(wěn)定的“流形空間”中。

這一設(shè)計帶來的效果十分顯著：既保留了超連接的強大表達能力，又恢復(fù)了類似傳統(tǒng)殘差結(jié)構(gòu)的訓(xùn)練穩(wěn)定性，同時還能有效避免信號在層與層之間出現(xiàn)無限制放大的情況。用論文中的表述來講，就是讓模型在“表達能力”與“數(shù)值穩(wěn)定性”之間，重新取得平衡。

實測結(jié)果：更穩(wěn)、更準，代價更低

在 27B 參數(shù)規(guī)模的模型測試中，mHC 結(jié)構(gòu)的表現(xiàn)堪稱亮眼。在 BBH、DROP 等多個推理類基準任務(wù)中，其性能顯著超越傳統(tǒng)結(jié)構(gòu)；整個訓(xùn)練過程穩(wěn)定性拉滿，未出現(xiàn)明顯的梯度爆炸現(xiàn)象；額外增加的計算開銷僅約 6.7%，完全處于工程可接受范圍之內(nèi)。

論文還指出，在更大規(guī)模模型中，mHC的技術(shù)優(yōu)勢還會進一步放大，也意味著該結(jié)構(gòu)對未來超大模型的研發(fā)具有較強的擴展?jié)摿Α?/p>

一次偏底層、但很關(guān)鍵的推進

在外界看來，mHC 并非“看一眼就能用”的功能更新，而是一項偏向底層架構(gòu)、蘊含先進工程哲學(xué)的技術(shù)改進。

但恰恰是這類深耕底層的研究工作，決定了大模型能否繼續(xù)向更大規(guī)模演進。

在算力、數(shù)據(jù)逐漸逼近物理與成本極限的當下，如何讓模型“跑得穩(wěn)、跑得久”，已經(jīng)成為比“堆參數(shù)”更重要的核心命題。DeepSeek 此次的技術(shù)嘗試，或?qū)⒊蔀橄乱浑A段模型架構(gòu)演進的重要方向之一。

如果說過去幾年，行業(yè)奮力攻克的是“能不能做大模型”，那么現(xiàn)在，研究者們開始認真思考的是：大模型還能不能繼續(xù)成長，如何健康地成長。