1月1日消息，DeepSeek趕在新年前發(fā)送了“賀禮”，在新論文中提出了名為mHC（流形約束超連接）的新網(wǎng)絡(luò)架構(gòu)，旨在解決傳統(tǒng)架構(gòu)在大規(guī)模模型訓(xùn)練中的不穩(wěn)定性問題，這一研究或?qū)橄乱淮A(chǔ)架構(gòu)的演進(jìn)指明新方向。

梁文鋒署名論文發(fā)布

新論文名為《mHC :Manifold-Constrained Hyper-Connections》（《mHC：流形約束超連接 》），DeepSeek創(chuàng)始人兼CEO梁文鋒出現(xiàn)在了合著名單之中，而解振達(dá)（Zhenda Xie）、韋毅軒（Yixuan Wei）、曹煥琪（Huanqi Cao）則是核心貢獻(xiàn)者。

近年來，以超連接（HC）為代表的研究拓展了過去十年確立的通用殘差連接范式（深度神經(jīng)網(wǎng)絡(luò)的經(jīng)典連接范式），靠拓寬神經(jīng)網(wǎng)絡(luò)的“信息傳輸通道”、增加通道間的連接，讓模型性能變好。但這種多樣化也導(dǎo)致了大規(guī)模訓(xùn)練中的不穩(wěn)定性、可擴展性受限及內(nèi)存訪問開銷大的問題。

因此，DeepSeek這篇論文針對超連接架構(gòu)這些問題，提出兼顧性能與效率的改進(jìn)框架，即mHC架構(gòu)，這類似于給超連接的“信息通道”加了一套“交通規(guī)則”，在保留性能優(yōu)勢的同時，又恢復(fù)了信息原樣傳遞的特性，讓模型訓(xùn)練更穩(wěn)定、更容易做大，從而推動大模型底層架構(gòu)的工業(yè)化落地。

這一論文整體較為技術(shù)，但通俗來講，如果將AI模型想象成一個很長的“計算鏈條”，傳統(tǒng)計算鏈條的問題在于，傳遞信息時是一條窄窄的管道，信息量大了就會“堵車”。后來的方法是將管道加寬（超連接），信息流更多，但水流太猛有時候會把水管沖壞。DeepSeek提出的mHC相當(dāng)于給水管加了“智能調(diào)節(jié)閥”，能確保水流的穩(wěn)定，運行的時候更省資源。

在論文中，DeepSeek表示，mHC為未來研究開辟了多個前景廣闊的路徑。研究團隊希望mHC能重新激發(fā)學(xué)界對宏觀架構(gòu)設(shè)計的興趣。通過深化對拓?fù)浣Y(jié)構(gòu)如何影響優(yōu)化與表征學(xué)習(xí)的理解，mHC或?qū)⒂兄谕黄飘?dāng)前限制，并可能為下一代基礎(chǔ)架構(gòu)的演進(jìn)指明新方向。

從行業(yè)意義上來看，mHC或許能讓企業(yè)在訓(xùn)練更大規(guī)模的基礎(chǔ)模型時，減少硬件投入、縮短訓(xùn)練周期。比如算力有限的中小AI企業(yè)，也能嘗試開發(fā)更復(fù)雜的大模型，降低了大模型研發(fā)的門檻。此外，訓(xùn)練穩(wěn)定性和可擴展性的提升，能讓大模型在更復(fù)雜的場景落地，比如需要超大規(guī)模參數(shù)的多模態(tài)模型、工業(yè)級的智能決策系統(tǒng)。

有行業(yè)人士評價認(rèn)為，DeepSeek這一研究是底層創(chuàng)新，這次創(chuàng)新的架構(gòu)看向的是Transformer最基礎(chǔ)的問題，結(jié)合此前的積累，他預(yù)測DeepSeek 有望在V4版本中做出重大的更新。

自2025年初引發(fā)廣泛關(guān)注以來，這一年DeepSeek雖未正式推出R2或V4等重大版本，但在模型迭代與開源上持續(xù)發(fā)力：僅12月就同步推出了DeepSeek-V3.2與V3.2-Special，11月底也開源了數(shù)學(xué)推理模型DeepSeek-Math-V2，成為目前首個達(dá)到國際奧數(shù)金牌水平并開放使用的數(shù)學(xué)模型。