北京時(shí)間2026年1月1日，DeepSeek團(tuán)隊(duì)在arXiv（預(yù)印本）網(wǎng)站和Hugging Face上同步發(fā)布了最新論文，名為《mHC: Manifold-Constrained Hyper-Connections》，論文的核心觀點(diǎn)是提出一種名為“mHC”（直譯為“流形約束超連接”）的框架，該框架改進(jìn)了此前大模型訓(xùn)練中一種名為“HC（Hyper-Connections，超連接）”的范式，對(duì)大規(guī)模模型訓(xùn)練提供了切實(shí)的性能改進(jìn)。

貝殼財(cái)經(jīng)記者注意到，DeepSeek創(chuàng)始人梁文鋒的名字出現(xiàn)在了這篇論文署名作者的最后一位上。事實(shí)上，雖然DeepSeek在2025年春節(jié)因?yàn)镽1模型的開(kāi)源發(fā)布而全球爆火，但在梁文鋒的帶領(lǐng)下，這家公司極其低調(diào)，團(tuán)隊(duì)一直潛心學(xué)術(shù)，未做過(guò)多的商業(yè)化嘗試，一心撲在基礎(chǔ)模型理論研發(fā)之上，梁文鋒還在近期入選了《自然》2025年影響科學(xué)發(fā)展十大人物。

梁文鋒的名字出現(xiàn)在論文作者最后一位。Hugging Face網(wǎng)站截圖

論文重點(diǎn)講了什么？

破解大模型訓(xùn)練擁堵難題

貝殼財(cái)經(jīng)記者梳理發(fā)現(xiàn)，DeepSeek團(tuán)隊(duì)本次發(fā)布的論文瞄準(zhǔn)了大模型訓(xùn)練的“地基”——?dú)埐钸B接范式，以及為了升級(jí)殘差連接范式提出的HC（超連接）范式，是不折不扣的一次基礎(chǔ)理論創(chuàng)新。

DeepSeek團(tuán)隊(duì)在論文中以嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)公式解釋了mHC，若以簡(jiǎn)單的語(yǔ)言來(lái)類比，大致可以理解為，殘差連接是AI模型訓(xùn)練的“生命線”——它像一條單車道高速公路，讓數(shù)據(jù)信號(hào)可以跳過(guò)某些層直接連接，從而解決了在此之前神經(jīng)網(wǎng)絡(luò)越大訓(xùn)練越困難的問(wèn)題。

但隨著大模型參數(shù)突破千億，這條“單車道”越來(lái)越不夠用，此時(shí)超連接（HC）范式登場(chǎng)，其把單車道擴(kuò)建成多車道，從而顯著提升了模型性能。但與此同時(shí)，過(guò)多的數(shù)據(jù)信號(hào)也導(dǎo)致了“堵車撞車”，就像多車道中沒(méi)裝 “交通信號(hào)燈”一樣，使模型訓(xùn)練變得更加不穩(wěn)定，容易崩潰。

此時(shí)，DeepSeek提出了一種新算法，給“多車道”增加了一套智能調(diào)度系統(tǒng)（即mHC“流行約束”），其要求每個(gè)路口的車必須全部分流出去，每個(gè)車道接收的車數(shù)量固定，從而大大增加了模型訓(xùn)練的穩(wěn)定性。

論文配圖HC與mHC的訓(xùn)練損失差距，其中淡藍(lán)色線為HC，藍(lán)色線為mHC。論文截圖

最終，DeepSeek在論文中以直觀的測(cè)試展示了mHC方法相對(duì)于HC的穩(wěn)定性。

理論創(chuàng)新

站在何凱明團(tuán)隊(duì)和字節(jié)跳動(dòng)的肩膀上

值得注意的是，本次DeepSeek的論文，是站在了AI“大神”何凱明以及字節(jié)跳動(dòng)的肩膀上。

這是因?yàn)?，殘差連接正是2015年由何凱明等人在微軟亞洲研究院所提出的，何愷明還因此獲得了CVPR 2016最佳論文獎(jiǎng)，殘差連接之后也成了幾乎所有主流大模型的“標(biāo)配”。

直到2024年，為了解決殘差連接信號(hào)通道不夠“寬闊”的問(wèn)題，字節(jié)跳動(dòng)旗下團(tuán)隊(duì)提出了HC（超連接）范式，但由此也帶來(lái)了穩(wěn)定性不夠的問(wèn)題。而DeepSeek正是在前人的基礎(chǔ)上進(jìn)一步進(jìn)行了優(yōu)化。

2026年的第一天，在諸多大模型公司聚焦商業(yè)化和變現(xiàn)之際，DeepSeek此舉進(jìn)一步證實(shí)了自己在基礎(chǔ)模型領(lǐng)域的戰(zhàn)略定力。

在本次發(fā)布論文的文末，DeepSeek團(tuán)隊(duì)寫道，“我們希望mHC能重振社區(qū)對(duì)宏觀架構(gòu)設(shè)計(jì)的興趣。通過(guò)加深對(duì)拓?fù)浣Y(jié)構(gòu)如何影響優(yōu)化和表示學(xué)習(xí)的理解，mHC將有助于解決當(dāng)前的限制，并有可能為下一代基礎(chǔ)架構(gòu)的發(fā)展指明新途徑?！?/p>

新京報(bào)貝殼財(cái)經(jīng)記者 羅亦丹

編輯 岳彩周

校對(duì) 柳寶慶