今天是元旦，DeepSeek 又扔了個(gè)王炸。

　　本來(lái)準(zhǔn)備躺平過(guò)節(jié)（嗯，是真的躺著了），結(jié)果睜眼發(fā)現(xiàn)一篇新論文 mHC（流形約束超連接）突然刷屏。

　　我看了一眼作者列表，直接“垂死病中驚坐起”——最后一位赫然寫(xiě)著：Wenfeng Liang（梁文鋒）。

　　圖：DeepSeek CEO 梁文峰署名

　　熟悉 DeepSeek 的都知道，這位 CEO 極少在技術(shù)論文上親自署名。

　　老板親自掛帥，還選在新年第一天發(fā)，說(shuō)明這事兒絕對(duì)不簡(jiǎn)單。

　　讀完我才發(fā)現(xiàn)，他們這次竟然要革深度學(xué)習(xí)祖師爺 ResNet 的命。

　　聽(tīng)起來(lái)很狂？但我研究了一下原理，發(fā)現(xiàn)這幫人是真有東西。

　　01｜從何愷明的“神來(lái)之筆”說(shuō)起

　　要看懂 DeepSeek 的操作，我們得先回看一眼歷史。

　　2016年，大神何愷明（Kaiming He） 團(tuán)隊(duì)提出了 ResNet，徹底解決了深層網(wǎng)絡(luò)訓(xùn)練不動(dòng)的難題。

　　其中的核心設(shè)計(jì)叫“恒等映射”。

　　圖：何愷明，深度殘差網(wǎng)絡(luò)（ResNet）的主要發(fā)明者

　　打個(gè)比方，這就像在迷宮里修了一條“直通車(chē)道”。信號(hào)可以無(wú)腦地從這一層傳到下一層，不被中間商賺差價(jià)。

　　正是因?yàn)橛辛诉@條路，今天的 ChatGPT、DeepSeek 這些幾百層的龐然大物才跑得起來(lái)。

　　但問(wèn)題是，對(duì)于現(xiàn)在胃口越來(lái)越大的模型來(lái)說(shuō)，這一條“單車(chē)道”漸漸不夠用了。

　　于是，學(xué)術(shù)界搞出了一個(gè)叫 HC（Hyper-Connections，超連接） 的東西。

　　HC 的想法很美好：既然單車(chē)道不夠，那我就擴(kuò)建成多車(chē)道唄！

　　它把殘差流變寬（n倍），讓信息在不同車(chē)道間亂竄、混合，以此來(lái)提升模型的能力。

　　圖：三代架構(gòu)進(jìn)化史：(a) 是經(jīng)典的“單車(chē)道” ResNet； (b) 是路修寬了但沒(méi)紅綠燈的 HC（容易撞車(chē)）； (c) 是 DeepSeek 加了“交通管制”的 mHC。

　　但問(wèn)題來(lái)了，這一擴(kuò)建，出事了。

　　原來(lái)的 ResNet 是“直通車(chē)”，很穩(wěn)。現(xiàn)在的 HC 變成了“無(wú)紅綠燈的超級(jí)路口”。

　　論文里的數(shù)據(jù)特別嚇人：在 HC 的架構(gòu)下，信號(hào)在網(wǎng)絡(luò)里傳著傳著，就會(huì)因?yàn)槿狈苁偪衽蛎洝?/p>

　　看原論文里的數(shù)據(jù)，HC 的信號(hào)增益幅度峰值直接干到了 3000！（下圖右側(cè)）

　　圖：HC 的信號(hào)增益幅度峰值直接干到了 3000

　　這意味著啥？意味著信號(hào)被放大了 3000 倍。

　　這就像早高峰的十字路口沒(méi)有紅綠燈，車(chē)全撞在一塊了，這就是典型的“信號(hào)爆炸”。

　　結(jié)果就是：模型訓(xùn)練極其不穩(wěn)定，錯(cuò)誤率（Loss） 說(shuō)炸就炸，根本沒(méi)法在大規(guī)模模型上用。

　　02｜DeepSeek 的解法：數(shù)學(xué)暴力美學(xué)

　　面對(duì)這種“車(chē)禍現(xiàn)場(chǎng)”，一般人的思路可能是：“那我就少修兩條路吧?！?/p>

　　但 DeepSeek 的思路是：路我要修，但我要請(qǐng)一個(gè)懂?dāng)?shù)學(xué)的交警。

　　這就是 mHC（流形約束超連接）的核心邏輯。

　　他們發(fā)現(xiàn)，只要把那些負(fù)責(zé)指揮交通的矩陣，強(qiáng)行按在一個(gè)叫“雙隨機(jī)矩陣”的數(shù)學(xué)規(guī)則里，問(wèn)題就解決了。

　　別被這個(gè)數(shù)學(xué)名詞嚇跑，它的原理其實(shí)也挺簡(jiǎn)單，就像“能量守恒定律”：

　　不管你在路口怎么變道、怎么混合，進(jìn)來(lái)的流量總和，必須嚴(yán)格等于出去的流量總和。

　　既不允許車(chē)子憑空消失（信號(hào)衰減），也不允許憑空變出車(chē)來(lái)（信號(hào)爆炸）。

　　為了做到這一點(diǎn)，DeepSeek 用了一個(gè)叫 Sinkhorn-Knopp 的算法，像是給矩陣戴上了“緊箍咒”。

　　不管這矩陣原來(lái)長(zhǎng)啥樣，經(jīng)過(guò)這個(gè)算法一處理，它就必須變得老老實(shí)實(shí)，行和列的加和都得等于1。

　　這就很漂亮了。

　　它保留了多車(chē)道互聯(lián)帶來(lái)的信息豐富度（性能提升），又把信號(hào)嚴(yán)格限制在了一個(gè)安全的范圍內(nèi)（穩(wěn)定性），完美致敬了何愷明當(dāng)年追求的“恒等映射”精神。

　　03. 效果怎么樣？直接看療效

　　理論吹得再好，還得看實(shí)驗(yàn)。

　　還記得剛才說(shuō) HC 的信號(hào)增益飆到了 3000 嗎？

　　用了 mHC 之后，這個(gè)數(shù)字被死死按在了 1.6 左右。

　　從 3000 到 1.6，這是直接降低了三個(gè)數(shù)量級(jí)！

　　這也直接體現(xiàn)在了訓(xùn)練曲線上：

　　穩(wěn)如老狗： mHC 的訓(xùn)練 Loss 曲線（藍(lán)線）極其平滑，跟基線模型幾乎一樣穩(wěn)。

　　圖：mHC 的訓(xùn)練 Loss 曲線極其平滑

　　性能更強(qiáng)： 在 27B 參數(shù)的模型上，mHC 不僅穩(wěn)，效果還比標(biāo)準(zhǔn)版更好。特別是在比較難的 BBH（邏輯推理）和 DROP 任務(wù)上，提升非常明顯。

　　圖：在 27B 參數(shù)的模型上，mHC 不僅穩(wěn)，效果還比標(biāo)準(zhǔn)版更好。

　　04. 不止是數(shù)學(xué)，更是工程上的“摳門(mén)”

　　讀 DeepSeek 的論文，你永遠(yuǎn)能感覺(jué)到他們那種“把算力榨干到最后一滴”的執(zhí)著。

　　因?yàn)榘崖沸迣?，本?lái)是一件非常費(fèi)顯存、費(fèi)時(shí)間的事。

　　如果不做優(yōu)化，內(nèi)存訪問(wèn)成本（I/O）會(huì)增加好幾倍，這誰(shuí)受得了？

　　所以 mHC 不僅僅是一個(gè)數(shù)學(xué)創(chuàng)新，還是一套工程優(yōu)化方案。

　　算子融合（Kernel Fusion）： 他們手寫(xiě)了底層的 Kernel，把好幾步計(jì)算合并成一步，減少 GPU 讀寫(xiě)內(nèi)存的次數(shù)。

　　重計(jì)算（Recomputing）： 為了省顯存，他們選擇在反向傳播時(shí)重新計(jì)算中間結(jié)果，而不是一直存著。

　　通信重疊： 利用 DualPipe 策略，把額外的通信時(shí)間“藏”在計(jì)算時(shí)間里。

　　結(jié)果就是：在擴(kuò)展率為 4 的情況下，mHC 帶來(lái)的額外訓(xùn)練時(shí)間開(kāi)銷(xiāo)，僅僅只有 6.7%。

　　用極小的代價(jià)，換來(lái)了模型性能和穩(wěn)定性的雙重提升。

　　這種“又好又省”的風(fēng)格，確實(shí)很 DeepSeek。

　　說(shuō)實(shí)話，每次讀 DeepSeek 的論文都讓人挺佩服的，不是那些牛逼的技術(shù)，而是他們“死磕底層”的態(tài)度。

　　特別是在現(xiàn)在，大家都忙著卷應(yīng)用、卷 Agents 的時(shí)候，他們?cè)敢饣剡^(guò)頭去修補(bǔ) AI 的“地基”。

　　ResNet 已經(jīng)統(tǒng)治了深度學(xué)習(xí)這么多年，大家都覺(jué)得它是完美的。

　　但 mHC 告訴我們：只要你不迷信權(quán)威，哪怕是地基，也有重修的可能。

　　mHC 這種架構(gòu)，或許不會(huì)馬上改變你的生活，但它可能會(huì)讓下一代的 DeepSeek、GPT 跑得更穩(wěn)、更快。

　　對(duì)于 DeepSeek 這種“硬核”的數(shù)學(xué)暴力美學(xué)，你怎么看？歡迎在評(píng)論區(qū)聊聊。