訓(xùn)練一個(gè)大模型要多久？

小模型幾天，大模型幾周，頂級模型可能要幾個(gè)月。

現(xiàn)在想象一下：你的團(tuán)隊(duì)花了兩周時(shí)間、燒掉幾百萬美元的算力，眼看模型快要訓(xùn)練完成，突然，原本應(yīng)該不斷降低的loss曲線開始暴漲，所有數(shù)據(jù)全部作廢，一切從頭再來。

2025年的最后一天，DeepSeek悄悄發(fā)了一篇論文《mHC: Manifold-Constrained Hyper-Connections》，解決了這個(gè)問題。

一個(gè)讓工程師崩潰的bug

這篇論文一發(fā)布，海外AI圈就炸了。

Hugging Face上，mHC論文直接登上了 " Paper of the day"，獲得73個(gè)專業(yè)點(diǎn)贊。

X上，AI研究者Alexander Doria的解讀帖引發(fā)了大量轉(zhuǎn)發(fā)。他寫道：

"這實(shí)際上是一篇工程論文...論文的核心是'高效訓(xùn)練設(shè)計(jì)'，他們用混合精度策略最大化數(shù)值精度，用算子融合減少內(nèi)存帶寬瓶頸...整體非常優(yōu)雅。"

Hugging Face Paper of the day

這篇論文到底解決了什么問題？為什么能引起這么大的關(guān)注？

故事要從去年說起。字節(jié)跳動(dòng)提出了一種叫Hyper-Connections（HC）的新技術(shù)。

簡單說，傳統(tǒng)的AI模型像一條單行道，信息排隊(duì)通過。

HC把它拓寬成了4條并行車道，讓信息可以同時(shí)在多個(gè)"通道"里流動(dòng)和交換。

效果非常驚艷：根據(jù)字節(jié)跳動(dòng)的論文，訓(xùn)練速度最高提升1.8倍，在ARC-Challenge基準(zhǔn)上提升了6分。

Hyper-Connections論文結(jié)果圖（訓(xùn)練loss與ARC-Challenge表現(xiàn)）

全世界的AI團(tuán)隊(duì)都想用這個(gè)技術(shù)，但很快，大家發(fā)現(xiàn)了一個(gè)致命的問題：訓(xùn)練到12000步左右，模型會突然"發(fā)瘋"。

代表AI錯(cuò)誤率的loss曲線，本來穩(wěn)步下降，突然毫無征兆地飆升。前面十幾天的訓(xùn)練，全部白費(fèi)。

更可怕的是，這個(gè)問題沒有規(guī)律可循。有時(shí)候能撐過去，有時(shí)候撐不過去，工程師們只能碰運(yùn)氣。

3000倍 → 1.6倍

DeepSeek的工程師們研究后發(fā)現(xiàn)了問題所在：4條"車道"之間的信息交換，沒有任何約束。

就像高速公路上的車可以隨意變道，而且每次變道車的數(shù)量還會隨機(jī)變化。

幾十次變道之后，有的車道上擠了幾千輛車，有的車道空無一車。系統(tǒng)必然崩潰。

在AI模型里，這個(gè)"變化"有多夸張？信號放大倍數(shù)最高達(dá)到3000倍。

DeepSeek的解決方案非常優(yōu)雅：加一個(gè)數(shù)學(xué)約束，讓每次"變道"后，總車數(shù)保持不變。

他們用的工具是一個(gè)1967年就有的老算法：Sinkhorn-Knopp。

這個(gè)算法能保證信息在通道之間流動(dòng)時(shí)"守恒"，不會無限放大，也不會逐漸消失。

結(jié)果：信號放大倍數(shù)從3000倍降到1.6倍，訓(xùn)練過程穩(wěn)定，不再隨機(jī)崩盤。

額外的計(jì)算開銷？ 僅6.7%，推理能力還額外提升了2%以上。

用一個(gè)58年前的老算法，解決了2025年最前沿的工程難題。

沒有什么驚天動(dòng)地的理論突破，都是工程師的智慧：找到問題的本質(zhì)，用最簡單的方法解決它。

研究，早已不在象牙塔里

看完這篇論文，相信你馬上就會明白，為什么AI研究的一線早已不在象牙塔里。

你看這篇論文的內(nèi)容：

大量篇幅在講"Kernel Fusion"（算子融合）：怎么把多個(gè)計(jì)算合并成一個(gè)，減少內(nèi)存讀寫

詳細(xì)描述了"Recomputing"（重計(jì)算策略）：寧可重新算一遍，也不占用寶貴的顯存

甚至專門討論了"DualPipe Schedule"（流水線調(diào)度）：怎么讓通信和計(jì)算同時(shí)進(jìn)行，不浪費(fèi)一秒鐘

全是實(shí)打?qū)嵉墓こ虄?yōu)化。

DeepSeek

DeepSeek這篇論文的核心貢獻(xiàn)，就是發(fā)現(xiàn)了"訓(xùn)練會崩"這個(gè)實(shí)際問題，然后用一個(gè)58年前的老算法解決了它。

AI的"發(fā)動(dòng)機(jī)"已經(jīng)基本就緒了。

大模型的核心架構(gòu)、訓(xùn)練方法、推理框架，都已經(jīng)相當(dāng)成熟。

接下來的競爭，不只是"誰能造出更大的發(fā)動(dòng)機(jī)"，更是"誰能把發(fā)動(dòng)機(jī)用得更好"。

而這種"用得更好"的優(yōu)化，會發(fā)生在AI應(yīng)用的很多環(huán)節(jié)：

• 怎么更好的使用AI大模型？

• 哪些場景中能發(fā)揮AI潛力？

• 怎么用更少的資源做更多的事？

這些問題，不需要你是數(shù)學(xué)天才，不需要你發(fā)明新理論。你只需要：發(fā)現(xiàn)真實(shí)的問題，找到解決它的方法。

這，就是大多數(shù)人的機(jī)會。

會"用"比會"造"更重要

吳恩達(dá)曾多次表達(dá)過類似觀點(diǎn)，大意是：未來最值錢的能力，不是"懂AI原理"，是"會指揮AI干活"。

吳恩達(dá)（Andrew Ng）

這和很多人對AI的焦慮形成了鮮明對比：

有人擔(dān)心："我不會寫代碼，是不是就被淘汰了？"

有人擔(dān)心："我數(shù)學(xué)不好，是不是學(xué)不了AI？"

有人擔(dān)心："我不是名校出身，是不是沒機(jī)會？"

但現(xiàn)實(shí)是：真正稀缺的，是"能解決問題的人"。

我們之前也為大家介紹過，Gabriel Petersson高中輟學(xué)，用ChatGPT自學(xué)，現(xiàn)在在OpenAI做研究科學(xué)家。

一個(gè)20歲的中國大學(xué)生，靠AI編程工具做了個(gè)GitHub熱榜第一的項(xiàng)目，拿到了心儀的實(shí)習(xí)offer。

他們的共同點(diǎn)就是用AI解決了真實(shí)的問題。

給下一代的機(jī)會

我們這代人，還在努力適應(yīng)AI。但下一代，完全可以從小學(xué)會"和AI協(xié)作"。

就像DeepSeek的工程師們，沒有從零發(fā)明了新理論，而是把已有的工具組合起來，解決了實(shí)際問題。

這種"解決問題"的能力，越早培養(yǎng)越好。

【前哨AI冬令營】專為8-16歲孩子設(shè)計(jì)

7天時(shí)間，讓孩子親手做出可上線的作品：

? 專屬小游戲（卡牌游戲、闖關(guān)冒險(xiǎn)游戲）

? 微信小程序（卡路里識別、飯店點(diǎn)餐小程序）

教孩子"AI的原理是什么"，更教孩子"怎么用AI解決問題"。

當(dāng)DeepSeek的工程師用58年前的老算法解決最前沿的難題時(shí)，你的孩子也可以學(xué)會：用現(xiàn)有的工具，解決真實(shí)的問題。

和AI時(shí)代一起成長。

? 名額有限，先到先得，掃碼報(bào)名 ↓