點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因?yàn)槭郎蠜]有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

0 前言

2025年1月10日，DeepSeek發(fā)布名為R1的大語言模型，該初創(chuàng)公司聲稱其在推理任務(wù)上可與OpenAI的ChatGPT o1媲美。該應(yīng)用在創(chuàng)紀(jì)錄的時(shí)間內(nèi)登頂App Store排行榜，不僅吸引科技行業(yè)關(guān)注，也引發(fā)了全球范圍內(nèi)的廣泛討論。其中一個(gè)尤引人注目的聲明是：該模型訓(xùn)練成本低于600萬美元（而OpenAI在GPT-4花費(fèi)高達(dá)1億美元）。這一消息在股市和新聞媒體中引發(fā)軒然大波。

但對(duì)我們研發(fā)，更有趣的是嘗試?yán)斫釪eepSeek究竟做了什么，以及他們是如何做到的。我們從關(guān)鍵事實(shí)和初步印象開始，然后探討從他們的論文中了解到的模型架構(gòu)、訓(xùn)練數(shù)據(jù)、評(píng)估方法以及所使用的技術(shù)。最后，我們將看看復(fù)現(xiàn)他們結(jié)果的嘗試以及未來的發(fā)展方向。

1 DeepSeek-R1相關(guān)事實(shí)1.1 誰構(gòu)建了它？

DeepSeek是一家成立于2023年5月的中國AI初創(chuàng)公司，總部位于杭州和北京。它由位于杭州的中國對(duì)沖基金High-Flyer支持。High-Flyer和DeepSeek均由梁文峰創(chuàng)立。

2025年1月10日，DeepSeek發(fā)布了他們的移動(dòng)應(yīng)用；2025年1月20日，公司在Huggingface上發(fā)布了R1的權(quán)重，并在GitHub上發(fā)布了R1的推理代碼。

1.2 DeepSeek到底構(gòu)建了什么？

DeepSeek構(gòu)建了兩種類型的模型以及使用它們的應(yīng)用程序。這兩種模型的最新版本分別是V3和R1：

• V3，顧名思義，是通用語言模型的第三個(gè)版本

• R1是基于V3-Base的推理模型

他們還提供了模型的蒸餾版本，以便可以在筆記本電腦上運(yùn)行。V3有兩個(gè)版本：

• 一個(gè)基于Llama（Meta的開源權(quán)重模型）

• 另一個(gè)基于Qwen（阿里巴巴的開源權(quán)重模型）

雖然他們發(fā)布了R1模型的權(quán)重和運(yùn)行模型推理的代碼，但他們未發(fā)布任何訓(xùn)練代碼或所有硬件優(yōu)化相關(guān)代碼。

2 使用DeepSeek的印象

我們身邊打工人通過公司數(shù)據(jù)中心部署的DeepSeek，而其他人則使用ollama在PC運(yùn)行R1的蒸餾模型。然后，我們花了一些時(shí)間像使用其他模型一樣使用它——從編碼到推理問題的任務(wù)。

根據(jù)近期使用體驗(yàn)，以下是一些初步印象和想法：

• 多語言表現(xiàn)在英語和中文表現(xiàn)出色，但法語表現(xiàn)不夠流暢，偶爾會(huì)出現(xiàn)意外的中文或阿拉伯字符，并且在復(fù)雜推理時(shí)偶爾會(huì)切換回英語

• 推理風(fēng)格有時(shí)過冗長——有時(shí)會(huì)繞圈子

• 我們希望了解更多關(guān)于DeepSeek如何考慮安全和隱私方面的信息——特別是從用戶角度

• 模型實(shí)例有各種大小，可安裝在各種消費(fèi)級(jí)硬件，包括節(jié)能模型

• 托管版本似乎具有與本土政府世界觀一致的護(hù)欄。模型本身可能反映了與該世界觀一致的視角。

• 無法了解用于訓(xùn)練它的數(shù)據(jù)（盡管值得注意的是，Llama、OpenAI、Claude也是如此）。這使得一些政府和企業(yè)感到不安

• 可在DeepSeek官網(wǎng)或其同名APP試用該模型

用ollama run deepseek-r1:32b在本地運(yùn)行蒸餾版本的模型

3.3 云服務(wù)商

也迅速跟進(jìn)�？稍贕CP Vertex AI、AWS Bedrock和Azure AI Foundry上部署DeepSeek模型。還可將其部署為一個(gè)NVIDIA NIM。

DeepSeek模型足夠有趣，值得考慮將其添加到你的AI平臺(tái)工具箱，與其他開源權(quán)重模型一起使用，因?yàn)閼?yīng)用程序構(gòu)建者會(huì)希望為不同目的實(shí)驗(yàn)或使用不同的模型。

4 DeepSeek報(bào)告的性能結(jié)果可信嗎？

DeepSeek的結(jié)果尚未被復(fù)現(xiàn)。正密切關(guān)注Huggingface在openR1上復(fù)現(xiàn)它的嘗試。我們還想了解模型在訓(xùn)練期間是否接觸過基準(zhǔn)數(shù)據(jù)，以及論文中使用的評(píng)估方法是否合適。話雖如此，我們無任何具體理由認(rèn)為這些結(jié)果不真實(shí)。

引發(fā)熱議的一點(diǎn)是2.788M GPU小時(shí)（估計(jì)556萬美元）的訓(xùn)練成本（參見這篇論文中的第一個(gè)表格）。V3論文清楚說明了支持這一價(jià)格點(diǎn)的假設(shè)，但也提出警告，稱這僅代表最后一次訓(xùn)練運(yùn)行的成本。鑒于行業(yè)對(duì)這一系列模型的迅速報(bào)道，懷疑這個(gè)數(shù)字在許多報(bào)道中被斷章取義。

5 DeepSeek的技術(shù)組件

R1是在V3-Base上使用監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）進(jìn)行訓(xùn)練的。它們是經(jīng)高度優(yōu)化的Transformer模型，基于環(huán)境限制（特別是美國政府對(duì)NVIDIA H100芯片的出口管制）針對(duì)特定的硬件/軟件框架進(jìn)行了優(yōu)化。DeepSeek還以一些有趣方式結(jié)合新舊技術(shù)。

5.1 V3-Base

V3-Base使用強(qiáng)大的混合專家（Mixture-of-Experts）方法。與Mixtral類似，但更高效:

• V3-Base訓(xùn)練6710億個(gè)參數(shù)

• 而Llama有個(gè)4050億的版本

V3-Base和Llama 3.1 405B都用FP8量化。V3-Base在14.8萬億個(gè)token上進(jìn)行了訓(xùn)練，而Llama在15萬億個(gè)token上進(jìn)行了訓(xùn)練。它們都支持128K上下文窗口。

關(guān)鍵區(qū)別

• V3論文提到他們只使用278.8萬GPU小時(shí)：據(jù)了解，用于訓(xùn)練V3的278.8萬GPU小時(shí)僅用于最后一次完整的訓(xùn)練運(yùn)行

• 而Llama 3.1 405B FP8的Hugging Face頁面顯示他們使用3930萬累計(jì)GPU小時(shí)：報(bào)告的數(shù)字是累計(jì)數(shù)字

最終，如何解析這些詞語的細(xì)節(jié)將會(huì)揭曉，但目前仍不清楚是否可以進(jìn)行一對(duì)一比較。例如，V3是在一些由當(dāng)時(shí)未發(fā)布的R1生成的數(shù)據(jù)上進(jìn)行訓(xùn)練的；這時(shí)，V3的訓(xùn)練成本是否應(yīng)包括R1的訓(xùn)練成本呢？

R1是在V3-Base上使用SFT和強(qiáng)化學(xué)習(xí)（RL）構(gòu)建的，以增強(qiáng)模型的推理能力。R1使用長鏈思維模式進(jìn)行推理。R1隨后被蒸餾成更小的密集模型。與V3-Base一樣，他們發(fā)布了基于Llama、Qwen的版本。

他們還發(fā)布R1-Zero，不使用SFT，并有一些限制，如可讀性和語言混合。這些限制意味R1-Zero可能對(duì)研究人員比用戶更有趣。為克服這些限制，他們在RL前應(yīng)用了多階段訓(xùn)練和冷啟動(dòng)數(shù)據(jù)。

V3是通過使用R1的推理、驗(yàn)證和反思模式生成的數(shù)據(jù)進(jìn)一步改進(jìn)V3-Base而構(gòu)建的，從而創(chuàng)建了一個(gè)更全面的模型V3。

所有這些模型都是使用NVIDIA H800 GPU訓(xùn)練。這些是為中國市場制造的H100 GPU版本，并如前所述，為遵守美國的出口管制，它們在某種程度受限。H800芯片的芯片間互連速度是H100一半（NVLink上約為400GB/s vs 900GB/s）。

5.2 訓(xùn)練成本

訓(xùn)練R1的成本據(jù)報(bào)道為558萬美元。我們知道他們是錯(cuò)的，但不清楚他們錯(cuò)得有多離譜。這計(jì)算來自V3技術(shù)報(bào)告，是訓(xùn)練DeepSeek V3的成本。CNN正確地指出這個(gè)成本是基礎(chǔ)模型的成本——但他們沒幫助人們理解兩者之間區(qū)別。

R1是在V3-Base之上訓(xùn)練，因此訓(xùn)練R1的累計(jì)成本肯定高于訓(xùn)練基礎(chǔ)模型的成本。V3技術(shù)報(bào)告表一中的數(shù)字似乎是一次完整訓(xùn)練運(yùn)行的成本，可能是最后一次完整的訓(xùn)練運(yùn)行。如想復(fù)制訓(xùn)練過程，可能需要進(jìn)行不止一次完整的訓(xùn)練運(yùn)行。

還有相互矛盾報(bào)道稱，DeepSeek可以使用50,000個(gè)A100，這與OpenAI用于訓(xùn)練GPT-4的25,000個(gè)A100更接近。

若你今天在美國租用50,000個(gè)A100 GPU，可能需支付約1.35美元/GPU小時(shí)（如能找到這么多可用GPU）。大約是每周1134萬美元。在DeepSeek的案例中，他們似乎使用其對(duì)沖基金支持者High-Flyer早先獲得的GPU，這些GPU原本用于高頻交易。

6 深入探討DeepSeek的獨(dú)特之處

DeepSeek以多種復(fù)雜方式修改了模型架構(gòu)、訓(xùn)練技術(shù)和數(shù)據(jù)，以充分利用他們可用的有限硬件�，F(xiàn)在讓我們從底層開始逐一探討這些內(nèi)容。

6.1 針對(duì)可用硬件的優(yōu)化

與H100相比，DeepSeek必須使用的H800有兩個(gè)關(guān)鍵限制：

• 它們的GPU到GPU互連帶寬是H100的一半

• 內(nèi)存要小得多：80GB V.S 188GB

有趣的是，DeepSeek似乎將這些限制轉(zhuǎn)為優(yōu)勢�！癉eepSeek-V3的經(jīng)濟(jì)訓(xùn)練成本……是通過我們對(duì)算法、框架和硬件的優(yōu)化協(xié)同設(shè)計(jì)實(shí)現(xiàn)，”DeepSeek團(tuán)隊(duì)寫道。即他們做出的決策使他們能夠充分利用他們的可用資源。

如他們用FP8顯著減少所需內(nèi)存量。V3論文指出，“低精度訓(xùn)練已成為高效訓(xùn)練的一個(gè)有前途解決方案”。但這項(xiàng)工作前，F(xiàn)P8被認(rèn)為是高效但效果較差；DeepSeek展示了咋有效用它。“這項(xiàng)工作，我們引入一個(gè)FP8混合精度訓(xùn)練框架，并首次在超大規(guī)模模型上驗(yàn)證其有效性。通過支持FP8計(jì)算和存儲(chǔ)，實(shí)現(xiàn)加速訓(xùn)練和減少GPU內(nèi)存使用�！�

他們進(jìn)一步在非常底層的層次對(duì)受限硬件進(jìn)行優(yōu)化。V3論文還指出，“我們還開發(fā)了高效的跨節(jié)點(diǎn)全對(duì)全通信內(nèi)核，以充分利用InfiniBand（IB）和NVLink帶寬。精心優(yōu)化了內(nèi)存占用，使得在不使用昂貴的張量并行的情況下訓(xùn)練DeepSeek-V3成為可能。結(jié)合這些，實(shí)現(xiàn)了高訓(xùn)練效率�！边@是一些非常深入的工作，以充分利用他們受限的硬件。

論文還討論了“至于訓(xùn)練框架，我們設(shè)計(jì)了DualPipe算法以實(shí)現(xiàn)高效的管道并行，它具有更少的管道氣泡，并通過計(jì)算-通信重疊隱藏大部分訓(xùn)練期間的通信。這種重疊確保了隨著模型的進(jìn)一步擴(kuò)展，只要我們保持恒定的計(jì)算-通信比，我們?nèi)匀豢梢栽诠?jié)點(diǎn)之間使用細(xì)粒度的專家，同時(shí)實(shí)現(xiàn)接近零的全對(duì)全通信開銷�！毕鄬�(duì)于“正�！钡姆植际接�(xùn)練擴(kuò)展方式（通常只是“向堆中添加更多硬件”），恒定的計(jì)算-通信比和接近零的全對(duì)全通信開銷引人注目。

這是一個(gè)明顯的例子，說明需求是發(fā)明之母。

6.2 強(qiáng)化學(xué)習(xí)在訓(xùn)練后對(duì)基準(zhǔn)性能的影響

DeepSeek在V2和V3中使用了GRPO（組相對(duì)策略優(yōu)化）進(jìn)行強(qiáng)化學(xué)習(xí)。但顯然，強(qiáng)化學(xué)習(xí)對(duì)推理模型R1的影響很大——它對(duì)基準(zhǔn)性能的影響是顯著的。

通過使用GRPO將獎(jiǎng)勵(lì)應(yīng)用于模型，DeepSeek避免了用大型“批評(píng)”模型；這再次節(jié)省內(nèi)存。但GRPO采用基于規(guī)則的方法，雖然它在有客觀答案的問題（如編碼和數(shù)學(xué)）效果更好，但在答案主觀或多變的領(lǐng)域可能遇難。隨更多人在不同環(huán)境中使用它，跟蹤這些權(quán)衡將是有趣的。

6.3 多頭潛在注意力（MLA）

多頭潛在注意力是DeepSeek在V2論文中引入的一種多頭注意力的變體。根據(jù)這篇文章，雖然以前的多頭注意力技術(shù)被認(rèn)為是一種權(quán)衡，即在LLM訓(xùn)練中為獲得更好擴(kuò)展性而降低模型質(zhì)量，但DeepSeek表示，MLA不僅允許擴(kuò)展，還提高了模型質(zhì)量。期待深入研究這一點(diǎn)。

6.4 蒸餾 vs 強(qiáng)化學(xué)習(xí)

R1論文有關(guān)于蒸餾與強(qiáng)化學(xué)習(xí)的有趣討論。DeepSeek團(tuán)隊(duì)寫道，他們的工作使得以下結(jié)論成為可能：

• “首先，將更強(qiáng)大的模型蒸餾到較小的模型中會(huì)產(chǎn)生出色的結(jié)果，而依賴于本文中提到的大規(guī)模RL的較小模型需要巨大的計(jì)算能力，甚至可能無法達(dá)到蒸餾的性能

• 其次，雖然蒸餾策略既經(jīng)濟(jì)又有效，但超越智能邊界可能仍需更強(qiáng)大的基礎(chǔ)模型和更大規(guī)模強(qiáng)化學(xué)習(xí)�！�

第一個(gè)結(jié)論有趣且直觀。第二個(gè)結(jié)論令人放心——至少，他們并沒有完全顛覆我們對(duì)深度學(xué)習(xí)在顯著計(jì)算需求方面的理解。

6.4 可從失敗中學(xué)到啥？

DeepSeek嘗試了什么但沒有成功？

• 首先，使用過程獎(jiǎng)勵(lì)模型（PRM）來指導(dǎo)強(qiáng)化學(xué)習(xí)在大規(guī)模上是不可行的。但它仍可用于重新排名前N個(gè)響應(yīng)

• 其次，蒙特卡羅樹搜索（MCTS），即AlphaGo和AlphaZero使用的方法，無法擴(kuò)展到一般推理任務(wù)，因?yàn)閱栴}空間不像國際象棋甚至圍棋那樣“受限”。還記得不到十年前，圍棋空間被認(rèn)為過于復(fù)雜以至于無法計(jì)算？現(xiàn)在，它被認(rèn)為是“受限的”。

• 一個(gè)非常令人印象深刻的編碼基準(zhǔn)

• 訓(xùn)練后+擴(kuò)展推理，看起來是制作非常有效模型的可行策略

每次發(fā)布新的更好模型，我們都懷疑它在訓(xùn)練時(shí)是否接觸過基準(zhǔn)數(shù)據(jù)�！八菫榭荚嚩鴮W(xué)習(xí)，還是真正掌握了學(xué)科？”

因?yàn)榛鶞?zhǔn)數(shù)據(jù)集的惡性循環(huán)；這是一個(gè)無休止的誤導(dǎo)性炒作螺旋。你創(chuàng)建了一個(gè)好的基準(zhǔn)數(shù)據(jù)集，下一個(gè)模型為獲勝而對(duì)其進(jìn)行優(yōu)化，獲得炒作，然后你需創(chuàng)建另一“公平”的基準(zhǔn)……它增加了價(jià)值，直到下一個(gè)模型對(duì)其進(jìn)行優(yōu)化，依此類推。人類的最后考試只有在下一個(gè)模型發(fā)布之前才是它所說的那樣。

即當(dāng)LLM在當(dāng)前基準(zhǔn)自信生成正確答案時(shí)，若其應(yīng)用場景也是復(fù)雜度相似的現(xiàn)實(shí)數(shù)據(jù)，那將很棒。另一方面，當(dāng)LLM在較新基準(zhǔn)（或其應(yīng)用領(lǐng)域）失敗時(shí)，通常是因它對(duì)錯(cuò)誤答案過于自信。這是因?yàn)樾碌幕鶞?zhǔn)數(shù)據(jù)具有它在訓(xùn)練時(shí)不知道的復(fù)雜性。

該循環(huán)需要停止，我們需要更好、更通用的評(píng)估機(jī)制和信息豐富的指標(biāo)，而不是每隔幾周就依賴新基準(zhǔn)。（其他地方提到過這一點(diǎn)。）

7.2 復(fù)現(xiàn)DeepSeek R1的結(jié)果

我們都密切關(guān)注Huggingface的openR1，因?yàn)殚_源社區(qū)正在嘗試復(fù)現(xiàn)這些結(jié)果。因?yàn)閺?fù)現(xiàn)結(jié)果

需要條件

1. GPU：2048個(gè)，不是很大數(shù)字，就像每次訓(xùn)練運(yùn)行550萬美元并不是超大數(shù)目。但你的公司應(yīng)該不行

2. 訓(xùn)練代碼。DeepSeek沒有開源他們的代碼

3. 訓(xùn)練數(shù)據(jù)——可能是最大缺口

DeepSeek可能不會(huì)發(fā)布他們的整個(gè)訓(xùn)練數(shù)據(jù)集，就像OpenAI或Anthropic也不會(huì)發(fā)布他們的數(shù)據(jù)集。據(jù)我們所知，DeepSeek還沒發(fā)布用于長鏈思維訓(xùn)練的數(shù)據(jù)樣本。因此，勇敢的開源社區(qū)已開始創(chuàng)建數(shù)據(jù)集。OpenThoughts就是一例。

參考：

• https://arxiv.org/abs/2501.12948

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級(jí)流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺(tái)架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全場景最佳實(shí)踐，點(diǎn)擊文末【閱讀原文】即可直達(dá)~ 【編程嚴(yán)選】星球