機(jī)器之心編輯部

嘿！剛剛，DeepSeek 又更新了！

這次是更新了十月份推出的 DeepSeek-OCR 模型（參見(jiàn)：太強(qiáng)了！DeepSeek 剛剛開(kāi)源新模型，用視覺(jué)方式壓縮一切）。

當(dāng)時(shí) DeepSeek-OCR 的出世，引起了大家對(duì)視覺(jué)壓縮的關(guān)注與討論，而這一次，DeepSeek 對(duì)視覺(jué)編碼下手了。

可以說(shuō)，剛剛發(fā)布的 DeepSeek-OCR 2 通過(guò)引入 DeepEncoder V2 架構(gòu)，實(shí)現(xiàn)了視覺(jué)編碼從「固定掃描」向「語(yǔ)義推理」的范式轉(zhuǎn)變！

當(dāng)然，和 DeepSeek 幾乎每次發(fā)布一樣，這一次同樣也是模型和技術(shù)報(bào)告齊開(kāi)源。

• 項(xiàng)目地址：https://github.com/deepseek-ai/DeepSeek-OCR-2
• 論文地址：https://github.com/deepseek-ai/DeepSeek-OCR-2/blob/main/DeepSeek_OCR2_paper.pdf
• 模型地址：https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

這項(xiàng)研究的三位作者分別是魏浩然、孫耀峰、李宇琨。

具體來(lái)說(shuō)，該研究的核心創(chuàng)新在于將原本基于 CLIP 的編碼器替換為輕量級(jí)語(yǔ)言模型（Qwen2-500M），并引入了具有因果注意力機(jī)制的「因果流查詢(xún)」

這種設(shè)計(jì)打破了傳統(tǒng)模型必須按從左到右、從上到下的柵格順序處理圖像的限制，賦予了編碼器根據(jù)圖像語(yǔ)義動(dòng)態(tài)重排視覺(jué) Token 的能力。通過(guò)這種兩級(jí)級(jí)聯(lián)的 1D 因果推理結(jié)構(gòu)（編碼器重排與譯碼器解析），模型能夠更精準(zhǔn)地還原復(fù)雜文檔（如帶表格、公式和多欄布局）的自然閱讀邏輯。

這就像是為機(jī)器裝上了「人類(lèi)的閱讀邏輯」，讓 AI 不再只是生搬硬套地掃描圖像。對(duì)比之下，傳統(tǒng)的 AI 就像一個(gè)死板的復(fù)印機(jī)，不管頁(yè)面內(nèi)容多復(fù)雜，都只能從左上角到右下角按行掃描。

在維持極高數(shù)據(jù)壓縮效率的同時(shí)，DeepSeek-OCR 2 在多項(xiàng)基準(zhǔn)測(cè)試和生產(chǎn)指標(biāo)上均取得了顯著突破。模型僅需 256 到 1120 個(gè)視覺(jué) Token 即可覆蓋復(fù)雜的文檔頁(yè)面，這在同類(lèi)模型中處于極低水平，顯著降低了下游 LLM 的計(jì)算開(kāi)銷(xiāo)。

在 OmniDocBench v1.5 評(píng)測(cè)中，其綜合得分達(dá)到 91.09%，較前代提升了 3.73%，特別是在閱讀順序識(shí)別方面表現(xiàn)出了更強(qiáng)的邏輯性。

此外，在實(shí)際生產(chǎn)環(huán)境中，該模型顯著降低了 OCR 識(shí)別結(jié)果的重復(fù)率，并為未來(lái)構(gòu)建統(tǒng)一的 omni-modal（全模態(tài)）編碼器提供了可行路徑。是的，未來(lái)同一個(gè) AI「大腦」或許能用同樣的方法去處理聲音、視頻等所有模態(tài)的數(shù)據(jù)，真正實(shí)現(xiàn)多模態(tài)的深度統(tǒng)一。

DeepSeek-OCR 2 架構(gòu)

如圖 3 所示，DeepSeek-OCR 2 延續(xù)了 DeepSeek-OCR 的整體架構(gòu)，由編碼器（encoder） 和解碼器（decoder） 組成。編碼器負(fù)責(zé)將圖像離散化為視覺(jué) token，而解碼器則在這些視覺(jué) token 與文本提示（text prompts）的條件約束下生成輸出。

兩者的關(guān)鍵區(qū)別在于編碼器部分：DeepSeek 將原有的 DeepEncoder 升級(jí)為 DeepEncoder V2。在完整保留前代能力的基礎(chǔ)上，DeepEncoder V2 通過(guò)一種全新的架構(gòu)設(shè)計(jì)，引入了因果推理能力（causal reasoning）

DeepEncoder V2

DeepEncoder V2 的第一個(gè)組成部分是視覺(jué)分詞器（vision tokenizer）。延續(xù)了 DeepEncoder 的設(shè)計(jì)，DeepSeek 采用了一種由參數(shù)規(guī)模為 8000 萬(wàn)的 SAM-base 與兩層卷積層組成的架構(gòu)。相比 DeepEncoder，DeepSeek 將最終卷積層的輸出維度從 1024 降至 896，以與后續(xù)處理流程保持一致。

在 DeepEncoder 中，視覺(jué)分詞器之后接入的是一個(gè) CLIP ViT，用于進(jìn)一步壓縮和建模視覺(jué)語(yǔ)義。DeepEncoder V2 對(duì)這一組件進(jìn)行了重新設(shè)計(jì)，將其改造為一種類(lèi) LLM 的架構(gòu)，并引入了雙流注意力機(jī)制（dual-stream attention）。

其中，視覺(jué) token 采用雙向注意力，以保留 CLIP 所具備的全局建模能力；而新引入的因果流查詢(xún)（causal flow queries） 則使用因果注意力。這些可學(xué)習(xí)的查詢(xún) token 被作為后綴追加在視覺(jué) token 之后，每個(gè)查詢(xún)都可以關(guān)注所有視覺(jué) token 以及其之前的查詢(xún) token。通過(guò)保持查詢(xún) token 與視覺(jué) token 數(shù)量一致，該設(shè)計(jì)在不改變 token 總數(shù)的前提下，對(duì)視覺(jué)特征施加語(yǔ)義上的排序與蒸餾約束。最終，只有因果查詢(xún) token 的輸出會(huì)被送入 LLM 解碼器。

從整體上看，該架構(gòu)實(shí)際上構(gòu)建了一種兩階段級(jí)聯(lián)的因果推理機(jī)制：首先，編碼器通過(guò)可學(xué)習(xí)查詢(xún)對(duì)視覺(jué) token 進(jìn)行語(yǔ)義重排；隨后，LLM 解碼器在這一有序序列之上執(zhí)行自回歸推理。與依賴(lài)位置編碼施加剛性空間順序的傳統(tǒng)編碼器不同，這種因果排序查詢(xún)能夠更自然地貼合連續(xù)的視覺(jué)語(yǔ)義，并與 LLM 的單向注意力模式高度一致。該設(shè)計(jì)有望在二維空間結(jié)構(gòu)與一維因果語(yǔ)言建模之間搭建起一座橋梁。

為更直觀地展示 DeepEncoder V2 的注意力機(jī)制，圖 5 對(duì)其注意力掩碼進(jìn)行了可視化。該注意力掩碼由兩個(gè)相互區(qū)分的區(qū)域組成。

左側(cè)區(qū)域?qū)υ家曈X(jué) token 采用雙向注意力機(jī)制（類(lèi)似于 ViT），使任意 token 都可以與其他所有 token 建立可見(jiàn)性，從而實(shí)現(xiàn)完整的全局建模；右側(cè)區(qū)域則針對(duì)因果流 token 使用因果注意力（三角形掩碼，與純解碼器 LLM 完全一致），其中每個(gè) token 只能關(guān)注其之前的 token。

DeepSeek-MoE Decoder

由于 DeepSeek-OCR 2 的改進(jìn)重點(diǎn)主要集中在編碼器 上，并未對(duì)解碼器部分進(jìn)行升級(jí)。遵循這一設(shè)計(jì)原則，模型繼續(xù)沿用 DeepSeek-OCR 的解碼器 —— 一個(gè)參數(shù)規(guī)模為 30 億的 MoE 結(jié)構(gòu)，其中約 5 億參數(shù)在推理時(shí)處于激活狀態(tài)。

訓(xùn)練數(shù)據(jù)與訓(xùn)練流程

在數(shù)據(jù)層面，DeepSeek-OCR 2 沿用了與 DeepSeek-OCR 相同的數(shù)據(jù)源，由 OCR 1.0、OCR 2.0 以及通用視覺(jué)數(shù)據(jù)組成，其中 OCR 數(shù)據(jù)占混合訓(xùn)練數(shù)據(jù)的 80%。同時(shí)引入了以下兩項(xiàng)改進(jìn)：

• 針對(duì) OCR 1.0 數(shù)據(jù)采用了更均衡的采樣策略，并按內(nèi)容類(lèi)型（正文、公式和表格）以 3:1:1 的比例對(duì)頁(yè)面進(jìn)行劃分；
• 通過(guò)合并語(yǔ)義相似的類(lèi)別（例如統(tǒng)一「插圖說(shuō)明」和「插圖標(biāo)題」）來(lái)優(yōu)化布局檢測(cè)的標(biāo)簽。

在訓(xùn)練階段，DeepSeek-OCR 2 主要分為三個(gè)階段來(lái)完成：（1）編碼器預(yù)訓(xùn)練；（2）查詢(xún)?cè)鰪?qiáng)；（3）解碼器專(zhuān)門(mén)化

其中第一階段使視覺(jué)分詞器（tokenizer）和 LLM 風(fēng)格的編碼器獲得特征提取、token 壓縮和 token 重排的基礎(chǔ)能力。第二階段進(jìn)一步加強(qiáng)編碼器的 token 重排能力，同時(shí)增強(qiáng)了視覺(jué)知識(shí)的壓縮。第三階段凍結(jié)編碼器參數(shù)，僅優(yōu)化解碼器，從而在相同的 FLOPs 下實(shí)現(xiàn)更高的數(shù)據(jù)吞吐量。

接著來(lái)看細(xì)節(jié)。

首先是訓(xùn)練 DeepEncoder V2。遵循 DeepSeek-OCR 和 Vary 的方法，使用語(yǔ)言建模目標(biāo)來(lái)訓(xùn)練 DeepEncoder V2，將編碼器與輕量級(jí)解碼器耦合，通過(guò)預(yù)測(cè)下一個(gè) token 進(jìn)行聯(lián)合優(yōu)化。采用了 768×768 和 1024×1024 兩種分辨率的數(shù)據(jù)加載器。視覺(jué)分詞器初始化自 DeepEncoder，LLM 風(fēng)格的編碼器則初始化自 Qwen2-0.5B-base。預(yù)訓(xùn)練完成后，僅保留編碼器參數(shù)用于后續(xù)階段。

本階段使用 AdamW 優(yōu)化器，學(xué)習(xí)率采用余弦退火，從 1e-4 降至 1e-6，在 160 臺(tái) A100 GPU（20 個(gè)節(jié)點(diǎn) × 8 臺(tái) GPU）上以 640 的批大小訓(xùn)練 40k 次迭代（采用長(zhǎng)度為 8K 的序列打包，約包含 1 億個(gè)圖文對(duì)樣本）。

其次是查詢(xún)?cè)鰪?qiáng)。在 DeepEncoder V2 預(yù)訓(xùn)練之后，將其與 DeepSeek-3B-A500M 整合為最終的流水線(xiàn)。凍結(jié)視覺(jué)分詞器（SAM-conv 結(jié)構(gòu)），并聯(lián)合優(yōu)化 LLM 編碼器和 LLM 解碼器以增強(qiáng)查詢(xún)表示。本階段通過(guò)多裁剪策略將兩種分辨率統(tǒng)一到單個(gè)數(shù)據(jù)加載器中。此外采用 4 階段流水線(xiàn)并行：視覺(jué)分詞器（PP0）、LLM 風(fēng)格編碼器（PP1）以及 DeepSeek-LLM 層（PP2-3 每階段 6 層）。

本階段利用 160 臺(tái) GPU（每臺(tái) 40GB 顯存），配置了 40 個(gè)數(shù)據(jù)并行副本（每個(gè)副本 4 臺(tái) GPU），過(guò)程中使用相同的優(yōu)化器，以 1280 的全局批大小進(jìn)行訓(xùn)練，學(xué)習(xí)率在 15k 次迭代中從 5e-5 退火至 1e-6。

最后是LLM 持續(xù)訓(xùn)練。為了快速消耗訓(xùn)練數(shù)據(jù)，本階段凍結(jié) DeepEncoder V2 的所有參數(shù)，僅更新 DeepSeek-LLM 的參數(shù)。本階段加速了訓(xùn)練（在相同全局批大小下，訓(xùn)練速度提升了一倍多），同時(shí)有助于 LLM 更好地理解 DeepEncoder V2 重排后的視覺(jué) token。

承接第二階段，本階段進(jìn)行了另一次學(xué)習(xí)率退火，從 1e-6 降至 5e-8，共訓(xùn)練 20k 次迭代。

評(píng)估結(jié)果

團(tuán)隊(duì)選用 OmniDocBench v1.5 作為主要評(píng)測(cè)基準(zhǔn)，該基準(zhǔn)包含 1355 頁(yè)文檔，覆蓋中英文兩種語(yǔ)言的 9 大主要類(lèi)別，包括雜志、學(xué)術(shù)論文、研究報(bào)告等。憑借其多樣化的測(cè)試樣本與嚴(yán)格的評(píng)測(cè)標(biāo)準(zhǔn)，OmniDocBench 為驗(yàn)證 DeepSeek-OCR 2 的整體性能，尤其是 DeepEncoder V2 的有效性，提供了一個(gè)可靠有效的平臺(tái)。

如表 1 所示，在使用最小視覺(jué) token 上限（的情況下，DeepSeek-OCR 2 仍取得了 91.09% 的領(lǐng)先性能。與 DeepSeek-OCR 基線(xiàn)模型相比，在采用相似訓(xùn)練數(shù)據(jù)來(lái)源的前提下，其性能提升了 3.73%，驗(yàn)證了新設(shè)計(jì)架構(gòu)的有效性。

此外，除了整體性能提升，閱讀順序（R-order）指標(biāo)上的編輯距離（Edit Distance，ED）也顯著下降，從 0.085 降至 0.057。這表明，新的 DeepEncoder V2 能夠根據(jù)圖像信息更有效地選擇并排列初始視覺(jué) token。

進(jìn)一步如表 2 所示，在相同的視覺(jué) token 預(yù)算（1120）條件下，DeepSeek-OCR 2 在文檔解析任務(wù)中的 ED（0.100）低于 Gemini-3 Pro（0.115）。這進(jìn)一步證明了新模型在保持高視覺(jué) token 壓縮率的同時(shí)，仍能確保更優(yōu)的性能，并展現(xiàn)出極高的潛力。

改進(jìn)空間

團(tuán)隊(duì)在 9 種文檔類(lèi)型上，對(duì) DeepSeek-OCR 與 DeepSeek-OCR 2 進(jìn)行了細(xì)致的性能對(duì)比，結(jié)果表明：DeepSeek-OCR 2 仍具有較大的提升空間，如表 3 所示。在文本識(shí)別的編輯距離（ED）指標(biāo)上，DeepSeek-OCR 2 在大多數(shù)場(chǎng)景中優(yōu)于 DeepSeek-OCR，但在某些類(lèi)型上仍存在明顯不足，例如報(bào)紙類(lèi)文檔，其 ED 超過(guò) 0.13。

團(tuán)隊(duì)認(rèn)為主要原因有兩點(diǎn)：

• 視覺(jué) token 上限較低，可能影響了文本極為密集的報(bào)紙類(lèi)文檔識(shí)別效果，這一問(wèn)題可在未來(lái)通過(guò)增加局部裁剪（local crops）的數(shù)量來(lái)緩解；
• 報(bào)紙類(lèi)數(shù)據(jù)不足 —— 當(dāng)前訓(xùn)練集中僅包含約 25 萬(wàn)條相關(guān)樣本，這對(duì)于訓(xùn)練 DeepEncoder V2 來(lái)說(shuō)仍然不夠充分。

當(dāng)然，在閱讀順序（R-order）這一指標(biāo)上，DeepSeek-OCR 2 在所有類(lèi)別中始終優(yōu)于 DeepSeek-OCR，這進(jìn)一步驗(yàn)證了所提出的「視覺(jué)因果流」編碼器設(shè)計(jì)的有效性。

實(shí)際應(yīng)用

DeepSeek-OCR 主要面向兩類(lèi)生產(chǎn)場(chǎng)景：一是為 DeepSeek-LLM 提供圖像 / 文檔讀取能力的在線(xiàn) OCR 服務(wù)，二是用于批量 PDF 處理的預(yù)訓(xùn)練數(shù)據(jù)流水線(xiàn)。在比較了 DeepSeek-OCR 2 與 DeepSeek-OCR 在真實(shí)生產(chǎn)環(huán)境中的表現(xiàn)后發(fā)現(xiàn)，由于生產(chǎn)環(huán)境中無(wú)法獲得標(biāo)準(zhǔn)答案，因此團(tuán)隊(duì)主要采用「重復(fù)率」作為核心質(zhì)量指標(biāo)。

如表 4 所示，相比前代模型，DeepSeek-OCR 2 在實(shí)際可用性方面有了顯著提升：在在線(xiàn)用戶(hù)日志圖像中，重復(fù)率從 6.25% 降至 4.17%；在 PDF 數(shù)據(jù)生產(chǎn)場(chǎng)景中，重復(fù)率從 3.69% 降至 2.88%。

這些結(jié)果進(jìn)一步驗(yàn)證了 DeepSeek-OCR 2 架構(gòu)的有效性，尤其體現(xiàn)了其在邏輯性視覺(jué)理解方面的優(yōu)勢(shì)。