北京
始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)，始終堅(jiān)持“中立、開(kāi)放、共建、共創(chuàng)、合作”五項(xiàng)基本原則，歡迎加入共同成長(zhǎng)。
GLM-OCR正式開(kāi)源和發(fā)布，以“小尺寸、高精度”實(shí)現(xiàn)文檔解析能力新標(biāo)桿。作為一款輕量的專業(yè)級(jí)OCR模型，其核心亮點(diǎn)如下：
- 性能SOTA：以94.6分登頂OmniDocBench V1.5，并在公式識(shí)別、表格識(shí)別、信息抽取的多項(xiàng)主流基準(zhǔn)中均取得SOTA表現(xiàn)；
- 場(chǎng)景優(yōu)化：專攻真實(shí)業(yè)務(wù)痛點(diǎn)，在手寫(xiě)體、復(fù)雜表格、代碼文檔及印章等高難場(chǎng)景中表現(xiàn)穩(wěn)健；
- 推理高效：僅0.9B參數(shù)規(guī)模，支持vLLM、SGLang和Ollama部署，顯著降低推理延遲與算力開(kāi)銷，適合高并發(fā)與邊緣部署；
- 開(kāi)源易用：同步開(kāi)源完整SDK與推理工具鏈，環(huán)境依賴簡(jiǎn)單，支持一行命令快速調(diào)用，輕松接入現(xiàn)有業(yè)務(wù)系統(tǒng)。
模型地址：
https://wisemodel.cn/models/ZhipuAI/GLM-OCR
1
性能SOTA、精準(zhǔn)干活兒
得益于自研CogViT視覺(jué)編碼器與深度場(chǎng)景優(yōu)化，GLM-OCR實(shí)現(xiàn)了“小尺寸，高精度”。
GLM-OCR參數(shù)量?jī)H0.9B，但在權(quán)威文檔解析榜單OmniDocBench V1.5中以94.6分取得SOTA性能。在文本、公式、表格識(shí)別及信息抽取四大細(xì)分領(lǐng)域的表現(xiàn)優(yōu)于多款OCR專項(xiàng)模型，性能接近Gemini-3-Pro。
除了公開(kāi)榜單，我們還針對(duì)真實(shí)業(yè)務(wù)中的六大核心場(chǎng)景進(jìn)行了內(nèi)部測(cè)評(píng)。結(jié)果顯示，GLM-OCR在代碼文檔、真實(shí)場(chǎng)景表格、手寫(xiě)體、多語(yǔ)言、印章識(shí)別、票據(jù)提取等維度均取得顯著優(yōu)勢(shì)。
2
案例實(shí)測(cè)
在實(shí)際應(yīng)用中，GLM-OCR能夠精準(zhǔn)解析掃描件、PDF、表格及票據(jù)，有效解決手寫(xiě)、印章、豎排及多語(yǔ)言混排難題，在復(fù)雜版式下依然保持極高的準(zhǔn)確率和魯棒性。
通用文本識(shí)別：GLM-OCR支持照片、截圖、掃描件、文檔輸入，能夠識(shí)別手寫(xiě)體、印章、代碼等特殊文字，可廣泛應(yīng)用于教育、科研、辦公等場(chǎng)景。
案例：手寫(xiě)公式識(shí)別
案例：印章識(shí)別
案例：代碼識(shí)別
復(fù)雜表格解析：針對(duì)合并單元格、多層表頭等復(fù)雜結(jié)構(gòu)，模型能精準(zhǔn)理解并直接輸出HTML代碼。無(wú)需二次制表，識(shí)別結(jié)果即可用于網(wǎng)頁(yè)展示或數(shù)據(jù)處理，大幅提升表格錄入與轉(zhuǎn)換效率。
案例：跨單元格表格
案例：分段表
信息結(jié)構(gòu)化提?。?/strong>GLM-OCR可從各類卡證、票據(jù)、表格中智能提取關(guān)鍵字段，并輸出標(biāo)準(zhǔn)的JSON格式，無(wú)縫對(duì)接銀行、保險(xiǎn)及物流等行業(yè)系統(tǒng)。
輸入圖片：
prompt：
```輸出：
```批量處理與RAG支持：GLM-OCR支持大批量文檔的識(shí)別與解析，其高精度的識(shí)別能力和規(guī)整的輸出格式，可為檢索增強(qiáng)生成（RAG）提供堅(jiān)實(shí)基礎(chǔ)。
速度方面，我們對(duì)比了在相同硬件環(huán)境與測(cè)試條件下（單副本，單并發(fā)），分別以圖像文件和PDF文件為輸入，不同OCR方法完成解析并導(dǎo)出Markdown文件的速度差異。結(jié)果顯示，GLM-OCR處理PDF文檔的吞吐量達(dá)1.86頁(yè)/秒，圖片達(dá)0.67張/秒，速度顯著優(yōu)于同類模型。
3
技術(shù)細(xì)節(jié)
在訓(xùn)練策略方面，GLM-OCR率先將多Tokens預(yù)測(cè)損失（MTP）引入OCR模型訓(xùn)練過(guò)程，以增強(qiáng)損失信號(hào)密度并提升模型學(xué)習(xí)效率。并且，通過(guò)持續(xù)且穩(wěn)定的全任務(wù)強(qiáng)化學(xué)習(xí)訓(xùn)練，能夠顯著提升模型在復(fù)雜文檔場(chǎng)景下的整體識(shí)別精度與泛化能力。
上述性能提升還得益于GLM-OCR在多模態(tài)模型結(jié)構(gòu)上的系統(tǒng)性設(shè)計(jì)。模型整體采用“編碼器-解碼器”架構(gòu)，繼承自GLM-V系列，由視覺(jué)編碼器（ViT）、跨模態(tài)連接層和語(yǔ)言解碼器三大核心模塊組成。其中，視覺(jué)側(cè)集成了自研的CogViT視覺(jué)編碼器（400M參數(shù)），并在數(shù)十億級(jí)圖文對(duì)數(shù)據(jù)上引入CLIP策略進(jìn)行大規(guī)模預(yù)訓(xùn)練，使模型具備了強(qiáng)大的文字與版面語(yǔ)義理解能力。
為實(shí)現(xiàn)視覺(jué)與語(yǔ)言信息的高效融合，GLM-OCR設(shè)計(jì)了一套輕量而高效的連接層結(jié)構(gòu)，融合SwiGLU機(jī)制并引入4倍下采樣策略，能夠精準(zhǔn)篩選并保留關(guān)鍵視覺(jué) Token，將高密度語(yǔ)義信息高效傳遞至后端的GLM-0.5B解碼器，從而支撐高精度的OCR識(shí)別輸出。
在整體系統(tǒng)層面，GLM-OCR采用“版面分析→并行識(shí)別”的兩階段技術(shù)范式。其中，版面分析模塊基于PP-DocLayout-V3實(shí)現(xiàn)，能夠在版式多樣、結(jié)構(gòu)復(fù)雜的文檔場(chǎng)景下實(shí)現(xiàn)穩(wěn)定、高質(zhì)量且高效率的OCR解析效果。
GLM-OCR的部署暫時(shí)vllm和transformers的發(fā)布版本還不支持，源碼方式安裝才能部署，過(guò)兩天正式發(fā)布版本支持之后，歡迎大家回來(lái)wisemodel社區(qū)的鏡像模塊里一鍵部署使用。
----- END -----
wisemodel相關(guān)：
系列模型：
關(guān)于wisemodel更多
1
歡迎持續(xù)關(guān)注和支持
開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。
2
歡迎加盟wisemodel開(kāi)源社區(qū)
3
歡迎投稿優(yōu)質(zhì)內(nèi)容
歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。
4
關(guān)于wisemodel開(kāi)源社區(qū)
始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。
向上滑動(dòng)查看
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
有博士，想做家里第一個(gè)博士](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big420421e2128j00tci8tx0027d200u00184g00ic00qy.jpg&thumbnail=140y88&quality=90&type=jpg)
