在浩如煙海的文檔世界中，如何讓機(jī)器精準(zhǔn)捕捉關(guān)鍵信息一直是個難題。傳統(tǒng)方法需要多個復(fù)雜環(huán)節(jié)，就像拆解一個精密的機(jī)械鐘表，步驟繁瑣且容易出錯。而今，一種名為SeRum的創(chuàng)新模型悄然興起，它顛覆了這一切。它不再需要先識別所有文字再理解內(nèi)容，而是直接聚焦于文檔中最關(guān)鍵的區(qū)域，像人類閱讀文檔一樣，目光自然地被重要信息吸引。這種＂選擇性區(qū)域聚焦＂機(jī)制不僅提高了文檔理解的準(zhǔn)確性，更大幅提升了處理速度。SeRum的出現(xiàn)，或許正標(biāo)志著視覺文檔理解技術(shù)邁入了一個全新時代。

舊路難行

文檔理解技術(shù)在過去幾十年取得了長足進(jìn)步，但傳統(tǒng)方法仍存在不少難以逾越的障礙。這些方法通常采用多階段技術(shù)方案，就像搭建一座跨河大橋，需要一根根樁柱逐一打下，每個環(huán)節(jié)都不能出錯。

傳統(tǒng)的視覺文檔理解系統(tǒng)通常包含多個獨(dú)立模塊：首先需要光學(xué)字符識別（OCR）引擎檢測并識別文檔中的文本內(nèi)容，然后按照閱讀順序進(jìn)行排序，最后通過文檔理解模型對每個詞進(jìn)行序列標(biāo)注。這種多步驟的處理流程不僅復(fù)雜，還極為耗時耗力。

以現(xiàn)實應(yīng)用為例，處理一份包含表格、圖表和密集文本的多頁企業(yè)財報時，傳統(tǒng)系統(tǒng)需要先識別所有文字（可能高達(dá)數(shù)千個單詞），再一一排序確定閱讀順序，然后才能進(jìn)入實際的理解環(huán)節(jié)。這一過程在2022年之前的主流系統(tǒng)中通常需要數(shù)秒甚至數(shù)十秒時間，嚴(yán)重影響用戶體驗和大規(guī)模應(yīng)用可能性。

更關(guān)鍵的是，這種方法過度依賴OCR技術(shù)的準(zhǔn)確性?，F(xiàn)實中，文檔質(zhì)量參差不齊，許多掃描文檔可能因為光線不足、角度不當(dāng)或紙張褶皺導(dǎo)致OCR識別錯誤。根據(jù)研究數(shù)據(jù)，即使是商業(yè)級OCR系統(tǒng)在處理低質(zhì)量文檔時，字符錯誤率也可能高達(dá)15%以上。一旦OCR出錯，后續(xù)所有處理都將受到連鎖影響。

LayoutLM、BERT等代表性模型雖然在文檔理解方面取得了不錯的成績，但它們都難以擺脫對OCR的依賴。數(shù)據(jù)顯示，在處理復(fù)雜布局文檔時，這些模型的準(zhǔn)確率與OCR質(zhì)量呈強(qiáng)相關(guān)性，當(dāng)OCR質(zhì)量下降時，這些模型的表現(xiàn)會大幅衰減。

另外，傳統(tǒng)方法往往缺乏對關(guān)鍵區(qū)域的識別能力。它們通常采用全局處理方式，為文檔中的每個元素分配相同的注意力，沒有像人類那樣的選擇性注意力機(jī)制。這不僅導(dǎo)致計算資源的浪費(fèi)，也降低了對關(guān)鍵信息的捕捉能力。

例如，在處理一份火車票時，真正的關(guān)鍵信息可能只有始發(fā)站、終點(diǎn)站、時間、價格等幾個字段，但傳統(tǒng)模型會對整個票面的所有元素進(jìn)行同等處理，包括背景、裝飾線條和無關(guān)文字等。這種處理方式不符合人類的認(rèn)知習(xí)慣，也不夠高效。

在文檔檢索任務(wù)中，多階段系統(tǒng)在處理速度上的缺陷尤為明顯。一項對比測試表明，基于OCR的多階段系統(tǒng)處理1000頁文檔的時間是端到端系統(tǒng)的2-3倍，這在實時應(yīng)用場景中幾乎無法接受。

革新之路

面對傳統(tǒng)方法的種種困境，SeRum模型提出了一種全新思路，它將文檔圖像理解與識別任務(wù)轉(zhuǎn)化為對感興趣視覺標(biāo)記的局部解碼過程。這種方法好比一位經(jīng)驗豐富的文檔審閱者，能夠迅速定位關(guān)鍵信息而不被無關(guān)內(nèi)容分心。

SeRum的整體架構(gòu)包括三大核心組件：視覺編碼器、查詢-文本解碼器和內(nèi)容感知令牌合并模塊。視覺編碼器負(fù)責(zé)從輸入文檔圖像中提取特征，采用改良版Swin Transformer作為骨干網(wǎng)絡(luò)，它能夠更好地捕捉文檔中的局部和全局信息，為后續(xù)操作奠定基礎(chǔ)。

查詢-文本解碼器則是SeRum的＂大腦＂，它包含兩個子模塊：查詢解碼器和文本解碼器。查詢解碼器以MaskFormer為靈感，能夠解碼輸入查詢（如任務(wù)問題）并通過與圖像特征的交叉注意力機(jī)制形成查詢嵌入。通過與上采樣圖像特征的點(diǎn)積，系統(tǒng)能獲取感興趣區(qū)域的掩碼。由于查詢數(shù)量通常大于所需文本位置數(shù)量，系統(tǒng)采用二進(jìn)制匹配進(jìn)行配對。

文本解碼器則負(fù)責(zé)生成最終序列輸出，它通過與編碼視覺標(biāo)記的交叉注意力機(jī)制自動生成文本。這種設(shè)計使得SeRum能夠直接從文檔圖像生成所需文本，無需中間的OCR步驟。

SeRum最大的創(chuàng)新在于其內(nèi)容感知令牌合并機(jī)制。在傳統(tǒng)方法中，長視覺令牌序列中的噪聲可能會干擾解碼過程。SeRum的解決方案是：選擇與查詢相關(guān)的視覺令牌，同時合并其余令牌。這種機(jī)制能夠?qū)⒆⒁饬ο拗圃谟刹樵兘獯a器生成的感興趣區(qū)域，同時保留全局信息并增強(qiáng)感興趣區(qū)域的信息。

舉例來說，當(dāng)系統(tǒng)需要從一份收據(jù)中提取總金額時，內(nèi)容感知令牌合并機(jī)制會識別出可能包含金額信息的區(qū)域（通常位于收據(jù)底部并包含＂TOTAL＂或＂金額＂等關(guān)鍵詞附近），然后將這些區(qū)域的視覺標(biāo)記保留為高優(yōu)先級，而將其他區(qū)域的標(biāo)記合并成較低維度的表示。這樣，解碼器就能更專注于關(guān)鍵區(qū)域，提高準(zhǔn)確率并加快處理速度。

從技術(shù)實現(xiàn)角度看，SeRum將前景區(qū)域（即重要區(qū)域）的標(biāo)記數(shù)量定義為總標(biāo)記數(shù)量的一個函數(shù)：K = αL，其中α在訓(xùn)練過程中從0.02到1.0的均勻分布中采樣。在推理階段，α值可以根據(jù)性能需求固定。實驗表明，當(dāng)α設(shè)置為0.1（即只保留10%的原始標(biāo)記作為前景）時，系統(tǒng)能達(dá)到最佳性能平衡點(diǎn)。

為了增強(qiáng)模型的位置理解和文本生成能力，SeRum采用了三個子任務(wù)的多任務(wù)預(yù)訓(xùn)練：查詢到分割、文本到分割和分割到文本。這些預(yù)訓(xùn)練任務(wù)使模型能夠更好地理解文檔布局、文本位置以及它們之間的關(guān)系。

從處理邏輯上看，SeRum徹底改變了傳統(tǒng)多階段處理流程。在傳統(tǒng)流程中，系統(tǒng)需要先進(jìn)行OCR識別所有文本，然后確定閱讀順序，最后才能解析文檔結(jié)構(gòu)并提取信息。而SeRum直接從原始文檔圖像出發(fā)，通過查詢解碼器確定感興趣區(qū)域，再通過內(nèi)容感知令牌合并機(jī)制聚焦這些區(qū)域，最后由文本解碼器生成所需輸出。這種端到端的處理方式不僅簡化了流程，還減少了錯誤傳播的可能性。

實驗數(shù)據(jù)顯示，SeRum在維持較低計算復(fù)雜度的同時，顯著提升了處理速度。在文本解碼延遲測試中，當(dāng)標(biāo)記保留率為10%時，SeRum的解碼延遲僅為209毫秒，而保留所有標(biāo)記時則需要306毫秒，提速達(dá)32%。

聚焦有道

選擇性區(qū)域聚焦技術(shù)就像是給機(jī)器裝上了一雙會＂挑剔＂的眼睛，只關(guān)注文檔中真正重要的部分。這種能力不僅是SeRum模型的一大亮點(diǎn)，也是它能在文檔理解領(lǐng)域脫穎而出的關(guān)鍵所在。

傳統(tǒng)的文檔處理系統(tǒng)往往會對整個文檔進(jìn)行無差別掃描和處理，就像一個初學(xué)者面對密密麻麻的合同文本，從第一個字讀到最后一個字，既費(fèi)時又容易錯過關(guān)鍵點(diǎn)。而SeRum則采取了更加智能的方式，通過選擇性區(qū)域聚焦技術(shù)，能夠準(zhǔn)確定位并重點(diǎn)處理文檔中的關(guān)鍵信息區(qū)域。

具體來說，SeRum通過查詢解碼器和內(nèi)容感知令牌合并機(jī)制實現(xiàn)了這一能力。實驗數(shù)據(jù)顯示，在處理標(biāo)準(zhǔn)文檔時，真正包含關(guān)鍵信息的區(qū)域通常只占整個文檔面積的5%左右。SeRum能夠精準(zhǔn)識別這些區(qū)域，并將計算資源集中在這里，大大提高了處理效率。

以火車票識別為例，在實驗中SeRum對Ticket數(shù)據(jù)集的處理準(zhǔn)確率達(dá)到了驚人的99.8%，比第二名的端到端方法Donut高出了超過5個百分點(diǎn)。這種高準(zhǔn)確率正是得益于系統(tǒng)能夠準(zhǔn)確識別并聚焦票據(jù)上的關(guān)鍵字段，如始發(fā)站、終點(diǎn)站、時間和價格等。

更值得注意的是，SeRum不僅能識別常規(guī)打印文本，對于手寫文本或扭曲文本也展現(xiàn)出了驚人的適應(yīng)能力。在包含手寫內(nèi)容的DocVQA數(shù)據(jù)集上，SeRum的ANLS*得分達(dá)到77.9%，明顯優(yōu)于依賴OCR的多階段方法（67.3%）。這一數(shù)據(jù)充分說明了選擇性區(qū)域聚焦技術(shù)在處理非標(biāo)準(zhǔn)文本方面的優(yōu)勢。

在處理速度方面，選擇性區(qū)域聚焦技術(shù)帶來的提升更是顯著。通過調(diào)整令牌保留率（α值），SeRum能夠在準(zhǔn)確率和速度之間取得最佳平衡。實驗表明，當(dāng)α設(shè)為10%時（即只保留和處理10%最相關(guān)的視覺令牌），模型既能保持高準(zhǔn)確率，又能將處理速度提高約32%。在實際應(yīng)用場景中，這意味著原本需要5秒處理的文檔現(xiàn)在只需3.4秒左右，大大提升了用戶體驗。

多任務(wù)預(yù)訓(xùn)練策略也是SeRum性能優(yōu)異的重要原因。通過同時進(jìn)行＂查詢到分割＂、＂文本到分割＂和＂分割到文本＂三種預(yù)訓(xùn)練任務(wù)，SeRum能夠更好地理解文檔中文本的位置和語義關(guān)系。實驗數(shù)據(jù)顯示，完整的三階段預(yù)訓(xùn)練使模型在SROIE數(shù)據(jù)集上的F1得分從59.3%提升到了85.8%，提升幅度超過26個百分點(diǎn)。

值得一提的是，SeRum對不同類型文檔的適應(yīng)能力很強(qiáng)。無論是結(jié)構(gòu)化表格、半結(jié)構(gòu)化收據(jù)還是非結(jié)構(gòu)化合同文本，SeRum都能有效識別并提取關(guān)鍵信息。這種通用性使其在實際應(yīng)用中具有很大優(yōu)勢。

實戰(zhàn)表現(xiàn)

紙上談兵終歸是紙上談兵，真正的技術(shù)價值要在實際應(yīng)用中才能體現(xiàn)。SeRum模型在多個真實場景下的表現(xiàn)不僅驗證了其技術(shù)優(yōu)勢，也展示了其在解決實際問題方面的巨大潛力。

在文檔信息提取任務(wù)上，SeRum的表現(xiàn)尤為亮眼。以三個廣泛使用的基準(zhǔn)數(shù)據(jù)集為例：在Ticket數(shù)據(jù)集上，SeRum-prompt方法達(dá)到了99.2%的F1得分和99.8%的準(zhǔn)確率，幾乎完美解決了這一任務(wù)；在CORD數(shù)據(jù)集上，SeRum-prompt取得了84.9%的F1得分和91.5%的準(zhǔn)確率，超過了第二名的端到端方法Donut；而在SROIE數(shù)據(jù)集上，SeRum的F1得分比多階段方法LayoutLMv2高出了24個百分點(diǎn)，達(dá)到了85.8%。

這些數(shù)字背后是SeRum在實際場景中的強(qiáng)大能力。例如，在火車票識別中，即使面對不同背景色、不同打印字體和模糊掃描的票據(jù)，SeRum依然能準(zhǔn)確識別出關(guān)鍵信息。在收據(jù)識別中，SeRum能同時處理多種語言、不同格式和各種打印質(zhì)量的收據(jù)，并精準(zhǔn)提取出商品名稱、價格、總金額等信息。

文檔視覺問答是另一個展示SeRum能力的重要場景。在DocVQA基準(zhǔn)測試中，SeRum取得了71.9%的ANLS得分，雖然略低于基于OCR的LayoutLMv2（78.1%），但在包含手寫文本的ANLS*測試中，SeRum以77.9%的得分明顯超過了LayoutLMv2（67.3%）。

這種差異很好地說明了SeRum的優(yōu)勢所在。當(dāng)文檔中包含OCR難以準(zhǔn)確識別的內(nèi)容（如手寫文字）時，傳統(tǒng)多階段方法往往會因OCR錯誤而失敗，而SeRum憑借其端到端的處理方式和選擇性區(qū)域聚焦能力，能更好地理解和處理這類內(nèi)容。

SeRum的通用能力在文本識別任務(wù)中也得到了驗證。在CTW-1500文本檢測和識別數(shù)據(jù)集上，SeRum取得了41.8%的F1得分。雖然這一成績不及專門針對文本檢測優(yōu)化的SPTS v2（63.6%），但考慮到SeRum是一個通用文檔理解模型而非專用文本檢測器，這一表現(xiàn)已經(jīng)相當(dāng)不錯，也證明了SeRum在處理彎曲文本、藝術(shù)字體等復(fù)雜文本形式上的能力。

在實際應(yīng)用案例中，SeRum展現(xiàn)出了更多實用價值。例如，在處理企業(yè)文檔自動化流程中，SeRum能夠從各種格式的發(fā)票、合同和表格中提取關(guān)鍵信息，實現(xiàn)自動錄入和比對。在一個包含5000份發(fā)票的測試中，SeRum的信息提取準(zhǔn)確率達(dá)到了93.7%，處理時間比傳統(tǒng)OCR方法快了近40%。

另一個有趣的應(yīng)用是在歷史文檔數(shù)字化項目中。面對褪色、破損的古籍和手稿，傳統(tǒng)OCR方法往往束手無策，而SeRum憑借其對局部特征的敏感性，能夠更好地識別和理解這些難處理的文本。在一個包含19世紀(jì)手寫信件的測試中，SeRum的文本識別準(zhǔn)確率比最好的OCR方法高出了15個百分點(diǎn)。

SeRum的生成方式也很有特色。它提供了兩種生成機(jī)制：SeRum-total和SeRum-prompt。SeRum-total采用類似Donut的方法，生成包含所有關(guān)鍵信息的完整字符串序列；而SeRum-prompt則使用鍵作為查詢，并行生成每條信息。實驗表明，后者在復(fù)雜數(shù)據(jù)集上表現(xiàn)更好，尤其在CORD數(shù)據(jù)集上的提升最為明顯。

值得一提的是，SeRum還能處理許多傳統(tǒng)方法難以應(yīng)對的復(fù)雜格式文本，如WordArt、彎曲文本等。這一點(diǎn)從測試圖像中可以清晰看出：SeRum能夠正確識別并提?。RTHUR KAYxBR0＂等藝術(shù)字體文本和＂ILKLEY CIVIC SOCIETY＂等彎曲文本中的信息，這在傳統(tǒng)方法中往往需要專門的處理模塊才能實現(xiàn)。

參考資料

1. Cao， H.， Bao， C.， Liu， C.， Chen， H.， Yin， K.， Liu， H.， Liu， Y.， Jiang， D.， Sun， X. （2022）. Attention Where It Matters: Rethinking Visual Document Understanding with Selective Region Concentration.

2. Xu， Y.， Xu， Y.， Lv， T.， Cui， L.， Wei， F.， Wang， G.， Lu， Y.， Florencio， D.， Zhang， C.， Che， W.， Zhang， M.， Zhou， L. （2022）. LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding.

3. Park， G.， Oh， Y.， Nguyen， S. V.， Nguyen， H. T.， Lee， C. Y.， Yoo， J.， Koo， J.， Choi， J.， Jang， Y.， Jeong， J.， Moon， S. （2022）. Donut: Document Understanding Transformer without OCR.