Avey AI的研究團隊在2026年的ICLR（國際學(xué)習(xí)表征大會）上發(fā)表了一篇重要論文，介紹了他們開發(fā)的全新編碼器架構(gòu)Avey-B。這項研究的論文編號為arXiv:2602.15814v1，感興趣的讀者可以通過這個編號查找到完整的研究內(nèi)容。

在人工智能領(lǐng)域，有一類被稱為"編碼器"的模型就像是專業(yè)的文本理解專家。這些模型的工作原理很像我們閱讀文章時的思考過程：需要同時理解每個詞的意思，還要把握整篇文章的脈絡(luò)。傳統(tǒng)的BERT模型就是這樣的專家，它在過去幾年里幫助我們完成了大量的文本分析工作，從郵件分類到信息檢索都有它的身影。

然而，隨著我們需要處理的文本越來越長，傳統(tǒng)的BERT模型就像一個閱讀速度固定的人，面對長篇大論時會變得力不從心。每當(dāng)文本長度翻倍，它所需要的時間和內(nèi)存會急劇增長，這就限制了它在實際應(yīng)用中的效果。正是在這樣的背景下，Avey AI的研究團隊開發(fā)了Avey-B，這是一個能夠更高效處理長文本的新型編碼器。

一、重新設(shè)計的文本理解方式

傳統(tǒng)的BERT模型處理文本的方式就像是一個非常細致的編輯，需要同時關(guān)注文章中的每一個詞，并且要理解任意兩個詞之間的關(guān)系。這種全面的關(guān)注雖然很準(zhǔn)確，但也意味著隨著文本變長，需要處理的關(guān)系數(shù)量會呈幾何級數(shù)增長。

Avey-B采用了一種全新的策略，更像是一個聰明的閱讀者：它首先將長文本分割成若干個小段落，然后對每個段落，只選擇最相關(guān)的其他段落來幫助理解，而不是同時考慮所有段落。這種方法的巧妙之處在于，它保持了理解的準(zhǔn)確性，同時大大減少了計算的復(fù)雜度。

研究團隊將這個新架構(gòu)稱為Avey-B，其中"B"代表雙向（bidirectional），表示它能夠像人類閱讀一樣，既考慮前文，也考慮后文。這個模型建立在他們之前開發(fā)的Avey架構(gòu)基礎(chǔ)上，但專門針對編碼器的需求進行了優(yōu)化。

二、三項核心技術(shù)創(chuàng)新

Avey-B的成功源于三項關(guān)鍵的技術(shù)創(chuàng)新，每一項都解決了傳統(tǒng)方法中的特定問題。

第一項創(chuàng)新被稱為"解耦參數(shù)化"。在傳統(tǒng)的方法中，模型學(xué)習(xí)到的固定權(quán)重會與輸入文本的相似度分?jǐn)?shù)混合在一起，這就像是讓一個有固定偏好的評委和一個根據(jù)具體情況變化的評委同時打分，有時會產(chǎn)生矛盾的結(jié)果。比如說，兩個段落明明很相似，但固定權(quán)重可能會給它們很低的分?jǐn)?shù)，這就違背了"相似的內(nèi)容應(yīng)該得到更多關(guān)注"的直覺。

Avey-B通過將這兩種評分機制分離到不同的層中來解決這個問題。有些層專門負責(zé)靜態(tài)的線性變換，就像有固定標(biāo)準(zhǔn)的評委；而另一些層則根據(jù)內(nèi)容的相似度動態(tài)調(diào)整，就像根據(jù)具體情況靈活判斷的評委。這樣的設(shè)計確保了相似度高的內(nèi)容總是能得到應(yīng)有的重視。

第二項創(chuàng)新是"穩(wěn)定性導(dǎo)向的歸一化"。在動態(tài)層中，研究團隊引入了一種新的歸一化方法，將每個位置的相似度分?jǐn)?shù)除以該位置所有分?jǐn)?shù)的總和。這就像是確保每個評委給出的分?jǐn)?shù)總和都是固定的，避免了某些評委給分過高或過低的問題。這種方法不僅提高了訓(xùn)練的穩(wěn)定性，還一致性地改善了各種下游任務(wù)的性能。

第三項創(chuàng)新是"神經(jīng)壓縮模塊"。在原始的Avey設(shè)計中，每個段落需要與它的前k個相關(guān)段落拼接在一起進行處理，這會使輸入大小膨脹k倍。對于雙向處理來說，這種膨脹會嚴(yán)重影響效率。Avey-B在選擇相關(guān)段落后，使用一個學(xué)習(xí)到的線性投影將擴展后的內(nèi)容壓縮回原始大小，就像是用一個智能的摘要工具，保留最重要的信息而去除冗余。

三、全方位的性能評測

為了驗證Avey-B的效果，研究團隊進行了廣泛的實驗評測，涵蓋了四個主要的應(yīng)用場景：序列分類、標(biāo)記分類、問答任務(wù)和信息檢索。

在序列分類任務(wù)中，模型需要判斷整個句子或段落的性質(zhì)，比如判斷一條評論是正面還是負面。研究團隊在MNLI、QQP和SST-2等標(biāo)準(zhǔn)數(shù)據(jù)集上測試了Avey-B。結(jié)果顯示，Avey-B在這類任務(wù)上表現(xiàn)出色，特別是在SST-2任務(wù)上達到了最高分。

標(biāo)記分類任務(wù)要求模型識別文本中特定位置的信息，比如在一段文字中找出人名、地名等。這類任務(wù)對模型的精細理解能力要求很高。在CoNLL-2003、OntoNotes和UNER等數(shù)據(jù)集上，Avey-B展現(xiàn)出了顯著的優(yōu)勢，超越了所有對比的Transformer模型。這個結(jié)果特別有意義，因為它表明Avey-B的分段處理策略不僅沒有損失細節(jié)信息，反而增強了對局部特征的捕捉能力。

在問答任務(wù)中，模型需要根據(jù)給定的文本段落回答相關(guān)問題。研究團隊在ReCoRD、SQuAD和SQuAD v2等數(shù)據(jù)集上進行了測試。雖然Avey-B在某些問答任務(wù)上的表現(xiàn)不如RoBERTa和ModernBERT，但考慮到它的訓(xùn)練數(shù)據(jù)量遠少于這些模型（大約少了11倍），這樣的結(jié)果已經(jīng)相當(dāng)不錯。

信息檢索任務(wù)考驗?zāi)Ｐ驮陂L文檔中找到相關(guān)信息的能力。在MLDR、MS MARCO和Natural Questions等數(shù)據(jù)集上，Avey-B表現(xiàn)尤為突出，大幅超越了所有對比模型。這個結(jié)果很好地驗證了Avey-B設(shè)計理念的正確性：通過選擇性地關(guān)注最相關(guān)的內(nèi)容段落，它能夠更有效地處理長文檔檢索任務(wù)。

四、效率優(yōu)勢的深度分析

除了準(zhǔn)確性，Avey-B在處理效率方面的優(yōu)勢更加引人注目。研究團隊詳細測試了不同模型在各種序列長度下的表現(xiàn)，從128個詞匯到96,000個詞匯的范圍內(nèi)進行了全面對比。

在這些測試中，研究團隊使用了吞吐量（每秒處理的詞匯數(shù)）和延遲（處理一次前向傳播所需的時間）兩個指標(biāo)。結(jié)果顯示，隨著序列長度的增加，傳統(tǒng)的Transformer模型的處理速度急劇下降，而Avey-B則保持了相對穩(wěn)定的性能。

具體來說，當(dāng)序列長度達到96,000個詞匯時，Avey-B的處理速度比ModernBERT快3.38倍，比NeoBERT快11.63倍。更重要的是，通過數(shù)學(xué)建模分析，研究團隊發(fā)現(xiàn)Avey-B的性能下降率（用冪律函數(shù)T(N) ∝ N^(-α)中的指數(shù)α表示）約為0.44，而ModernBERT和NeoBERT分別為0.77和0.81。這意味著隨著序列長度的增加，Avey-B的性能下降速度大約是傳統(tǒng)模型的一半。

這種效率優(yōu)勢的根本原因在于Avey-B的神經(jīng)處理器只需要處理固定大小的分段，而不需要處理整個序列。每個分段的處理成本是固定的，因此總體成本與序列長度成線性關(guān)系，而不是傳統(tǒng)模型的二次關(guān)系。

五、設(shè)計細節(jié)的深入探索

為了找到最優(yōu)的設(shè)計方案，研究團隊進行了大量的設(shè)計選擇研究和消融實驗。

在靜態(tài)層和動態(tài)層的排列方式上，研究團隊測試了多種模式：交替排列、單一動態(tài)層、兩階段堆疊以及完全靜態(tài)或動態(tài)的配置。結(jié)果顯示，以靜態(tài)層開始的交替排列（靜態(tài)→動態(tài)→靜態(tài)→動態(tài)...）效果最佳。這種設(shè)計讓靜態(tài)層提供穩(wěn)定的表示基礎(chǔ)，然后動態(tài)層根據(jù)輸入內(nèi)容進行自適應(yīng)調(diào)整。

在動態(tài)層的歸一化方法選擇上，研究團隊比較了按和歸一化、RMS歸一化、softmax和縮放softmax等方法。結(jié)果表明，簡單的按和歸一化方法效果最好，它保持了相似度的相對順序，同時確保了數(shù)值的穩(wěn)定性。

在超參數(shù)設(shè)置方面，研究團隊發(fā)現(xiàn)序列長度N、分段大小S和選擇的前k個相關(guān)分段數(shù)量之間存在一個重要的關(guān)系：最佳性能通常出現(xiàn)在S×(k+1)≈N的配置下。這意味著有效的上下文覆蓋應(yīng)該接近整個訓(xùn)練序列的長度。

六、嚴(yán)格的消融實驗驗證

為了驗證每個設(shè)計決策的重要性，研究團隊進行了詳盡的消融實驗，即逐一移除某個組件來觀察性能變化。

當(dāng)移除行歸一化時，模型性能出現(xiàn)了顯著下降，在各個任務(wù)類型上的平均分?jǐn)?shù)分別下降了3.55%、0.87%、7.65%和15.33%。這表明歸一化對于穩(wěn)定訓(xùn)練和保持良好性能至關(guān)重要。

當(dāng)回到耦合的參數(shù)化設(shè)計（即將靜態(tài)權(quán)重和動態(tài)相似度分?jǐn)?shù)混合）時，各任務(wù)的性能分別下降了1.43%、2.12%、2.53%和7.40%。這證實了解耦設(shè)計的重要性。

神經(jīng)壓縮模塊的移除導(dǎo)致了適度的性能下降，但同時帶來了4.37倍的效率提升?？紤]到這個權(quán)衡，研究團隊認為壓縮模塊提供了良好的效率-效果平衡。

當(dāng)移除殘差連接（即壓縮器輸出和原始分段之間的直接連接）時，所有任務(wù)的性能都有所下降，平均降幅為3.38%。這說明保留局部信息的重要性。

最后，完全移除排序器會導(dǎo)致7.46%的嚴(yán)重性能下降，這證實了選擇性關(guān)注機制是Avey-B成功的關(guān)鍵因素。

七、長文本處理能力的極限測試

為了測試Avey-B在極長文本上的表現(xiàn)，研究團隊設(shè)計了一個"大海撈針"基準(zhǔn)測試。這個測試模擬了在極長文檔中尋找特定信息的場景，文檔長度可達96,000個詞匯。

測試包含兩種類型的任務(wù)：單針任務(wù)和多針任務(wù)。單針任務(wù)要求模型在長文檔中找到一個特定的鍵值對，主要測試語義定位能力。多針任務(wù)則更加復(fù)雜，文檔中包含多個具有相同鍵的鍵值對，查詢要求找到第n個出現(xiàn)的值，這需要模型具備位置推理能力。

測試結(jié)果令人印象深刻。在單針任務(wù)（NIAH-1）中，Avey-B基礎(chǔ)版本和大型版本在從1,000到96,000詞匯的范圍內(nèi)都保持了穩(wěn)定的性能，準(zhǔn)確率只下降了3-4個百分點。相比之下，ModernBERT和NeoBERT無法處理超過其訓(xùn)練窗口長度的文本，分別限制在8,000和4,000詞匯以內(nèi)。

在更具挑戰(zhàn)性的多針任務(wù)（NIAH-2）中，Avey-B同樣表現(xiàn)出色。基礎(chǔ)版本從78.3%（1,000詞匯）下降到71.9%（96,000詞匯），大型版本從78.9%下降到74.5%，展現(xiàn)了良好的長文本推理能力。

這些結(jié)果特別有意義，因為Avey-B只在2,048詞匯的窗口上進行了訓(xùn)練，卻能夠處理比訓(xùn)練長度長47倍的文本，這證明了其架構(gòu)設(shè)計的優(yōu)越性。

八、統(tǒng)計穩(wěn)定性的深入分析

除了性能和效率，研究團隊還分析了不同模型在多次獨立運行中的穩(wěn)定性。通過在每個基準(zhǔn)測試上進行10次獨立的隨機種子實驗，他們計算了結(jié)果的標(biāo)準(zhǔn)差，以評估模型對初始化的敏感性。

結(jié)果顯示，在基礎(chǔ)規(guī)模的模型中，RoBERTa表現(xiàn)出最低的方差，這與其在學(xué)術(shù)界享有的穩(wěn)定性聲譽一致。Avey-B排名第二，顯示出良好的訓(xùn)練穩(wěn)定性。在大型模型中，這種穩(wěn)定性差異變得更加明顯。ModernBERT盡管有強勁的中位數(shù)性能，但在某些基準(zhǔn)測試上表現(xiàn)出較大的不穩(wěn)定性，特別是在ReCoRD、UNER和Natural Questions任務(wù)上。

Avey-B在各種規(guī)模下都保持了較低的標(biāo)準(zhǔn)差，通常低于1.06，很少出現(xiàn)病態(tài)的不穩(wěn)定性。研究團隊將這種穩(wěn)定性歸因于三個核心設(shè)計原則：解耦的靜態(tài)和動態(tài)層防止了固定參數(shù)與相似度分?jǐn)?shù)之間的破壞性交互；行歸一化的相似度矩陣穩(wěn)定了激活幅度并確保了良好的梯度流；神經(jīng)壓縮過濾了檢索上下文中的無關(guān)信號。

九、深層機制的可視化分析

為了更好地理解Avey-B的工作機制，研究團隊對模型學(xué)習(xí)到的參數(shù)矩陣進行了詳細分析。他們比較了耦合和解耦版本中靜態(tài)層學(xué)習(xí)到的交叉嵌入投影矩陣，發(fā)現(xiàn)了顯著的差異。

在耦合版本中，由于相似度矩陣是非負的，模型為了避免破壞性的符號翻轉(zhuǎn)，傾向于學(xué)習(xí)正權(quán)重。這導(dǎo)致了一種"正性偏置"，特別是在較深的層中，正權(quán)重的比例接近100%。然而，仍然有一些負權(quán)重殘留，這正是導(dǎo)致相關(guān)性單調(diào)性違反的根源。

相反，在解耦版本中，動態(tài)層單獨產(chǎn)生混合權(quán)重，這些權(quán)重通過構(gòu)造是歸一化和非負的，因此在相似度操作層面保證了單調(diào)性。靜態(tài)層則獨立學(xué)習(xí)，不再需要被迫趨向非負性以保持單調(diào)性。結(jié)果顯示，解耦版本的權(quán)重分布接近零均值，正負權(quán)重大致平衡，保留了抑制模式的能力。

在權(quán)重分布的其他統(tǒng)計特性上，兩種版本也表現(xiàn)出不同的特征。耦合版本的矩陣表現(xiàn)出較小的標(biāo)準(zhǔn)差，趨向于平滑和同質(zhì)的模式。而解耦版本維持了較大的波動，允許更強的正值和負值，這可能反映了更大的表示靈活性。

十、實際應(yīng)用的廣闊前景

Avey-B的設(shè)計特點使其在多個實際應(yīng)用場景中具有獨特的優(yōu)勢。在信息檢索領(lǐng)域，其選擇性注意機制天然適合在大量文檔中快速定位相關(guān)內(nèi)容。企業(yè)可以利用這一特性來構(gòu)建更高效的內(nèi)部知識庫搜索系統(tǒng)，幫助員工快速找到所需信息。

在文檔分析和處理方面，Avey-B能夠處理長達數(shù)萬詞的文檔，而不會像傳統(tǒng)模型那樣遭遇內(nèi)存限制。這對于法律文檔分析、學(xué)術(shù)論文處理、技術(shù)手冊理解等需要處理長文本的場景具有重要意義。

在對話系統(tǒng)和客服機器人領(lǐng)域，Avey-B的效率優(yōu)勢可以顯著降低響應(yīng)時間和計算成本。特別是在需要理解長對話歷史的場景中，其線性擴展特性比傳統(tǒng)的二次擴展模型更具實用價值。

對于內(nèi)容審核和分類任務(wù)，Avey-B在標(biāo)記分類上的優(yōu)異表現(xiàn)使其成為自動化內(nèi)容管理的理想選擇。無論是社交媒體內(nèi)容審核、新聞文章分類，還是電子郵件的自動標(biāo)簽，都可以從中受益。

說到底，Avey-B代表了自然語言處理領(lǐng)域的一個重要進展。它不是簡單地修補現(xiàn)有技術(shù)的缺陷，而是從根本上重新思考了如何高效處理長文本的問題。通過巧妙的架構(gòu)設(shè)計，它在保持甚至提升準(zhǔn)確性的同時，大幅改善了計算效率，為人工智能在更多實際場景中的應(yīng)用開辟了新的可能性。

這項研究的意義不僅在于提出了一個新的模型，更在于它展示了一種新的思路：在追求更強大的AI能力時，我們不一定需要更多的計算資源，有時候更聰明的設(shè)計能夠事半功倍。隨著我們需要處理的信息量越來越大，像Avey-B這樣兼具效率和效果的技術(shù)將變得越來越重要。

當(dāng)然，這項技術(shù)還處于研究階段，距離大規(guī)模商業(yè)應(yīng)用還需要時間。但它為整個領(lǐng)域指出了一個值得探索的方向，相信會啟發(fā)更多類似的創(chuàng)新。對于那些對這項技術(shù)感興趣并希望深入了解技術(shù)細節(jié)的讀者，可以通過論文編號arXiv:2602.15814v1查找完整的研究報告。

Q&A

Q1：Avey-B比傳統(tǒng)BERT模型有什么優(yōu)勢？

A：Avey-B在處理長文本時具有顯著優(yōu)勢。當(dāng)文本長度達到96,000詞時，它的處理速度比ModernBERT快3.38倍，比NeoBERT快11.63倍。同時在準(zhǔn)確性方面，它在標(biāo)記分類和信息檢索任務(wù)上超越了所有傳統(tǒng)Transformer模型，而且隨著文本變長，性能下降速度只有傳統(tǒng)模型的一半。

Q2：Avey-B是如何做到既快又準(zhǔn)確的？

A：Avey-B采用了三項關(guān)鍵創(chuàng)新：首先是解耦參數(shù)化，將固定權(quán)重和動態(tài)相似度分?jǐn)?shù)分離到不同層中，避免沖突；其次是穩(wěn)定性歸一化，確保相似內(nèi)容得到應(yīng)有重視；最后是神經(jīng)壓縮模塊，在保留重要信息的同時減少計算量。這些設(shè)計讓它能選擇性關(guān)注最相關(guān)的內(nèi)容段落，而不是同時處理所有信息。

Q3：普通用戶什么時候能使用到Avey-B技術(shù)？

A：目前Avey-B還處于研究階段，研究團隊已經(jīng)公開了完整的實現(xiàn)代碼和預(yù)訓(xùn)練模型。雖然距離大規(guī)模商業(yè)應(yīng)用還需要時間，但它的設(shè)計思路已經(jīng)為整個AI領(lǐng)域指出了新方向。未來可能會在文檔分析、信息檢索、對話系統(tǒng)等需要處理長文本的應(yīng)用中率先看到類似技術(shù)的應(yīng)用。