物理世界的信息由圖像、聲音、文字交織而成，但通往真正物理世界智能的邊界，絕不僅僅是語言。近日，美團(tuán)發(fā)布并全面開源原生多模態(tài)大模型 LongCat-Next 及其核心組件——離散原生分辨率視覺分詞器（dNaViT）。

▲美團(tuán)發(fā)布原生多模態(tài)LongCat-Next：讓視覺和語音成為AI“母語”（資料圖）

該模型打破了當(dāng)前大模型以“語言為中心”的傳統(tǒng)拼湊式架構(gòu)，將圖像、語音與文本統(tǒng)一映射為同源的離散 Token。通過純粹的“下一個 Token 預(yù)測”（Next Token Prediction，NTP）范式，LongCat-Next 讓視覺與語音成為 AI 的“原生母語”。這不僅是一次底層架構(gòu)的革新，更是美團(tuán) LongCat 團(tuán)隊在通往物理世界 AI 道路上邁出的堅實一步。

打破模態(tài)壁壘：賦予 AI 物理世界的“統(tǒng)一母語”

今天的主流多模態(tài)大模型，本質(zhì)上仍是"語言基座 + 外掛視覺/語音模塊"的拼湊系統(tǒng)。非語言模態(tài)往往只作為輔助組件被"投影"到語言空間，導(dǎo)致圖像的理解（依賴對齊機制）與生成（依賴擴散模型）在結(jié)構(gòu)與優(yōu)化上長期割裂。

能否讓 AI 像處理語言一樣，用同一種方式簡潔有效地處理物理世界的多種信息？

▲LongCat-Next 架構(gòu)概覽，該架構(gòu)基于DiNA范式設(shè)計（資料圖）

美團(tuán) LongCat 團(tuán)隊給出了肯定的答案。通過構(gòu)建 DiNA（Discrete Native Autoregressive）離散原生自回歸架構(gòu)，LongCat-Next 將所有模態(tài)統(tǒng)一為離散 Token，并共享同一個自回歸骨干。無論輸入的是文字、圖像還是音頻，模型都使用同一套參數(shù)、同一個注意力機制和同一個損失函數(shù)。

在這一極簡架構(gòu)下，視覺的“看”與“畫”、聽覺的“聽”與“說”，不再是異構(gòu)模塊的拼接，而是同一套預(yù)測邏輯的自然涌現(xiàn)。給定圖像預(yù)測文字是“理解”，給定文字預(yù)測圖像是“生成”——兩者在數(shù)學(xué)形式上完全一致，不再割裂，多模態(tài)信息真正實現(xiàn)了更深層的模態(tài)“內(nèi)化”。

三大核心技術(shù)，重塑多模態(tài)底層邏輯

為了讓物理世界的信號真正轉(zhuǎn)化為 AI 的“母語”，LongCat-Next 實現(xiàn)了三項關(guān)鍵技術(shù)突破：

第一，離散原生自回歸架構(gòu)（DiNA）徹底打破模態(tài)隔閡。

以 LongCat-Flash-Lite MoE（總參數(shù) 68.5B，激活參數(shù)僅 3B）為基座，DiNA 讓所有模態(tài)共享同一個自回歸骨干，訓(xùn)練時更穩(wěn)定，部署時更輕量。實驗表明，DiNA 的 MoE 路由在訓(xùn)練中逐漸出現(xiàn)模態(tài)專精化——激活專家數(shù)量相比純語言設(shè)置有所增加，模型正在用更大容量支撐能力擴展。與此同時，不同模態(tài)的 Token 表征在表示空間中自然融合（t-SNE 可視化可見），MoE 專家自發(fā)形成模態(tài)偏好分化。這表明模型并非在“對齊模態(tài)”，而是在內(nèi)部形成了統(tǒng)一的多模態(tài)表征結(jié)構(gòu)——從“對齊”走向了真正的“內(nèi)化”。

第二，離散原生分辨率視覺分詞器（dNaViT）構(gòu)造視覺世界的“詞典”。

dNaViT 相當(dāng)于視覺領(lǐng)域的“分詞器”，將圖像拆解為一系列有意義的“視覺詞匯”，成功實現(xiàn)了“image → Token → image”的完整閉環(huán)——既用于“看懂”圖像，也用于“畫出”圖像。這其中包括了三項關(guān)鍵設(shè)計。

原生任意分辨率支持：不做縮放、裁剪與填充，完整保留畫面每一處細(xì)節(jié)，dNaViT 實現(xiàn)了任意分辨率的圖像編碼與解碼——在文檔解析（OCR）、復(fù)雜圖表推理等對細(xì)節(jié)敏感的任務(wù)中具備優(yōu)勢，并在 OmniDocBench、OCRBench 等密集文本場景的測試中均表現(xiàn)優(yōu)異；

8 層殘差向量量化（RVQ）：通過8層級聯(lián)遞歸擬合“殘差中的殘差”，實現(xiàn)高達(dá) 28 倍的極致像素空間壓縮；解碼時，DepthTransformer 將多級 Token 合并重建，讓壓縮與還原高效協(xié)同；

解耦雙軌生成解碼器：離散 Token 還原圖像時，先由“結(jié)構(gòu)像素解碼器”還原布局，再由“擴散像素細(xì)化器”注入紋理細(xì)節(jié)，解耦設(shè)計降低生成方差，確保文本渲染清晰無損。

值得強調(diào)的是，在 LongCat-Next 中，視覺 Token 完成的僅是圖像到離散 ID 的映射，真正的視覺表征是在語言模型內(nèi)部通過 embedding 原生學(xué)習(xí)得到的。模型不是"接入視覺能力"，而是在內(nèi)部學(xué)習(xí)并形成了自己的視覺語言——這種從“借用模態(tài)”到“內(nèi)生模態(tài)”的轉(zhuǎn)變，正是原生多模態(tài)建模的核心所在。

第三，語義對齊完備編碼器破解“離散化必然損失信息”的行業(yè)難題。

團(tuán)隊引入 SAE（Semantic-and-Aligned Encoder）范式。不同于以對比學(xué)習(xí)為主的模型（如 SigLIP），SAE 通過大規(guī)模視覺-語言監(jiān)督（涵蓋圖像描述、視覺問答乃至視覺推理等任務(wù)），學(xué)習(xí)高信息密度、多屬性的表征。這類表征不僅具備豐富的語義結(jié)構(gòu)，同時在網(wǎng)絡(luò)殘差傳遞機制下，底層視覺細(xì)節(jié)能夠持續(xù)向高層傳播，在抽象語義中保留顏色、紋理與空間結(jié)構(gòu)等細(xì)粒度信息，為離散 Token 的語義完備性提供基礎(chǔ)。在此之上，多級殘差向量量化（Residual Vector Quantization, RVQ）機制，對表征進(jìn)行逐級離散建模，在有限離散空間內(nèi)逼近高維連續(xù)表示，從而在壓縮率與信息保真之間取得平衡。

最終得到的離散視覺 Token，不僅能夠支撐細(xì)粒度理解任務(wù)（例如在密集文本識別中優(yōu)于連續(xù)表征模型），同時也具備高保真的圖像重建能力。這表明：離散表示并非信息的退化形式，而可以成為統(tǒng)一理解與生成的完備表達(dá)載體。

實證破局：打破三大行業(yè)刻板印象

LongCat-Next 在視覺理解、圖像生成、音頻、智能體等多個維度的基準(zhǔn)測試中，以一套離散原生框架，展現(xiàn)出與多模態(tài)專用模型相當(dāng)甚至領(lǐng)先的性能，驗證了三個關(guān)鍵發(fā)現(xiàn)。

▲LongCat-Next 的基準(zhǔn)測試性能（資料圖）

發(fā)現(xiàn)一：離散視覺沒有天花板。

行業(yè)曾普遍認(rèn)為，離散模型在細(xì)粒度文本識別上必然不如連續(xù)模型。但 LongCat-Next 在 OmniDocBench（學(xué)術(shù)論文、財報、行政表格）上取得 0.152 / 0.226 的成績，不僅超越 Qwen3-Omni，還超過了專用視覺模型 Qwen3-VL。離散化不是細(xì)粒度感知的天花板，關(guān)鍵在于如何構(gòu)建語義完備的離散視覺表征。

發(fā)現(xiàn)二：理解與生成可以協(xié)同。

傳統(tǒng)觀點認(rèn)為，單一模型難以兼顧理解與生成。但 LongCat-Next 證明了兩者不僅不沖突，反而表現(xiàn)出協(xié)同潛力：統(tǒng)一模型的理解損失僅比純理解模型高 0.006，而生成損失比純生成模型低 0.02。在圖像生成上，GenEval（84.44）、LongText-Bench （英文 93.15）等基準(zhǔn)測試結(jié)果均顯著超越 BAGEL 等統(tǒng)一模型；在圖像理解上，MathVista（83.1）達(dá)到行業(yè)領(lǐng)先水平。

發(fā)現(xiàn)三：統(tǒng)一框架不折損語言能力，在智能體與音頻上形成跨模態(tài)協(xié)同。

在純文本任務(wù)上，LongCat-Next 的 MMLU-Pro（77.02）和 C-Eval（86.80）表現(xiàn)領(lǐng)先，證明原生多模態(tài)訓(xùn)練未削弱語言核心能力。在工具調(diào)用上，τ2-Bench 零售場景（73.68）大幅領(lǐng)先
Qwen3-Next-80B-A3B-Instruct（57.3）；在代碼能力上，SWE-Bench（43.0）顯著超越同類模型。

在音頻領(lǐng)域，TTS 任務(wù) SeedTTS 中文 WER 低至 1.90、英文 WER 低至 1.89；音頻理解 MMAU（76.40）、TUT2017（43.09）均達(dá)到先進(jìn)水平。模型同時支持低延遲并行文本語音生成與可定制語音克隆，讓語音交互更自然、更個性化。

全面開源，共建物理世界 AI 基石

“作為一個初步的嘗試，我們展示了一個有意義的視角：物理世界的信息可以被離散化、統(tǒng)一化、像語言一樣被建模，讓 AI 第一次能夠像處理文字一樣原生地理解物理世界的多模態(tài)信號�！泵缊F(tuán) LongCat 團(tuán)隊相關(guān)負(fù)責(zé)人表示，“我們期待，有一天 AI 能真正‘看懂’物理世界的每一個角落、‘聽懂’顧客的每一句話、理解物理世界的每一條規(guī)律�！�

在他看來，LongCat-Next 以小尺寸驗證了原生離散架構(gòu)的潛力，是通往物理世界 AI 道路上的一塊重要基石，但未來仍有非常多且重要的方向尚未被充分探索——這恰恰是未來研究的機遇所在。

目前，LongCat-Next 模型、dNaViT 分詞器及相關(guān)技術(shù)報告全面開源，開發(fā)者可通過以下鏈接獲取資源：

Paper: https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf
GitHub: https://github.com/meituan-longcat/LongCat-Next
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-Next

更多體驗前往：

Demo: https://longcat.chat/longcat-next
Blog: https://longcat.chat/longcat-next/intro