Token，這下真成了智能世界的基本單位。

不是被定義出來(lái)的“詞元”，而是被一套全新的統(tǒng)一Token架構(gòu)，直接壓進(jìn)了現(xiàn)實(shí)建模的最底層。

過(guò)去一年，幾乎所有頭部大模型玩家，都在忙著重寫(xiě)多模態(tài)的底層架構(gòu)。

從谷歌、OpenAI到國(guó)內(nèi)的字節(jié)、MiniMax，大家在實(shí)踐中逐漸形成共識(shí)——不走原生多模態(tài)，已經(jīng)不夠、不行了。

但問(wèn)題是，原生多模態(tài)到底該怎么走？到目前為止，業(yè)界并沒(méi)有一個(gè)統(tǒng)一答案。

直到這一次，一直悶頭搞AI的美團(tuán)LongCat，歘的一下亮出新解法：

把圖片、語(yǔ)音，統(tǒng)統(tǒng)當(dāng)成Token來(lái)預(yù)測(cè)。

聽(tīng)起來(lái)有點(diǎn)離譜，但他們不僅這么做了，而且——

還做成了。

真原生、真統(tǒng)一

先回答一個(gè)基本問(wèn)題：為什么要做原生多模態(tài)？

理由雖然很多，但核心只有一個(gè)：

目前業(yè)界主流的多模態(tài)大模型，本質(zhì)上采用的是一套“拼湊式架構(gòu)”——語(yǔ)言模型當(dāng)?shù)鬃曈X(jué)、語(yǔ)音當(dāng)外掛。

這種架構(gòu)下，理解靠連續(xù)特征對(duì)齊（比如要理解圖片就得把圖片轉(zhuǎn)成語(yǔ)言能看懂的信號(hào)）、生成靠擴(kuò)散模型，兩套系統(tǒng)各說(shuō)各話，根本談不上真正的統(tǒng)一。

結(jié)果就是，中間“傳話人”一多，算力消耗飆升，信息也一路跑偏、流失。

而原生多模態(tài)，則從一開(kāi)始就用一套統(tǒng)一的方式，把所有模態(tài)一起建?！恍枰唇印⒉恍枰獋髟挿g，所有模態(tài)共用同一套“語(yǔ)言”。

而這，正是美團(tuán)LongCat做的事。

至于為什么說(shuō)他們采用的方式很“離譜”，原因在于，他們把“離散自回歸”直接搬到了圖像和語(yǔ)音這種連續(xù)信號(hào)上。

眾所周知，依賴離散自回歸建模，“預(yù)測(cè)下一個(gè)Token”讓大語(yǔ)言模型一戰(zhàn)成名。

但當(dāng)這套范式被搬到視覺(jué)上時(shí)，問(wèn)題也隨之出現(xiàn)：

圖片是連續(xù)信號(hào)，不能像文本那樣天然離散，一旦強(qiáng)行切成Token（類(lèi)似把一張圖分成幾塊），模型就會(huì)丟信息“變?nèi)酢薄?/p>

因此，行業(yè)長(zhǎng)期認(rèn)為，離散視覺(jué)建模存在“性能天花板”。

但隨著美團(tuán)LongCat一篇新論文的出現(xiàn)，這一認(rèn)知被打破了——

文本、圖像、語(yǔ)音，可以被統(tǒng)一壓進(jìn)同一個(gè)離散Token空間，用一套自回歸邏輯從頭建模，而且模型效果可以媲美主流頂尖模型。

從論文中可以看到，為這套理念提供支撐的，正是美團(tuán)LongCat首創(chuàng)的離散原生自回歸架構(gòu)——DiNA（Discrete Native Autoregressive ）。

DiNA核心只做一件事——把文字、圖像、語(yǔ)音都變成同一種東西，即離散Token。

這樣一來(lái)，無(wú)論模型是讀文字、看圖片還是聽(tīng)聲音，本質(zhì)上都是在預(yù)測(cè)下一個(gè)Token。

聽(tīng)起來(lái)是不是仍有點(diǎn)抽象？不妨看看下面這張架構(gòu)運(yùn)行圖。

簡(jiǎn)單來(lái)說(shuō)，DiNA的一個(gè)完整“小周天”，大致會(huì)經(jīng)歷以下三個(gè)過(guò)程：

• 輸入側(cè)：文本、圖像、語(yǔ)音各自經(jīng)過(guò)自家Tokenizer，統(tǒng)一把原始信號(hào)轉(zhuǎn)成離散Token；
• 中間：所有Token匯入一個(gè)不區(qū)分模態(tài)的學(xué)習(xí)器，它只處理Token序列，所有理解、推理、生成都在這里完成；
• 輸出側(cè)：處理完的Token再通過(guò)各自的De-Tokenizer還原成圖像、音頻、文本。

這種架構(gòu)設(shè)計(jì)帶來(lái)的好處顯而易見(jiàn)：

以前都是各管各的（文字模型管文字、圖片模型管圖片），現(xiàn)在所有模態(tài)都共享同一個(gè)自回歸骨干。

這意味著，甭管處理哪種模態(tài)，模型都用同一套參數(shù)、同一個(gè)注意力機(jī)制、同一個(gè)損失函數(shù)。

而這，無(wú)疑可以讓模型在訓(xùn)練時(shí)更穩(wěn)定，部署時(shí)更輕量。

訓(xùn)練時(shí)，多模態(tài)數(shù)據(jù)互相補(bǔ)充，梯度信號(hào)更穩(wěn)，不容易跑偏；部署時(shí)，一個(gè)模型頂三個(gè)，顯存省了，速度也快了。

空口無(wú)憑。

美團(tuán)LongCat用LongCat-Flash-Lite MoE（總參數(shù)685億，激活僅30億）做基座，在這個(gè)框架上訓(xùn)練出LongCat-Next。

結(jié)果發(fā)現(xiàn)，DiNA的MoE路由在訓(xùn)練中逐漸學(xué)會(huì)了“分工”——不同專家開(kāi)始偏好處理不同模態(tài)，激活的專家數(shù)量也比純語(yǔ)言模型時(shí)更多，這說(shuō)明模型正在用更大容量支撐能力擴(kuò)展。

說(shuō)白了就是，為了多干活，找了更多專家。

再一個(gè)，前面提到了理解和生成的割裂問(wèn)題（需要兩套系統(tǒng)）。

而在DiNA這里，它倆也變成了“預(yù)測(cè)下一個(gè)Token”這一件事——數(shù)學(xué)形式完全一樣，只是輸入輸出互換。

看到圖片，預(yù)測(cè)文字是“理解”；看到文字，預(yù)測(cè)圖片是“生成”。理解和生成一個(gè)模型全搞定。

至于具體效果嘛？實(shí)驗(yàn)數(shù)據(jù)很能說(shuō)明問(wèn)題：

統(tǒng)一模型的理解損失僅比純理解模型高0.006，而生成損失比純生成模型低0.02。

這說(shuō)明什么？理解不僅沒(méi)拖累生成，反而表現(xiàn)出協(xié)同潛力。

以及最后還有很重要的一點(diǎn)，那就是真·原生。

以前的多模態(tài)模型，本質(zhì)上天天干的是“對(duì)齊”的活兒——不同模態(tài)之間“對(duì)話”需要靠“翻譯傳話”。

而現(xiàn)在，美團(tuán)LongCat發(fā)現(xiàn)：

把不同模態(tài)的Token丟進(jìn)t-SNE可視化之后，它們不是各占一角，而是混在一起，自然交融，而且不同的專家模塊開(kāi)始自動(dòng)偏好處理圖像、文字或語(yǔ)音。

這說(shuō)明，模型不是在“拼湊”多模態(tài)，而是在內(nèi)部長(zhǎng)出了一個(gè)統(tǒng)一的多模態(tài)世界。

說(shuō)到這里，懂行的朋友可能就問(wèn)了：

OK，現(xiàn)在我們已經(jīng)知道DiNA架構(gòu)長(zhǎng)什么樣、具體怎么運(yùn)作的了，但這里還有一個(gè)關(guān)鍵問(wèn)題沒(méi)有被提到：

它是怎么把不同模態(tài)離散成Token的？文本不必多說(shuō)，至少得說(shuō)清圖像和語(yǔ)音咋處理的。

而這，就要談到美團(tuán)LongCat的另一項(xiàng)自研了。

所以，怎么“離散”的？

一般來(lái)說(shuō)，基于以下兩點(diǎn)理由，離散建模一直被人說(shuō)“不行”：

• 表征容量有限：離散Token就那么幾個(gè)，怕裝不下太多信息；
• 離散化損失：離散化過(guò)程會(huì)丟東西，比如一旦把連續(xù)信號(hào)切成塊，細(xì)節(jié)就容易漏掉。

但美團(tuán)LongCat就說(shuō)了，這些還真不是關(guān)鍵。

真正決定上限的，是離散Token本身是否具備語(yǔ)義完備性（Semantic Completeness）。

換言之，問(wèn)題不在“要不要離散”，而在離散后的Token本身到底夠不夠“有內(nèi)容”——既懂大意，又摳細(xì)節(jié)。

所以現(xiàn)在問(wèn)題就變成了：怎么構(gòu)建合適的表征基礎(chǔ)？

先說(shuō)視覺(jué)。

對(duì)此，美團(tuán)LongCat想了兩招。

第一招：先把基礎(chǔ)打好，讓信息在被離散前盡可能豐富、準(zhǔn)確。

他們拿出語(yǔ)義對(duì)齊編碼器SAE（Semantic-and-Aligned Encoder），用來(lái)從圖像中提煉高信息密度、多屬性的特征。

不同于傳統(tǒng)對(duì)比學(xué)習(xí)（如SigLIP那種“看文字和圖片是否匹配”），SAE是通過(guò)大規(guī)模視覺(jué)-語(yǔ)言監(jiān)督，像做閱讀理解一樣，把圖像描述、視覺(jué)問(wèn)答、視覺(jué)推理統(tǒng)統(tǒng)學(xué)一遍。

結(jié)果就是，它提取的特征既有“這是什么”的語(yǔ)義，又有“長(zhǎng)什么樣”的細(xì)節(jié)。

第二招：甩出自研視覺(jué)分詞器dNaViT，把SAE提煉出來(lái)的特征，逐級(jí)量化成離散Token。

怎么個(gè)逐級(jí)量化？dNaViT這里采用的是8層殘差向量量化（RVQ），通俗來(lái)講就是“分層打包”。

既然細(xì)節(jié)很多，那就第一層打包輪廓、第二層打包顏色、第三層打包紋理……

每一層只負(fù)責(zé)上一層沒(méi)包進(jìn)去的“剩余信息”。

8層補(bǔ)下去之后，最后可以實(shí)現(xiàn)高達(dá)28倍的極致像素空間壓縮。

光壓縮還不算完，到了還原圖像的時(shí)候，dNaViT還有一套雙軌解碼器來(lái)為還原質(zhì)量“保駕護(hù)航”。

• 結(jié)構(gòu)像素解碼器：搭出低分辨率錨點(diǎn)圖，保布局；
• 擴(kuò)散像素細(xì)化器：注入高頻紋理細(xì)節(jié)，讓畫(huà)面更完整清晰。

到這里，美團(tuán)LongCat就完成了視覺(jué)離散的幾個(gè)關(guān)鍵步驟——SAE“先看懂”、dNaViT再壓縮和還原。

發(fā)現(xiàn)沒(méi)，和語(yǔ)言模型的Tokenizer一樣，dNaViT也把圖像的理解和生成放在同一套Token序列里閉環(huán)流轉(zhuǎn)了。

不過(guò)更關(guān)鍵的還在于，在LongCat-Next中：

視覺(jué)Token化這個(gè)過(guò)程完成的是圖像到離散ID的映射，真正的特征是原生學(xué)習(xí)的。

意思是，視覺(jué)Token化這個(gè)過(guò)程只負(fù)責(zé)把圖像轉(zhuǎn)成ID編號(hào)，至于這個(gè)編號(hào)代表什么含義，是模型自己學(xué)出來(lái)的，不是別人硬塞給它的。

在美團(tuán)LongCat看來(lái)，這種從“借用模態(tài)”到“內(nèi)生模態(tài)”的轉(zhuǎn)變，是原生多模態(tài)建模的核心。

還是舉一個(gè)例子。

從dNaViT的架構(gòu)圖可以看到，雖然左邊輸入了三張尺寸完全不同的圖像，但經(jīng)過(guò)中間的離散和右下邊的還原后，輸出的尺寸和輸入完全一致，細(xì)節(jié)也沒(méi)丟。

這就是“原生分辨率”的含義——無(wú)需任何額外動(dòng)作（縮放、裁剪、填充），dNaViT可以實(shí)現(xiàn)任意分辨率的圖像編碼與解碼。

再說(shuō)語(yǔ)音。

語(yǔ)音的離散思路和視覺(jué)基本一致——

先用OpenAI的Whisper編碼器提取聲音特征，然后用RVQ切成離散Token，最后用解碼器還原聲音。

唯一比較狠的一點(diǎn)是，在文本引導(dǎo)音頻的統(tǒng)一建模下，LongCat-Next同時(shí)支持并行生成與串行生成兩種策略，使得模型可以在生成速度與語(yǔ)音準(zhǔn)確性之間靈活權(quán)衡。

• 想“快”（如實(shí)時(shí)語(yǔ)音對(duì)話）：可以走并行生成，延遲更低；
• 想“準(zhǔn)”（如后期配音）：可以走串行生成，雖然過(guò)程慢一點(diǎn)，但文本對(duì)音頻的指導(dǎo)作用更強(qiáng)。

至于什么情況選哪個(gè)，也都是模型自己來(lái)決定。

通過(guò)隨機(jī)延遲對(duì)齊——訓(xùn)練時(shí)隨機(jī)切換“一起出”和“先后出”，模型能自己學(xué)會(huì)平衡速度和準(zhǔn)確度，實(shí)現(xiàn)又快又準(zhǔn)。

至此，美團(tuán)LongCat在LongCat-Next身上看到了：

離散表示并非信息的退化形式，而可以成為統(tǒng)一理解與生成的完備表達(dá)載體。

通過(guò)“離散”這種方式，文字、圖像、語(yǔ)音可以變成“同一種Token”——原生多模態(tài)的底層統(tǒng)一，由此實(shí)現(xiàn)。

跑分和背后的發(fā)現(xiàn)

具體效果可以看LongCat-Next的跑分情況。

這個(gè)基于LongCat-Flash-Lite（MoE）訓(xùn)練的模型，沒(méi)有像傳統(tǒng)模型那樣給不同任務(wù)設(shè)計(jì)不同的專家模塊，而是采用“與模態(tài)無(wú)關(guān)”的MoE——由模型自行決定如何為各模態(tài)分配訓(xùn)練資源。

結(jié)果大家也都看到了，憑借這套離散原生框架，LongCat-Next在視覺(jué)理解、圖像生成、音頻、智能體等多個(gè)維度上，都展現(xiàn)出與多模專用模型相當(dāng)甚至領(lǐng)先的性能。

老實(shí)說(shuō)，雖然LongCat-Next的成績(jī)不錯(cuò)，但我還是有點(diǎn)懷疑“離散”是否真能work。

于是立馬讓模型識(shí)別一下桌面上的小白盒（反光下比較模糊）：

沒(méi)想到LongCat-Next成功識(shí)別了耳機(jī)盒上的所有關(guān)鍵參數(shù)：

當(dāng)然，如果細(xì)扒每一項(xiàng)成績(jī)，你會(huì)發(fā)現(xiàn)背后還藏著這樣幾個(gè)關(guān)鍵點(diǎn)：

發(fā)現(xiàn)1：離散視覺(jué)沒(méi)有天花板

前文也提到，行業(yè)長(zhǎng)期認(rèn)為離散模型在做細(xì)粒度文本識(shí)別時(shí)，天然就不如連續(xù)模型。

因?yàn)殡x散化本身就是一個(gè)信息壓縮和丟失的過(guò)程，而細(xì)粒度文本識(shí)別恰恰對(duì)信息保真度要求極高。

但LongCat-Next這次用實(shí)力挑戰(zhàn)了這一觀點(diǎn)。

證據(jù)之一是，在OmniDocBench這個(gè)涵蓋學(xué)術(shù)論文、財(cái)報(bào)、行政表格等各種復(fù)雜文檔的多模態(tài)基準(zhǔn)測(cè)試上，LongCat-Next的成績(jī)不僅超越同類(lèi)多模態(tài)模型，還超過(guò)了專門(mén)做視覺(jué)理解的模型。

更重要的是，美團(tuán)LongCat通過(guò)對(duì)照實(shí)驗(yàn)發(fā)現(xiàn)，離散視覺(jué)的性能瓶頸并非來(lái)自“離散化本身”，而是來(lái)自數(shù)據(jù)規(guī)模。

在相同設(shè)置下對(duì)比離散模型（Discrete）和連續(xù)模型（Continuous）可以發(fā)現(xiàn)：

小數(shù)據(jù)下，離散模型確實(shí)弱于連續(xù)模型；但隨著數(shù)據(jù)規(guī)模不斷擴(kuò)大，二者的性能差距會(huì)持續(xù)縮小。

繼續(xù)擴(kuò)大數(shù)據(jù)規(guī)模，離散模型甚至可以和連續(xù)模型性能接近一致（near-parity）。

照理說(shuō)，如果離散化本身存在不可突破的性能上限，那么隨著數(shù)據(jù)增加，這一差距理應(yīng)在某個(gè)階段停止收斂，但實(shí)驗(yàn)中并未觀察到這一“收斂停滯”。

所以論文給出了一個(gè)判斷——

離散建模并不存在內(nèi)在性能天花板，其上限更多取決于數(shù)據(jù)規(guī)模與表征質(zhì)量。

發(fā)現(xiàn)2：理解和生成可以協(xié)同

原理就不必多說(shuō)了，咱直接亮成績(jī)：

在考察長(zhǎng)文本渲染能力的LongText-Bench上（側(cè)重生成），LongCat-Next拿下93.15的高分。

與此同時(shí)，它還在考察數(shù)學(xué)推理能力的MathVista上（側(cè)重理解），斬獲83.1的領(lǐng)先成績(jī)。

理解和生成齊高，這說(shuō)明理解不僅沒(méi)有損害生成，反而表現(xiàn)出協(xié)同潛力。

這也很好理解。以前它們分屬兩套系統(tǒng)，各有各的優(yōu)化目標(biāo)；現(xiàn)在卻被拉到了一起，理解學(xué)到的東西直接服務(wù)生成，兩者天然同向、越學(xué)越強(qiáng)。

發(fā)現(xiàn)3：經(jīng)過(guò)原生多模態(tài)訓(xùn)練后，不會(huì)折損文本能力

以前多模態(tài)訓(xùn)練就像“端水”，要小心翼翼在各種模態(tài)的能力之間取得平衡。

但LongCat-Next就不一樣了。

圖像、音頻能力配上后，文本能力也沒(méi)被削弱——

在純文本任務(wù)上，LongCat-Next在MMLU-Pro和C-Eval上分別斬獲77.02和86.80的領(lǐng)先成績(jī)。

而且工具調(diào)用、代碼能力等個(gè)個(gè)不差。

還是那句話，當(dāng)模型學(xué)會(huì)用同一種方式理解圖像、聲音和文字時(shí)，它對(duì)世界的理解無(wú)疑更上一層樓。

美團(tuán)LongCat用實(shí)驗(yàn)初步證明：

當(dāng)不同模態(tài)都用同一套離散Token體系后，模型不再需要為不同模態(tài)、不同任務(wù)分別設(shè)計(jì)機(jī)制，而是可以用一套可擴(kuò)展的方式去建模整個(gè)世界。

在這個(gè)意義上，離散建模并非一種妥協(xié)，而是另一條可擴(kuò)展路徑。

這件事意味著什么？

不止于此。

把視角再往前推一步，你會(huì)發(fā)現(xiàn)一個(gè)有意思的“隔空呼應(yīng)”：這項(xiàng)研究，幾乎正對(duì)上了LeCun和謝賽寧等人的判斷。

LeCun就不必多說(shuō)了，誰(shuí)都知道他一直批評(píng)“純文本LLM無(wú)法實(shí)現(xiàn)AGI”；謝賽寧則在對(duì)談張小珺時(shí)表示，語(yǔ)言本身是人類(lèi)文明高度提煉的結(jié)構(gòu)，相當(dāng)于一種“捷徑”或“拐杖”，過(guò)度依賴語(yǔ)言會(huì)限制AI對(duì)真實(shí)世界的學(xué)習(xí)。

而要突破語(yǔ)言模型的局限性，統(tǒng)一的多模態(tài)預(yù)訓(xùn)練，正是那條繞不開(kāi)的路。

在近期公開(kāi)的論文《Beyond Language Modeling: An Exploration of Multimodal Pretraining》中，LeCun等人決定不再把視覺(jué)當(dāng)作輔助輸入，而是推進(jìn)統(tǒng)一的多模態(tài)預(yù)訓(xùn)練——

讓視覺(jué)和語(yǔ)言一樣，成為模型里的“first-class citizen”。

而美團(tuán)LongCat這一步，正是把這條思路進(jìn)一步推向工程化落地的體現(xiàn)——

在不推翻LLM、自回歸這些成熟體系的前提下，他們直接把圖像、語(yǔ)音、文字統(tǒng)統(tǒng)壓進(jìn)了Token序列，并且做到了工業(yè)級(jí)可用。

怎么個(gè)工業(yè)可用？答案是：開(kāi)源。

沒(méi)錯(cuò)，美團(tuán)LongCat這次不僅公開(kāi)了技術(shù)論文，而且還把LongCat-Next及其分詞器開(kāi)！源！了！

不過(guò)要想使用LongCat-Next，除了硬件上需要至少3張80GB顯存的專業(yè)顯卡（如英偉達(dá)A100/H100），軟件配置要求如下：

到這一步，當(dāng)一套方案不僅在論文里成立，而且已經(jīng)以開(kāi)源的形式跑通工程閉環(huán)時(shí)，它對(duì)業(yè)界的意義除了多了一個(gè)新框架外，更重要的其實(shí)還在于——驗(yàn)證了一條新路徑。

細(xì)究之下，在通往“原生多模態(tài)”的這條路上：

有人在做融合，語(yǔ)言模型當(dāng)?shù)鬃?，視覺(jué)、語(yǔ)音當(dāng)外掛，一心想讓不同模態(tài)更好協(xié)同；也有人更進(jìn)一步做早期融合+MoE，不再依賴預(yù)訓(xùn)練編碼器，從零開(kāi)始聯(lián)合訓(xùn)練，讓模型內(nèi)部自己長(zhǎng)出視覺(jué)和聽(tīng)覺(jué)。

而美團(tuán)LongCat更為直接——不走融合，不做對(duì)齊，直接把所有模態(tài)統(tǒng)統(tǒng)變成Token。

此時(shí)，模型面對(duì)的就不再是“多模態(tài)”，而是同一種可以被預(yù)測(cè)、被生成的序列。

某種程度上來(lái)說(shuō)——

模態(tài)這個(gè)東西本身，也正在消失。

Paper: https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf
GitHub: https://github.com/meituan-longcat/LongCat-Next
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-Next
blog: https://longcat.chat/longcat-next/intro