文｜魏琳華

編｜王一粟

從去年10月發(fā)布全球首個原生多模態(tài)世界模型悟界·Emu3，到如今推出全面升級的悟界·Emu3.5，智源研究院用一年時間，找到了更多具備開創(chuàng)性的新解法。

10月30日，在悟界·Emu系列技術(shù)交流會上，智源發(fā)布Emu3.5被定義為“多模態(tài)世界模型”，與專注于內(nèi)容（如視頻）“生成”的模型不同，其核心在于“理解、預(yù)測與規(guī)劃”，它不僅能生成對未來的預(yù)測，更致力于構(gòu)建一個關(guān)于世界如何運作的內(nèi)在模型。

Emu3.5的架構(gòu)設(shè)計證明了一條更簡潔、更具擴展性的技術(shù)路徑是可行的。

此前，和路徑相對確定的大語言模型相比，圍繞多模態(tài)大模型領(lǐng)域還存在種種問題。比如采用自回歸架構(gòu)還是基于擴散模型的架構(gòu)，業(yè)內(nèi)仍然沒有給出一個確切的答案。

雖然自回歸架構(gòu)雖然在統(tǒng)一性上有優(yōu)勢，但在生成效率上常受逐步解碼限制；相比之下，擴散模型目前應(yīng)用范圍廣，但受限于推理步數(shù)與長時一致性，隨著模型規(guī)模提升，在推理成本與時長可擴展性上會遇到瓶頸。

智源發(fā)布的Emu3.5模型采用了單一的自回歸Transformer架構(gòu)。為了解決生成效率的問題，Emu3.5通過創(chuàng)新的”離散擴散自適應(yīng)”（DiDA）技術(shù)，將自回歸模型的生成效率提升近20倍，使其在速度上能夠媲美頂尖的擴散模型。

“通過Emu3，我們驗證了自回歸架構(gòu)實現(xiàn)多模態(tài)理解與生成大一統(tǒng)的可行性，Emu3.5則開啟了多模態(tài)Scaling的新時代?！敝窃囱芯吭涸洪L王仲遠說。

相比Emu3，Emu3.5的訓(xùn)練規(guī)模有了質(zhì)的飛躍：模型參數(shù)從80億擴展到340億，累計視頻訓(xùn)練時長從15年增加到790年。更重要的是，Emu3.5首次實現(xiàn)了多模態(tài)領(lǐng)域的大規(guī)模強化學(xué)習(xí)，這為多模態(tài)模型的Scalingup指明了方向。

實際測試中， Emu3.5的表現(xiàn)超越了眾多知名閉源模型，達到SOTA效果。官方表示，Emu3.5在圖像生成和編輯任務(wù)上取得了與Gemini 2.5 Flash Image（Nano Banana）相媲美的性能，并在系列圖文交錯生成任務(wù)中展現(xiàn)出更優(yōu)異的結(jié)果。

在交流會現(xiàn)場，研究團隊展示了Emu3.5在具身操作、世界探索、視覺指導(dǎo)等多個場景的應(yīng)用能力。從眾多測試結(jié)果來看，它能夠做到類似Genie 3的場景交互、支持圖片編輯修改等操作。

Emu3.5的意義不僅在于技術(shù)突破，更在于為具身智能的發(fā)展提供了全新的可能性。

交流會上，智源研究院表示，Emu3.5為具身智能提供了堅實的世界模型支撐，推動具身智能從數(shù)據(jù)稀缺和規(guī)劃瓶頸向更可靠、泛化的方向演進。傳統(tǒng)機器人往往局限于預(yù)設(shè)指令或特定場景數(shù)據(jù)，Emu3.5的價值在于數(shù)據(jù)生成、高級任務(wù)規(guī)劃和泛化推理能力，推動具身智能向更“智能”的方向發(fā)展。

長坡厚雪，智源研究院在原生多模態(tài)領(lǐng)域邁出了重要的一步，但如何解決模型遺忘等等問題，還需要更多探索。

談及發(fā)展的下一步，王仲遠和模型團隊負責(zé)人王鑫龍回應(yīng)光錐智能，希望接下來進一步擴大模型參數(shù)。

“當(dāng)前Emu3.5的參數(shù)是34B，語言模型現(xiàn)在都已經(jīng)到萬億級別。”王仲遠說，“如果有更大的參數(shù)，投入更多的算力，我們相信基于Emu3.5架構(gòu)的這樣一個多模態(tài)世界模型能力還會有躍升?！?/p>

以下為溝通會問答環(huán)節(jié)實錄（經(jīng)光錐智能編輯整理）。

受訪者嘉賓為：

智源研究院院長王仲遠

智源研究院多模態(tài)大模型團隊技術(shù)負責(zé)人王鑫龍

Q： 剛才我們提到了Emu3.5可以應(yīng)用在具身智能領(lǐng)域，請問我們的模型有沒有已經(jīng)和機器人領(lǐng)域的一些機構(gòu)或企業(yè)有過合作？

A：智源研究院自己就在研發(fā)RoboBrain系列的具身大模型，這些模型已經(jīng)在跟國內(nèi)非常廣泛的具身機器人公司合作，包括不限于星海圖、星動際元、樂聚、宇樹科技等。

Emu3.5具備進一步提升具身智能基座模型的能力，包括探索新的具身智能技術(shù)路線的可能性。我們已經(jīng)開始做了一些初步嘗試，例如剛才展示的，能夠預(yù)測機械臂操作所需的數(shù)據(jù)，這些數(shù)據(jù)原來可能需要真機采集，現(xiàn)在我們可以非常精準(zhǔn)地生成大量數(shù)據(jù)。

過往真機采集數(shù)據(jù)可能在固定場景，但現(xiàn)在通過世界模型能力，它能夠泛化到?jīng)]見過的場景。在沒見過場景下，別的模型可能是0，但用上Emu3.5它可以直接達到70%。這是我們的一個方向，現(xiàn)在也在進一步擴大規(guī)模，把真機各種場景都去嘗試一下。

Q： 關(guān)于模型效率的問題，前段時間李飛飛的項目說一塊GPU可以搞定推理，想問問我們效率怎么樣？

A：首先，行業(yè)內(nèi)各種模型都在進行推理優(yōu)化，隨著模型的發(fā)展，甚至?xí)霈F(xiàn)推理效率的“新摩爾定律”，即成本不斷降低，性能無損。這是各家廠商和科研機構(gòu)都在努力的方向。

對于Emu3.5，我們最大的貢獻是在自回歸架構(gòu)上實現(xiàn)了近乎并行的多Token生成，且實現(xiàn)性能無損。由此，我們首次用包含離散Token的自回歸架構(gòu)，在圖像生成上與主流擴散式方法相媲美，我們的開源模型比肩閉源的圖像生成能力。

對于效率方面，我們還是比較有信心。原來原生多模態(tài)的成本極高，我們現(xiàn)在的這套技術(shù)一次20倍的加速，可以說是把原生多模態(tài)的成本砍下來了。

Q： 對于世界模型和機器人的商業(yè)化路徑，目前咱們探索出哪些可行的方向？比如說Emu3.5與藥房機器人的結(jié)合，這些案例能否復(fù)制到更多行業(yè)？

A：未來這些都是可以的。我們的悟界EMU系列（多模態(tài)世界大模型）和悟界RoboBrain系列（具身大小腦模型），都會快速推動具身智能向更多的場景，實現(xiàn)能力上的泛化。

就像剛才所介紹的，現(xiàn)在做具身智能，很多時候真機只能采集到具體場景有限的數(shù)據(jù)。通過Emu3.5，它可以產(chǎn)生泛化的數(shù)據(jù)，這能夠極大地提高具身模型，包括具身機器人、機械臂在實際場景中處理泛化性的能力，自然而然就會推動整個具身更快進入一些真實的場景中。

Q： 數(shù)據(jù)采集和數(shù)據(jù)缺失是一個痛點，另外一個痛點在沒見過場景執(zhí)行的準(zhǔn)度和任務(wù)度，我們整個模型在數(shù)據(jù)的執(zhí)行精度和任務(wù)度上能完成什么樣復(fù)雜的動作呢？

A：Emu3.5具備在具身智能上做Next-State Prediction（下一個狀態(tài)預(yù)測）的能力，在時序推理與行動預(yù)測上更接近人類大腦的處理方式。

我們認知到其實整個具身智能行業(yè)現(xiàn)在面臨著非常多的挑戰(zhàn)，包括：硬件本體不成熟、數(shù)據(jù)缺乏、模型能力不強、應(yīng)用場景比較弱。因此，盡管具身智能有多種范式，在實際發(fā)展中仍會遇到大量問題。Emu3.5有望成為具身智能的基座模型，但這中間還有大量的工作需要去做。

具身智能更大的關(guān)鍵不在“具身”，而在“智能”。 智能并不會因僅有硬件而自然產(chǎn)生，我們希望第一步先把智能基礎(chǔ)打牢，讓模型能夠泛化到未見過的場景，現(xiàn)在已經(jīng)有一些喜人的進展。比如在一些想象的場景中，“把火星上的宇航員救起來”，或者生成“疊衣服”這類可能包含數(shù)十步的復(fù)雜操作，且是在任意場景中完成——這些數(shù)據(jù)往往難以真實采集（實驗場景中大部分疊衣服都在干凈的臺面上完成）。但是現(xiàn)在有了基礎(chǔ)模型能力之后，可以支持各種場景、各種任務(wù)，顯著釋放智能的想象空間與可用性。

Q：咱們說預(yù)訓(xùn)練模型的時候，采用大規(guī)模長視頻數(shù)據(jù)， 這個數(shù)據(jù)做了什么特別的處理嗎？直覺來講大家可能會想到長視頻的數(shù)據(jù)，為什么當(dāng)時大家沒有這么做？現(xiàn)在你們做具備了什么樣的條件？

A：用長視頻數(shù)據(jù)來學(xué)習(xí)，一直都是多模態(tài)大模型，尤其是原生多模態(tài)大模型努力的一個方向。全球范圍內(nèi)確實有一些科研團隊，包括一些企業(yè)機構(gòu)在嘗試做這件事情，但是它的挑戰(zhàn)非常大。

剛剛王鑫龍在展示我們Loss曲線的時候強調(diào)“Loss下降非常穩(wěn)定”，要實現(xiàn)這一點，背后涉及一系列挑戰(zhàn)，包括數(shù)據(jù)應(yīng)該怎么設(shè)計，初期數(shù)據(jù)的配比，包括到底選用什么樣的視頻等等，這些都是過去幾年時間我們集中攻關(guān)的。

Emu3.5是去年3月份正式立項，整個科研團隊在反復(fù)試錯中持續(xù)突破，遇到了一個又一個新的挑戰(zhàn)，攻克了一個又一個難關(guān)。到今天我們能夠非常自豪地說：在自回歸這條路線上，我們生成的效果和速度可以媲美Diffusion方法，并且有更好的上限空間。智源研究院真的走出了一條新的大模型的路。我們也期待這條路后續(xù)成為主流的路。

登珠穆朗瑪峰，南坡和北坡也許都可以登峰，我們希望我們走的是大家認可的一條路，我們也會把我們的基座模型開源，期待生態(tài)共同拓展。

關(guān)于長視頻，我們一直在推進。核心的問題在于：到底用什么架構(gòu)才能夠支撐有效的Scaling up。受益于此前EMU系列的一些研究，現(xiàn)在在我們的自回歸架構(gòu)下可以非常方便地把長視頻學(xué)進去，能實現(xiàn)大規(guī)模的預(yù)訓(xùn)練和大規(guī)模的多模態(tài)RL。從訓(xùn)練視角看，判斷一個架構(gòu)是否可擴展，關(guān)鍵在于能否同時滿足“可進行大規(guī)模預(yù)訓(xùn)練”和“可進行大規(guī)模RL”，現(xiàn)在很多架構(gòu)要么只能滿足一個，要么兩個都不滿足，現(xiàn)在Emu3.5現(xiàn)在兩者均已打通，這是訓(xùn)練的角度。從推理的角度，長視頻推理需要有更高效的加速方案，只有技術(shù)創(chuàng)新到位，才能把數(shù)據(jù)真正“學(xué)進去”，把能力體現(xiàn)出來。

Q：前不久我們跟大模型研發(fā)人士交流，討論到最近幾個月模型差距在拉大，您怎么看？從您研發(fā)的世界模型視角，咱們智源處于什么情況？

A：謹代表個人觀點。我們要正視國內(nèi)大模型和全世界最先進的大模型，一直都處在你追我趕的階段。比如說今年年初DeepSeek的發(fā)布，讓我們能夠至少在語言模型上，開始有了一個追趕甚至接近的情況。

關(guān)于“差距拉大”的討論，一方面從已公開的模型與開源結(jié)果對比來看，當(dāng)前階段確有差距有拉大的現(xiàn)象。在9月底的時候，我們公布了一個對60多款推理大模型的評測報告，結(jié)果顯示國際最先進的模型較目前多數(shù)國產(chǎn)的模型仍保持明顯的領(lǐng)先。另一方面，我相信國內(nèi)各家科研機構(gòu)和公司，也一定會在包括像語言模型，后訓(xùn)練及推理模型上有很多新的模型還在訓(xùn)練當(dāng)中，后續(xù)進展值得期待。

就智源自身而言，我們悟界·Emu3.5開啟了多模態(tài)世界大模型的新時代，某種程度上可以證明中國科研機構(gòu)，在堅持默默無聞地做一些原始的科研創(chuàng)新。在當(dāng)前階段，EMU系列在其所定位的方向與能力上已取得具有國際競爭力的進展，并在若干維度達到國際領(lǐng)先水平。

Q： 現(xiàn)在文字類和視頻類的模型發(fā)展速度很快，多模態(tài)其實比較慢，您感覺在技術(shù)側(cè)，包括各個方面它限制性的因素還有哪一些？

A：因為技術(shù)路線沒有收斂，與我們對于整個行業(yè)技術(shù)路線的判斷一致，市面上很多方案仍是將多模態(tài)理解和多模態(tài)生成割裂開來，采用組合式管線處理。比如以大語言模型為核心學(xué)語言，再以DiT等模塊處理多模態(tài)。這樣會帶來一系列問題，包括跨模塊協(xié)同成本、端到端優(yōu)化困難，以及“遺忘/記憶”的問題長期未被很好地解決，上述因素共同限制了多模態(tài)系統(tǒng)的效率與可擴展性。

我們認為悟界·Emu3.5代表了一條可擴展的多模態(tài)智能路徑。我們有理由相信，通過這項探索，我們正在逐步厘清通向真正意義上通用智能的技術(shù)路線。

Q：在大規(guī)模預(yù)訓(xùn)練的時候， 我們在訓(xùn)練模型的什么能力？我們建立了怎樣的獎勵機制？或者說怎么樣進階它的下一個能力？

A：我之前舉過一個例子，今年春節(jié)期間，我觀察到一個兩歲的小女孩學(xué)會串糖葫蘆，沒有大人教她，她是怎么學(xué)會的呢？她刷短視頻，特別喜歡看一位吃糖果的小姐姐，每天反復(fù)看，她從視頻中學(xué)習(xí)，視頻里面涵蓋了大量的真實世界物理動態(tài)信息，包括各種聲音、語言、圖像等，視頻是目前最容易獲取、可用來做“世界模型”預(yù)訓(xùn)練的關(guān)鍵數(shù)據(jù)。

這個小女孩在現(xiàn)實世界中嘗試：她自己撕糖果紙，第一次失敗了，但她沒放棄，又從不同的角度去嘗試，最終她吃到了糖果，得到了獎勵，類似強化學(xué)習(xí)過程。人類也是在大量的感知，比如通過視頻，通過真實世界交互在不斷地學(xué)習(xí)。學(xué)習(xí)的過程中又通過交互，通過強化學(xué)習(xí)反饋習(xí)得到了能力。對于小女孩來講她吃到了糖果，對于足球運動員來講是這樣射門更容易成功，這就是學(xué)習(xí)。

對應(yīng)到模型，第一性原理同樣是在真實世界數(shù)據(jù)上做大規(guī)模的Pretrain，以及在具體任務(wù)重通過強化學(xué)習(xí)優(yōu)化策略，將其內(nèi)化為自己的能力。這也是我們將Emu3.5的路線稱為“第一性原理”的原因之一：在多模態(tài)世界模型上，以“大規(guī)模預(yù)訓(xùn)練+大規(guī)模多模態(tài)強化學(xué)習(xí)”為核心的技術(shù)范式與路線。

從學(xué)習(xí)階段來說，預(yù)訓(xùn)練主要在學(xué)世界知識與泛化能力，我覺得泛化性也是評價智能的一個重要標(biāo)準(zhǔn)，不泛化就談不上智能。當(dāng)前主流的人機交互方式是Chat，但是Chat并不是原生多模態(tài)的，多模態(tài)原生到底應(yīng)該用什么樣的交互形式，過去并不清晰。假如說以后有了智能眼鏡，做菜的時候你不會跟它聊天，而是邊做邊得到下一步指導(dǎo)（下一步應(yīng)該拿土豆，應(yīng)該怎么切），這更多是一種指導(dǎo)式交互。這類原生多模態(tài)交互與大規(guī)模世界知識的泛化能力相結(jié)合，構(gòu)成了我們追求的目標(biāo)：既具備廣泛的世界知識與泛化性，又具備高效、自然的多模態(tài)協(xié)同與交互。

Q：我們選擇了統(tǒng)一的自回歸架構(gòu)，但在多模態(tài)世界中，仍有很多問題需要處理。在您看來，接下來最重要、最需要解決的方向是什么？

A：擴大規(guī)模，我們現(xiàn)在沒有足夠的資源。擴大規(guī)?？赡苁亲蠲黠@的一條路。我們已將范式指明，后續(xù)提升關(guān)鍵在兩方面：數(shù)據(jù)、Infra。之前范式是不確定的，大家不知道往哪個方向去做。我們現(xiàn)在有了一個明確的Scaling方向，接下來是如何把數(shù)據(jù)，比如把所有的視頻數(shù)據(jù)全部用起來，二是Infra，支持更大規(guī)模的預(yù)訓(xùn)練與強化學(xué)習(xí)，需要更高效的訓(xùn)練系統(tǒng)與推理加速，且在多模態(tài)上算力需求更高，還有存儲。這些都需要去提升。

我們認為Emu3.5一個很重要的貢獻是提出并驗證了多模態(tài)Scaling的可行范式，它是第三種Scaling up的方式。在語言模型上現(xiàn)在確實遇到了各種各樣發(fā)展的瓶頸。我們很幸運在多模態(tài)上找到了有可能Scaling的方式。。大量長短視頻平臺與網(wǎng)站擁有的私有視頻數(shù)據(jù)，若在合規(guī)前提下用于訓(xùn)練，有望進一步提升模型能力。

另外一塊是參數(shù)和算力。如果把模型規(guī)模拓展到比如說70B，300B，乃至于語言模型的萬億規(guī)模，在既有范式有效的前提下，參數(shù)與算力的提升有望帶來能力躍升。我們希望，也呼吁行業(yè)里擁有大規(guī)模算力的企業(yè)機構(gòu)，能夠跟智源合作，我們一起嘗試探索更大規(guī)模的多模態(tài)世界模型，也歡迎投資方在合規(guī)與可持續(xù)的框架下共同投入資源。謝謝！