衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

你斥巨資買回家的全能家務(wù)機(jī)器人，正在執(zhí)行“把藥片拿給奶奶”的任務(wù)。

它在大腦里推理得有條有理：“奶奶在沙發(fā)上，藥在茶幾，我要先去茶幾那……”

結(jié)果站在茶幾前的它，對(duì)著上面的半瓶可樂陷入了沉思。

短暫的停頓之后，機(jī)械臂伸出，抓起了遙控器。

恭喜你！你家的具身機(jī)器人翻車了。

其實(shí)，“一旦被扔進(jìn)物理世界做任務(wù)，智商立刻欠費(fèi)”是具身智能機(jī)器人當(dāng)下的尷尬現(xiàn)狀。

因?yàn)槿狈?duì)三維物理空間的感知，模型無(wú)法像人類一樣建立空間坐標(biāo)系，無(wú)法記住剛剛轉(zhuǎn)身后背對(duì)著的物體，也無(wú)法判斷目標(biāo)是否仍然存在于空間中。

這種“腦子學(xué)會(huì)了，手跟不上”的現(xiàn)象，本質(zhì)上是因?yàn)楝F(xiàn)有的大模型大多是“缸中之腦”，它們只見過二維的圖片和文本，從未真正理解過物理世界的深度與連續(xù)性。

現(xiàn)在，阿里達(dá)摩院出手了。

今天，達(dá)摩院開源了RynnBrain具身大腦基礎(chǔ)模型，從2B到30B，全系列共計(jì)7個(gè)。

這是業(yè)界首個(gè)擁有時(shí)空記憶的具身大腦基礎(chǔ)模型，其最大的特點(diǎn)是給具身機(jī)器人裝上了一個(gè)能理解“時(shí)”與“空”的大腦：它不僅能看懂現(xiàn)在的畫面，還能記住過去的軌跡，甚至預(yù)判未來(lái)的動(dòng)作。

在20項(xiàng)具身Benchmark上，RynnBrain全面超越了英偉達(dá)的Cosmos-reason2和谷歌的Gemini Robotics ER 1.5等頂尖模型，輕松實(shí)現(xiàn)16個(gè)SOTA。

達(dá)摩院這次算是開了個(gè)好頭。

技術(shù)探索一旦有了苗頭，就不怕等不來(lái)雪球效應(yīng)，到了全能家務(wù)機(jī)器人真正能進(jìn)咱家門的時(shí)候……應(yīng)該就不會(huì)翻車了吧？

RynnBrain，首個(gè)擁有時(shí)空記憶的具身大腦基礎(chǔ)模型

RynnBrain的核心優(yōu)勢(shì)可以用“小而美”形容。

RynnBrain-30B-A3B作為首個(gè)MoE架構(gòu)的具身基礎(chǔ)模型，展現(xiàn)了極致的效率美學(xué)：

僅需3B的推理激活參數(shù)，性能卻超越了72B規(guī)模的Pelican-VL（當(dāng)前規(guī)模最大的具身基礎(chǔ)模型）。

對(duì)于機(jī)器人這種對(duì)端側(cè)算力、功耗極其敏感的設(shè)備來(lái)說，激活參數(shù)越小，意味著響應(yīng)速度越快，硬件成本越低，落地的可能性就越大。

達(dá)摩院表示，RynnBrain是在Qwen3-VL的基礎(chǔ)上進(jìn)行訓(xùn)練。

為了解決大模型訓(xùn)練慢、成本高的問題，達(dá)摩院團(tuán)隊(duì)在RynnBrain中使用了自研的RynnScale架構(gòu)。

這套架構(gòu)對(duì)Dense模型和MoE模型都進(jìn)行了深度的訓(xùn)練速度優(yōu)化，使得在同等計(jì)算資源下，訓(xùn)練速度直接提升至200%。

所以RynnBrain不僅跑得快，迭代進(jìn)化的速度也比別人快，單位時(shí)間內(nèi)可完成更多實(shí)驗(yàn)輪次。

當(dāng)然，模型好不好，數(shù)據(jù)是關(guān)鍵。

為了訓(xùn)練這個(gè)大腦，達(dá)摩院準(zhǔn)備了超過2000萬(wàn)對(duì)的高質(zhì)量語(yǔ)料。這些數(shù)據(jù)經(jīng)過了精心的設(shè)計(jì)和清洗。

首先，團(tuán)隊(duì)復(fù)用了自研Video-Llama 3視頻大模型的通用多模態(tài)訓(xùn)練數(shù)據(jù)，并融合了LLaVA-OV-SI、LLaVA-Video等開源視頻問答數(shù)據(jù)，打好了底座。

其次，為了增強(qiáng)具身認(rèn)知，他們引入了物體認(rèn)知、空間認(rèn)知和計(jì)數(shù)相關(guān)的數(shù)據(jù)。

這里有一個(gè)很有意思的細(xì)節(jié)：團(tuán)隊(duì)自己生成了100萬(wàn)對(duì)“自我為中心”的OCR問答數(shù)據(jù)。

為什么要強(qiáng)調(diào)“自我為中心”？

因?yàn)闄C(jī)器人眼中看到的世界是隨著移動(dòng)不斷晃動(dòng)的畫面，是近大遠(yuǎn)小的透視。

加入OCR數(shù)據(jù)能讓機(jī)器人看懂藥瓶上的標(biāo)簽、門牌上的數(shù)字，對(duì)解決實(shí)際任務(wù)很有幫助。

在輸入輸出端，RynnBrain也做到了極致的靈活。

輸入端，它可以接受任意分辨率的圖片、多圖和視頻輸入。

無(wú)論是高清的攝像頭畫面，還是模糊的監(jiān)控截圖，它都能處理——這滿足了用戶在不同場(chǎng)景、不同硬件條件下的視覺輸入需求。

輸出端，它有很強(qiáng)的多模態(tài)輸出能力。

RynnBrain可以輸出區(qū)域、軌跡、點(diǎn)集、夾爪位姿、文本等多種具身相關(guān)的模態(tài)。

它不僅能告訴你“那個(gè)蘋果在桌子上”，還能直接告訴機(jī)械臂“把爪子移動(dòng)到坐標(biāo)(x,y,z)，以30度的角度抓取”，為后續(xù)導(dǎo)航、規(guī)劃與操作任務(wù)提供統(tǒng)一的認(rèn)知接口。

這些設(shè)計(jì)共同構(gòu)成了RynnBrain作為“具身大腦”的基本形態(tài)。

有時(shí)空記憶，懂物理空間推理，拓展性良好

回到我們開頭假設(shè)的場(chǎng)景，一個(gè)問題擺在眼前：為什么現(xiàn)有的VLM（視覺語(yǔ)言模型）在做具身大腦時(shí)經(jīng)常翻車？

核心原因是它們?nèi)狈?duì)物理世界的深刻理解。

它們能識(shí)別圖片里的貓，但不知道這只貓?jiān)谌S空間里的位置，更不知道當(dāng)你轉(zhuǎn)身后，家里的小貓還在不在貓窩里（此處很難不發(fā)出喵喵叫的聲音.mp3）。

達(dá)摩院具身智能實(shí)驗(yàn)室的相關(guān)研究人員告訴量子位，之所以把RynnBrain定位為“具身基礎(chǔ)模型”，是因?yàn)樗槍?duì)性地提出了三個(gè)相互耦合的關(guān)鍵能力點(diǎn)。

第一，它擁有了“時(shí)空記憶”。

傳統(tǒng)的模型往往是“健忘”的，處理視頻時(shí)也是一幀一幀地看，看完了就忘。

而RynnBrain能夠在其完整的歷史記憶中定位物體、目標(biāo)區(qū)域，甚至預(yù)測(cè)運(yùn)動(dòng)軌跡。

這就賦予了機(jī)器人一種“全局時(shí)空回溯能力”。

想象一下，機(jī)器人在廚房里忙活。它先在水槽邊洗了菜，然后轉(zhuǎn)身去冰箱拿肉。在普通模型眼里，轉(zhuǎn)身的那一刻，水槽和菜就“消失”了。

但對(duì)于RynnBrain來(lái)說，它的大腦里構(gòu)建了一個(gè)涵蓋空間、位置、事件、軌跡的多維度表征。

它清楚地記得水槽在身后的哪個(gè)方位，剛才洗好的菜放在了水槽的左邊還是右邊。

這種能力對(duì)于長(zhǎng)程任務(wù)至關(guān)重要。

比如“把藥拿給奶奶”這個(gè)任務(wù)，中間可能被打斷，可能需要繞過障礙物。

RynnBrain擁有時(shí)空記憶，所以任務(wù)中途哪怕發(fā)生插曲，也都還能準(zhǔn)確地找回之前的任務(wù)斷點(diǎn)，繼續(xù)執(zhí)行。

第二，它掌握了“物理空間推理”。

RynnBrain采用了一種全新的“文本與空間定位交錯(cuò)”的推理策略。

推理過程中，模型不僅生成語(yǔ)言判斷，還會(huì)同步給出對(duì)應(yīng)的空間指向信息。

它的推理過程是這樣的：“首先走向[桌子]（對(duì)應(yīng)視頻幀中的區(qū)域坐標(biāo)），然后伸出手對(duì)準(zhǔn)[蘋果]（對(duì)應(yīng)物體的邊界框），避開旁邊的[水杯]（對(duì)應(yīng)障礙物的點(diǎn)集）……”

這種推理方式，就像是人類在指揮別人干活時(shí)，一邊說話一邊用手指指點(diǎn)點(diǎn)，具身模型理解指令時(shí)就更簡(jiǎn)單、更輕松。

推理與定位被強(qiáng)制綁定，推理結(jié)果天然受到物理世界約束，能夠大幅降低具身任務(wù)中常見的幻覺問題。

在具體實(shí)現(xiàn)上，達(dá)摩院圍繞計(jì)數(shù)、物體定位、操作點(diǎn)定位、區(qū)域定位和軌跡預(yù)測(cè)等任務(wù)構(gòu)建了系統(tǒng)化的數(shù)據(jù)與評(píng)測(cè)流程。

尤其在計(jì)數(shù)任務(wù)中，強(qiáng)調(diào)“先定位再計(jì)數(shù)”，顯著提升了復(fù)雜場(chǎng)景下的穩(wěn)定性。

第三，它展現(xiàn)了良好的可拓展性。

RynnBrain不僅僅是一個(gè)好用的模型，更是一個(gè)強(qiáng)大的基座。

達(dá)摩院團(tuán)隊(duì)在RynnBrain基礎(chǔ)模型上，微調(diào)了視覺語(yǔ)言導(dǎo)航和精準(zhǔn)操作規(guī)劃模型，結(jié)果令人驚喜。

• 在導(dǎo)航任務(wù)中，他們使用了SOTA模型StreamVLN的訓(xùn)練數(shù)據(jù)對(duì)RynnBrain進(jìn)行微調(diào)。
• 在沒有任何架構(gòu)改進(jìn)的情況下，RynnBrain-Nav的導(dǎo)航成功率比StreamVLN直接提高了2%-3%。
• 如果把RynnBrain作為基礎(chǔ)模型，利用相同數(shù)據(jù)訓(xùn)練，能讓微調(diào)出的導(dǎo)航模型能力提升5%。

在操作規(guī)劃任務(wù)中，僅使用幾百條數(shù)據(jù)微調(diào)后，RynnBrain-Plan-30B（A3B）就在域內(nèi)和域外的任務(wù)上全面超越了Gemini 3 Pro。

咱就是說，RynnBrain在預(yù)訓(xùn)練階段打下的底子確實(shí)非常厚實(shí)。

從模型開源到生態(tài)補(bǔ)齊，達(dá)摩院系統(tǒng)性修復(fù)具身認(rèn)知斷層

具身智能發(fā)展至今，仍面臨數(shù)字世界（二維、離散）與物理世界（三維、高熵）之間的巨大斷層。

為了跨越這個(gè)斷層，業(yè)界目前主要在探索兩條路徑。

• 一是從通用VLM演化，優(yōu)勢(shì)是泛化強(qiáng)，劣勢(shì)是操作精度弱。
• 二是從動(dòng)作策略（VLA）切入，優(yōu)勢(shì)是執(zhí)行準(zhǔn)，劣勢(shì)是數(shù)據(jù)稀缺、換場(chǎng)即廢。

達(dá)摩院團(tuán)隊(duì)透露，他們從第一性原理、泛化性角度以及工程化實(shí)踐三個(gè)維度出發(fā)，深入思考后，傾向于采用“大小腦分層架構(gòu)”。

以RynnBrain為代表的“大腦”負(fù)責(zé)長(zhǎng)程規(guī)劃、場(chǎng)景理解與時(shí)空記憶；執(zhí)行層“小腦”則專注電機(jī)控制與動(dòng)作執(zhí)行。

這一架構(gòu)在理論上更有利于泛化，在工程上也更便于模塊化迭代。

這套架構(gòu)的加持下，面對(duì)“把3個(gè)面包裝到2個(gè)盤子里”這種任務(wù)，擁有長(zhǎng)程規(guī)劃和空間規(guī)劃能力的具身機(jī)器人就有自己的機(jī)智解法。

雖然項(xiàng)目作者直言兩種路線目前尚未收斂，也難言好壞優(yōu)劣之分，但RynnBrain的出現(xiàn)，首次為這種分層架構(gòu)提供了可直接落地的大腦層實(shí)現(xiàn)。

說到這兒，大家可以問那個(gè)問題了：開源不？

開，而且是全方面開。

此次達(dá)摩院不僅開源了RynnBrain模型，還配套開放了完整的推理訓(xùn)練代碼、以及包含22項(xiàng)細(xì)粒度指標(biāo)的全新評(píng)測(cè)基準(zhǔn)RynnBrain-Bench。

該測(cè)試涵蓋物體認(rèn)知、空間認(rèn)知、物體定位及具身點(diǎn)預(yù)測(cè)四大維度，側(cè)重考察模型對(duì)視頻序列的理解與時(shí)空定位能力。

通過開源這一大腦底座，開發(fā)者能直接在公認(rèn)的基礎(chǔ)設(shè)施上進(jìn)行二次開發(fā)，將精力轉(zhuǎn)向硬件優(yōu)化或垂直場(chǎng)景應(yīng)用。

這里想就兩個(gè)點(diǎn)展開說幾句。

一來(lái)，“通過RynnBrain補(bǔ)齊大腦的物理常識(shí)，再通過開源把這套常識(shí)變成行業(yè)的公共基礎(chǔ)設(shè)施”這個(gè)動(dòng)作，讓達(dá)摩院“想做具身生態(tài)的建設(shè)者”這事兒藏不住了。

二來(lái)，此次開源RynnBrain，發(fā)布RynnBrain-Bench等一系列動(dòng)作，降低了困擾行業(yè)的三大門檻，意義深遠(yuǎn)。

第一道是研發(fā)門檻，告別重復(fù)造輪子。

以往每家公司都需自行訓(xùn)練模型讓機(jī)器人理解“左邊”或“障礙物”，現(xiàn)在RynnBrain將這些物理常識(shí)打包成公共基礎(chǔ)設(shè)施，隨拿隨用。

第二道是系統(tǒng)門檻，解決認(rèn)知狀態(tài)不共享的頑疾。

在RynnBrain的統(tǒng)一表征下，導(dǎo)航、規(guī)劃與操作模塊對(duì)物理世界的理解達(dá)成一致，信息的無(wú)損流轉(zhuǎn)極大地提升了系統(tǒng)整體效率。

第三道是協(xié)作門檻。

RynnBrain-Bench提供了一把統(tǒng)一的標(biāo)尺，讓不同團(tuán)隊(duì)能在相同的參照系下評(píng)估模型能力，驅(qū)動(dòng)行業(yè)良性競(jìng)爭(zhēng)。

跳出模型本身來(lái)看，達(dá)摩院在具身智能這邊，路線已經(jīng)相對(duì)清晰了。

用最簡(jiǎn)單易懂的話說，他們?cè)谫€。

賭具身智能的未來(lái)不是一家獨(dú)大，而是百花齊放；賭通用的物理世界認(rèn)知，是所有機(jī)器人走向?qū)嵱玫谋亟?jīng)之路。

畢竟具身智能最終拼的，不是參數(shù)規(guī)模或Demo視覺效果。

咱們期待的是機(jī)器人有朝一日能絲滑可靠地推開通往物理世界的大門。

現(xiàn)在，這扇通往真實(shí)世界的大門已經(jīng)被RynnBrain推開了一條縫。剩下的，就看這個(gè)被激活的生態(tài)，能在這條路上跑出怎樣的驚喜了。

GitHub：
https://github.com/alibaba-damo-academy/RynnBrain
抱抱臉：
https://huggingface.co/collections/Alibaba-DAMO-Academy/rynnbrain
項(xiàng)目主頁(yè)：
https://alibaba-damo-academy.github.io/RynnBrain.github.io/