這項由NVIDIA、多倫多大學和悉尼大學聯(lián)合開展的研究，以預印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.09860v2。有興趣深入了解的讀者可通過該編號在arXiv平臺查閱完整論文。

一、一場關于"機器人究竟有多聰明"的考試

假設你雇了一位家政助理，面試時他表現(xiàn)得天花亂墜，但真正到你家干活，卻總是把廚房搞得亂七八糟，或者把你的橙子放進垃圾桶。這種"考場優(yōu)秀、實戰(zhàn)拉垮"的困境，正是當前機器人研究領域面臨的核心難題。

近年來，研究人員開發(fā)出了一批被稱為"通用機器人策略"的智能系統(tǒng)，就像一個能聽懂各種指令、完成各類任務的機器人管家。這些系統(tǒng)在論文里的成績通常非常亮眼，但當真正把它們放到現(xiàn)實場景中測試時，卻往往令人失望。問題出在哪里？

關鍵在于"考試卷子不對"?，F(xiàn)有的機器人測試平臺，大多讓機器人在它曾經(jīng)訓練過的場景里考試。這就好比一個學生把歷年真題全都背了個遍，然后參加一場幾乎原題復現(xiàn)的考試——高分自然是手到擒來，但這并不能說明他真的學懂了數(shù)學。

NVIDIA領銜的研究團隊意識到這個問題，于是專門設計了一個全新的"考場"——RoboLab。這個平臺的目標只有一個：讓機器人在從未見過的場景里接受真實能力的檢驗，徹底杜絕"背題作弊"的可能性。結(jié)果發(fā)現(xiàn)，目前公認最先進的機器人系統(tǒng)，在這個考場里的成功率只有大約30%，相當于一百道題只答對了三十道。這個數(shù)字像一盆冷水，潑醒了對當前技術(shù)過于樂觀的人們。

二、機器人的"模擬考場"為什么總是不靠譜

在介紹RoboLab之前，有必要先說清楚，為什么之前的模擬測試平臺總是無法真實反映機器人的能力。

傳統(tǒng)的機器人測試分成兩大類，各有各的硬傷。第一類是"純模擬"測試，就是在計算機里建造一個虛擬世界，讓機器人在里面練習和考試。這類方法成本低、效率高，但致命缺陷是畫面太粗糙、物理效果太失真。機器人在這里學到的技能，換到現(xiàn)實世界里往往完全失效——就像一個只在游泳池里學過游泳的人，突然被扔進波濤洶涌的大海，立刻手足無措。這就是業(yè)界常說的"仿真到現(xiàn)實的遷移鴻溝"。

第二類是"現(xiàn)實轉(zhuǎn)仿真"測試，研究者先用真實相機拍攝真實場景，再用高級技術(shù)把真實影像融入虛擬環(huán)境，使得畫面極度逼真。代表性技術(shù)包括高斯?jié)姙R（一種讓虛擬場景看起來和真實照片幾乎無法區(qū)分的技術(shù)）。然而，這種方法的代價是時間成本極其高昂——每構(gòu)建一個測試場景就需要大約一個小時，根本無法大規(guī)模擴展。更重要的是，構(gòu)建出來的場景高度依賴已有的真實場景照片，難以靈活創(chuàng)建全新的、機器人從未見過的測試環(huán)境。

RoboLab走的是一條中間路線：畫面逼真程度足夠高，讓機器人感受到類似真實世界的視覺信息；同時生成新場景的速度極快，幾分鐘內(nèi)就能完成，而不是一個小時。更關鍵的是，所有用于測試的場景都是機器人在訓練時完全沒有接觸過的全新環(huán)境。這就像學校每次期末考試都出全新題目，而不是從題庫里重復抽題，才能真正考出學生的實際水平。

三、RoboLab究竟是一個怎樣的"考場"

RoboLab的設計可以從三個角度來理解：它用什么樣的"考場"、它出什么樣的"題目"、它用什么樣的"評分標準"。

在搭建考場方面，RoboLab提供了一套高度靈活的場景生成流水線。工作人員可以親手擺放虛擬物品、設定位置，也可以用自然語言向一個人工智能語言模型提出要求，比如說"幫我生成一個雜亂的廚房操作臺"，系統(tǒng)就會自動規(guī)劃物品布局、檢查物品是否會相互穿插或倒塌、再進行物理模擬確認場景穩(wěn)定。整個過程通過三個步驟反復迭代：先由語言模型生成擺放方案，再由幾何求解器把這個方案轉(zhuǎn)換成具體的空間坐標，最后在虛擬物理引擎中運行三百步來檢驗物品是否會因為重力而倒塌。如果有物體滑落或不穩(wěn)，系統(tǒng)會把錯誤信息反饋給語言模型，要求重新規(guī)劃，直到整個場景穩(wěn)定為止。依靠這套機制，研究團隊已經(jīng)批量生成了超過八百個各具特色的虛擬場景。

在出題方面，RoboLab-120基準測試包含120道精心設計的測試題，覆蓋三個維度的能力考察。第一個維度叫做"視覺能力"，考查機器人能不能準確識別顏色、大小和物體類別，比如"把黃色的物品放進左邊的箱子"。第二個維度叫做"程序能力"，考查機器人能不能完成需要特定動作順序的任務，比如"把白色杯子立起來，開口朝上"或者"把兩個碗疊起來"。第三個維度叫做"關系能力"，考查機器人能不能理解語言中隱含的邏輯關系，比如"把錘子或者銼刀放進右邊的箱子"（注意這里有"或者"的邏輯），以及"拿出兩個蘋果"（需要計數(shù)）。120道題被分成三個難度等級：65道簡單題、38道中等題、18道復雜題，難度差異不僅體現(xiàn)在所需步驟的多少，還體現(xiàn)在語言指令的復雜程度上。

在評分標準方面，RoboLab徹底拋棄了過去那種"成功就是1分、失敗就是0分"的粗放評判方式，引入了一套更加細膩的打分體系。對于需要多個步驟完成的任務，系統(tǒng)會記錄每個子任務完成了多少，最終算出一個連續(xù)的得分而非簡單的成功失敗。與此同時，系統(tǒng)還會自動記錄執(zhí)行過程中出現(xiàn)的各種錯誤：機器人有沒有抓錯物品、物品有沒有中途掉落、機器手有沒有和周圍環(huán)境發(fā)生碰撞。此外，系統(tǒng)還會分析機器人的運動軌跡質(zhì)量，評估動作是否流暢、路徑是否最優(yōu)。一個動作極其跌撞、顫抖不止但最終歪打正著完成任務的機器人，和一個動作行云流水、一氣呵成的機器人，在這套評分體系下會得到截然不同的評價，哪怕它們的最終任務結(jié)果相同。

四、讓機器人做"敏感性體檢"：什么因素最容易讓它出錯

RoboLab最有創(chuàng)意的功能之一，是一套專門用來分析機器人"弱點"的工具，研究團隊稱之為"敏感性分析"。

這種分析的思路類似于醫(yī)院里的壓力測試。醫(yī)生有時會故意讓心臟病患者在跑步機上跑步，同時監(jiān)測心電圖，借此發(fā)現(xiàn)在靜息狀態(tài)下無法發(fā)現(xiàn)的隱患。RoboLab的敏感性分析同樣如此：研究者系統(tǒng)地改變測試環(huán)境的各個參數(shù)，觀察機器人的成功率如何隨之變化，從而找出哪些因素對機器人的表現(xiàn)影響最大。

具體而言，研究團隊測試了四類變化。第一類是燈光變化，包括整體調(diào)暗、打上強烈的方向性陰影、調(diào)整色溫使畫面偏暖或偏冷，以及過度曝光。第二類是視覺外觀變化，包括更換桌面紋理（木紋、大理石紋等）和替換背景圖像（不同的房間環(huán)境）。第三類是物體位置變化，把目標物體向機器人靠近或遠離，分別測試偏移10厘米、20厘米、30厘米時的表現(xiàn)差異。第四類是攝像頭位置變化，分別測試安裝在機器人手腕上的"腕部攝像頭"和安裝在外部支架上的"外部攝像頭"在位置發(fā)生偏移時的影響。

為了精確量化這些影響，研究團隊使用了一種叫做"混合神經(jīng)后驗估計"的數(shù)學方法。簡單說來，這種方法會學習出一種映射關系：給定某個環(huán)境參數(shù)的取值，任務成功的概率有多高？通過分析這個映射關系，就能清楚地看到機器人最"怕"哪種變化。

結(jié)果出人意料，又在情理之中。機器人對燈光變化的適應能力相當強，無論是調(diào)暗、產(chǎn)生陰影還是過度曝光，成功率幾乎沒有明顯下降，這說明這些機器人確實在不同光照條件下的訓練數(shù)據(jù)中磨練過。背景和桌面紋理的變化影響也不大，下降幅度不超過5%。然而，腕部攝像頭的位置一旦偏離標準位置，任務成功率就會急劇下滑。分析結(jié)果顯示，腕部攝像頭越接近訓練時的標準安裝位置，成功率就越高，哪怕只偏移了幾厘米，效果也會顯著變差。相比之下，外部攝像頭的位置變化對成功率的影響要小得多。物體距離方面，成功率在物體距機器人約0.5米時達到峰值，推測是因為這個距離在機器人手臂的最適合抓取范圍內(nèi)。

五、五位"選手"同臺競技，成績卻觸目驚心

研究團隊選取了目前業(yè)界公認最先進的五個機器人智能系統(tǒng)參加RoboLab-120的測試，它們?nèi)吭谝粋€名為DROID的大規(guī)模真實世界機器人操作數(shù)據(jù)集上進行過訓練，測試所用的機器人硬件也與DROID數(shù)據(jù)集的配套硬件保持一致：一臺有七個自由度的Franka Panda機械臂，配備一個夾爪、一個外部攝像頭和一個腕部攝像頭。

五位參賽者中，成績最好的是Physical Intelligence公司開發(fā)的π0.5，這是一個視覺-語言-動作一體化模型，專門為開放世界的通用任務設計。排在第二的是π0-FAST，同樣來自Physical Intelligence，是π0的一個更快版本。π0則是π0-FAST的前一代模型。PaliGemma是谷歌開發(fā)的一個多模態(tài)視覺語言模型，并非專門為機器人操作設計。GR00T N1.6是NVIDIA自家的開源通用人形機器人基礎模型。

測試結(jié)果令人深思。成績最好的π0.5整體成功率為23.3%，也就是說在120道題里大約只答對了28道。π0-FAST的成功率是15.7%，π0是5.2%，GR00T N1.6只有2.0%，PaliGemma墊底，僅有1.5%。這些數(shù)字與這些系統(tǒng)在各自發(fā)布的論文中聲稱的成績相比，形成了鮮明的落差——但這恰恰說明RoboLab在避免"背題作弊"方面起到了它應有的作用。

從不同能力維度來看，π0.5在"關系能力"方面表現(xiàn)相對較好，正確處理"A和B"這類組合指令的成功率達到56.2%，數(shù)數(shù)能力（比如"拿出兩個蘋果"）的成功率是50%，但理解"左邊"、"前面"等空間關系的成功率只有19%。在視覺識別方面，顏色識別成功率17.3%、物體類別識別18.3%、大小區(qū)分13.3%，整體偏低。程序能力方面最差，重新擺放姿態(tài)（比如把杯子扶正）的成功率只有16.7%，疊放任務只有15%，抓取特定抓取點的任務只有13.3%。

這些數(shù)字揭示了一個規(guī)律：現(xiàn)有的機器人系統(tǒng)在處理相對明確、直白的組合指令時表現(xiàn)尚可，但一旦需要精細的視覺辨別、空間語言理解或者需要精確操作特定位置，成功率就會急劇下滑。

六、語言指令的細節(jié)差異，足以讓機器人徹底蒙圈

RoboLab的研究團隊還專門進行了一系列對照實驗，探究語言描述方式的變化如何影響機器人的表現(xiàn)。這些實驗揭示了當前機器人系統(tǒng)在語言理解方面令人擔憂的脆弱性。

第一組實驗測試了指令精確程度的影響。以"把白色的杯子放進灰色箱子里"這個任務為例，研究團隊設計了三種說法：最具體的是"把白色的杯子放進灰色箱子里"，稍微模糊一點的是"把杯子放進箱子里"，最模糊的是"把杯子收好"。結(jié)果顯示，π0.5在三種說法下的成功率分別是80%、90%（這里有趣的是模糊指令反而更高）和0%。當被要求"清空灰色箱子"時，π0.5甚至會錯誤地去抓箱子本身，而不是清除箱子里的內(nèi)容物。這說明機器人并沒有真正理解"清空"這個詞的含義，只是做了淺層的關鍵詞匹配。

第二組實驗測試了場景中物體數(shù)量增加時的表現(xiàn)變化。當需要把一個罐頭放進箱子時，π0.5的成功率是70%；需要把兩個罐頭都放進去時，下降到30%；需要放三個時，只剩20%。更有意思的是錯誤模式：當被要求打包"盒裝食品"時，系統(tǒng)會頻繁去抓圓柱形的罐頭，因為罐頭的形狀和它見過的某些盒子相似，訓練時積累的形狀偏好蓋過了語言指令的信息。這揭示了當前系統(tǒng)的一個根本缺陷：視覺形狀的偏見有時會強到足以凌駕于語言描述之上。

第三組實驗在固定場景中切換不同任務。比如同一個包含螺絲刀、錘子、夾鉗的工具場景，被要求"把藍色錘子放到桌上"時π0.5成功率為0%，而被要求"把無線電鉆放到桌上"時成功率高達70%。錯誤分析顯示，系統(tǒng)反復把視覺上相似的干擾物（比如夾鉗、紅色錘子）當成目標物體抓取。這證明機器人的語言理解高度依賴于訓練時的語言-物體配對模式，遇到不熟悉的配對就會失靈，并非真正意義上的靈活語言理解。

對比不同難度等級，π0.5的簡單題成功率26.3%、中等難度23.2%、復雜任務只有11.7%，任務越復雜、涉及步驟越多，成功率就越低，符合直覺預期。

七、模擬與現(xiàn)實的對比：仿真夠不夠"真"

所有這些分析都建立在一個前提上：在仿真里的表現(xiàn)能在多大程度上預測真實機器人的表現(xiàn)？研究團隊專門針對六個簡單任務在真實機器人上重復了測試，將結(jié)果與仿真測試進行對比。

π0.5在真實場景下的成功率是79.5%，在仿真中是74%，兩者相差不大，說明仿真對這個系統(tǒng)來說是相當可靠的代理指標。π0-FAST在真實場景下是34.1%，仿真中是42%，差異稍大一些，但方向一致。然而，π0是一個明顯的例外：它在真實場景下的成功率高達63.2%，而在仿真中只有18%。研究團隊的定性分析認為，π0的特點是非常擅長穩(wěn)定抓取單個物體，而RoboLab的真實機器人測試恰好選了六個主要以單物體抓取為核心的簡單任務，因此在真實場景下成績亮眼，但在覆蓋面更廣的仿真基準上則難以發(fā)揮優(yōu)勢。

這個結(jié)果說明，仿真測試并不能保證對所有機器人系統(tǒng)都是完美的代理，但對于綜合能力均衡的系統(tǒng)，仿真成績能夠較為可靠地反映真實表現(xiàn)。研究團隊也坦誠地在論文中指出，仿真與現(xiàn)實之間仍存在一定的視覺分布差異，這個差距需要通過更大規(guī)模的真實世界驗證來進一步理解和量化。

八、這套"考場"本身的局限性

任何一項研究都有其邊界，RoboLab也不例外。研究團隊在論文中直接點明了幾個值得關注的局限性。

RoboLab目前的測試場景全部聚焦于桌面上的剛體物品操作，比如抓取、放置、疊放等。對于軟性物體（比如布料、電線、袋子）的操作，現(xiàn)有的物理模擬引擎精度有限，無法提供足夠真實的測試環(huán)境。同樣，需要精細力控的任務（比如擰螺絲、插插頭）也超出了當前平臺的覆蓋范圍，因為這類任務對接觸力的精度要求很高，僅憑視覺信息難以完整模擬。此外，盡管研究團隊已經(jīng)做了相當大的努力來提高視覺逼真度，仿真畫面與真實世界相機采集的畫面之間仍然存在一定差距。

這些局限性并不意味著平臺沒有價值，而是提醒我們在解讀測試結(jié)果時保持適度的清醒——就像一套數(shù)學考卷，再好也測不出學生的語文水平。

歸根結(jié)底，RoboLab的意義不僅僅在于它給出了一批讓人清醒的成績單，更在于它提供了一種全新的思維方式：真正的通用機器人能力，應該在它從未見過的場景里接受檢驗，而不是在熟悉的"考題"上刷出漂亮的分數(shù)。

目前最先進的機器人系統(tǒng)在RoboLab上只有30%左右的成功率，這意味著研究者們需要在更強的視覺泛化能力、更深層的語言理解能力和更魯棒的操作技能上繼續(xù)下功夫。特別是視覺形狀偏見問題、空間語言理解缺陷以及攝像頭標定敏感性，都是亟需突破的具體方向。對于關心機器人技術(shù)走向的普通讀者來說，下次聽到某個機器人系統(tǒng)"成功率高達90%"這樣的宣傳時，不妨多問一句：這90%是在什么樣的考場里考出來的？

有興趣深入鉆研細節(jié)的讀者，可以在arXiv平臺以編號2604.09860查詢原始論文，里面包含完整的技術(shù)細節(jié)、所有實驗數(shù)據(jù)以及附錄中的擴展測試結(jié)果。

Q&A

Q1：RoboLab測試和普通機器人仿真測試有什么區(qū)別？

A：普通仿真測試通常讓機器人在訓練過的場景里考試，相當于"押題考試"，成績好并不代表真實能力強。RoboLab專門生成機器人從未見過的全新場景，同時畫面逼真度足夠高，幾分鐘內(nèi)就能生成一個完整場景。目前最好的機器人系統(tǒng)在這套考場里的成功率只有23%左右，而在普通測試中往往能達到80%以上。

Q2：RoboLab發(fā)現(xiàn)當前機器人最大的弱點是什么？

A：研究發(fā)現(xiàn)了幾個關鍵弱點。第一是腕部攝像頭位置稍微偏移，成功率就會大幅下降，說明機器人對攝像頭安裝精度極度敏感。第二是語言理解很淺——機器人更像在做關鍵詞匹配，而非真正理解指令含義，比如被要求"清空箱子"時會去抓箱子本身。第三是視覺形狀偏見嚴重，比如被要求拿盒子時會去抓形狀相似的罐頭，訓練數(shù)據(jù)積累的視覺偏好會凌駕于語言描述之上。

Q3：RoboLab生成測試場景的流程是怎樣的？

A：RoboLab使用三步流程自動生成場景。首先，向大語言模型描述一個場景主題，比如"雜亂的廚房操作臺"，模型會規(guī)劃物品的擺放方案和空間關系。然后，幾何求解器把這個方案轉(zhuǎn)化成具體的空間坐標，處理物品之間不能相互穿插等約束。最后，在虛擬物理引擎中模擬重力，檢查物品是否會倒塌，不穩(wěn)定的情況會反饋給模型重新規(guī)劃，直到場景穩(wěn)定為止。整個過程只需幾分鐘，已生成超過800個不同場景。