北京
上周，被譽(yù)為"AI行業(yè)風(fēng)向標(biāo)"的英偉達(dá) GTC 2025剛剛落幕，這次活動(dòng)吸引全球上萬名AI從業(yè)者參加，空前火爆。
黃仁勛在長達(dá)兩小時(shí)的Keynote中宣布了英偉達(dá)在6G通信、量子計(jì)算、AI超算、仿真等板塊的重磅布局。其中最引人注目的，是壓軸登場的Newton物理引擎——通過迪士尼機(jī)器人Blue的demo，黃仁勛展示了Newton如何讓機(jī)器人在物理精準(zhǔn)的虛擬環(huán)境中學(xué)習(xí)，這是Physical AI的關(guān)鍵基礎(chǔ)設(shè)施。
而支撐Newton乃至整個(gè)仿真生態(tài)的底層力量，正是黃仁勛稱為"公司寶藏"的CUDA-X庫。黃仁勛稱其為橫跨30年積累的"公司寶藏"，包含350個(gè)庫，覆蓋從芯片設(shè)計(jì)到AI訓(xùn)練的所有行業(yè)。為了展示CUDA-X的威力，黃仁勛播放了一段震撼的純視頻demo，在具身智能部分，Boston Dynamics、Apptronik、Agility Robotics、Sanctuary AI等國際機(jī)器人巨頭悉數(shù)登場。
然而在這份"全明星陣容"中，出現(xiàn)了一家仿真公司——光輪智能(Lightwheel)。與其他展示機(jī)器人本體的公司不同，展示的是光輪和英偉達(dá)Newton合作——機(jī)械臂精準(zhǔn)疊衣服的高保真物理仿真場景。這不是簡單的客戶案例展示，而是作為Newton平臺(tái)能力的一部分被呈現(xiàn)。Newton本身是英偉達(dá)將CUDA-X這一"公司寶藏"轉(zhuǎn)化為Physical AI生產(chǎn)力的關(guān)鍵平臺(tái)，它把機(jī)器人研發(fā)從耗時(shí)數(shù)月的"手工作坊"升級(jí)為只需數(shù)天的"超級(jí)工廠"，能同時(shí)運(yùn)行數(shù)百萬個(gè)高保真仿真環(huán)境。但這座超級(jí)工廠要高效運(yùn)轉(zhuǎn)，需要一個(gè)前提：海量、高保真的仿真合成數(shù)據(jù)。
光輪智能不僅為Newton提供大規(guī)模仿真合成數(shù)據(jù)，是早期采用者與核心驗(yàn)證者，深度參與Newton底層物理引擎的優(yōu)化，形成深度共同開發(fā)關(guān)系。此外，光輪作為Omniverse和Isaac Sim的戰(zhàn)略合作伙伴，提供高保真SimReady仿真合成數(shù)據(jù)，還共同開發(fā)策略訓(xùn)練框架，并與英偉達(dá)聯(lián)合打造Isaac Lab Arena下一代策略評(píng)估平臺(tái)。
這場深度合作早有伏筆。
就在上月初，英偉達(dá)Omniverse & Physical AI產(chǎn)品營銷高級(jí)總監(jiān)、黃仁勛之女Madison Huang的直播首秀，對(duì)話嘉賓正是光輪智能創(chuàng)始人兼CEO謝晨，兩人圍繞如何通過高保真SimReady仿真合成數(shù)據(jù)縮小Sim-to-Real鴻溝、推動(dòng)機(jī)器人從仿真走向落地展開深入對(duì)話。而耐人尋味的是，就在這場直播的前一天，斯坦福李飛飛教授與英偉達(dá)Jim Fan在BEHAVIOR Challenge直播中亦談到仿真的挑戰(zhàn)，李飛飛直言："仿真與現(xiàn)實(shí)之間存在真實(shí)鴻溝，需要從仿真端縮小這一鴻溝。"
學(xué)術(shù)之問，產(chǎn)業(yè)作答。在Madison與謝晨一個(gè)半小時(shí)的訪談中，干貨滿滿，梳理了以下重要觀點(diǎn)：
當(dāng)前，具身智能發(fā)展的最根本瓶頸正是高質(zhì)量物理交互數(shù)據(jù)的極端稀缺。現(xiàn)實(shí)世界的數(shù)據(jù)采集成本高昂、效率低下且難以規(guī)?；?，這嚴(yán)重限制了機(jī)器人學(xué)習(xí)復(fù)雜操作技能的能力。
面對(duì)現(xiàn)實(shí)數(shù)據(jù)的瓶頸，仿真合成數(shù)據(jù)是唯一能提供近乎無限規(guī)模、且自帶精確標(biāo)注的訓(xùn)練數(shù)據(jù)的解決方案。它通過仿真模擬來生成數(shù)據(jù)，是突破數(shù)據(jù)供給瓶頸的核心路徑。
仿真合成數(shù)據(jù)要發(fā)揮作用，必須解決“仿真到現(xiàn)實(shí)”的遷移難題。其核心在于仿真世界必須嚴(yán)格遵循真實(shí)世界的物理規(guī)律，確保在仿真中學(xué)到的技能在現(xiàn)實(shí)中同樣有效，而不僅僅是視覺逼真。
英偉達(dá)的終極目標(biāo)是成為“物理AI”時(shí)代的基礎(chǔ)設(shè)施。其核心需求是打造一個(gè)基于OpenUSD和高性能求解器（如Newton）的“數(shù)字物理世界”，作為生成高保真仿真合成數(shù)據(jù)的終極工廠。
光輪智能已攻克線纜操作等"圣杯級(jí)"技術(shù)難題。這一技術(shù)突破與商業(yè)驗(yàn)證的雙重成就，共同印證了仿真合成數(shù)據(jù)方案的可行性與成熟度。
以下是整理出的對(duì)話實(shí)錄節(jié)選，Enjoy：
01
仿真到現(xiàn)實(shí)的鴻溝是核心瓶頸
主持人Edmar：Madison，能跟我們稍微透露一下，英偉達(dá)和光輪智能的合作是怎么開始的嗎？
Madison：通常來說，就算你從英偉達(dá)離職了，我們也會(huì)想辦法“找回來”，讓你繼續(xù)和英偉達(dá)合作——我覺得我們的合作大概就是這么開始的。
其實(shí)英偉達(dá)內(nèi)部有很多項(xiàng)目，從根本上就需要光輪智能的支持。比如我們的 GEAR Lab 實(shí)驗(yàn)室，正在開發(fā) GR00T 端到端模型；還有西雅圖機(jī)器人實(shí)驗(yàn)室，他們?cè)谧龊芏唷敖佑|密集型裝配”和大量精密抓取任務(wù)。這些工作都需要海量數(shù)據(jù)。而我常常聽到我們物理 AI 機(jī)器人團(tuán)隊(duì)的同事們抱怨：“大語言模型（LLM）的研發(fā)人員太‘幸運(yùn)’了，因?yàn)樗麄冇姓麄€(gè)互聯(lián)網(wǎng)的海量數(shù)據(jù)可以用來預(yù)訓(xùn)練模型，但機(jī)器人領(lǐng)域的研發(fā)人員只能手動(dòng)采集數(shù)據(jù)。所以英偉達(dá)需要一個(gè)解決方案，而我們堅(jiān)信仿真技術(shù)就是答案。我們需要一個(gè)“仿真合成數(shù)據(jù)工廠”，也需要能和英偉達(dá)在“Open USD 作為仿真資產(chǎn)數(shù)據(jù)基礎(chǔ)”這一愿景上達(dá)成共識(shí)的伙伴。所以光輪智能的出現(xiàn)，可以說是“恰逢其時(shí)”——就在英偉達(dá)最需要這樣一個(gè)合作伙伴的時(shí)候，你們創(chuàng)立了公司。
謝晨：2023年的時(shí)候，我們懷著“解決機(jī)器人領(lǐng)域更宏大問題”的想法創(chuàng)立了光輪智能。當(dāng)時(shí)和自動(dòng)駕駛部門的同事有過合作。之后，光輪又開始和 GEAR Lab 實(shí)驗(yàn)室，以及Omniverse團(tuán)隊(duì)展開合作?，F(xiàn)在，我們還和 Cosmos 團(tuán)隊(duì)有合作。所以感覺現(xiàn)在光輪幾乎和英偉達(dá)的各個(gè)相關(guān)團(tuán)隊(duì)都有協(xié)作。
Madison：感覺你們現(xiàn)在差不多是“遍布英偉達(dá)”了，相當(dāng)于又“回”英偉達(dá)工作了。
謝晨：完全可以這么說。
主持人Edmar：在機(jī)器人領(lǐng)域，我們具體要解決哪些問題？尤其是“仿真到現(xiàn)實(shí)”相關(guān)的問題？
謝晨：“仿真到現(xiàn)實(shí)”（Sim-to-Real）的核心，就是讓機(jī)器人在仿真環(huán)境中學(xué)習(xí)到的能力，能夠直接部署到現(xiàn)實(shí)世界中——但正如Madison所說，這其實(shí)是一件非常困難的事。有意思的是，自動(dòng)駕駛仿真反而是相對(duì)容易解決的，因?yàn)樗饕蕾囈曈X數(shù)據(jù)；但對(duì)于機(jī)器人來說，一切都和“物理接觸”有關(guān)，核心是“操作能力”。所以機(jī)器人領(lǐng)域的問題要復(fù)雜得多。而現(xiàn)在，機(jī)器人領(lǐng)域的核心挑戰(zhàn)轉(zhuǎn)向了“物理層面”，物理求解器（physics solver）成了關(guān)鍵。但有意思的是，很多人提到仿真時(shí)，只會(huì)想到“求解器”，卻忽略了“仿真場景與設(shè)備”的重要性。如果“原材料”（即仿真合成資產(chǎn)數(shù)據(jù)）不對(duì)，也無法生成高質(zhì)量的數(shù)據(jù)。
Madison：自動(dòng)駕駛汽車是自主機(jī)器人的首個(gè)具象化產(chǎn)物。自動(dòng)駕駛汽車的核心任務(wù)，本質(zhì)上是“不觸碰任何物體”；但對(duì)于其他類型的機(jī)器人來說，它們的任務(wù)恰恰是“觸碰各類物體”。所以我覺得，現(xiàn)在仿真技術(shù)的重要性比以往任何時(shí)候都更高。
02
仿真資產(chǎn)的關(guān)鍵在物理屬性
謝晨：（展示冰箱仿真案例）它的關(guān)鍵不在于“看起來真實(shí)”，而在于“物理屬性與現(xiàn)實(shí)高度一致”。比如冰箱門的合頁、關(guān)節(jié)結(jié)構(gòu)、磁吸閉合裝置——當(dāng)你拉開冰箱門時(shí)，能感受到磁吸的作用力；抽屜滑動(dòng)時(shí)，還能模擬出不同的摩擦力。這些物理屬性都經(jīng)過了精準(zhǔn)還原。我們實(shí)際上使用了大量物理設(shè)備采集真實(shí)物體的物理參數(shù)，再將這些參數(shù)植入“仿真資產(chǎn)”中，同時(shí)還會(huì)通過特定方法對(duì)比現(xiàn)實(shí)與仿真環(huán)境中的作用力，確保兩者盡可能匹配。另外，這些仿真設(shè)備不僅要“精準(zhǔn)”，還要“計(jì)算高效”。比如碰撞檢測——我們做了大量優(yōu)化，能極大提升計(jì)算效率，讓單塊 GPU 就能同時(shí)運(yùn)行成百上千個(gè)仿真環(huán)境。
主持人Edmar：你們不久前在溫哥華 SIGGRAPH 上就展示過這個(gè)，對(duì)吧？那次觀眾反應(yīng)很有意思——現(xiàn)場聚集了全球最頂尖的圖形仿真研究人員，但他們大多專注于媒體娛樂、游戲、內(nèi)容創(chuàng)作和視覺特效領(lǐng)域。我特別欣賞光輪在 Siggraph 展臺(tái)上開創(chuàng)性地展示機(jī)器人仿真技術(shù)，你們真的震撼了那些 VFX 專家。我看到很多人在你們展臺(tái)前駐足很久，體驗(yàn)?zāi)銈冊(cè)诠P記本電腦上運(yùn)行的多個(gè) Isaac Sim 實(shí)例——那真的令人印象深刻。
謝晨：完全同意。我也非常感謝英偉達(dá)正在將 SIGGRAPH 這樣的盛會(huì)引向 Physical AI 領(lǐng)域。
Mustafa：我想補(bǔ)充一下，你可以看到上圖這個(gè)微波爐的物理參數(shù)曲線圖——通過仿真，我們能確保仿真合成數(shù)據(jù)與真實(shí)世界高度匹配，Sim-to-Real 差距可以縮到非常小。當(dāng)然永遠(yuǎn)不會(huì)完美，但可以做到非常接近。
謝晨：完全同意，光輪會(huì)用物理設(shè)備采集現(xiàn)實(shí)物體在不同方向、不同位置的作用力數(shù)據(jù)，同時(shí)在仿真環(huán)境中設(shè)置對(duì)應(yīng)的傳感器采集作用力數(shù)據(jù)；之后通過大量隨機(jī)采樣和對(duì)比，確保兩者的曲線趨勢一致。如前所述，我們不需要曲線完全重合，因?yàn)槲覀円氖恰?/strong>數(shù)字同類體(Digital Cousins)”而非（嚴(yán)格意義的）“數(shù)字孿生 (Digital Twins)”，我們需要通過“仿真資產(chǎn)”的多樣性生成海量數(shù)據(jù)。
03
仿真合成數(shù)據(jù)是破局關(guān)鍵
謝晨：我們堅(jiān)信“數(shù)據(jù)金字塔”（Data Pyramid）模型。要讓物理 AI 真正落地到現(xiàn)實(shí)世界，需要消耗海量數(shù)據(jù)——甚至比大語言模型所需的數(shù)據(jù)量還要大，而“數(shù)據(jù)瓶頸”是當(dāng)前最大的障礙?，F(xiàn)實(shí)世界的數(shù)據(jù)無法完全突破這一瓶頸。所以我們必須依賴仿真合成數(shù)據(jù)——仿真合成數(shù)據(jù)將成為突破物理 AI 數(shù)據(jù)瓶頸的最重要、最核心的數(shù)據(jù)來源。
Madison：我完全同意。我們經(jīng)常提到“數(shù)據(jù)金字塔”，但現(xiàn)在越來越多的人意識(shí)到，仿真合成數(shù)據(jù)在所有數(shù)據(jù)中的占比將達(dá)到極高的水平。因?yàn)閺?qiáng)化學(xué)習(xí)（reinforcement learning）和各類后續(xù)訓(xùn)練過程，都將大量依賴仿真合成數(shù)據(jù)。目前，人類已有的知識(shí)大多已數(shù)字化并存儲(chǔ)在互聯(lián)網(wǎng)上；但未來，仿真合成數(shù)據(jù)的規(guī)模必將遠(yuǎn)超現(xiàn)有互聯(lián)網(wǎng)數(shù)據(jù)。
謝晨：完全認(rèn)同。尤其是你提到的強(qiáng)化學(xué)習(xí)——仿真技術(shù)在這一領(lǐng)域?qū)l(fā)揮至關(guān)重要的作用。現(xiàn)實(shí)世界的數(shù)據(jù)很難形成“閉環(huán)”，無法支持大規(guī)模強(qiáng)化學(xué)習(xí)；但仿真環(huán)境中的仿真合成數(shù)據(jù)，可以成為大規(guī)模強(qiáng)化學(xué)習(xí)的核心數(shù)據(jù)來源。同時(shí)，如果我們進(jìn)一步細(xì)分仿真合成數(shù)據(jù)的類型。我將仿真合成數(shù)據(jù)分為兩大類：
第一類是"物理仿真驅(qū)動(dòng)的仿真合成數(shù)據(jù)"（Physics Simulation Driven Synthetic Data）——這類數(shù)據(jù)最接近物理世界，物理精度最高，但相對(duì)來說多樣性有限、規(guī)模較小。這就是通過物理仿真器生成的仿真合成數(shù)據(jù)。
第二類是"世界模型驅(qū)動(dòng)的仿真合成數(shù)據(jù)"（World Model Driven Synthetic Data）——比如 Cosmos。這類數(shù)據(jù)的多樣性要大得多，可擴(kuò)展性也強(qiáng)得多。它的輸入可以是物理仿真驅(qū)動(dòng)的仿真合成數(shù)據(jù)，也可以是真實(shí)世界數(shù)據(jù)，然后通過世界模型增強(qiáng)生成更大規(guī)模的仿真合成數(shù)據(jù)集。
我們發(fā)現(xiàn)，利用 Cosmos 來增強(qiáng)物理仿真合成數(shù)據(jù)，能夠生成更多高質(zhì)量數(shù)據(jù)，為客戶提供更好的預(yù)訓(xùn)練支持。一個(gè)很好的案例就是 GR00T——英偉達(dá)的 Gear 基礎(chǔ)模型，它同時(shí)利用了真實(shí)世界數(shù)據(jù)集、光輪的仿真合成數(shù)據(jù)，以及 Cosmos 增強(qiáng)后的數(shù)據(jù)，最終訓(xùn)練出了一個(gè)頂尖的基礎(chǔ)模型。這充分展示了世界模型在滿足仿真合成數(shù)據(jù)愿景中的強(qiáng)大能力。
04
技術(shù)協(xié)同生態(tài)與典型案例
謝晨：電纜仿真是個(gè)難點(diǎn)，因?yàn)殡娎|既具有“可變形性”，又在一定程度上具備“剛體屬性”。我們做了大量研發(fā)，確保能精準(zhǔn)模擬電纜的物理狀態(tài)。我們與 Newton 團(tuán)隊(duì)共同開發(fā)了電纜仿真的求解器，同時(shí)研發(fā)了對(duì)應(yīng)的“仿真資產(chǎn)”。
Madison：這對(duì)英偉達(dá)來說也尤為重要，因?yàn)槲覀兊闹圃炝鞒谭浅?fù)雜——比如每臺(tái) NVL72 服務(wù)器機(jī)架都需要 2 英里長的銅線電纜。這類工作對(duì)人類來說既枯燥又有風(fēng)險(xiǎn)，我們希望讓機(jī)器人來完成，所以電線、電纜的仿真可以說是機(jī)器人領(lǐng)域的“圣杯”級(jí)難題。
謝晨：完全同意。而且電纜仿真還需要結(jié)合觸覺傳感器——比如有些電纜插入插頭的操作，需要觸覺反饋才能實(shí)現(xiàn)更精準(zhǔn)的操控。如上圖這個(gè)“衣物折疊”的案例：左側(cè)是物理求解器的效果，右側(cè)是 Newton 求解器的效果。我經(jīng)常聽到有人說“仿真無法模擬衣物折疊”，但實(shí)際上我們的系統(tǒng)已經(jīng)能模擬大量衣物，并為客戶采集了海量衣物折疊的訓(xùn)練數(shù)據(jù)——這也是目前所有機(jī)器人公司都在攻克的難題。
目前，公司客戶大致分為三類：第一類是教育機(jī)構(gòu)和實(shí)驗(yàn)室，專注具身智能前沿研發(fā)；第二類是大型科技公司，引領(lǐng)機(jī)器人基礎(chǔ)模型研發(fā)；第三類是工業(yè)場景企業(yè)，有大量應(yīng)用場景并自主研發(fā)機(jī)器人系統(tǒng)。
Madison：我想補(bǔ)充一句：光輪智能能和這些行業(yè)頂尖企業(yè)合作 —— 比如Figure、銀河通用、智元機(jī)器人、比亞迪還有Deepmind——這本身就證明了你們的工作質(zhì)量和前瞻性，尤其是在 “仿真資產(chǎn)” 和 “仿真合成數(shù)據(jù)普及” 方面的開創(chuàng)性工作。
05
工業(yè)化流程與未來愿景
主持人Edmar：目前制作一個(gè)仿真資產(chǎn)需要多長時(shí)間？主要的痛點(diǎn)和瓶頸是什么？
謝晨：借助英偉達(dá)的技術(shù)和我們自己的研發(fā)流程，光輪智能已經(jīng)實(shí)現(xiàn)了“仿真資產(chǎn)”制作流程的工業(yè)化——比如制作一個(gè)冰箱的仿真資產(chǎn)，只需要 20 分鐘。這么快的原因在于，我們的核心思路是“將現(xiàn)有數(shù)字設(shè)備轉(zhuǎn)化為仿真資產(chǎn)”，而不是“從零開始制作”。目前全球已經(jīng)有大量數(shù)字設(shè)備，只是這些設(shè)備不具備“仿真就緒”的屬性。我們通過工業(yè)化流程，快速將這些現(xiàn)有設(shè)備轉(zhuǎn)化為物理屬性精準(zhǔn)的仿真資產(chǎn)。
Madison：這是個(gè)好問題，我們其實(shí)已經(jīng)開始和一些設(shè)備制造商合作了。我們堅(jiān)信，未來每一家制造商在交付實(shí)體設(shè)備時(shí)，都應(yīng)該同步提供對(duì)應(yīng)的數(shù)字設(shè)備——因?yàn)槲磥硭泄S都會(huì)有自己的“數(shù)字孿生 （Digital Twins）”，每一家生產(chǎn)實(shí)體產(chǎn)品的工廠，都會(huì)配套建設(shè)“AI 工廠”，而“數(shù)字孿生”就運(yùn)行在“AI 工廠”中。
謝晨：目前我們正與英偉達(dá)的Isaac Sim團(tuán)隊(duì)合作，開發(fā)Isaac Lab Arena——這是下一代基準(zhǔn)測試、評(píng)估、數(shù)據(jù)采集和大規(guī)模強(qiáng)化學(xué)習(xí)的框架與平臺(tái)。
06
堅(jiān)信仿真，從問題出發(fā)
主持人Edmar：在直播結(jié)束前，我想請(qǐng)兩位各用一句話總結(jié)：你們最希望觀眾記住的是什么？
謝晨："We have reached a moment",現(xiàn)在仿真技術(shù)已經(jīng)足夠成熟，可以實(shí)現(xiàn)很多事情。很多人可能對(duì)仿真還有疑慮，覺得精度不夠、能力有限——但實(shí)際上，我們已經(jīng)向客戶和全世界證明，通過仿真器配合高質(zhì)量的仿真資產(chǎn)，我們能夠支持全球前五名的機(jī)器人基礎(chǔ)模型完成訓(xùn)練并部署到真實(shí)世界。所以我希望大家對(duì)仿真技術(shù)有信心，它已經(jīng)解決了很多問題。我們需要所有人一起努力，讓仿真技術(shù)更加成功，從而真正突破物理 AI 的數(shù)據(jù)瓶頸。
Mustafa：我們經(jīng)常收到的一個(gè)問題是："應(yīng)該用哪個(gè)仿真器或框架？" 我的建議是：從你要解決的問題出發(fā)，反向推導(dǎo)——看哪個(gè)框架和仿真器最適合這個(gè)任務(wù)。如果現(xiàn)有工具無法完美滿足需求，由于很多仿真引擎和求解器都是開源的，你完全可以自己開發(fā)插件或改進(jìn)求解器。即使編程技能有限，花些時(shí)間也能實(shí)現(xiàn)目標(biāo)。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
