如果不是看研究方向，很難把詹仙園和 “ 具身智能 ” 直接聯(lián)系起來。他本科讀的是清華土木工程，后來去美國普渡大學(xué)讀交通工程博士，博士期間一半時(shí)間泡在計(jì)算機(jī)系做機(jī)器學(xué)習(xí)；畢業(yè)后進(jìn)入微軟亞洲研究院，再跟著前上司轉(zhuǎn)去京東科技，主導(dǎo)過基于離線強(qiáng)化學(xué)習(xí)的火電優(yōu)化研發(fā)項(xiàng)目，并完成了產(chǎn)品化及在國內(nèi)多個(gè)電廠的推廣落地。直到 2021 年，他回到清華，正式把重心轉(zhuǎn)回學(xué)術(shù)研究。

“說白了，就是希望能自由地做一些自己感興趣的事?！彼χ爬ㄗ约阂淮未无D(zhuǎn)向的原因。表面上看，他從土木到交通，從工業(yè)控制到自動(dòng)駕駛和具身智能，一路在“換賽道”；但如果把這些經(jīng)歷抽象成一個(gè)問題，就能看出貫穿其中的主線：怎么用數(shù)據(jù)驅(qū)動(dòng)的決策優(yōu)化技術(shù)，讓智能體在真實(shí)物理世界里更好的解決問題。

也因?yàn)槿绱?，?dāng)具身智能的發(fā)展進(jìn)入大模型時(shí)代后，他比很多人更早意識到：真正限制通用機(jī)器人能力的瓶頸，不是模型夠不夠大，而是跨具身形態(tài)的異質(zhì)性——不同機(jī)器人之間在硬件、感知和控制上的巨大差異，讓本來就相對有限的具身數(shù)據(jù)形成孤島，也讓所謂的“通用 VLA”經(jīng)常在遷移時(shí)崩塌。

X-VLA 就是在這個(gè)判斷下誕生的。

在過去 11 個(gè)月里，詹仙園和他的學(xué)生們嘗試了幾十種模型結(jié)構(gòu)：從統(tǒng)一動(dòng)作空間，到各種中間表征的壓縮映射，再到如何讓模型真正理解“不同機(jī)器人長得不一樣”。最終，他們把異構(gòu)性處理前置到模型入口，用一個(gè)可學(xué)習(xí)的軟提示（soft prompt）承載每個(gè)機(jī)器人獨(dú)特的“本體特征”，讓 Transformer 主干可以充分學(xué)習(xí)跨任務(wù)的通用規(guī)律。

這一設(shè)計(jì)帶來了超出預(yù)期的結(jié)果：以僅0.9B的參數(shù)量在五大權(quán)威仿真基準(zhǔn)上全面刷新性能紀(jì)錄；只用1200條示教數(shù)據(jù)，就學(xué)會(huì)了疊衣服這種超長程復(fù)雜任務(wù)；甚至零樣本遷移部署至全新的環(huán)境。

最終，在杭州舉辦的 IROS 2025 AGIBOT World Challenge 國際具身智能競賽上，詹仙園團(tuán)隊(duì)與上海人工智能實(shí)驗(yàn)室聯(lián)合組隊(duì)，奪得冠軍。

（來源：受訪者提供）

回歸學(xué)術(shù)，為自由度與前沿探索

問芯：你在產(chǎn)業(yè)界主導(dǎo)了諸如火力發(fā)電優(yōu)化這樣的優(yōu)秀項(xiàng)目，是什么促使你回到學(xué)術(shù)界？

詹仙園：產(chǎn)業(yè)界能夠做很多非常務(wù)實(shí)、有直接落地價(jià)值的事情，但在研究方向的選擇上自由度相對有限；相比之下，學(xué)術(shù)界則提供了更高的自由度，研究者能夠自主決定探索的方向，并有機(jī)會(huì)從事更加前沿和開創(chuàng)性的研究。

問芯：是什么契機(jī)，讓你判斷下一站是具身智能和自動(dòng)駕駛？

詹仙園：工業(yè)控制、自動(dòng)駕駛規(guī)劃以及機(jī)器人控制，看似分屬不同領(lǐng)域，本質(zhì)上都可以歸入同一類問題：決策優(yōu)化和控制問題。這些場景背后依賴的算法框架、建模方式以及核心思想具有高度共通性。我長期關(guān)注的依然是這條主線，只是應(yīng)用方向在不斷擴(kuò)展。

當(dāng)前，我的研究主要聚焦于三個(gè)方向：工業(yè)控制、自動(dòng)駕駛，以及具身智能。之所以關(guān)注具身智能，一方面是因?yàn)榇竽Ｐ偷陌l(fā)展推動(dòng)了機(jī)器人認(rèn)知與決策能力的整體提升，使其不再局限于高度定制化任務(wù)（task-specific）的操作；另一方面，也是因?yàn)檫@一領(lǐng)域的技術(shù)成熟度正在快速提升，能夠支持我們探索過去難以實(shí)現(xiàn)的復(fù)雜任務(wù)，領(lǐng)域的潛力與想象空間都比較大。

問芯：是否會(huì)考慮將具身智能領(lǐng)域的研究成果落地應(yīng)用？

詹仙園：現(xiàn)在是開展具身智能研究的一個(gè)非常關(guān)鍵的窗口期。無論是方法論還是具體技術(shù)路線，目前都遠(yuǎn)未收斂，整個(gè)領(lǐng)域仍處在快速演化的階段，蘊(yùn)含著大量值得探索的問題。盡管業(yè)界已經(jīng)能看到一些人形機(jī)器人或其他形態(tài)的機(jī)器人在接近真實(shí)應(yīng)用的任務(wù)上取得進(jìn)展，但若要真正實(shí)現(xiàn)產(chǎn)品化、進(jìn)入家庭或服務(wù)場景并規(guī)?；涞兀覀€(gè)人認(rèn)為至少仍需 3-5 年的時(shí)間。

在這個(gè)階段，我認(rèn)為要先把底層的通用框架和模型架構(gòu)打穩(wěn)。具身智能體要具備足夠的可擴(kuò)展性和可遷移性，必須讓其在 scaling law 上展現(xiàn)足夠的斜率——也就是隨著數(shù)據(jù)和算力的增加，性能能夠持續(xù)、顯著提升。但目前許多 VLA 架構(gòu)在這方面表現(xiàn)并不理想，你很難看到清晰的 scaling 規(guī)律。

因此，與其盲目擴(kuò)大規(guī)模，我更看重的是通過前沿探索，把這條 scaling 曲線的斜率真正拉起來，讓模型能夠展示出可持續(xù)擴(kuò)展的能力。只有這樣，后續(xù)的大規(guī)模訓(xùn)練才是高效的，也能為未來的實(shí)際落地打下更扎實(shí)的技術(shù)基礎(chǔ)。

做“小而強(qiáng)”的通用 VLA

問芯：如果不解決跨具身異質(zhì)性難題，所謂的通用機(jī)器人模型會(huì)卡在哪個(gè)“天花板”上？

詹仙園：如果跨具身異質(zhì)性的問題得不到解決，會(huì)帶來一系列連鎖影響。

首先，大量原本可以用于訓(xùn)練的真實(shí)世界數(shù)據(jù)將無法直接利用。缺乏跨本體的遷移與適配能力意味著每種機(jī)器人都必須強(qiáng)依賴自身的小規(guī)模數(shù)據(jù)孤島，哪怕花費(fèi)高昂的成本采集，最終能夠用來訓(xùn)練的有效數(shù)據(jù)量仍然有限，從而無法支撐大規(guī)模具身模型的發(fā)展。

其次，跨本體訓(xùn)練本質(zhì)上能夠極大提升樣本的多樣性。對于任何希望在真實(shí)世界落地、且具有魯棒性的具身策略而言，見過的場景足夠多是關(guān)鍵前提。如果訓(xùn)練始終局限在一臺機(jī)器人、同一類環(huán)境，模型往往會(huì)在狹窄分布內(nèi)過擬合，難以形成真正具有泛化性的能力。

更進(jìn)一步，一個(gè)具備跨本體泛化能力的模型，才真正具備基礎(chǔ)模型的特征：它能夠從規(guī)模龐大、來源異構(gòu)的訓(xùn)練數(shù)據(jù)中持續(xù)吸收信息，實(shí)現(xiàn)大規(guī)模預(yù)訓(xùn)練，從而學(xué)習(xí)到更為本質(zhì)、跨任務(wù)和跨平臺的規(guī)律。

問芯：與現(xiàn)有的開源 VLA 模型比較，X-VLA 有什么優(yōu)勢？

詹仙園：X-VLA 的核心優(yōu)勢主要體現(xiàn)在高效性和可擴(kuò)展性兩個(gè)方面。

首先，它在極少數(shù)據(jù)條件下便展現(xiàn)出了令人驚訝的學(xué)習(xí)能力。我們在論文中展示的疊衣服實(shí)驗(yàn)，只使用了約 1200 條真實(shí)示教數(shù)據(jù)。對于這樣一個(gè)涉及抓取、甩動(dòng)、展平、折疊等多階段動(dòng)作的長程任務(wù)而言，這個(gè)數(shù)據(jù)量在行業(yè)內(nèi)可以說是非常少的。

其次，盡管模型規(guī)模只有 0.9B 參數(shù)，X-VLA 在幾乎所有主流的具身智能基準(zhǔn)上都能達(dá)到，甚至在部分任務(wù)上超越當(dāng)前的SOTA。這說明我們設(shè)計(jì)的架構(gòu)在效率和效果之間找到了一個(gè)相對理想的平衡點(diǎn)。

更重要的是，X-VLA 展現(xiàn)出非常良好的 scaling 特性。從目前的實(shí)驗(yàn)來看，模型的能力遠(yuǎn)未達(dá)到上限。無論是繼續(xù)擴(kuò)大數(shù)據(jù)規(guī)模、增加訓(xùn)練步驟，還是適當(dāng)?shù)財(cái)U(kuò)充模型體量，都有可能進(jìn)一步提升性能。

問芯：為什么選擇了疊衣服這個(gè)場景？

詹仙園：疊衣服之所以被選為實(shí)驗(yàn)任務(wù)，主要有兩個(gè)原因。首先，它本身是一個(gè)超長程的任務(wù)，包含許多復(fù)雜的操作環(huán)節(jié)。舉例來說，衣物最初通常是隨意堆成一團(tuán)的，模型需要先將其從雜亂的形態(tài)恢復(fù)到相對平整的狀態(tài)；隨后，還需要想辦法將衣服展開，而“甩動(dòng)”這一動(dòng)作在機(jī)器人上實(shí)際上非常困難——既要求力度精確，又需要抓取點(diǎn)合適，才能將衣服有效甩平。只有完成這些步驟之后，才進(jìn)入第二階段的折疊流程。

實(shí)際上，疊衣服的第二階段反而是最簡單的部分；最具挑戰(zhàn)性的核心在于第一階段——從完全隨機(jī)的狀態(tài)開始，把衣物整理、抓取、甩平，再進(jìn)入折疊。要把這一整套流程做好，模型必須真正學(xué)到其中的關(guān)鍵規(guī)律，而不是簡單模仿。

其次，這個(gè)任務(wù)本身足夠生活化。雖然我們并不是第一支研究疊衣服任務(wù)的團(tuán)隊(duì)，但疊衣服確實(shí)是一個(gè)貼近日常場景、又能充分體現(xiàn)任務(wù)復(fù)雜性和模型性能的典型任務(wù)。

問芯：0.9B 參數(shù)放在具身智能的語境里，它算大還是??？

詹仙園：我認(rèn)為 0.9B 是一個(gè)相對較小的模型參數(shù)規(guī)模。當(dāng)前能夠達(dá)到類似能力水平的模型，通常都在 3B 到 7B 之間，甚至已經(jīng)有團(tuán)隊(duì)發(fā)布了 72B 甚至更大的版本。相比之下，0.9B 屬于非常精簡的體量。

但對具身智能而言，我認(rèn)為這樣的小規(guī)模反而是更有意義的。未來模型一定是要部署在機(jī)器人本體上的，如果模型過大，部署會(huì)面臨非常多問題，不可能所有具身智能能力都依賴云端來支撐。在實(shí)際場景中，更需要那些“小、通用、輕量，同時(shí)又足夠強(qiáng)”的模型，才能真正部署在機(jī)器人上，實(shí)現(xiàn)可擴(kuò)展性。

問芯：X-VLA 的參數(shù)僅0.9B，但在多個(gè)基準(zhǔn)上達(dá)到 SOTA，為何能實(shí)現(xiàn)“規(guī)模更小，性能更強(qiáng)”？你怎么看“做小而強(qiáng)”和“堆大算力”這兩種路線？

詹仙園：目前行業(yè)中許多體量巨大的 VLA 模型（往往以數(shù)十億參數(shù)起步），其實(shí)大多數(shù)還是基于現(xiàn)成的 VLM 搭建出來的。

但這種方式并不一定高效。原因在于，這些被拿來做底座的 VLM，本身的訓(xùn)練數(shù)據(jù)并不面向具身智能場景，它們主要使用互聯(lián)網(wǎng)圖片、通用圖文對等進(jìn)行預(yù)訓(xùn)練，并不是一個(gè)“具身語境下的大腦”。如果強(qiáng)行以這樣的模型作為基礎(chǔ)，希望通過外接動(dòng)作模塊訓(xùn)練出一個(gè)高質(zhì)量的具身智能模型，其效率往往是有限的。

因此，在設(shè)計(jì) X-VLA 時(shí)，我們刻意沒有選擇規(guī)模最大的 VLM，而是選用了一個(gè)相對精簡的模型——Florence。它雖然參數(shù)量不大，但訓(xùn)練中包含了豐富的視覺定位（visual grounding）、物體位置關(guān)系、物理關(guān)系等相關(guān)的任務(wù)數(shù)據(jù)，更接近一個(gè)“具身場景的視覺大腦”?；谶@樣的選擇，整個(gè)模型的訓(xùn)練效率和效果都會(huì)更高。

此外，X-VLA 中可有效支撐跨域數(shù)據(jù)學(xué)習(xí)的 soft-prompt設(shè)計(jì)，以及下層簡潔的 Transformer 主干網(wǎng)絡(luò)，都在大幅提升模型性能的同時(shí)，保持了模型的相對精簡的體量。

圖 | X-VLA 引入了一種稱為 soft prompt（軟提示） 的可學(xué)習(xí)嵌入，用以有效應(yīng)對跨具身數(shù)據(jù)集中存在的異質(zhì)性

問芯：X-VLA在 0.9B 規(guī)模上還沒有看到 scaling 飽和，你們接下來想先擴(kuò)模型，還是擴(kuò)數(shù)據(jù)域？

詹仙園：我傾向于采取“兩條腿走路”的策略。

一方面，模型本身仍有明確的優(yōu)化空間。無論是在架構(gòu)設(shè)計(jì)、信息流動(dòng)方式，還是在訓(xùn)練目標(biāo)上，X-VLA 都可以通過進(jìn)一步的研究獲得性能提升。

另一方面，我們也需要從 scaling 的角度繼續(xù)擴(kuò)展，包括增加數(shù)據(jù)量、提高算力投入，甚至在合適范圍內(nèi)適當(dāng)提升模型規(guī)模。

目前我們主要針對單臂、雙臂等機(jī)械臂任務(wù)進(jìn)行了訓(xùn)練和驗(yàn)證。下一步，我們也會(huì)把一些人形機(jī)器人全身控制（full-body control）的訓(xùn)練數(shù)據(jù)加入進(jìn)來，看這類數(shù)據(jù)是否能夠進(jìn)一步提升模型的泛化性與多任務(wù)能力。

問芯：你提到該模型的性能還沒有達(dá)到它的上限，那么后續(xù)有什么規(guī)劃？

詹仙園：第一是在后續(xù)的研究中把一些推理能力進(jìn)一步加入到 X-VLA 中。因?yàn)槟壳暗?X-VLA 還是一個(gè)相對純粹的視覺—語言—?jiǎng)幼髂Ｐ停╒LA），更多是完成感知和控制層面的工作。接下來我們考慮將更多具身推理（embodied reasoning） 引入，并以更結(jié)構(gòu)化的方式融入模型，使其能夠在復(fù)雜的物理場景中進(jìn)行一定程度的推理，從而更好地支持長程、多階段任務(wù)的執(zhí)行。這是我們非常想加強(qiáng)的一塊能力。

第二，我們也在研究如何進(jìn)一步優(yōu)化整個(gè)模型架構(gòu)，讓它在超長程任務(wù)的執(zhí)行上具備更好的自適應(yīng)處理能力?，F(xiàn)實(shí)中的許多具身任務(wù)往往不是短序列，而是跨越很長的執(zhí)行鏈路，因此如何讓模型在超長時(shí)間尺度上保持穩(wěn)定性、連續(xù)性和任務(wù)理解能力，也是我們下一步會(huì)重點(diǎn)推進(jìn)的方向。

當(dāng)模型走出實(shí)驗(yàn)室

問芯：在測試過程中，有沒有遇到一些出乎意料的良好結(jié)果？

詹仙園：對我而言，最讓我感到意外、甚至印象深刻的結(jié)果有兩個(gè)。

第一個(gè)是模型只使用大約 1200 條數(shù)據(jù)就學(xué)出了一個(gè)完整的疊衣服策略。而從結(jié)果來看，它展現(xiàn)出的行為非?！跋袢恕?，在執(zhí)行過程中，如果出現(xiàn)意料之外的錯(cuò)誤，它會(huì)自行調(diào)整、重新嘗試，并最終能夠把這樣一套復(fù)雜的任務(wù)流暢地完成。

第二個(gè)是模型在主流 benchmark 上甚至更復(fù)雜的真實(shí)環(huán)境中的表現(xiàn)確實(shí)足夠好。

在這個(gè)工作完成之后，我們的一個(gè)企業(yè)合作伙伴看到實(shí)驗(yàn)效果，希望我們把模型拿到他們的展會(huì)上做一次展示。坦率地說，當(dāng)時(shí)我們是有些缺乏信心的，因?yàn)槟Ｐ陀?xùn)練完全基于實(shí)驗(yàn)室環(huán)境的數(shù)據(jù)，我們并不確定它在一個(gè)復(fù)雜的會(huì)展現(xiàn)場——光照、背景、動(dòng)態(tài)環(huán)境都完全不同——是否還能穩(wěn)定完成任務(wù)。

但結(jié)果出乎我們的預(yù)期：我們沒有對模型做任何調(diào)整，它就能夠“零樣本”地直接遷移到一個(gè)完全全新的場景，并且執(zhí)行得非常好。這一點(diǎn)同樣讓我們感到非常意外。

鄭金亮：讓我感到驚喜的是我們留到最后才進(jìn)行的一個(gè)實(shí)驗(yàn)：使用極少量可訓(xùn)練參數(shù)，通過 LoRA 的方式對下游任務(wù)進(jìn)行微調(diào)。我原本并沒有抱太大期待，只是希望驗(yàn)證一下模型在這種極簡設(shè)定下的表現(xiàn)。然而結(jié)果遠(yuǎn)超預(yù)期：在僅使用一個(gè) 0.9B 的基礎(chǔ)模型、搭配約 9MB 的可訓(xùn)練參數(shù)的情況下，模型在兩個(gè)主流 benchmark 上取得了與全量微調(diào)幾乎相同的成績。

這一點(diǎn)對我而言意義重大。它表明，在前期進(jìn)行大規(guī)模異構(gòu)數(shù)據(jù)的訓(xùn)練過程中，模型確實(shí)學(xué)到了足夠通用和本質(zhì)的能力，因此只需要極小規(guī)模的參數(shù)調(diào)整，就可以快速適配到全新的任務(wù)中，甚至達(dá)到 SOTA 的水平。從那一刻起，我才真正確信，我們在 X-VLA 上探索的這條路徑是有效的，也是具有潛在擴(kuò)展性的。

問芯：你提到在實(shí)驗(yàn)室做的是一個(gè)結(jié)果，放到展會(huì)上面可能會(huì)有一些問題，可能會(huì)產(chǎn)生什么問題呢？以及什么原因會(huì)導(dǎo)致這個(gè)問題？

詹仙園：主要原因是我們訓(xùn)練使用的數(shù)據(jù)幾乎全部是在實(shí)驗(yàn)室環(huán)境中采集的，并沒有進(jìn)行任何面向泛化能力的專門數(shù)據(jù)采集。我們當(dāng)時(shí)沒有把系統(tǒng)放到不同的環(huán)境里采數(shù)據(jù)，比如不同的光照條件、不同的背景、不同的場景設(shè)置等等。這類變化通常需要更大規(guī)模的數(shù)據(jù)采集才能覆蓋。

但在當(dāng)時(shí)的訓(xùn)練中，我們只使用了大約 1200 至 1500 條數(shù)據(jù)來訓(xùn)練模型，并沒有做額外的數(shù)據(jù)增強(qiáng)或?qū)ｉT提升泛化性的采集工作。因此，按照常規(guī)判斷，這樣的數(shù)據(jù)規(guī)模很可能不足以支持模型遷移到一個(gè)完全不同且更復(fù)雜的會(huì)場環(huán)境。

然而，實(shí)際結(jié)果卻證明模型是足夠的。它成功泛化到了一個(gè)高度動(dòng)態(tài)、背景完全不同的現(xiàn)場場景中，并且在任務(wù)上表現(xiàn)得非常穩(wěn)定，這一點(diǎn)也超出了我們的預(yù)期。

問芯：基于當(dāng)前的研究成果和技術(shù)發(fā)展判斷，你們覺得該模型最快可能會(huì)在哪些場景中應(yīng)用？

詹仙園：我認(rèn)為，在短期內(nèi)更有可能在半開放場景中實(shí)現(xiàn)落地。例如分揀、裝配、臺面操作（table-top manipulation）等任務(wù)，這類場景的環(huán)境約束相對明確，任務(wù)邊界清晰，對模型的泛化能力要求也較低，因此更容易形成可部署的產(chǎn)品形態(tài)。

相比之下，真正進(jìn)入家庭、完成復(fù)雜家務(wù)等高度開放的任務(wù)，目前整個(gè)行業(yè)仍處于探索階段。從技術(shù)成熟度、數(shù)據(jù)規(guī)模，到硬件協(xié)同與產(chǎn)品化路徑，都還需要較長時(shí)間的積累。我個(gè)人判斷，要把這類任務(wù)做到可規(guī)?；渴?，至少需要三到五年的研發(fā)周期，并伴隨大量進(jìn)一步的前沿探索。

即便如此，基于 0.9B 的 X-VLA，在某些簡單或中等復(fù)雜度的臺面任務(wù)上已經(jīng)具備了較強(qiáng)的潛力。如果未來能夠進(jìn)一步擴(kuò)大數(shù)據(jù)規(guī)模，并結(jié)合更系統(tǒng)的擴(kuò)展性訓(xùn)練，我相信它在若干具體場景中已經(jīng)可以達(dá)到較為理想、甚至接近商用的水平。

1.https://arxiv.org/pdf/2510.10274