近日，北京通用人工智能研究院聯(lián)合宇樹(shù)科技等機(jī)構(gòu)發(fā)布OmniXtreme框架，成功讓機(jī)器人學(xué)會(huì)執(zhí)行包括后空翻托馬斯全旋、武術(shù)踢擊在內(nèi)的數(shù)十種高動(dòng)態(tài)“極限運(yùn)動(dòng)”，并在宇樹(shù)機(jī)器人上實(shí)現(xiàn)了真實(shí)世界的高成功率部署。該框架是首個(gè)可以執(zhí)行各種極限動(dòng)作的通用策略，為人形機(jī)器人學(xué)習(xí)復(fù)雜運(yùn)動(dòng)方式帶來(lái)明顯提效，解決了動(dòng)作保真度與可擴(kuò)展性兼顧的難題。

長(zhǎng)期以來(lái)，讓機(jī)器人像人類(lèi)一樣靈活運(yùn)動(dòng)，是機(jī)器人學(xué)領(lǐng)域的核心追求。然而，讓機(jī)器人模仿單個(gè)高難度動(dòng)作如一個(gè)后空翻，已能做到非常精準(zhǔn)，但一旦試圖讓機(jī)器人學(xué)會(huì)幾十個(gè)風(fēng)格迥異、動(dòng)態(tài)復(fù)雜的動(dòng)作，其學(xué)習(xí)效果就會(huì)大打折扣——控制器變得保守、平庸，在最具挑戰(zhàn)性的動(dòng)作上頻頻失敗。

OmniXtreme框架的實(shí)現(xiàn)過(guò)程首先是預(yù)訓(xùn)練一個(gè)基于流的生成控制策略，然后針對(duì)復(fù)雜物理動(dòng)力學(xué)進(jìn)行“驅(qū)動(dòng)感知?dú)埐顝?qiáng)化學(xué)習(xí)”的后訓(xùn)練。其中，后訓(xùn)練這一步對(duì)于成功實(shí)現(xiàn)真實(shí)世界的遷移至關(guān)重要。在人形機(jī)器人的運(yùn)動(dòng)控制領(lǐng)域，研究人員長(zhǎng)期面臨一個(gè)被稱(chēng)為“泛化壁壘”的困境。當(dāng)動(dòng)作庫(kù)的規(guī)模和多樣性增加時(shí)，傳統(tǒng)的統(tǒng)一強(qiáng)化學(xué)習(xí)策略往往會(huì)遭遇性能崩潰，這在高動(dòng)態(tài)動(dòng)作的物理部署中尤為明顯。這種崩潰源于兩個(gè)相互疊加的瓶頸：仿真環(huán)境中的學(xué)習(xí)瓶頸（多動(dòng)作優(yōu)化的梯度干擾）以及物理執(zhí)行瓶頸（真實(shí)世界復(fù)雜的驅(qū)動(dòng)約束）。

為了從根本上解決這一問(wèn)題，研究團(tuán)隊(duì)提出了OmniXtreme框架。該框架將動(dòng)作技能的學(xué)習(xí)與物理驅(qū)動(dòng)的微調(diào)進(jìn)行了巧妙的解耦，分為“基于流的可擴(kuò)展預(yù)訓(xùn)練”與“驅(qū)動(dòng)感知的殘差后訓(xùn)練”兩個(gè)核心階段。

為了驗(yàn)證系統(tǒng)是否打破了泛化壁壘，團(tuán)隊(duì)設(shè)計(jì)了漸進(jìn)式的壓力測(cè)試。他們將訓(xùn)練動(dòng)作集從10個(gè)逐步擴(kuò)展到20個(gè)，最終擴(kuò)展到50個(gè)，并使用固定的前10個(gè)動(dòng)作進(jìn)行統(tǒng)一評(píng)估。實(shí)驗(yàn)結(jié)果揭示了顯著的差異。隨著動(dòng)作多樣性的增加，傳統(tǒng)從頭訓(xùn)練的強(qiáng)化學(xué)習(xí)基線模型出現(xiàn)了嚴(yán)重的性能衰退，其成功率從100%暴跌至83.3%，最終滑落至73.9%。相比之下，OmniXtreme展現(xiàn)出了驚人的韌性，在50個(gè)動(dòng)作的龐大訓(xùn)練集下，其對(duì)核心動(dòng)作的跟蹤成功率依然堅(jiān)挺在93.3%。這徹底推翻了高保真度必定隨著多樣性增加而崩潰的固有認(rèn)知。