AIPress.com.cn報道

1月6日消息，智元具身研究中心正式發(fā)布了一套全新的在線后訓(xùn)練系統(tǒng)SOP（Scalable Online Post-training），旨在讓機器人在大規(guī)模真實部署過程中不斷學(xué)習(xí)、優(yōu)化與進化。

傳統(tǒng)機器人學(xué)習(xí)主要依賴預(yù)訓(xùn)練模型和離線數(shù)據(jù)，這在仿真環(huán)境或封閉實驗室中已取得初步成果。但一旦進入真實環(huán)境，離線訓(xùn)練的邊際效益迅速遞減，模型表現(xiàn)出對特定任務(wù)的過擬合、對新場景的泛化不足等問題。學(xué)界和產(chǎn)業(yè)界普遍認為，解決這一難題的關(guān)鍵在于打破訓(xùn)練與部署之間的壁壘，讓機器人在運行過程中持續(xù)積累經(jīng)驗、進行在線調(diào)整。

智元提出的 SOP 系統(tǒng)正是順應(yīng)這一趨勢而生。它通過在線學(xué)習(xí)、分布式架構(gòu)與多任務(wù)能力的結(jié)合，讓多個機器人在不同環(huán)境中同步執(zhí)行任務(wù)，將各自的交互數(shù)據(jù)及時上傳至云端學(xué)習(xí)系統(tǒng)，再將更新后的模型參數(shù)實時推送回各機器人，實現(xiàn)真正意義上的“部署即進化”。這種從離線、串行學(xué)習(xí)向在線、并行學(xué)習(xí)的轉(zhuǎn)變，使機器人集群能夠更高效地探索現(xiàn)實世界的復(fù)雜狀態(tài)空間，提升整體策略的泛化能力。

在實驗評估中，SOP 對已有視覺-語言-動作（VLA）預(yù)訓(xùn)練模型的表現(xiàn)提升顯著。在多任務(wù)場景測試中，結(jié)合 SOP 的后訓(xùn)練策略在復(fù)雜任務(wù)成功率上實現(xiàn)了大幅增長，在商超場景等真實環(huán)境下表現(xiàn)出更穩(wěn)定的策略執(zhí)行能力。

此外，在線經(jīng)驗學(xué)習(xí)不僅提高了失敗恢復(fù)能力，而且顯著提升了任務(wù)吞吐量和操作穩(wěn)定性。這些結(jié)果表明，即便是真實世界中多變的環(huán)境，機器人也能通過持續(xù)學(xué)習(xí)保持策略優(yōu)良。

另一項重要實驗結(jié)果顯示，在總訓(xùn)練時間相同的情況下，多機器人并行采集數(shù)據(jù)的學(xué)習(xí)效率遠超單機訓(xùn)練模式。這意味著 SOP 不僅提升了單體策略的質(zhì)量，還能在訓(xùn)練速度上實現(xiàn)倍增效應(yīng)，使學(xué)習(xí)過程更快、更穩(wěn)健。

在預(yù)訓(xùn)練規(guī)模與 SOP 效果的關(guān)系測試中，結(jié)果也顯示，盡管預(yù)訓(xùn)練數(shù)據(jù)量對模型基礎(chǔ)能力有顯著貢獻，SOP 在后續(xù)在線經(jīng)驗學(xué)習(xí)階段對性能提升的邊際價值更為明顯。這一結(jié)果與業(yè)界對“真實世界數(shù)據(jù)驅(qū)動學(xué)習(xí)”趨勢的判斷相契合：離線大規(guī)模預(yù)訓(xùn)練為機器人提供基礎(chǔ)理解能力，而在線后訓(xùn)練則能突破靜態(tài)模型的局限，使機器人更好地應(yīng)對動態(tài)變化場景。

值得注意的是，在當前機器人研究和產(chǎn)業(yè)實踐中，類似的在線學(xué)習(xí)和真實世界部署探索正在加速推進。比如在具身智能和大模型融合方向，研究者提出了更為復(fù)雜的視覺-語言-動作基礎(chǔ)模型（VLA）體系，以期讓機器人具備更強的環(huán)境感知和決策能力，這也成為機器人從實驗室向現(xiàn)實任務(wù)遷移的重要基礎(chǔ)。

SOP 這類在線后訓(xùn)練系統(tǒng)為機器人規(guī)模化部署與智能長期演進提供了重要思路。它突破了過去機器人學(xué)習(xí)對離線數(shù)據(jù)的依賴，將個體經(jīng)驗高效融入集體知識庫，使機器人不再是固定策略的執(zhí)行體，而是能夠在真實世界中不斷學(xué)習(xí)、持續(xù)進化的智能體。這對于具身智能、大規(guī)模機器人部署乃至通用機器人發(fā)展都具有里程碑意義。

未來，隨著在線學(xué)習(xí)技術(shù)與真實世界數(shù)據(jù)采集體系的進一步完善，機器人有望在更多實際場景中實現(xiàn)穩(wěn)健運行，從被動執(zhí)行預(yù)設(shè)任務(wù)逐漸邁向自主學(xué)習(xí)與優(yōu)化，真正實現(xiàn)智能機器人的規(guī)?；涞?。