本期為TechBeat人工智能社區(qū)第715期線上Talk。

北京時間9月11日(周四) 20:00，香港大學(xué)博士生陳奕的Talk將準(zhǔn)時在TechBeat人工智能社區(qū)開播！

她與大家分享的主題是:Moto - “潛在運動語言”賦能機器人視頻動作學(xué)習(xí)，屆時她將解釋一種以潛在運動標(biāo)記（Latent Motion Token）作為“橋梁語言”的創(chuàng)新方法——Moto-GPT。相關(guān)工作已入選ICCV 2025 Oral。

Talk·信息

主題：Moto - “潛在運動語言”賦能機器人視頻動作學(xué)習(xí)

嘉賓：香港大學(xué) · 博士生 - 陳奕

時間：北京時間9月11日(周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

如何讓機器人像人類一樣，通過觀察視頻自主學(xué)習(xí)復(fù)雜的操作技能？本次分享將介紹我們?nèi)脒xICCV 2025 Oral的最新工作 — Moto。

我們提出了一種以潛在運動標(biāo)記 (Latent Motion Token) 作為“橋梁語言”的創(chuàng)新方法，將視頻內(nèi)容編碼為緊湊的序列表示，并基于此構(gòu)建生成式預(yù)訓(xùn)練模型Moto-GPT。該方法能夠從大規(guī)模無標(biāo)注視頻中自動提取與動作密切相關(guān)的運動知識，并通過我們設(shè)計的協(xié)同微調(diào)策略，將學(xué)習(xí)到的運動先驗高效遷移至真實機器人控制任務(wù)中。

實驗表明，經(jīng)過微調(diào)的Moto-GPT能有效提升下游機器人操作任務(wù)的性能，驗證了從視頻數(shù)據(jù)中遷移學(xué)習(xí)視覺操作知識的可行性與有效性。

Talk大綱

1. 背景與動機：機器人學(xué)習(xí)的瓶頸與人類啟示

2. 方法亮點：從視頻到機器人動作的三階段訓(xùn)練框架

- 視頻運動語義編碼

- 運動軌跡生成式預(yù)訓(xùn)練

- 協(xié)同微調(diào)策略

3. 實驗驗證與性能表現(xiàn)

- 潛在運動語言的可解釋性

- 預(yù)訓(xùn)練效果驗證

- 實際任務(wù)表現(xiàn)

4. 總結(jié)與展望：潛在運動語言的應(yīng)用前景

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/abs/2412.04445 項目主頁： https://chenyi99.github.io/moto/

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

陳奕???????????

香港大學(xué) · 博士生
???

陳奕，香港大學(xué)IDS，HKU-MMLAB二年級博士生，主要研究方向為多模態(tài)大模型和具身智能。她曾在ICCV, ACL, EMNLP, SIGIR等人工智能領(lǐng)域的著名國際會議發(fā)表多篇學(xué)術(shù)論文。

個人主頁: https://www.techbeat.net/grzytrkj?id=45528 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊專場 | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎勵哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個薈聚全球華人AI精英的成長社區(qū)。

我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。

期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk