這項開創(chuàng)性研究由MIT（麻省理工學(xué)院）的甘雨露教授領(lǐng)導(dǎo)，聯(lián)合NVIDIA、密歇根大學(xué)、加州大學(xué)伯克利分校和斯坦福大學(xué)的研究團(tuán)隊共同完成，發(fā)表于2025年12月的arXiv預(yù)印本服務(wù)器，論文編號為arXiv:2512.10927v1。這項名為"FoundationMotion"的研究首次實現(xiàn)了讓計算機(jī)自動理解和標(biāo)記視頻中物體運(yùn)動的突破性技術(shù)。

當(dāng)我們看一段視頻時，大腦能夠瞬間理解其中發(fā)生的各種動作——汽車向右轉(zhuǎn)彎、手伸向茶杯、機(jī)器人抓取物品。然而對于計算機(jī)來說，準(zhǔn)確理解這些看似簡單的動作卻是一個巨大挑戰(zhàn)。就好比讓一個從未見過世界的人突然觀看電影，他們可能認(rèn)出畫面中有人和物體，但很難理解這些人物在做什么、物體如何移動、動作之間的先后關(guān)系。

研究團(tuán)隊發(fā)現(xiàn)，即使是最先進(jìn)的視頻分析系統(tǒng)也經(jīng)常在理解基礎(chǔ)動作上出錯。比如當(dāng)Gemini這樣的頂級AI模型面對"汽車正在右轉(zhuǎn)"這樣的簡單場景時，有時會完全識別錯誤。這個問題的根源在于訓(xùn)練這些AI系統(tǒng)所需的高質(zhì)量運(yùn)動數(shù)據(jù)極其稀缺。傳統(tǒng)的視頻標(biāo)注工作需要專業(yè)人員花費(fèi)數(shù)分鐘來標(biāo)記短短幾秒鐘的視頻片段，這種人工標(biāo)注方式不僅成本高昂，而且難以大規(guī)模推廣。

為了解決這個根本性問題，研究團(tuán)隊開發(fā)了一套完全自動化的數(shù)據(jù)制作流水線。這個系統(tǒng)就像一個超級聰明的視頻分析助手，能夠自動觀看視頻、追蹤其中的物體、理解它們的運(yùn)動軌跡，然后用自然語言描述這些動作。通過這套系統(tǒng)，研究團(tuán)隊成功制作了包含46萬7千個視頻片段和相應(yīng)問答對的大規(guī)模數(shù)據(jù)集，為訓(xùn)練更好的視頻理解AI提供了豐富的素材。

一、自動化運(yùn)動標(biāo)注的技術(shù)革新

研究團(tuán)隊面臨的第一個挑戰(zhàn)就像教會一個助手如何精確觀察和記錄運(yùn)動。傳統(tǒng)方法需要人工逐一標(biāo)記視頻中每個物體的位置和動作，這個過程既繁瑣又容易出錯。研究團(tuán)隊設(shè)計的自動化系統(tǒng)則像一個經(jīng)驗豐富的體育解說員，能夠同時關(guān)注畫面中的多個運(yùn)動目標(biāo)，并實時追蹤它們的軌跡。

整個技術(shù)流程就像一條精密的生產(chǎn)線，分為四個主要環(huán)節(jié)。首先是視頻預(yù)處理環(huán)節(jié)，系統(tǒng)會自動截取5到10秒長的視頻片段，確保每個片段都包含足夠的運(yùn)動信息。這就好比選擇最精彩的比賽片段一樣，既要保證內(nèi)容豐富，又要控制在合適的長度范圍內(nèi)。

接下來是物體檢測和追蹤環(huán)節(jié)，這是整個系統(tǒng)的核心技術(shù)。研究團(tuán)隊采用了兩套互補(bǔ)的檢測策略。第一套是通用物體檢測系統(tǒng)，能夠識別視頻中的各種常見物品，比如汽車、桌子、杯子等。這套系統(tǒng)首先使用最新的Qwen2.5-VL大語言模型分析視頻的第一幀畫面，智能識別出畫面中的主要物體類別，然后使用專門的目標(biāo)檢測模型精確定位這些物體的位置。

第二套是專門針對人體動作設(shè)計的檢測系統(tǒng)。由于區(qū)分左手和右手、精確定位手部動作對于理解人類行為至關(guān)重要，研究團(tuán)隊開發(fā)了專門的人體檢測流水線。這套系統(tǒng)能夠先識別出畫面中的人物，然后詳細(xì)分析每個人的身體姿態(tài)，最后精確定位左手和右手的位置以及它們與其他物體的交互關(guān)系。

在物體追蹤方面，研究團(tuán)隊使用了最先進(jìn)的SAM2（Segment Anything Model 2）技術(shù)。這就像給每個運(yùn)動物體分配了一個專屬的"身份證"，無論物體如何移動、遮擋或變形，系統(tǒng)都能準(zhǔn)確追蹤它們的完整運(yùn)動軌跡。為了確保追蹤的準(zhǔn)確性，系統(tǒng)還會定期對追蹤結(jié)果進(jìn)行校正，就像GPS導(dǎo)航會不斷更新位置信息一樣。

二、智能語言描述生成系統(tǒng)

擁有了精確的物體軌跡數(shù)據(jù)后，下一個挑戰(zhàn)是如何將這些數(shù)字化的軌跡信息轉(zhuǎn)換為人類能夠理解的自然語言描述。這就像需要一個翻譯員，能夠?qū)?fù)雜的數(shù)學(xué)坐標(biāo)轉(zhuǎn)換為"汽車向右轉(zhuǎn)彎"、"手伸向茶杯"這樣直觀的描述。

研究團(tuán)隊設(shè)計的語言生成系統(tǒng)采用了GPT-4o-mini作為核心引擎。系統(tǒng)不僅會接收視頻畫面作為輸入，還會同時分析包含物體運(yùn)動軌跡的結(jié)構(gòu)化數(shù)據(jù)文件。這種多模態(tài)輸入方式就像給AI提供了視覺和數(shù)據(jù)兩套感官系統(tǒng)，讓它能夠更準(zhǔn)確地理解運(yùn)動的細(xì)節(jié)。

為了確保生成的描述足夠詳細(xì)和準(zhǔn)確，研究團(tuán)隊設(shè)計了涵蓋七個維度的描述框架。這個框架要求系統(tǒng)從動作識別、時間順序、物體關(guān)聯(lián)、空間位置、重復(fù)模式、運(yùn)動特征和空間關(guān)系等多個角度來分析和描述運(yùn)動。比如在描述一個人倒水的動作時，系統(tǒng)不僅要識別出"倒水"這個動作，還要說明是用哪只手操作、水從哪里倒向哪里、整個動作的持續(xù)時間等詳細(xì)信息。

三、問答對生成與評估體系

除了生成運(yùn)動描述外，研究團(tuán)隊還開發(fā)了自動生成問答對的系統(tǒng)。這個系統(tǒng)就像一個經(jīng)驗豐富的老師，能夠根據(jù)視頻內(nèi)容設(shè)計出各種類型的測試題目，用來評估AI模型對運(yùn)動的理解程度。

問答系統(tǒng)設(shè)計了五種不同類型的問題。動作識別類問題主要測試模型能否準(zhǔn)確識別具體的動作，比如"這個人在做什么動作"。時間順序類問題考查模型對動作先后關(guān)系的理解，比如"哪個動作先發(fā)生"。物體關(guān)聯(lián)類問題檢驗?zāi)Ｐ湍芊裾_關(guān)聯(lián)動作與執(zhí)行動作的物體或人物。空間位置類問題評估模型對動作發(fā)生位置的理解。重復(fù)計數(shù)類問題測試模型能否準(zhǔn)確計算重復(fù)動作的次數(shù)。

每個問題都設(shè)計為四選一的選擇題格式，系統(tǒng)會自動生成三個錯誤選項作為干擾項。這些干擾項并非隨機(jī)生成，而是根據(jù)視頻內(nèi)容精心設(shè)計，確保它們在邏輯上合理但在細(xì)節(jié)上錯誤。這種設(shè)計就像精心設(shè)計的考試題目，能夠有效區(qū)分模型理解程度的高低。

四、大規(guī)模數(shù)據(jù)集的構(gòu)建成果

通過這套完全自動化的技術(shù)流水線，研究團(tuán)隊成功構(gòu)建了一個包含46.7萬個視頻片段和46.7萬個問答對的大規(guī)模數(shù)據(jù)集。這個數(shù)據(jù)集的規(guī)模相當(dāng)于傳統(tǒng)人工標(biāo)注方法需要數(shù)百名專業(yè)人員工作數(shù)年才能完成的工作量。

數(shù)據(jù)集中的視頻片段平均長度約為17.5秒，每個視頻平均包含約10個問答對，這意味著平均每秒鐘的視頻對應(yīng)1.67個問題，達(dá)到了相當(dāng)高的標(biāo)注密度。問題的平均長度為55.9個字符，既保證了問題的簡潔性，又確保了足夠的描述性。

為了驗證數(shù)據(jù)質(zhì)量，研究團(tuán)隊特別設(shè)計了對比實驗。他們比較了僅使用視頻生成的問答對和同時使用視頻加軌跡數(shù)據(jù)生成的問答對的質(zhì)量差異。結(jié)果顯示，添加軌跡數(shù)據(jù)后，在精細(xì)動作準(zhǔn)確性、運(yùn)動細(xì)節(jié)描述、時間連貫性和問題相關(guān)性等各個維度上都有顯著提升。比如在精細(xì)動作準(zhǔn)確性方面，質(zhì)量評分從5.8分提升到8.4分，提升幅度達(dá)到45%。

五、模型訓(xùn)練與性能提升

利用這個大規(guī)模數(shù)據(jù)集，研究團(tuán)隊對多個開源視頻理解模型進(jìn)行了微調(diào)訓(xùn)練。訓(xùn)練過程就像讓學(xué)生通過大量練習(xí)題來提高成績一樣，通過學(xué)習(xí)大量的運(yùn)動標(biāo)注實例，AI模型逐漸掌握了理解各種運(yùn)動的能力。

研究團(tuán)隊選擇了三個代表性的模型進(jìn)行訓(xùn)練測試：NVILA-Video系列（包括8B和15B參數(shù)版本）和Qwen2.5-VL-7B模型。訓(xùn)練過程采用了標(biāo)準(zhǔn)的微調(diào)技術(shù)，使用較低的學(xué)習(xí)率和余弦學(xué)習(xí)率調(diào)度策略，確保模型能夠穩(wěn)定地吸收新的運(yùn)動理解知識。

訓(xùn)練結(jié)果令人驚喜。以NVILA-Video-15B模型為例，在MotionBench基準(zhǔn)測試上的準(zhǔn)確率提升了1.0個百分點(diǎn)，在自動駕駛車輛運(yùn)動理解任務(wù)上提升了7.1個百分點(diǎn)，在機(jī)器人運(yùn)動理解任務(wù)上更是大幅提升了14.9個百分點(diǎn)。這些提升意味著模型現(xiàn)在能夠更準(zhǔn)確地理解各種復(fù)雜的運(yùn)動場景。

更加令人矚目的是，經(jīng)過訓(xùn)練的中等規(guī)模開源模型甚至能夠在某些任務(wù)上超越大型閉源模型的性能。比如訓(xùn)練后的NVILA-Video-15B模型在自動駕駛場景理解上達(dá)到了91.5%的準(zhǔn)確率，超越了Gemini-2.5-Flash的84.1%和Qwen-2.5-VL-72B的83.3%。這就像一個經(jīng)過專門訓(xùn)練的中學(xué)生在特定科目上超越了沒有接受過專門訓(xùn)練的大學(xué)生一樣。

六、多領(lǐng)域應(yīng)用驗證

為了驗證系統(tǒng)的通用性，研究團(tuán)隊在四個不同領(lǐng)域構(gòu)建了專門的測試基準(zhǔn)。這些測試就像針對不同專業(yè)領(lǐng)域設(shè)計的專門考試，能夠全面評估AI模型在各種實際應(yīng)用場景中的表現(xiàn)。

在自動駕駛領(lǐng)域，研究團(tuán)隊基于著名的nuScenes數(shù)據(jù)集構(gòu)建了測試基準(zhǔn)，包含1968個關(guān)于車輛運(yùn)動的問答對和108個關(guān)于駕駛員手部動作的問答對。這些問題涵蓋了諸如"前方車輛向哪個方向行駛"、"駕駛員正在進(jìn)行什么操作"等實際駕駛場景中需要理解的關(guān)鍵問題。

在日常生活場景中，研究團(tuán)隊從"100 Days of Hands"數(shù)據(jù)集中選擇視頻，手工標(biāo)注了832個關(guān)于手部動作和手物交互的問答對。這些問題聚焦于人們?nèi)粘Ｉ钪械母鞣N手部操作，比如"這個人在用哪只手操作"、"手部動作的方向是什么"等。

在機(jī)器人應(yīng)用領(lǐng)域，研究團(tuán)隊收集了YouTube上的機(jī)器人操作視頻，標(biāo)注了102個關(guān)于機(jī)器人動作的問答對。這些問題主要關(guān)注機(jī)器人手臂的運(yùn)動和操作行為，對于推動機(jī)器人技術(shù)發(fā)展具有重要意義。

測試結(jié)果顯示，在所有這些不同領(lǐng)域中，使用FoundationMotion數(shù)據(jù)集訓(xùn)練的模型都取得了一致的性能提升。這種跨領(lǐng)域的改進(jìn)證明了該技術(shù)的普適性和實用價值。比如在日常生活場景中，Qwen2.5-VL-7B模型的準(zhǔn)確率從61.4%提升到73.1%，提升幅度達(dá)到11.7個百分點(diǎn)。

七、技術(shù)細(xì)節(jié)與創(chuàng)新突破

研究團(tuán)隊在技術(shù)實現(xiàn)上做出了多項創(chuàng)新。在攝像機(jī)運(yùn)動過濾方面，他們使用了專門的VGGT技術(shù)來檢測和排除攝像機(jī)運(yùn)動劇烈的視頻片段。這就像在拍攝時使用防抖功能一樣，確保分析的視頻足夠穩(wěn)定，便于準(zhǔn)確追蹤物體運(yùn)動。

在物體檢測精度優(yōu)化方面，研究團(tuán)隊采用了分別查詢的策略，即對每種物體類別單獨(dú)進(jìn)行檢測，而不是一次性檢測所有類別。這種方法雖然增加了計算量，但顯著提升了檢測的準(zhǔn)確性，特別是對于小物體和部分遮擋的物體。

為了確保時間一致性，研究團(tuán)隊設(shè)計了分層的標(biāo)識符分配方案。人物使用0-99的ID范圍，其身體部位使用相關(guān)的子ID（比如ID為5的人，其左手ID為51，右手ID為54），而物體使用1000以上的ID。這種設(shè)計就像給家庭成員分配相關(guān)的電話號碼一樣，既保證了唯一性，又體現(xiàn)了相互關(guān)系。

八、質(zhì)量驗證與對比分析

為了驗證數(shù)據(jù)質(zhì)量，研究團(tuán)隊進(jìn)行了詳細(xì)的對比分析。他們將不同問答類型的貢獻(xiàn)分別進(jìn)行了測試。結(jié)果發(fā)現(xiàn)，重復(fù)計數(shù)類問題對模型性能提升最大，準(zhǔn)確率從基準(zhǔn)的48%提升到55%，提升了14.6個百分點(diǎn)。這類問題之所以貢獻(xiàn)最大，是因為它們需要模型具備精確的時間感知和計數(shù)能力，這正是傳統(tǒng)方法的薄弱環(huán)節(jié)。

運(yùn)動相關(guān)物體問題和位置相關(guān)運(yùn)動問題也帶來了顯著提升，準(zhǔn)確率都達(dá)到了53%，提升了10.4個百分點(diǎn)。這說明這些問題類型能夠有效訓(xùn)練模型理解物體與動作之間的關(guān)聯(lián)關(guān)系以及動作的空間特性。

研究團(tuán)隊還對比了相同訓(xùn)練數(shù)據(jù)量下FoundationMotion數(shù)據(jù)集與其他數(shù)據(jù)集的效果。結(jié)果顯示，F(xiàn)oundationMotion數(shù)據(jù)集不僅帶來了更大的性能提升，還避免了某些情況下的性能下降。比如在NVILA-Video-15B模型上，傳統(tǒng)PLM數(shù)據(jù)集在某些任務(wù)上會導(dǎo)致性能下降5.0個百分點(diǎn)，而FoundationMotion數(shù)據(jù)集則帶來了7.1個百分點(diǎn)的提升。

九、數(shù)據(jù)集統(tǒng)計特征分析

研究團(tuán)隊對生成的數(shù)據(jù)集進(jìn)行了詳細(xì)的統(tǒng)計分析。在答案分布方面，四個選項（A、B、C、D）的正確答案分布非常均勻，每個選項約占25%，這表明數(shù)據(jù)生成過程沒有出現(xiàn)偏差，避免了模型學(xué)習(xí)到位置偏好而非內(nèi)容理解。

在問題長度分布方面，大多數(shù)問題的長度集中在30到80個字符之間，既保證了問題的完整性，又避免了過于冗長。這個長度范圍正好符合人類閱讀習(xí)慣，便于快速理解和回答。

在視頻時長分布方面，大部分視頻片段的長度集中在3到7秒之間。這個時長設(shè)置基于運(yùn)動理解的最優(yōu)平衡點(diǎn)——既要包含完整的動作序列，又要避免過長的視頻帶來的信息冗余和計算負(fù)擔(dān)。

十、實際應(yīng)用前景與局限性

這項研究的應(yīng)用前景非常廣闊。在自動駕駛領(lǐng)域，準(zhǔn)確理解周圍車輛和行人的運(yùn)動意圖對于確保行車安全至關(guān)重要。傳統(tǒng)系統(tǒng)可能只能識別出"前方有車輛"，而基于這項技術(shù)的系統(tǒng)則能夠理解"前方車輛正在變道"或"行人正在穿越馬路"，從而做出更智能的駕駛決策。

在機(jī)器人技術(shù)方面，這項技術(shù)能夠幫助機(jī)器人更好地理解人類的動作意圖，從而在協(xié)作任務(wù)中表現(xiàn)得更加自然和高效。比如在工廠環(huán)境中，機(jī)器人能夠通過觀察工人的手部動作來預(yù)測下一步需要什么工具，提前做好準(zhǔn)備。

在視頻內(nèi)容分析領(lǐng)域，這項技術(shù)可以大大改善視頻搜索和推薦系統(tǒng)的效果。用戶可以通過"尋找包含揮手動作的視頻"或"找出有人在跳舞的片段"這樣的自然語言描述來精確搜索視頻內(nèi)容。

在醫(yī)療健康領(lǐng)域，這項技術(shù)可以用于分析患者的運(yùn)動模式，幫助醫(yī)生診斷運(yùn)動障礙或評估康復(fù)效果。比如通過分析帕金森病患者的手部震顫模式，為醫(yī)生提供客觀的病情評估依據(jù)。

然而，研究團(tuán)隊也誠實地指出了當(dāng)前技術(shù)的局限性。最主要的限制是目前的系統(tǒng)主要處理二維平面的運(yùn)動理解，對于三維空間中的復(fù)雜運(yùn)動還存在理解不足的問題。比如在分析手部的精細(xì)操作時，系統(tǒng)難以準(zhǔn)確理解每個手指關(guān)節(jié)的三維運(yùn)動軌跡，這對于需要精確手部控制的機(jī)器人應(yīng)用來說還存在不足。

另一個局限是在處理快速運(yùn)動或運(yùn)動模糊的場景時，系統(tǒng)的追蹤準(zhǔn)確性可能會下降。這就像人眼在觀看高速運(yùn)動的物體時也會出現(xiàn)模糊一樣，當(dāng)前的技術(shù)在處理這類場景時仍有改進(jìn)空間。

此外，系統(tǒng)對于一些文化背景相關(guān)的手勢或動作的理解還存在局限。不同文化背景下相同的手勢可能有不同的含義，這種細(xì)微的差別目前還難以完全捕捉。

說到底，這項研究最重要的貢獻(xiàn)在于開創(chuàng)了一條全新的技術(shù)路徑。通過完全自動化的方法，研究團(tuán)隊不僅解決了高質(zhì)量運(yùn)動數(shù)據(jù)稀缺的問題，還證明了在特定領(lǐng)域進(jìn)行專門訓(xùn)練的中等規(guī)模模型可以超越大型通用模型的表現(xiàn)。這就像專業(yè)運(yùn)動員在自己的專項上往往比全能選手表現(xiàn)更出色一樣。

更重要的是，這套技術(shù)為未來的研究提供了堅實的基礎(chǔ)設(shè)施。其他研究團(tuán)隊可以利用這個數(shù)據(jù)集和技術(shù)框架來訓(xùn)練更好的視頻理解模型，推動整個領(lǐng)域的發(fā)展。研究團(tuán)隊已經(jīng)承諾開源所有代碼、數(shù)據(jù)和評估基準(zhǔn)，這將大大加速相關(guān)技術(shù)的發(fā)展和應(yīng)用。

從更廣闊的視角來看，這項研究代表了人工智能從簡單的模式識別向真正的場景理解邁出的重要一步。當(dāng)AI系統(tǒng)能夠像人類一樣自然地理解運(yùn)動和動作時，它們就能更好地與人類協(xié)作，在各種實際應(yīng)用中發(fā)揮更大的價值。無論是讓自動駕駛汽車更安全，讓機(jī)器人助手更智能，還是讓視頻分析更精準(zhǔn)，這項技術(shù)都有望在未來幾年內(nèi)帶來實際的改變。

當(dāng)然，從研究成果到實際應(yīng)用還需要時間。但這項研究已經(jīng)為我們展示了一個令人興奮的未來圖景：AI不僅能看懂世界，還能理解世界中正在發(fā)生的各種動作和變化。對于普通人來說，這意味著我們將擁有更智能的設(shè)備、更安全的交通系統(tǒng)、更高效的工作助手，以及更精準(zhǔn)的娛樂內(nèi)容推薦。這項技術(shù)的成熟和普及，將讓我們的生活變得更加便利和安全。

Q&A

Q1：FoundationMotion技術(shù)是什么？

A：FoundationMotion是由MIT和NVIDIA等機(jī)構(gòu)聯(lián)合開發(fā)的AI技術(shù)，能夠自動分析視頻中的物體運(yùn)動并生成準(zhǔn)確的文字描述。它就像一個智能的視頻解說員，可以精確識別和描述各種動作，比如"汽車向右轉(zhuǎn)彎"或"手伸向茶杯"等運(yùn)動細(xì)節(jié)。

Q2：為什么需要專門訓(xùn)練AI理解運(yùn)動？

A：目前的AI系統(tǒng)雖然能識別物體，但很難準(zhǔn)確理解運(yùn)動。即使是先進(jìn)的模型也經(jīng)常在基礎(chǔ)動作識別上出錯，比如分不清汽車是在左轉(zhuǎn)還是右轉(zhuǎn)。這主要是因為缺乏高質(zhì)量的運(yùn)動標(biāo)注數(shù)據(jù)，傳統(tǒng)人工標(biāo)注成本高昂且效率低下。

Q3：FoundationMotion技術(shù)有哪些實際應(yīng)用？

A：這項技術(shù)應(yīng)用前景廣泛，包括讓自動駕駛汽車更準(zhǔn)確理解道路狀況、幫助機(jī)器人更好地與人類協(xié)作、改善視頻搜索和推薦系統(tǒng)，以及在醫(yī)療領(lǐng)域分析患者運(yùn)動模式來輔助診斷。它能讓AI設(shè)備更智能地理解和響應(yīng)現(xiàn)實世界中的各種運(yùn)動。