隨著人工智能的發(fā)展，AI輔助教練技術(shù)有望突破專業(yè)教練資源稀缺的限制，實現(xiàn)個性化、低成本的技能指導(dǎo)。然而，現(xiàn)有方法通常依賴于大量專家標(biāo)注和單一領(lǐng)域的訓(xùn)練，難以應(yīng)對低資源、冷門體育項目或未見過的運(yùn)動場景。本文介紹了來自德克薩斯大學(xué)奧斯汀分校的最新工作，該工作發(fā)表在人工智能頂會NeurIPS 2025上。該研究提出了一種可遷移的視頻技能評估方法CROSSTRAINER。CROSSTRAINER從認(rèn)知科學(xué)中汲取靈感，發(fā)現(xiàn)基礎(chǔ)技能屬性，如平衡性、控制力、身體定位等在不同體育項目中具有可遷移性。通過引入跨運(yùn)動共享的技能屬性，結(jié)合兩階段的多模態(tài)學(xué)習(xí)，實現(xiàn)了從視頻直接生成兼具物理一致性與場景適配性的技能評估結(jié)果。CROSSTRAINER在域內(nèi)評估精度與零樣本遷移性能上顯著優(yōu)于傳統(tǒng)的域內(nèi)限定模型，為通用AI技能評估向真實多樣化運(yùn)動場景的落地邁出了重要一步。

論文題目： Learning Skill-Attributes for Transferable Assessment in Video 文章鏈接： https://arxiv.org/abs/2511.13993 代碼地址： https://github.com/thechargedneutron/CrossTrainer 項目鏈接： https://vision.cs.utexas.edu/projects/CrossTrainer/

當(dāng)前基于視頻的運(yùn)動技能評估模型存在兩個主要局限性：

（1）專家監(jiān)督成本高昂：現(xiàn)有的技能評估模型通常針對單一體育項目進(jìn)行專門化訓(xùn)練，而全球存在約8000種不同的體育運(yùn)動，專家級標(biāo)注數(shù)據(jù)稀缺且獲取成本極高。

（2）缺乏跨領(lǐng)域泛化能力：傳統(tǒng)方法假設(shè)不同體育項目的評估標(biāo)準(zhǔn)差異巨大，因此僅在域內(nèi)數(shù)據(jù)進(jìn)行訓(xùn)練和測試，無法有效遷移到新的體育項目。

盡管體育運(yùn)動在規(guī)則和動作上千差萬別，但支撐高水平表現(xiàn)的底層技能屬性是相通的[1][2]。如上圖所示，“腳部位置”這一屬性無論在羽毛球還是籃球中，都對身體的平衡、力量傳導(dǎo)和下一步移動起著至關(guān)重要的作用。本論文的核心動機(jī)是不再為每個運(yùn)動學(xué)習(xí)一個獨(dú)立的模型而是學(xué)習(xí)一套通用的、可描述的“技能屬性”（如平衡、控制、手部/腳部位置、協(xié)調(diào)性、時機(jī)掌握等）。這些屬性在不同運(yùn)動中有不同的視覺表現(xiàn)，但概念上是相通的。通過學(xué)習(xí)這些共享屬性，模型可以將在一個運(yùn)動中學(xué)到的知識遷移到另一個運(yùn)動，從而提升跨體育項目的技能評估和反饋能力。

二、本文方法

本文提出的CROSSTRAINER是一種兩階段的可遷移技能評估框架，其整體流程如下圖所示。

在預(yù)訓(xùn)練階段，模型通過視頻編碼器 （對于多視角數(shù)據(jù)使用EgoVLPv2，單視角數(shù)據(jù)使用CLIP）和可訓(xùn)練映射器 ，將輸入視頻 轉(zhuǎn)換為視覺表征 ，并訓(xùn)練多模態(tài)大語言模型 （本文使用Llama-3.1-8B-Instruct）來生成跨運(yùn)動通用的技能屬性。在第二階段，模型基于所學(xué)到的技能屬性集合 進(jìn)行多維度評估，生成具體的可操作改進(jìn)建議 并預(yù)測執(zhí)行者的熟練度等級 。

2.1 第一階段：技能屬性發(fā)現(xiàn)

在該階段，CROSSTRAINER利用LLM從Ego-Exo4D和QEVD數(shù)據(jù)集中的34,000條專家反饋中提取技能屬性。CROSSTRAINER學(xué)習(xí)一個函數(shù) ，用于預(yù)測視頻中展示的技能屬性：

其中， 為輸入視頻， 是訓(xùn)練數(shù)據(jù)集， 為預(yù)測的技能屬性集合。通過提示工程讓LLM識別正確和錯誤展示的技能屬性，并圍繞專家評論的時間點(diǎn) 采樣視頻塊 ，將視頻內(nèi)容與解析得到的技能屬性建立關(guān)聯(lián)，為后續(xù)的跨體育知識遷移構(gòu)建基礎(chǔ)表示空間。

該過程建立了一個與具體運(yùn)動項目解耦的共享中間表示空間，上圖展示的技能屬性詞云直觀呈現(xiàn)了從兩個數(shù)據(jù)集中發(fā)現(xiàn)的共享屬性分布，驗證了不同體育項目間存在通用的評估維度。

2.2 第二階段：視頻技能評估

在獲得了能夠理解并生成技能屬性的模型后，該階段的目標(biāo)是利用這些屬性來完成具體的評估任務(wù)。該階段包含兩個核心子任務(wù)：生成可操作的反饋 與評估熟練度等級 。其關(guān)鍵思想在于，將第一階段預(yù)測出的技能屬性 作為條件信息，微調(diào)模型生成更精準(zhǔn)、更具針對性的輸出。

2.2.1 生成可操作的反饋

模型將視頻編碼得到的視覺token 、技能屬性集合 與結(jié)構(gòu)化Prompt共同輸入多模態(tài)大語言模型，通過視覺與文本的雙重引導(dǎo)，確保輸出反饋 超越抽象屬性描述，轉(zhuǎn)化為如“運(yùn)球時彎曲膝蓋以提升控球穩(wěn)定性”之類的具體、可執(zhí)行的改進(jìn)方案。結(jié)構(gòu)化Prompt的形式為：“ 這是一個人物進(jìn)行 <運(yùn)動名稱> 的視頻。以下是AI教練識別的需要 改進(jìn)的技能維度（可能包含誤差）：< >。請針對這些動作提供具體的改進(jìn)建議，以幫助提升表現(xiàn)。”

2.2.2 評估熟練度等級

在熟練度估計這一微調(diào)任務(wù)中，核心目標(biāo)是判斷執(zhí)行者的熟練度等級 （如新手、進(jìn)階、專家）。在建模時，采用了線性探針設(shè)計，通過引入線性層 ，將經(jīng)技能屬性預(yù)訓(xùn)練后被凍結(jié)的視覺token 作為輸入，僅訓(xùn)練該線性層以輸出熟練度分類結(jié)果。此設(shè)計既能保留通用技能屬性特征的有效性，又避免額外訓(xùn)練破壞模型遷移能力。

2.3 訓(xùn)練策略

訓(xùn)練階段采用LoRA策略以平衡效率與性能，僅對視頻特征映射器 （兩層 MLP+GELU 激活）、多模態(tài)LLM的適配層及熟練度估計的線性探針 進(jìn)行訓(xùn)練，凍結(jié)預(yù)訓(xùn)練視頻編碼器（如 EgoVLPv2、CLIP）與LLM的主體參數(shù)。

三、實驗結(jié)果

本文與四類基線模型的系統(tǒng)對比驗證了方法的有效性，包括視頻理解基礎(chǔ)模型（如InternVideo2、EgoVLPv2）、通用多模態(tài)大語言模型（如VideoChat2、LLaVA）、技能評估專家模型（如ExpertAF、Stream-VLM）以及專用對比方法（如Attribute-Retrieval和PoseScript/Fix）。實驗采用遞進(jìn)式四層評估框架，全監(jiān)督設(shè)置（FS）確立性能上限，零樣本-技能(ZS-1)設(shè)置評估新動作泛化能力，零樣本-同運(yùn)動(ZS-2)設(shè)置檢驗運(yùn)動內(nèi)部泛化性能，零樣本-跨運(yùn)動(ZS-3)設(shè)置驗證跨領(lǐng)域遷移能力。評估指標(biāo)針對三項核心任務(wù)專門設(shè)計，技能屬性生成采用IoU@k衡量語義匹配度，可操作反饋生成綜合BLEU-4、METEOR、ROUGE-L等文本生成指標(biāo)，熟練度估計直接使用分類準(zhǔn)確率，形成多維度評估體系。

3.1 定量分析

下表通過三組定量實驗全面驗證了CROSSTRAINER的有效性。在技能屬性生成任務(wù)上，本文方法在Ego-Exo4D和QEVD數(shù)據(jù)集上分別達(dá)到25.7%和37.6%的性能，顯著優(yōu)于所有基線模型。在可操作反饋生成方面，本文方法在BLEU-4、METEOR和ROUGE-L三個指標(biāo)均取得最優(yōu)性能，特別是在QEVD數(shù)據(jù)集上METEOR分?jǐn)?shù)達(dá)到17.6%，相對最佳基線提升8.2%。

消融實驗證明兩階段設(shè)計中技能屬性的橋梁作用至關(guān)重要。在熟練度估計任務(wù)上，基于技能屬性預(yù)訓(xùn)練的視頻表征在籃球、足球和攀巖三個運(yùn)動項目上的分類準(zhǔn)確率均超越基線，表明其學(xué)習(xí)到了更高質(zhì)量的執(zhí)行水平表征，展示了ROSSTRAINER在跨體育視頻技能評估任務(wù)中的突破性表現(xiàn)。

3.2 零樣本遷移能力

作者進(jìn)一步評估了CROSSTRAINER的零樣本遷移能力，下圖展示了不同訓(xùn)練設(shè)置下的性能曲線對比。

CROSSTRAINER在技能屬性生成和可操作反饋生成兩項任務(wù)中始終保持性能領(lǐng)先，且從全監(jiān)督到跨運(yùn)動零樣本設(shè)置下的性能跌幅僅為4%，遠(yuǎn)低于基線模型的17%。這一結(jié)果證明，通過技能屬性學(xué)習(xí)到的視頻表征具有極強(qiáng)的泛化能力，能夠有效支撐模型在未見運(yùn)動項目上進(jìn)行穩(wěn)定評估。

3.3 定性分析

上圖通過多維度可視化實驗全面驗證了CROSSTRAINER方法的實際應(yīng)用效果。在零樣本泛化方面，模型成功將訓(xùn)練階段學(xué)習(xí)的通用物理原理（如發(fā)力機(jī)制）遷移至飛盤、水球等未見運(yùn)動，生成符合運(yùn)動特性的專業(yè)建議。例如，第三行展示了模型在真實野外環(huán)境下的表現(xiàn)。以飛盤投擲為例，模型成功識別出"手臂擺動幅度不足"和"身體旋轉(zhuǎn)不充分"等關(guān)鍵問題，生成的反饋"增加投擲時的手臂后擺幅度以產(chǎn)生更多力量"與視頻中教練的實際評論高度一致。混淆矩陣也展示了技能遷移效果在動態(tài)特性相似的運(yùn)動間（如足球與籃球）更為顯著，這與認(rèn)知科學(xué)規(guī)律相吻合。

四、總結(jié)

本文提出了CROSSTRAINER，一種創(chuàng)新的可遷移技能評估框架，旨在通過自動化學(xué)習(xí)跨體育項目通用的技能屬性，實現(xiàn)對不同體育項目和動作的精準(zhǔn)評估與反饋。CROSSTRAINER的核心創(chuàng)新在于發(fā)現(xiàn)并利用不同運(yùn)動間的“通用技能屬性（skill-attributes）”，這些屬性跨越具體運(yùn)動形式，涵蓋了身體平衡、動作控制、時機(jī)把握等通用能力維度。該框架采用兩階段訓(xùn)練流程，首先在預(yù)訓(xùn)練階段提取通用技能屬性，隨后在微調(diào)階段生成具體的改進(jìn)建議和熟練度評估。CROSSTRAINER在多個任務(wù)中表現(xiàn)出色，特別是在零樣本遷移能力上，能夠?qū)ξ匆娺^的體育項目或動作進(jìn)行有效評估。CROSSTRAINER突破了傳統(tǒng)AI體育分析的技術(shù)瓶頸，實現(xiàn)了一個模型評估上千種不同體育項目的技能水平。

參考

[1] Causer J, Ford P R. “Decisions, decisions, decisions”: transfer and specificity of decision-making skill between sports[J]. Cognitive Processing, 2014, 15(3): 385-389.

[2] Roca A, Williams A M. Does decision making transfer across similar and dissimilar sports?[J]. Psychology of Sport and Exercise, 2017, 31: 40-43.

-The End-

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈