上海
品玩4月15日訊，據(jù)CSDN消息，南洋理工大學(xué)MMLab團(tuán)隊(duì)近日正式推出Hand2World模型。該模型使AI世界模型能夠通過空中手勢(shì)實(shí)時(shí)生成第一人稱交互視頻，真正實(shí)現(xiàn)了從“被動(dòng)觀察”到“主動(dòng)觸達(dá)”的技術(shù)跨越，解決了長期存在的手眼交互難題。
針對(duì)現(xiàn)有模型在訓(xùn)練與推理階段因手部遮擋導(dǎo)致的分布不匹配問題，Hand2World摒棄了傳統(tǒng)的2D掩碼，采用基于3D手部網(wǎng)格（MANO）的投影作為控制信號(hào)。同時(shí)，模型利用像素級(jí)Plücker射線嵌入顯式編碼相機(jī)運(yùn)動(dòng)，成功解耦了手部動(dòng)作與頭部視角轉(zhuǎn)動(dòng)，有效防止了背景漂移。
在技術(shù)架構(gòu)上，Hand2World將雙向擴(kuò)散教師模型蒸餾為因果自回歸生成器，支持流式輸出與無限時(shí)長的連續(xù)交互。實(shí)驗(yàn)數(shù)據(jù)顯示，該模型在ARCTIC等三大基準(zhǔn)測(cè)試中FVD指標(biāo)大幅下降，顯著提升了生成視頻的視覺質(zhì)量與3D一致性。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
