上海
品玩2月10日訊，據(jù) 9to5Mac 報(bào)道，Apple三位研究人員與中國(guó)人民大學(xué)六位學(xué)者共同開發(fā)新型AI模型VSSFlow，首次在單一系統(tǒng)中實(shí)現(xiàn)從無(wú)聲視頻同步生成環(huán)境音效與語(yǔ)音對(duì)話。該模型采用10層架構(gòu)，融合視頻幀（10fps）與文本轉(zhuǎn)音素序列，通過(guò)流匹配技術(shù)從噪聲重建高質(zhì)量音頻。
研究發(fā)現(xiàn)，語(yǔ)音與音效的聯(lián)合訓(xùn)練不僅未相互干擾，反而產(chǎn)生“互促提升”效應(yīng)。為實(shí)現(xiàn)音畫同步輸出，團(tuán)隊(duì)進(jìn)一步基于合成混合數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。
實(shí)驗(yàn)表明，VSSFlow在音效與語(yǔ)音任務(wù)上均達(dá)到業(yè)界領(lǐng)先水平。項(xiàng)目代碼已開源，模型權(quán)重及推理演示亦將陸續(xù)開放，旨在推動(dòng)視頻條件音頻生成技術(shù)發(fā)展。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
