在ACM國際多媒體會議（ACM Multimedia）2023年MuSe（多模態(tài)情感分析）挑戰(zhàn)賽中，合肥工業(yè)大學(xué)計算機(jī)與信息學(xué)院師生團(tuán)隊取得突出成績。在汪萌教授的統(tǒng)籌帶領(lǐng)及孫曉、李佳、樊春曉等多位老師的共同指導(dǎo)下，團(tuán)隊在“情緒反應(yīng)檢測”與“幽默檢測”兩個賽道中均榮獲第一名，展現(xiàn)出在多模態(tài)情感計算領(lǐng)域的扎實科研能力。

ACM MuSe2023多模態(tài)情感分析挑戰(zhàn)賽(幽默檢測)冠軍

ACM MuSe2023多模態(tài)情感分析挑戰(zhàn)賽(情感分析）冠軍

MuSe挑戰(zhàn)賽由英國帝國理工學(xué)院、德國奧格斯堡大學(xué)等知名學(xué)術(shù)機(jī)構(gòu)組織，重點關(guān)注自然場景下的多模態(tài)情感分析。本屆賽事共吸引全球61支隊伍參與，包括帝國理工學(xué)院、南加州大學(xué)、中科院自動化所等國內(nèi)外著名高校與研究機(jī)構(gòu)。

在情緒反應(yīng)檢測任務(wù)中，團(tuán)隊基于安徽進(jìn)化論科技有限公司首席科學(xué)家孫曉等老師的指導(dǎo)，提出了層次化多模態(tài)融合方案。該方案通過時序特征提取與跨模態(tài)對齊，增強了對情感細(xì)微變化的建模能力，在評測中表現(xiàn)出色，獲得該賽道冠軍。

在幽默檢測任務(wù)中，團(tuán)隊設(shè)計了基于注意力機(jī)制的多模態(tài)融合模型，該模型能有效捕捉幽默相關(guān)的跨模態(tài)特征，提升了自然場景下的幽默識別性能，同樣取得該賽道第一名。

孫曉 安徽進(jìn)化論科技有限公司首席科學(xué)家；合肥工業(yè)大學(xué)教授、博導(dǎo)

安徽進(jìn)化論科技有限公司首席科學(xué)家孫曉老師作為團(tuán)隊指導(dǎo)老師之一，在多模態(tài)機(jī)器學(xué)習(xí)領(lǐng)域具有豐富經(jīng)驗。他在本次參賽過程中，協(xié)助團(tuán)隊明確了技術(shù)路線，并在特征融合、模型優(yōu)化等方面提供了專業(yè)指導(dǎo)，為項目推進(jìn)發(fā)揮了積極作用。

團(tuán)隊成員包括郎俊杰、高升、張梓洋、江月琪等研究生，以及安鎏瑋、鄒鵬、徐陽陽、卓泓毅等本科生，體現(xiàn)了學(xué)院在人才培養(yǎng)中的梯隊協(xié)作模式。相關(guān)工作成果已在ACM Multimedia會議上以論文形式發(fā)表。

ACM Multimedia是多媒體領(lǐng)域的國際重要會議。合肥工業(yè)大學(xué)團(tuán)隊在本屆賽事中獲得雙冠軍，體現(xiàn)了學(xué)校在人工智能交叉領(lǐng)域的科研水平，也為情感計算在實際應(yīng)用中的發(fā)展提供了有益參考。