始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。

學(xué)術(shù)展示視頻作為科研交流的重要媒介，制作過(guò)程仍高度依賴人工，需要反復(fù)進(jìn)行幻燈片設(shè)計(jì)、逐頁(yè)錄制和后期剪輯，往往需要數(shù)小時(shí)才能產(chǎn)出幾分鐘的視頻，效率低下且成本高昂，這凸顯了推動(dòng)學(xué)術(shù)展示視頻自動(dòng)化生成的必要性。然而，與自然視頻生成不同（如Sora2、Veo3等擴(kuò)散模型），學(xué)術(shù)展示視頻面臨以下獨(dú)特挑戰(zhàn)：

• 長(zhǎng)文檔與高密度輸入(Multi-modal Long-context Input): 來(lái)源于完整學(xué)術(shù)論文，包含大段專業(yè)文本、復(fù)雜公式、多幅圖表，遠(yuǎn)超自然視頻的輸入復(fù)雜度。
  

• 多模態(tài)通道的協(xié)同生成(Coordination of Multiple Aligned Channels): 需要同時(shí)生成并對(duì)齊幻燈片、字幕、語(yǔ)音、光標(biāo)軌跡與講者視頻，保證多模態(tài)之間的語(yǔ)義一致性與時(shí)序同步。
  

• 缺乏專門的評(píng)價(jià)標(biāo)準(zhǔn)(Lacks Well-defined Evaluation Metrics): 現(xiàn)有視頻生成指標(biāo)主要關(guān)注畫面質(zhì)量或風(fēng)格一致性，難以衡量學(xué)術(shù)展示視頻在 知識(shí)傳遞、受眾理解與學(xué)術(shù)可用性 上的效果。

因此，現(xiàn)有自然視頻生成模型和簡(jiǎn)單的幻燈片+語(yǔ)音拼接方法難以勝任，亟需一個(gè)系統(tǒng)化的基準(zhǔn)和方法來(lái)推動(dòng)自動(dòng)化、可用的學(xué)術(shù)視頻生成。為了解決以上挑戰(zhàn)，新加坡國(guó)立大學(xué) Show Lab 團(tuán)隊(duì)提出了Paper2Video基準(zhǔn)對(duì)學(xué)術(shù)展示視頻進(jìn)行評(píng)價(jià)，并提出一個(gè)多智能圖框架PaperTalker，為實(shí)現(xiàn)自動(dòng)化和可用的學(xué)術(shù)視頻生成邁出切實(shí)可行的一步。目前Paper2Video的代碼已上線了始智AI-wisemodel開(kāi)源社區(qū)，歡迎體驗(yàn)。

代碼地址

https://wisemodel.cn/codes/Zeyu/Paper2Video

01.

Paper2Video評(píng)價(jià)基準(zhǔn)及指標(biāo)

1.1評(píng)價(jià)基準(zhǔn)

圖1: Paper2Video概覽

為了評(píng)價(jià)學(xué)術(shù)展示視頻的質(zhì)量，本文收集了101片論文和對(duì)應(yīng)的作者錄制的學(xué)術(shù)展示視頻作為測(cè)試基準(zhǔn)，并從學(xué)術(shù)展示視頻的用途出發(fā)，提出了四個(gè)評(píng)價(jià)指標(biāo): Meta Similarity, PresentArena, PresentQuiz和IP Memory。

圖2: Paper2Video基準(zhǔn)統(tǒng)計(jì)概覽

Paper2Video基準(zhǔn)收集了來(lái)自近三年頂會(huì)的 101 篇論文及其作者錄制的展示視頻，涵蓋機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)與自然語(yǔ)言處理領(lǐng)域。每個(gè)樣例包含論文 LaTeX 工程、幻燈片、展示視頻、講者肖像與語(yǔ)音樣本，其中部分還提供原始 PDF 幻燈片。數(shù)據(jù)統(tǒng)計(jì)顯示，論文平均 13.3K 字、44.7 幅圖表，展示視頻平均 16 頁(yè)幻燈片、時(shí)長(zhǎng) 6 分鐘。作為首個(gè)系統(tǒng)化的學(xué)術(shù)展示視頻基準(zhǔn)，它為多模態(tài)長(zhǎng)文檔輸入與多通道輸出（幻燈片、字幕、語(yǔ)音、光標(biāo)、講者）的生成與評(píng)估提供了可靠依據(jù)，為推動(dòng)自動(dòng)化學(xué)術(shù)展示視頻生成奠定了基礎(chǔ)。

1.2評(píng)價(jià)指標(biāo)設(shè)計(jì)

圖3: Paper2Video評(píng)價(jià)指標(biāo)設(shè)計(jì)

本文從學(xué)術(shù)展示視頻的用途出發(fā)，認(rèn)為其質(zhì)量應(yīng)從三個(gè)核心視角進(jìn)行衡量：

• 類人一致性：生成的視頻應(yīng)與作者精心設(shè)計(jì)的人類版本保持相似，反映人類偏好。
  

• 信息傳遞性：生成的視頻應(yīng)盡可能涵蓋論文中的關(guān)鍵信息，并被受眾正確理解。
  

• 學(xué)術(shù)影響力：生成的視頻應(yīng)能突出作者的學(xué)術(shù)身份，并增強(qiáng)觀眾對(duì)該工作的記憶。
  

基于上述視角，團(tuán)隊(duì)設(shè)計(jì)了四個(gè)互補(bǔ)的評(píng)價(jià)指標(biāo)：

• Meta Similarity——類人相似度（內(nèi)容級(jí)）: 比較生成的幻燈片、字幕和語(yǔ)音與人類版本的一致性，衡量生成結(jié)果在細(xì)節(jié)和風(fēng)格上的接近程度。
  

• PresentArena——類人一致性（觀感級(jí)）: 使用 VideoLLM 作為代理觀眾進(jìn)行成對(duì)對(duì)比，從清晰度、流暢性與吸引力等維度判斷生成視頻是否符合人類偏好。
  

• PresentQuiz——信息傳遞性:通過(guò)基于論文構(gòu)造選擇題，使用VideoLLM 作為代理觀眾進(jìn)行問(wèn)答，測(cè)試生成視頻能否覆蓋并有效傳遞論文中的關(guān)鍵信息。
  

• IP Memory——學(xué)術(shù)影響力: 模擬會(huì)議場(chǎng)景，使用VideoLLM 作為代理觀眾，評(píng)估觀眾是否能夠在觀看后將視頻與作者身份和研究工作正確關(guān)聯(lián)，反映學(xué)術(shù)可見(jiàn)性與記憶度。
  

四個(gè)指標(biāo)共同構(gòu)建了一個(gè)覆蓋類人偏好、信息傳遞與學(xué)術(shù)記憶的系統(tǒng)化評(píng)價(jià)框架，為學(xué)術(shù)展示視頻生成的客觀測(cè)評(píng)提供了可靠依據(jù)。

02.

PaperTalker多智體架構(gòu)

2.1PaperTalker關(guān)鍵構(gòu)建模塊

圖4: PaperTalker流程簡(jiǎn)介

為解決學(xué)術(shù)展示視頻制作繁瑣且難以自動(dòng)化的問(wèn)題，本文提出了PaperTalker —— 首個(gè)支持學(xué)術(shù)展示視頻生成的多智能體框架，用于處理這一具有長(zhǎng)時(shí)依賴的多模態(tài)智能體任務(wù)（Long-horizon Multi-modal Agentic Task）。該框架以研究論文、講者圖像與語(yǔ)音樣本為輸入，自動(dòng)生成包含幻燈片、字幕、語(yǔ)音、光標(biāo)軌跡和講者視頻(slide creation, subtitling, speech, cursor highlight, talking head) 的完整展示視頻。

PaperTalker 由四個(gè)關(guān)鍵構(gòu)建模塊組成：
1、Slide Builder：基于論文內(nèi)容生成 LaTeX Beamer 幻燈片，并引入Tree Search Visual Choice模塊克服大語(yǔ)言模型在細(xì)粒度數(shù)值調(diào)整上的局限，從而優(yōu)化版面布局，確?；脽羝季趾侠碓O(shè)計(jì)。
2、Subtitle Builder：利用視覺(jué)語(yǔ)言模型從幻燈片提取關(guān)鍵信息，生成逐句字幕及對(duì)應(yīng)的視覺(jué)焦點(diǎn)提示詞。
3、Cursor Builder：結(jié)合UI-Grounding和WhisperX模型，實(shí)現(xiàn)光標(biāo)在時(shí)間和空間上的精準(zhǔn)對(duì)齊，在演講過(guò)程中，引導(dǎo)觀眾關(guān)注關(guān)鍵信息。
4、Talker Builder：根據(jù)講者肖像與語(yǔ)音樣本，合成身份一致、唇形同步的個(gè)性化講者視頻，并支持逐頁(yè)并行生成以提升效率。
由此，PaperTalker 通過(guò)模塊化的多智能體協(xié)作，實(shí)現(xiàn)了可控、個(gè)性化、學(xué)術(shù)風(fēng)格化的展示視頻生成。

2.2高效魯棒的幻燈片生成

在學(xué)術(shù)展示視頻生成任務(wù)中，我們測(cè)試發(fā)現(xiàn)LaTeX/Beamer 在輸出效果與穩(wěn)定性上顯著優(yōu)于 pptx，能夠直接生成學(xué)術(shù)風(fēng)格的幻燈片。但在此過(guò)程中，即便是閉源 VLM 也難以魯棒地判斷視覺(jué)元素（如圖片文字大小、排版比例），導(dǎo)致基于多輪交互的參數(shù)調(diào)優(yōu)效率極低。

圖5: Tree Search Visual Choice模塊

為此，本文提出Tree Search Visual Choice：針對(duì)給定的視覺(jué)素材，預(yù)設(shè)一組比例參數(shù)，渲染得到多種候選布局，并將這些候選拼接成單張大圖，交由 VLM 進(jìn)行一次性的多選比較，從而將低效的多輪參數(shù)搜索轉(zhuǎn)化為高效的單輪視覺(jué)判別，實(shí)現(xiàn)圖像尺寸與布局的自動(dòng)優(yōu)化。

2.3空間-時(shí)間對(duì)齊的光標(biāo)生成

本文進(jìn)一步探討了如何模擬人類在講解過(guò)程中使用鼠標(biāo)的行為。光標(biāo)軌跡能夠引導(dǎo)觀眾聚焦于幻燈片的關(guān)鍵區(qū)域，但實(shí)現(xiàn)這一點(diǎn)需要將幻燈片和演講內(nèi)容與光標(biāo)停留點(diǎn)—時(shí)間戳—屏幕空間坐標(biāo) (x, y, t)建立起對(duì)應(yīng)關(guān)系。為此，團(tuán)隊(duì)引入Computer-Use和WhisperX模型分別進(jìn)行空間和時(shí)間的標(biāo)定，實(shí)現(xiàn)了時(shí)間與空間的雙重對(duì)齊。具體來(lái)說(shuō)，首先基于幻燈片內(nèi)容生成逐句字幕及視覺(jué)焦點(diǎn)提示，然后利用 UI-TARS 將提示 grounding 為屏幕坐標(biāo) (x, y)，再通過(guò) WhisperX 獲取詞級(jí)時(shí)間戳并對(duì)齊到對(duì)應(yīng)的字幕句子，從而得到精確的光標(biāo)軌跡 (x, y, t)。

2.4高效Talking-head生成

在學(xué)術(shù)展示視頻生成中，講者部分對(duì)于增強(qiáng)觀眾參與感和體現(xiàn)研究者的學(xué)術(shù)身份至關(guān)重要。然而，Talking-Head 渲染通常需要數(shù)小時(shí)才能生成幾分鐘的視頻，而且部分模型甚至無(wú)法原生支持長(zhǎng)時(shí)段視頻的生成，這嚴(yán)重限制了方法的可擴(kuò)展性與實(shí)用性。為此，本文提出一種高效的解決方案：首先，基于每頁(yè)幻燈片的字幕與講者的語(yǔ)音樣本，利用F5-TTS合成逐頁(yè)的個(gè)性化語(yǔ)音；隨后，結(jié)合Hallo2（高保真頭像驅(qū)動(dòng)）與FantasyTalking（支持上半身動(dòng)作）生成對(duì)應(yīng)的講者視頻。

受到人類逐頁(yè)錄制習(xí)慣的啟發(fā)，我們進(jìn)一步將講者生成過(guò)程 劃分為獨(dú)立的幻燈片片段，并行化執(zhí)行每頁(yè)的語(yǔ)音合成與視頻渲染。由于幻燈片間存在自然的硬切換，且無(wú)需保持跨頁(yè)的動(dòng)作連續(xù)性，這種設(shè)計(jì)既保證了身份一致性與唇形同步，又顯著提升了整體效率，實(shí)驗(yàn)證明這種方式實(shí)現(xiàn)了超過(guò)6 倍的加速。

03.

基于Paper2Video基準(zhǔn)的實(shí)驗(yàn)與評(píng)估

在實(shí)驗(yàn)中，本文對(duì)比了三類方法：(i)端到端方法（如 Wan2.2、Veo3），直接從文本或提示生成視頻；(ii)多智能體框架（如 PresentAgent、PPTAgent），將論文內(nèi)容轉(zhuǎn)化為幻燈片并結(jié)合文本轉(zhuǎn)語(yǔ)音生成展示視頻；(iii)本文提出的 PaperTalker，通過(guò)幻燈片生成與布局優(yōu)化、字幕與光標(biāo)對(duì)齊以及個(gè)性化講者合成來(lái)生成的學(xué)術(shù)展示視頻。

3.1學(xué)術(shù)演示視頻性能比較

圖6: 學(xué)術(shù)演示視頻性能比較

• Meta Similarity（相似度）：PaperTalker 在幻燈片、字幕和語(yǔ)音的相似度上均取得最高分，說(shuō)明其生成結(jié)果與人類作品最為接近。個(gè)性化Text-to-Speech模型與基于 Beamer 的幻燈片生成設(shè)計(jì)顯著提升了相似度表現(xiàn)。
  

• PresentArena（觀感質(zhì)量對(duì)比）：在與人類視頻的成對(duì)對(duì)比中，PaperTalker 獲得最高的勝率，說(shuō)明PaperTalker視頻觀感質(zhì)量最高。同時(shí)，相比去掉講者和光標(biāo)的變體，完整的 PaperTalker 視頻更受偏好，表明講者與光標(biāo)均有貢獻(xiàn)。

• PresentQuiz（知識(shí)傳遞）：PaperTalker 在問(wèn)答準(zhǔn)確率上超過(guò)了其他基線方法，能夠更好地覆蓋論文信息。缺少講者和光標(biāo)的版本會(huì)導(dǎo)致性能下降，表明這些模塊有助于增強(qiáng)信息傳遞。

• IP Memory（學(xué)術(shù)記憶度）：PaperTalker 在觀眾識(shí)別作者與作品的一致性上表現(xiàn)最佳。引入講者視頻（面孔與聲音）顯著提升了記憶效果。

• 人類主觀評(píng)價(jià)：人類評(píng)價(jià)結(jié)果顯示，人類錄制視頻得分最高，PaperTalker 次之，且顯著優(yōu)于其他方法，接近人類水平。

實(shí)驗(yàn)結(jié)果表明，本文提出PaperTalker 在 Meta Similarity、PresentArena、PresentQuiz 和 IP Memory 四個(gè)維度均取得最佳表現(xiàn)：其生成的幻燈片、字幕與語(yǔ)音更接近人類作品，整體觀感更受偏好，知識(shí)傳遞更完整，且在學(xué)術(shù)身份記憶方面更具優(yōu)勢(shì)；同時(shí)，人類主觀評(píng)價(jià)也顯示 PaperTalker 的視頻質(zhì)量接近人工錄制水平。

3.2模型效率比較

圖7: 模型效率比較

PaperTalker 在生成成本上最低。其效率主要來(lái)自三個(gè)方面：(i) 基于 Beamer 的幻燈片生成顯著減少了 token 消耗；(ii) 引入輕量化的 tree search visual choice 作為幻燈片的后處理；(iii) 采用并行的 talking-head 生成機(jī)制縮短了整體運(yùn)行時(shí)間。相比之下，PresentAgent由于在幻燈片編輯過(guò)程中頻繁依賴大模型查詢，導(dǎo)致成本更高。

3.3消融實(shí)驗(yàn)

3.3.1. 光標(biāo)提示對(duì)信息定位與理解的貢獻(xiàn)

圖8: 光標(biāo)提示消融實(shí)驗(yàn)

光標(biāo)提示通過(guò)提供顯式空間線索，幫助觀眾和 VLM 更好地定位幻燈片中的關(guān)鍵信息。為驗(yàn)證這一點(diǎn)，本文設(shè)計(jì)了定位問(wèn)答任務(wù)，比較有無(wú)光標(biāo)情況下的答題準(zhǔn)確率。結(jié)果顯示，帶光標(biāo)的視頻準(zhǔn)確率顯著更高，證明了光標(biāo)在增強(qiáng)學(xué)術(shù)展示視頻的視覺(jué)定位與內(nèi)容可達(dá)性方面的重要作用。

3.3.2. Tree Search Visual Choice 在幻燈片質(zhì)量提升中的作用

圖9: Tree Search Visual Choice消融實(shí)驗(yàn)

為評(píng)估 Tree Search Visual Choice 模塊的貢獻(xiàn)，本文進(jìn)行了消融實(shí)驗(yàn)（表 5），利用 VLM 從內(nèi)容、設(shè)計(jì)與連貫性三個(gè)維度對(duì)生成的幻燈片進(jìn)行 1–5 分評(píng)價(jià)。結(jié)果顯示，當(dāng)去除該模塊時(shí)，幻燈片的設(shè)計(jì)質(zhì)量明顯下降，說(shuō)明該方法在解決版面溢出問(wèn)題、提升整體設(shè)計(jì)質(zhì)量方面發(fā)揮了關(guān)鍵作用。圖9展示了該模塊的性能。

圖10: Tree Search Visual Choice可視化

本文提出 Paper2Video 基準(zhǔn)與 PaperTalker 框架，為學(xué)術(shù)展示視頻生成提供了系統(tǒng)化任務(wù)與評(píng)測(cè)體系。實(shí)驗(yàn)驗(yàn)證了其在信息傳遞、觀感質(zhì)量與學(xué)術(shù)記憶方面的優(yōu)勢(shì)，生成效果接近人工水平。我們期待這項(xiàng)工作能推動(dòng) AI4Research 的發(fā)展，促進(jìn)科研交流的自動(dòng)化與規(guī)?；?/p>

本研究由新加坡國(guó)立大學(xué) Show Lab 團(tuán)隊(duì)主導(dǎo)完成。共一作者 Zeyu Zhu 祝澤宇（博士生）與 Kevin Qinghong Lin 林慶泓（博士生）均來(lái)自 ShowLab@NUS，聚焦于多模態(tài)理解以及智能體（Agent）研究。項(xiàng)目負(fù)責(zé)人為新加坡國(guó)立大學(xué)校長(zhǎng)青年助理教授 Mike Zheng Shou 壽政。

編輯丨趙雅鑫

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看