胡文博已經(jīng)在圖形學和視覺國際期刊和會議發(fā)表20余篇論文。

作者丨代聰飛

編輯丨馬曉寧

2025年 12 月 12-13 日，由 GAIR 研究院與雷峰網(wǎng)聯(lián)合主辦的「第八屆 GAIR 全球人工智能與機器人大會」，將在深圳南山·博林天瑞喜來登酒店舉辦。

今年大會，將開設三個主題論壇，聚焦大模型、算力變革、世界模型等多個議題，描繪 AI 最前沿的探索群像，折射學界與產(chǎn)業(yè)界共建的智能未來。

騰訊 ARC 實驗室高級研究員胡文博也將蒞臨 12 月 13 日《世界模型》論壇，帶來《Towards 3D-aware Video World Models 》（《邁向三維感知的視頻世界模型》）的主題分享。

過去一年多，Sora為代表的視頻生成模型，成為繼大語言模型（LLM）后新的學術(shù)熱點。本質(zhì)上講，當下火爆的視頻生成模型，是一種世界模型，其核心目的是生成一段逼真、連貫的視頻。

要達到這樣的目的，模型必須在一定程度上理解這個世界的運作方式（比如水往低處流、物體碰撞后的運動、人的合理動作等）。

胡文博正是世界模型研究領域近兩年的絕對新銳。

2022年，胡文博獲得香港中文大學計算機科學與工程博士學位。至今，胡文博已經(jīng)在圖形學和視覺國際期刊和會議發(fā)表20余篇論文。

01

深耕視頻生成模型，Tri-MipR一鳴驚人

1996年出生的胡文博已經(jīng)在世界模型領域深耕數(shù)年。

2018年，胡文博從大連理工大學畢業(yè)，還獲得了遼寧省優(yōu)秀畢業(yè)生的殊榮。對計算機充滿熱忱的胡文博并沒有選擇直接工作，而是奔赴香港中文大學攻讀計算機博士學位。

求學期間，胡文博曾先后在大疆、阿里巴巴達摩院、騰訊AI Lab等知名企業(yè)實習。

2022年后，從香港中文大學博士畢業(yè)的胡文博，選擇加入字節(jié)跳動PICO混合現(xiàn)實團隊，擔任研究員。也是這一階段，胡文博發(fā)表了《Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields》（以下簡稱《Tri-MipRF》）。這篇論文受到極大關(guān)注，入圍ICCV'2023最佳論文決賽，并榮獲CVPR'2025 PixFoundation研討會最佳論文獎.

《Tri-MipRF》提出一種新穎的Tri-Mip編碼（類似于“mipmap”），即Tri-MipRF，實現(xiàn)神經(jīng)輻射場的即時重建和抗鋸齒高保真渲染。

《Tri-MipRF》指出，盡管神經(jīng)輻射場 (NeRF) 取得了巨大的進步，但我們?nèi)匀幻媾R著質(zhì)量和效率之間的權(quán)衡困境。MipNeRF 可以呈現(xiàn)精細的細節(jié)和抗鋸齒的渲染效果，但訓練需要數(shù)天時間； Instant-ngp 可以在幾分鐘內(nèi)完成重建，卻忽略了采樣區(qū)域，在渲染時會出現(xiàn)模糊或鋸齒。

Tri-MipRF的關(guān)鍵在于將預濾波后的3D特征空間分解為三個正交的mipmap。這樣就可以利用預濾波后的2D特征圖高效地進行3D區(qū)域采樣，從而在不犧牲效率的前提下顯著提升渲染質(zhì)量。《Tri-MipRF》通過大量實驗表明，其實現(xiàn)了最先進的渲染質(zhì)量和重建速度。與Instant-ngp相比，Tri-MipRF模型大小減少了25%。

2023年11月，胡文博加入騰訊擔任高級研究員，繼續(xù)在生成式世界模型深耕細作，不斷探索 3D 視頻世界模型的新邊界。

02

視頻世界模型邁向三維空間

流媒體視頻生成作為交互式世界模型和神經(jīng)游戲引擎的一個基本組成部分，旨在生成高質(zhì)量、低延遲且時間上連貫的長視頻流。

胡文博今年9月發(fā)表的論文《Rolling Forcing: Autoregressive Long Video Diffusion in Real Time》，分享了他們在這一領域的最新研究成果。

他們設計了 “滾動強制”（Rolling Forcing）這一新型視頻生成技術(shù)，從而實現(xiàn)以最小的誤差累積來流式生成長視頻的目的。

“滾動強制” 有三項新穎的設計。

首先 ，“滾動強制”設計了一種聯(lián)合去噪方案，可以同時對多個噪聲水平逐漸增加的幀進行去噪；其次，“滾動強制”將注意力匯聚機制引入到長時流式視頻生成任務中，使得模型能夠?qū)⒊跏紟逆I值狀態(tài)作為全局上下文錨點，增強長期全局一致性；最后，“滾動強制”設計了一種高效的訓練算法，能夠在大幅擴展的去噪窗口上進行少步蒸餾。

大量實驗表明，“滾動強制” 能夠在單塊 GPU 上實時流式生成長達數(shù)分鐘的視頻，同時顯著減少誤差累積。

胡文博也曾經(jīng)分享他對視頻生成模型的場景演變的理解。

胡文博認為，當下的視頻生成模型展現(xiàn)出了強大的內(nèi)容生成能力，有潛力作為世界模擬器。但是由于其本質(zhì)是在2D空間上的建模，所以不能保證3D合理性與一致性。

為此，胡文博提出，精確相機可控是視頻生成模型進化為世界模擬器的重要一環(huán)，并在這個方向做了深入研究，提出ViewCrafter和TrajectoryCrafter的解決方案。

ViewCrafter能夠從單張圖片或者稀疏的多視角圖片進行高質(zhì)量的新視角合成，從而實現(xiàn)靜態(tài)場景的生成。

TrajectoryCrafter延續(xù)這一思想，并將其拓展到了4D場景生成，允許用戶使用想要的相機軌跡來重新“拍攝”輸入視頻，從而實現(xiàn)探索視頻背后的4D世界。

作為世界模型領域的先鋒力量，胡文博的研究正引領 AI 從 2D 視頻生成邁向三維空間理解的新時代。

12 月 13 日下午 9:30 - 10:00 的世界模型分論壇上，胡文博將帶來《Towards 3D-aware Video World Models 》（《邁向三維感知的視頻世界模型》）的主題演講，分享他在視頻世界模型領域的最新研究成果。

在這個乍暖還寒的季節(jié)，讓我們共同期待胡文博的最新演講，憧憬邁向三維感知的模型世界。

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。