本文精選自《廣播與電視技術(shù)》2025第12期，閱讀原文請訪問“廣電獵酷”小程序“期刊在線”。

融媒體發(fā)展推動綜藝節(jié)目制作向直播模式轉(zhuǎn)型，增強了真實性與沉浸感。作為行業(yè)標桿，芒果 TV 致力于創(chuàng)新直播互動體系，重點打造了兩種互動模式 ：“云導播”多屏同看，利用“1+3”屏幕布局，賦予用戶導播權(quán)，可自由切換機位上屏，實現(xiàn)多屏同播與無縫切換體驗；“云圍觀”沉浸式直播互動，將節(jié)目現(xiàn)場映射至直播間，實時采集觀眾畫面，運用 AI 分析情緒并預測走向，同步渲染氛圍，并實時連接線下投票和線上查票，顯著提升直播真實性。本文將重點探討這兩種創(chuàng)新互動模式在芒果 TV 的設計與實現(xiàn)。

本文作者：

胡奕涵，賀子悅，姚智健，盧海波

湖南快樂陽光互動娛樂傳媒有限公司

第一作者簡介：

胡奕涵（1991年—），女，芒果TV平臺技術(shù)中心總經(jīng)理，主要從事融合媒體、智能交互技術(shù)、交互式流媒體方面的研究，曾參與過芒果超級直播生態(tài)打造、4K超高清直播、大小屏智聯(lián)產(chǎn)品“邊看邊練”、首個電視彈幕等項目，胡奕涵工作室（超級直播核心技術(shù)研發(fā)工作室）獲評2024年湖南省直勞模和工匠人才創(chuàng)新工作室。

[本文獻信息]

胡奕涵，賀子悅，姚智健，盧海波. 芒果TV大型直播沉浸式互動系統(tǒng)的設計與實現(xiàn)[J]. 廣播與電視技術(shù), 2025,Vo1.52(12).

芒果TV大型直播

沉浸式互動系統(tǒng)的設計與實現(xiàn)

NO.1

“云導播”多屏同看系統(tǒng)

1.1 “云導播”多屏同看系統(tǒng)基礎(chǔ)架構(gòu)

直播間“云導播”多屏同看系統(tǒng)從播控處理、CDN分發(fā)、終端播出到用戶交互全鏈路進行了多項技術(shù)研發(fā)，滿足大型直播節(jié)目對低成本、高安全、敏捷性和創(chuàng)新互動的急切訴求，取得了在用戶畫質(zhì)、設備性能及帶寬消耗之間的最佳平衡。

1.2 多窗口直播播控技術(shù)搭建

如圖1所示，該播控系統(tǒng)基于分層設計的輕量化IP播控架構(gòu)，信號依次經(jīng)編碼、延時、信源應急、轉(zhuǎn)碼、分發(fā)應急及播出層處理，其中信源層與分發(fā)層的應急模塊協(xié)同實現(xiàn)直播信號的故障快速響應。

前4層均通過IP編碼器的能力進行挖掘?qū)崿F(xiàn)，減少字幕處理系統(tǒng)、延時設備、IP切換器、SDN切換系統(tǒng)等設備的投入，搭建輕量化的IP播控處理系統(tǒng)，顯著降低了多窗口直播新媒體播出系統(tǒng)的搭建成本和實施難度。

1.3 CDN分發(fā)層控制

CDN分發(fā)層通過多方協(xié)同調(diào)度，從時間同步、流傳輸控制、關(guān)鍵幀處理到CDN節(jié)點同步以及終端播放同步，全面保障了多機位直播流的同步效果，為用戶提供高質(zhì)量的直播觀看體驗。

1.4 客戶端播放核心實現(xiàn)方案

如圖2所示，“1+3”機位同播實現(xiàn)，采用了多播放器播放技術(shù)，最多同時渲染并播放4路直播流，用戶自主選擇不同機位上屏；同時自研終端無縫瞬切導播系統(tǒng)，實現(xiàn)切換機位不中斷不黑屏。針對設備各型屏幕，自研全場景跨屏動態(tài)適配矩陣技術(shù)，實現(xiàn)多窗口在包括折疊屏的各屏幕形態(tài)下的無縫切換和布局顯示。

面對多個播放器同播帶來的帶寬成本和設備性能壓力，技術(shù)實施過程中開發(fā)出多維均衡調(diào)優(yōu)模型。編碼格式采用H.265，使用較小碼率實現(xiàn)相同畫質(zhì) ；性能監(jiān)控上采用設備分級系統(tǒng)判別每個設備性能上限，綜合調(diào)控機位個數(shù)上限、特效展示幀率等，確保視頻穩(wěn)定播出。

NO.2

“云圍觀”沉浸式直播互動系統(tǒng)

2.1 “云圍觀”沉浸式直播互動系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)如圖3所示，本系統(tǒng)整體分為異地多云長連接信令服務、業(yè)務層、基礎(chǔ)服務及數(shù)據(jù)中間件。依托完善的運維體系和微服務軟件架構(gòu)設計，本系統(tǒng)不僅支持橫向業(yè)務水平擴展，同時通過模塊化封裝和監(jiān)控體系，支持縱向業(yè)務動態(tài)擴容。其中長連接信令服務作為通道，提供穩(wěn)定且實時的客戶端與服務端數(shù)據(jù)傳輸能力，業(yè)務層可根據(jù)需要進行任意擴展，如送禮、彈幕、AI情緒映射、投票等互動。

2.2 搭建穩(wěn)定高效的信令通道

為支撐百萬級用戶端能夠?qū)崟r渲染直播現(xiàn)場觀眾情緒、投票互動等業(yè)務場景，通過分析調(diào)研使用輕量級 MQTT長連接協(xié)議進行通信。該協(xié)議采用發(fā)布/訂閱模式，客戶端和服務端發(fā)布消息到特定主題，減少連接建立開銷，實現(xiàn)更快更穩(wěn)定的數(shù)據(jù)傳輸。如圖4所示，長連接信令服務設計為連接層、數(shù)據(jù)接收和處理層。

2.3 沉浸式互動物理空間到虛擬空間的建模

為打造“云圍觀”沉浸式直播互動體系，核心在于將節(jié)目現(xiàn)場舞臺和觀眾座席克隆至線上直播間，使線上觀眾能身臨其境感受節(jié)目內(nèi)容。在直播間內(nèi)將播放器當作節(jié)目舞臺位置，通過線下采集，圍繞舞臺完成直播間觀眾座席建模。技術(shù)上使用雙重坐標映射機制實現(xiàn)物理空間到虛擬空間的精確轉(zhuǎn)換，將座位狀態(tài)序列轉(zhuǎn)化為 bitmap 以減少傳輸網(wǎng)絡消耗，將建模后的數(shù)據(jù)持久化傳輸至客戶端完成映射。

2.4 沉浸式互動觀眾情緒采集分析和渲染

如圖5所示，完成座席建模后，節(jié)目現(xiàn)場分區(qū)域布置多路攝像采集觀眾席面部表情、肢體動作。情緒采集程序通過直播流拉取，按秒截幀采集觀眾圖像進行圖像增強、去噪等預處理。

情緒分析模型的建設通過收集歷史媒資數(shù)據(jù)，邀請專業(yè)人士對這些數(shù)據(jù)進行情緒標注，如悲傷、開心、鼓掌、起立、流淚等，構(gòu)建情緒標注數(shù)據(jù)集，利用卷積神經(jīng)網(wǎng)絡等深度學習算法，對標注好的數(shù)據(jù)集進行訓練，使模型能夠自動提取關(guān)鍵特征用于情緒識別。

最后利用 AI 情緒模型運算分析，以及前后幀矢量元素預測，實時將觀眾動作、表情元數(shù)據(jù)結(jié)構(gòu)化，再對采集分析得到的情緒數(shù)據(jù)與座席映射后持久化存儲。情緒推送業(yè)務使用長連接信令服務將情緒數(shù)據(jù)推送到端，端側(cè)接收后利用視覺特效、三維震動等沉浸式交互手段，讓線上觀眾能夠直觀地感受到現(xiàn)場情緒氛圍。

2.5 沉浸式互動應用拓展案例

為將節(jié)目現(xiàn)場每個觀眾投票信息按時間完整依次渲染客戶端，通過間隔一定秒數(shù)收集投票結(jié)果的方式對信息進行推送。因為要將成百上千個觀眾座位、投票結(jié)果同時面向直播間百萬級用戶，會需要瞬時巨大的服務器網(wǎng)絡帶寬，為避免造成服務器帶寬壓力，本系統(tǒng)對收集到的結(jié)果快速聚合生成文件，并上傳至文件存儲服務器，同時手動進行 CDN 預熱回源，再將文件下載地址推送至客戶端，客戶端收到消息后錯峰請求，以達到減少服務器帶寬壓力并降低成本的目的。

NO.3

行業(yè)應用與創(chuàng)新實踐

芒果 TV 通過“云導播”多屏同看與“云圍觀”沉浸式直播互動系統(tǒng)，已在多個頭部綜藝節(jié)目直播與大型晚會直播中實現(xiàn)規(guī)模化應用，形成技術(shù)賦能內(nèi)容、內(nèi)容反哺技術(shù)的良性循環(huán)。

3.1 “云導播”多屏同看實踐

芒果 TV 通過“云導播”多屏同看技術(shù)，讓用戶化身導播，重構(gòu)觀看直播的交互范式。該功能采用“1主機位+3 自選機位”的積木式組合模式，如圖6所示，支持用戶自主切換藝人表演、后臺 reaction、直拍特寫等視角，實現(xiàn)多屏同步播放與無感切換。截至2025年6月，該技術(shù)已成功應用于《歌手2025》《乘風2024》等頭部節(jié)目及跨年晚會共超 100 場次，覆蓋用戶量級遠超千萬，單場人均切換機位次數(shù)達 18 次，帶動觀看時長提升 60%。這種“用戶主導播”的模式不僅提升了內(nèi)容消費深度，更推動行業(yè)形成了“直播 + 實時互動”的新標準。

3.2“云圍觀”沉浸式直播互動實踐

如圖7所示，在《歌手 2025》部署 AI 情緒采集系統(tǒng)實時捕捉現(xiàn)場 500 名觀眾聽審團的表情與肢體動作，利用豐富的訓練數(shù)據(jù)以及畫質(zhì)增強、去噪等處理達到極高的識別準確率，最終通過長連接信令服務推送至線上直播間，觸發(fā)視覺特效、三位震動達到同頻共振。

NO.4

技術(shù)創(chuàng)新點

4.1“云導播”多屏同看系統(tǒng)技術(shù)創(chuàng)新點

1. 終端無縫瞬切導播系統(tǒng)。為確保主副窗口切換過程中播放不中斷、不黑屏，芒果 TV 技術(shù)團隊自研了終端無縫瞬切導播系統(tǒng)，對主副機位的切換過程智能調(diào)度、無感切換，做到了切換過程播放零延遲、不黑屏、用戶無感知，且實現(xiàn)了多設備兼容，保證了觀看的流暢體驗。

2. 基于芒果 TV 多年積累的直播運營經(jīng)驗和數(shù)據(jù)，研發(fā)“云導播多維均衡調(diào)優(yōu)模型”。該技術(shù)通過將歷史經(jīng)驗、用戶反饋、成本與收益等與實時數(shù)據(jù)相結(jié)合，動態(tài)優(yōu)化系統(tǒng)性能和配置，確保在不同場景下實現(xiàn)資源的最優(yōu)配置與效率最大化。這一創(chuàng)新方法不僅提升了畫質(zhì)以及用戶的觀看體驗，還顯著降低了播放帶寬等成本，為行業(yè)提供了全新的智能化調(diào)優(yōu)解決方案。

4.2 “云圍觀”沉浸式直播互動系統(tǒng)技術(shù)創(chuàng)新點

1. 空間建模與高效傳輸技術(shù)，采用雙重坐標映射機制實現(xiàn)物理空間至虛擬空間的動態(tài)精準建模，同時傳輸利用bitmap 以及快速聚合壓縮封裝文件方式，減少了 90% 網(wǎng)絡帶寬，在不影響體驗和減少功能的前提下，極大提高了數(shù)據(jù)傳輸穩(wěn)定性，降低了網(wǎng)絡成本。

2. AI 情緒采集及模型分析，可根據(jù)現(xiàn)場光線、環(huán)境等因素變化，實時調(diào)整攝像頭參數(shù)和圖像處理算法，以確保數(shù)據(jù)收集的質(zhì)量和情緒識別效果，同時也可根據(jù)不同節(jié)目的特點和需求，對情緒識別的模型和參數(shù)進行自適應調(diào)整，以實現(xiàn)最佳應用效果，同時也可根據(jù)前后幀矢量元素預測，提高情緒識別速度，提高采集和識別效率。

NO.5

結(jié)束語

智媒時代，節(jié)目的發(fā)展面臨著全新的挑戰(zhàn)和機遇，技術(shù)的飛速發(fā)展極大地改變了觀眾獲取內(nèi)容的方式和消費習慣。因此，節(jié)目制作不僅需要制作團隊在內(nèi)容方面不斷變革，更需要技術(shù)開發(fā)團隊主動擁抱變革，才能贏得觀眾認可和青睞。從將不同視角的“導播”權(quán)利交給觀眾，打造“1+3”屏幕布局，實現(xiàn)無縫隨心切換機位上屏，開辟全新的觀影體驗，再到“云圍觀”將節(jié)目現(xiàn)場搬運至線上，實時反饋現(xiàn)場觀眾情緒，利用視覺特效、三維震動等沉浸式交互手段構(gòu)成情緒共振，以及“云圍觀”下的監(jiān)票呈現(xiàn)現(xiàn)場觀眾投票等交互手段，全方位打造出一套節(jié)目直播互動體系，為節(jié)目創(chuàng)新創(chuàng)優(yōu)提供技術(shù)支撐，推動廣電媒體融合向縱深發(fā)展。

end

參考文獻

[1] 楊陽.音樂綜藝節(jié)目《歌手2024》制播模式的創(chuàng)新策略探析[J].視聽, 2025(8): 69-72.

[2] 張守偉,儀萍.融媒體時代音樂類綜藝節(jié)目創(chuàng)新發(fā)展路徑研究——以《歌手2024》為例[J]. 新傳奇,2024(39): 56-58.

[3] 唐煒，楊劍，陳罡，王悉玄，王蛟，黃金名.基于微服務架構(gòu)的廣播融媒微信小程序矩陣設計與實踐[J].廣播與電視技術(shù), 2025, 52(3):21-26.

《廣播與電視技術(shù)》、“廣電獵酷”廣告經(jīng)營與商務合作：

聯(lián)系人：胡南

聯(lián)系電話：13671012778

好文共賞請轉(zhuǎn)發(fā) 有話要說請留言