本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第2期

專家點評

當前，虛擬攝制是影視制作領(lǐng)域的熱點研究方向之一，其后期前置化、所見即所得、虛實融合的制作模式顯著提升了影視制作的靈活性與效率。此外，虛擬攝制的應(yīng)用亦展現(xiàn)出跨領(lǐng)域的拓展趨勢，在短視頻制作、網(wǎng)絡(luò)直播、游戲制作、廣告拍攝、動漫、沉浸式文旅體驗等領(lǐng)域也獲得了大量推廣應(yīng)用，展現(xiàn)出巨大發(fā)展?jié)摿ΑＬ摂M攝制的技術(shù)組成可大致分為虛擬場景渲染、攝影機定位追蹤、燈光控制、人機交互、LED顯示等，而攝影機定位追蹤技術(shù)一直是電影虛擬攝制的關(guān)鍵，其技術(shù)水平的高低，在很大程度上決定了虛擬攝制整體質(zhì)量的優(yōu)劣。從十余年前基于綠幕的虛擬攝影開始，到今天的基于LED背景墻的虛擬攝制，電影人不斷探索實踐新方法和新工藝，改進和優(yōu)化這一技術(shù)，利用最新科技成果，實現(xiàn)更為精準和穩(wěn)定的攝影機內(nèi)外參數(shù)追蹤。《虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)應(yīng)用研究》一文針對虛擬攝制中攝影機定位追蹤相關(guān)設(shè)備穩(wěn)定性差、易被干擾等問題，提出了一項創(chuàng)新的聚合技術(shù)方案，為虛擬攝制現(xiàn)場創(chuàng)制的靈活性與穩(wěn)定性提供了可靠保障。文章詳細論述了攝影機內(nèi)外參聚合的實現(xiàn)流程，并進行了相關(guān)實驗與測試，實驗結(jié)果也直觀地展示了該方案在數(shù)據(jù)穩(wěn)定性方面的顯著提升，展現(xiàn)了其未來的實用價值與創(chuàng)新性。

——陳軍

研究員

北京電影學(xué)院影視技術(shù)系主任工程師

作 者 簡 介

解 沛

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所)工程師，主要研究方向：數(shù)字電影技術(shù)。

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所)高級工程師，主要研究方向：數(shù)字電影技術(shù)。

周令非

王木旺

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所)傳輸放映技術(shù)研究處副處長，主要研究方向：數(shù)字電影技術(shù)。

摘要

近年來，影視制作技術(shù)出現(xiàn)巨大的變革與更新，虛擬攝制技術(shù)被廣泛應(yīng)用于電影制作?；谀壳坝耙曁摂M攝制中存在無法有效整合鏡頭與位姿元數(shù)據(jù)，相關(guān)設(shè)備穩(wěn)定性差、易被干擾等問題，本文通過對現(xiàn)有攝影機追蹤與跟焦設(shè)備進行分析，針對不同場景，提出一種虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案，搭建相關(guān)系統(tǒng)并進行了實驗與測試。結(jié)果表明，本文提出的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)能夠有效聚合輸出穩(wěn)定且平滑的鏡頭和位姿元數(shù)據(jù)，為虛擬攝制現(xiàn)場創(chuàng)制的靈活性與穩(wěn)定性提供可靠保障。

關(guān)鍵詞

虛擬攝制；鏡頭跟焦；攝影機追蹤；數(shù)據(jù)聚合；攝影機位姿元數(shù)據(jù)

1 引言

虛擬攝制技術(shù)是真實世界和數(shù)字世界的交融區(qū)域，是一種利用計算機圖形學(xué)（CG）和虛擬現(xiàn)實（VR）技術(shù)模擬電影場景的技術(shù)[1-3]。隨著影視工業(yè)和科技的進步，虛擬攝制技術(shù)也經(jīng)歷了不同的發(fā)展階段。隨著電影《阿凡達》（Avatar，2009）和《獅子王》（The Lion King，2019）等作品對虛擬攝制技術(shù)的應(yīng)用，虛擬攝制作為產(chǎn)業(yè)逐漸興起，基于藍幕/綠幕的合成方式作為傳統(tǒng)虛擬攝制技術(shù)的主要技術(shù)手段被廣泛應(yīng)用于諸多電影的生產(chǎn)制作中[4,5]。然而，傳統(tǒng)虛擬攝制技術(shù)會帶來藍幕/綠幕溢色等問題[6]，為解決此類問題，基于LED背景墻的虛擬攝制技術(shù)應(yīng)運而生，其將后期制作部分工作移至拍攝前，旨在將電影最終呈現(xiàn)效果交給現(xiàn)場導(dǎo)演和主要創(chuàng)作者把控[7]。

無論是藍幕/綠幕為代表的傳統(tǒng)虛擬攝制，還是基于LED背景墻的虛擬攝制，都需要記錄或?qū)崟r接收攝影機鏡頭和位姿元數(shù)據(jù)。對于藍幕/綠幕而言，記錄鏡頭和位姿元數(shù)據(jù)，能夠保證后期制作人員準確地將數(shù)字虛擬場景與實際拍攝場景相結(jié)合。在LED背景墻虛擬攝制過程中，渲染引擎通過實時接收鏡頭和位姿元數(shù)據(jù)，在LED背景上實時渲染內(nèi)視錐[8]，用于攝影機直接拍攝的背景畫面[9]。目前已有的虛擬攝制技術(shù)和相關(guān)設(shè)備存在諸多問題，例如攝影機追蹤設(shè)備的位姿元數(shù)據(jù)與跟焦設(shè)備的鏡頭元數(shù)據(jù)獨立傳輸進虛擬攝制系統(tǒng)中，無法有效整合至同一虛擬攝影機對象，導(dǎo)致內(nèi)視錐無法正確渲染，無法滿足多變的拍攝需求。此外，在拍攝現(xiàn)場，單一追蹤設(shè)備無法完成不同場景下的追蹤任務(wù)，為提升精度并提高系統(tǒng)魯棒性，會利用多套追蹤設(shè)備追蹤同一攝影機，但需手動切換數(shù)據(jù)源，既影響了現(xiàn)場拍攝進度，也限制了導(dǎo)演與攝影指導(dǎo)的創(chuàng)作效率。本文將針對目前虛擬攝制現(xiàn)場鏡頭和位姿元數(shù)據(jù)無法有效聚合、數(shù)據(jù)獲取與傳輸穩(wěn)定性差等現(xiàn)狀，提出能夠有效應(yīng)用于拍攝現(xiàn)場的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)，并進行了相關(guān)實驗與測試，為降低虛擬攝制設(shè)備成本、提升虛擬攝制效率、增大拍攝現(xiàn)場創(chuàng)作靈活性提供可靠保證。

2 相關(guān)研究背景及面臨的問題

2.1 鏡頭與位姿元數(shù)據(jù)

2.1.1 攝影機位姿元數(shù)據(jù)

虛擬攝制中攝影機位姿元數(shù)據(jù)是指在虛擬攝影棚中真實攝影機在空間中的位置與姿態(tài)信息[10]。具體而言，空間位置信息包括三個軸向的平移數(shù)據(jù)X、Y及Z，空間姿態(tài)信息包括圍繞三個軸向的旋轉(zhuǎn)數(shù)據(jù)：橫搖（Yaw）、俯仰（Pitch）及翻滾（Roll）。攝影機位姿元數(shù)據(jù)信息需通過攝影棚內(nèi)攝影機追蹤設(shè)備[11]獲取，通常會將追蹤設(shè)備分為兩大類，即光學(xué)追蹤設(shè)備和非光學(xué)追蹤設(shè)備。

在目前虛擬攝制中，主創(chuàng)人員通常會選擇光學(xué)追蹤設(shè)備完成攝影機的追蹤。光學(xué)追蹤設(shè)備主要利用光線和圖像傳感器來實現(xiàn)對攝影機位姿的追蹤，通常由標記點、攝像頭、圖像處理單元以及位姿計算方法四部分組成。

非光學(xué)追蹤設(shè)備不依賴于光線和圖像傳感器，而是通過其他物理量的變化來實現(xiàn)對攝影機位姿的獲取。常見的非光學(xué)追蹤設(shè)備主要包括磁性追蹤設(shè)備[12]、慣性追蹤設(shè)備和無線電追蹤設(shè)備三種類型。

2.1.2 攝影機鏡頭元數(shù)據(jù)

虛擬攝制中攝影機鏡頭元數(shù)據(jù)是真實攝影機鏡頭的重要信息，主要包括攝影機的焦點（Focus）、焦距（Zoom）及光圈（Iris）。攝影機鏡頭元數(shù)據(jù)信息的獲取需通過攝影機跟焦設(shè)備。跟焦設(shè)備通常有兩種工作模式：一是鏡頭卡口的觸點與攝影機直接進行數(shù)據(jù)傳輸，二是通過跟焦齒輪數(shù)據(jù)進行反算獲得鏡頭元數(shù)據(jù)。

利用觸點進行數(shù)據(jù)傳輸是一種通過物理接觸來傳遞數(shù)據(jù)的方式，觸點通常位于鏡頭的卡口位置，通過與攝影機身上的對應(yīng)觸點相接觸，實現(xiàn)數(shù)據(jù)的傳輸和交換。觸點傳輸?shù)膬?yōu)點在于傳輸信息豐富、數(shù)據(jù)傳輸速度快、穩(wěn)定性高，同時對環(huán)境適應(yīng)性強。

利用跟焦齒輪數(shù)據(jù)反算是一種通過機械傳動來傳遞數(shù)據(jù)的方式，通過與攝影機或其他設(shè)備上的齒輪相嚙合，實現(xiàn)數(shù)據(jù)傳遞和交換。跟焦齒輪的優(yōu)點在于可適用于多種環(huán)境；結(jié)構(gòu)簡單，維護成本較低；對于特定類型的攝影機或鏡頭具有較好的兼容性。

2.2 攝影機鏡頭和位姿元數(shù)據(jù)傳輸協(xié)議

在傳統(tǒng)虛擬攝制中，鏡頭和位姿元數(shù)據(jù)通常只需如實記錄即可，但對于LED虛擬攝制，需在拍攝過程中將鏡頭與位姿元數(shù)據(jù)實時傳輸至渲染引擎中，從而在LED背景墻上正確渲染出內(nèi)視錐畫面[13]。大部分攝影機追蹤設(shè)備和跟焦設(shè)備均會設(shè)置數(shù)據(jù)傳輸私有協(xié)議，同時也會支持1~2種公開數(shù)據(jù)協(xié)議，常見的公開協(xié)議有FreeD協(xié)議和VRPN協(xié)議。

FreeD協(xié)議最初由BBC R&D[14]開發(fā)，允許支持FreeD協(xié)議的攝影機和跟蹤設(shè)備與虛擬場景渲染系統(tǒng)無縫進行數(shù)據(jù)交換和通信。目前已廣泛應(yīng)用于虛擬演播室系統(tǒng)、游戲開發(fā)、虛擬現(xiàn)實等領(lǐng)域。FreeD協(xié)議主要具備三個特點：（1）實時數(shù)據(jù)傳輸。FreeD協(xié)議支持實時數(shù)據(jù)傳輸，可實現(xiàn)攝影機鏡頭與位姿元數(shù)據(jù)實時傳輸至渲染引擎的需求。（2）高精度數(shù)據(jù)采集。FreeD協(xié)議支持傳輸高精度數(shù)據(jù)，可實現(xiàn)對攝影機的精確跟蹤和定位。（3）易于集成和擴展。FreeD協(xié)議設(shè)計靈活，易于與其他系統(tǒng)和設(shè)備進行集成和擴展。

VRPN[15]協(xié)議是專為虛擬現(xiàn)實應(yīng)用設(shè)計的協(xié)議。其允許虛擬現(xiàn)實系統(tǒng)中的各種外圍設(shè)備（如跟蹤器、傳感器、顯示設(shè)備等）通過網(wǎng)絡(luò)實現(xiàn)相互通信與協(xié)作。VRPN協(xié)議的主要目的是解決虛擬現(xiàn)實系統(tǒng)中多臺設(shè)備間的同步問題，確保每個設(shè)備的動作和狀態(tài)能夠?qū)崟r反映至整個系統(tǒng)。

2.3 面臨的問題

2.3.1 設(shè)備穩(wěn)定性與傳輸協(xié)議一致性

在虛擬攝制現(xiàn)場，由于成本、影棚大小甚至是主創(chuàng)團隊的使用習(xí)慣不同，會使用不同的追蹤設(shè)備與跟焦設(shè)備。相比于跟焦設(shè)備，追蹤設(shè)備的穩(wěn)定性較差，不同類型的跟焦設(shè)備在復(fù)雜多變的攝制現(xiàn)場均會出現(xiàn)無法準確追蹤攝影機的情況。

光學(xué)追蹤設(shè)備的優(yōu)點在于能夠提供較高的精度和實時性，尤其適用于室內(nèi)或受控環(huán)境中的追蹤應(yīng)用。然而，這種方法對環(huán)境光照條件較為敏感。在虛擬攝制現(xiàn)場，無論是營造氛圍的煙霧，或是演員衣服上的反光材料，還是走位過程中造成的遮擋，都會造成光學(xué)追蹤設(shè)備的位姿元數(shù)據(jù)精確性降低、無法穩(wěn)定傳輸甚至出現(xiàn)數(shù)據(jù)丟失的情況。

而非光學(xué)追蹤設(shè)備的優(yōu)點在于對環(huán)境條件的依賴性較低，可在較惡劣的環(huán)境中工作。然而，受工作原理的限制，這類設(shè)備的精度和實時性通常不如光學(xué)追蹤設(shè)備，且可能存在一定局限性，如適用范圍、成本等。在攝制現(xiàn)場，劇組人員需根據(jù)具體的拍攝需求和資源條件選擇合適的方法和設(shè)備。

除了追蹤設(shè)備的穩(wěn)定性易受影響外，不同設(shè)備所使用的數(shù)據(jù)傳輸協(xié)議也各有不同，相較于使用FreeD和VRPN等通用傳輸協(xié)議的設(shè)備，使用私有傳輸協(xié)議的設(shè)備在學(xué)習(xí)成本及技術(shù)人員熟練程度上具有更高要求。

2.3.2 多設(shè)備的使用

2.3.2.1 鏡頭與位姿元數(shù)據(jù)同時綁定

現(xiàn)有追蹤設(shè)備大都不具備跟焦功能，即使提供跟焦功能，也是通過跟焦齒輪數(shù)據(jù)反算的方式實現(xiàn)。為更好地渲染內(nèi)視錐畫面，需同時提供鏡頭與位姿元數(shù)據(jù)。以常用的虛幻引擎（UE）和瀾景hecoos為例，如需綁定追蹤設(shè)備與跟焦設(shè)備，都存在問題。對于UE而言，可通過兩個Live Link控制器分別接收鏡頭和位姿元數(shù)據(jù)，并將兩個控制器的數(shù)據(jù)同時流送給同一虛擬攝影機對象[16]。但使用該種方式進行綁定時，設(shè)置流程繁瑣，還會因漏操作或誤操作導(dǎo)致無法正常綁定。此外，由于UE的不穩(wěn)定性，該方式在實際虛擬攝制時，常會出現(xiàn)無響應(yīng)的情況，極大拖慢了現(xiàn)場創(chuàng)作進度。對于hecoos而言，一臺虛擬攝影機只能接收一個設(shè)備的數(shù)據(jù)，也就無法支持同時綁定鏡頭和位姿元數(shù)據(jù)。

2.3.2.2 多個追蹤設(shè)備同時綁定

在虛擬攝制現(xiàn)場，為保證攝影機追蹤的實時性和穩(wěn)定性，會使用兩臺及以上的不同追蹤設(shè)備進行追蹤。對于UE而言，可同時綁定多臺追蹤設(shè)備，但無法實時切換追蹤設(shè)備；而hecoos無法綁定多臺追蹤設(shè)備。此外，如果不同設(shè)備所使用的傳輸協(xié)議有所不同，在數(shù)據(jù)接收與解析上也需技術(shù)人員耗費更多時間與精力。

綜上所述，目前的技術(shù)無法有效解決虛擬攝制現(xiàn)場設(shè)備穩(wěn)定性差的問題，也無法應(yīng)對多設(shè)備同時使用后操作繁瑣的問題。針對這類情況，筆者提出虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)。

3 鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案

3.1 設(shè)計思路與整體流程

針對上述背景與存在的問題，本文提出一種鏡頭和位姿元數(shù)據(jù)聚合的技術(shù)方案（圖1）。相較于追蹤設(shè)備，跟焦設(shè)備穩(wěn)定性較好，因此輸入采用多臺追蹤設(shè)備與一臺跟焦設(shè)備。整體流程簡述如下：首先需對支持不同數(shù)據(jù)傳輸協(xié)議的設(shè)備進行數(shù)據(jù)獲取與解析；之后根據(jù)穩(wěn)定性篩選數(shù)據(jù)，根據(jù)耦合性選擇聚合策略與算法；聚合完成后會獲得一組完整的元數(shù)據(jù)，包括鏡頭與位姿元數(shù)據(jù)；最后利用傳輸協(xié)議進行編碼后傳輸至渲染引擎中，或記錄在本地供后期制作使用。

圖1　技術(shù)方案流程圖

3.2 具體技術(shù)方案

虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合算法具體操作方法如下。

步驟1：鏡頭和位姿元數(shù)據(jù)的獲取。對安裝在搭建好的虛擬攝影棚中或安裝在棚內(nèi)實體攝影機上的追蹤設(shè)備與跟焦設(shè)備進行數(shù)據(jù)實時接收，獲取攝影機追蹤設(shè)備采集到的位姿元數(shù)據(jù)包和跟焦設(shè)備采集到的鏡頭元數(shù)據(jù)包。其中攝影機追蹤設(shè)備數(shù)量為兩套及以上。

步驟2：鏡頭和位姿元數(shù)據(jù)的解析。通過攝影機鏡頭和位姿元數(shù)據(jù)傳輸協(xié)議，根據(jù)步驟1中獲取的相應(yīng)數(shù)據(jù)實時解算多路攝影機的幀率、設(shè)備ID號、位姿元數(shù)據(jù)及鏡頭元數(shù)據(jù)，位姿元數(shù)據(jù)包括三軸平移數(shù)據(jù)、三軸旋轉(zhuǎn)數(shù)據(jù)，鏡頭元數(shù)據(jù)包括焦點、焦距及光圈數(shù)據(jù)。

步驟3：位姿元數(shù)據(jù)的篩選。判斷多路位姿元數(shù)據(jù)的穩(wěn)定性，剔除無法穩(wěn)定傳輸?shù)奈蛔嗽獢?shù)據(jù)，保留穩(wěn)定傳輸?shù)淖粉櫾O(shè)備提供的位姿元數(shù)據(jù)。在判斷多路位姿元數(shù)據(jù)的穩(wěn)定性時，通過設(shè)置超時閾值σ，對每一路追蹤設(shè)備進行數(shù)據(jù)接收時間δ的統(tǒng)計，如果δ>σ，則判斷該路數(shù)據(jù)不穩(wěn)定，進行剔除。δ采用式（1）進行計算：

式（1）中，?i2表示接收到第i路數(shù)據(jù)當前幀的時間，?i1表示接收到第i路數(shù)據(jù)前一幀的時間。

步驟4：選擇聚合策略。判斷篩選出的多路位姿元數(shù)據(jù)數(shù)量，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量大于1路，則進行步驟5，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量等于1路，則進行步驟8，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量小于1路，則進行步驟9。

步驟5：計算耦合性。判斷篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備間的耦合性，提前設(shè)定閾值Δ（0 <δ<1），計算多路設(shè)備兩兩之間的耦合值 ξ i, j，并與閾值Δ進行比較，選取耦合值 ξi, j最小且小于閾值Δ的兩路設(shè)備數(shù)據(jù)（緊耦合）執(zhí)行步驟6，如果所有耦合值均大于閾值Δ（松耦合），則執(zhí)行步驟7， ξi, j采用式（2）—式（8）進行計算：

步驟6：對步驟5選取的耦合值ξi, j最小且小于閾值Δ的兩路設(shè)備所傳輸?shù)奈蛔嗽獢?shù)據(jù)中的三軸平移數(shù)據(jù)及三軸旋轉(zhuǎn)數(shù)據(jù)分別取平均值，并將六個平均值作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟8：將篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備提供的位姿元數(shù)據(jù)作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟9：將上一幀輸出的位姿元數(shù)據(jù)作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟10：整合鏡頭和位姿元數(shù)據(jù)。將前述步驟獲得的鏡頭元數(shù)據(jù)與獲得的位姿元數(shù)據(jù)包進行整合并編碼。

步驟11：傳輸或記錄數(shù)據(jù)。將實時元數(shù)據(jù)包以UDP通信協(xié)議發(fā)送給搭載有渲染引擎的終端，以控制渲染引擎中的虛擬攝影機，或記錄在本地以供后期進行視效制作。

以三臺追蹤設(shè)備與一臺跟焦設(shè)備為例，示例流程如圖 2所示。

圖2　示例流程圖

4 實驗與分析

在本文實驗中，選擇Ncam Camera Bar[17]和Mo?Sys StarTracker[18]兩套設(shè)備作為攝影機追蹤設(shè)備，上述兩個設(shè)備傳輸協(xié)議均采用FreeD協(xié)議。選擇Movcam MCS?2[19]和XRPort共同組成攝影機跟焦設(shè)備，搭配使用UE[20]。實驗測試場地選擇無錫5G智慧虛擬攝影棚[21]。

4.1 實驗方法與結(jié)果

4.1.1 位姿元數(shù)據(jù)穩(wěn)定性

在攝影棚中同時將兩套攝影機追蹤設(shè)備掛載于一臺攝影機上，同時該攝影機裝有跟焦設(shè)備。之后通過移動攝影機模擬實際拍攝時攝影機的運動方式，并在攝影機運動過程中通過遮擋追蹤設(shè)備、斷開數(shù)據(jù)線纜等方式模擬拍攝時追蹤設(shè)備不穩(wěn)定容易掉線等問題，在過程中記錄使用本文提出的聚合技術(shù)方案（以下簡稱“本方案”）后輸出的位姿元數(shù)據(jù)，同時記錄Mo?Sys和Ncam兩個設(shè)備的原始數(shù)據(jù)，作為與最終輸出數(shù)據(jù)對比的對照組。

實驗部分追蹤數(shù)據(jù)可視化結(jié)果如圖3所示，橫坐標表示位姿元數(shù)據(jù)的幀序號，縱坐標表示旋轉(zhuǎn)角度（單位為度）。其中紅色數(shù)據(jù)點為Mo?Sys位姿元數(shù)據(jù)，藍色數(shù)據(jù)點為Ncam位姿元數(shù)據(jù)，黃色數(shù)據(jù)點為使用本方案后最終輸出的位姿元數(shù)據(jù)。

在圖3所示的實驗過程中，模擬Mo?Sys設(shè)備被遮擋或數(shù)據(jù)源丟失的情況，并記錄輸出的位姿元數(shù)據(jù)。在Mo?Sys和Ncam兩臺設(shè)備均穩(wěn)定提供位姿元數(shù)據(jù)時，經(jīng)過本方案計算的數(shù)據(jù)同樣能夠保持穩(wěn)定輸出。在2000~3000幀之間，通過遮擋模擬Mo?Sys數(shù)據(jù)源被影響的情況。這段時間內(nèi)，Mo?Sys數(shù)據(jù)丟失，在圖中呈現(xiàn)平直的橫線，Ncam數(shù)據(jù)繼續(xù)保持正常輸出，經(jīng)過本方案計算的數(shù)據(jù)同樣能夠保持穩(wěn)定的輸出。

圖3　俯仰角度數(shù)據(jù)變化

4.1.2 鏡頭與位姿元數(shù)據(jù)聚合

在攝影棚中同時將兩套攝影機追蹤設(shè)備掛載于一臺攝影機上，同時該攝影機裝有跟焦設(shè)備。在移動攝影機的同時，使用跟焦設(shè)備對鏡頭的焦點和焦距進行變化調(diào)整，并記錄LED屏幕上內(nèi)視錐的變化情況。

實驗部分結(jié)果如圖4所示。實驗結(jié)果表明，使用本方案可實現(xiàn)位姿與鏡頭元數(shù)據(jù)的同時傳輸，內(nèi)視錐會隨著攝影機的移動而移動，也會隨著焦距的變化逐漸擴大，同時內(nèi)視錐畫面會隨著焦點的變化逐漸模糊。

圖4　焦距、焦點變化對內(nèi)視錐的影響

4.2 實驗結(jié)論

實驗表明，利用本方案在虛擬攝制現(xiàn)場使用多臺追蹤設(shè)備進行追蹤時，如果某一組數(shù)據(jù)出現(xiàn)不穩(wěn)定或信號丟失的情況，本方案最終輸出的位姿元數(shù)據(jù)依然可保證穩(wěn)定且平滑地輸出數(shù)據(jù)，同時還可聚合鏡頭元數(shù)據(jù)，最終為渲染引擎提供一組穩(wěn)定的鏡頭和位姿元數(shù)據(jù)，解決了虛擬攝制現(xiàn)場追蹤設(shè)備不穩(wěn)定，無法同時獲得鏡頭和位姿元數(shù)據(jù)的問題。

5 結(jié)語

本文通過對虛擬攝制中攝影機追蹤與跟焦技術(shù)的研究與探索，針對目前虛擬攝制中位姿與鏡頭元數(shù)據(jù)無法有效聚合的問題，提出了一種虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案。該技術(shù)方案通過接收與解析拍攝現(xiàn)場追蹤設(shè)備與跟焦設(shè)備的相關(guān)元數(shù)據(jù)，通過不同的聚合策略，實時計算、聚合輸出穩(wěn)定且平滑的攝影機鏡頭和位姿元數(shù)據(jù)信息。實驗測試在無錫5G智慧虛擬攝影棚中進行，模擬真實拍攝場景中的攝影機運動軌跡及追蹤設(shè)備數(shù)據(jù)不穩(wěn)定、易丟失等問題，驗證了本文所提聚合算法的可行性與穩(wěn)定性。該技術(shù)可有效解決當下攝影機鏡頭和位姿元數(shù)據(jù)獨立接入虛擬攝制系統(tǒng)，無法拆分、聚合及無法在不同方案間熱切換的問題，同時解決了單一攝影機追蹤設(shè)備不穩(wěn)定、數(shù)據(jù)傳輸易丟包的問題，為降低虛擬攝制設(shè)備成本、提升虛擬攝制效率、增強拍攝現(xiàn)場創(chuàng)作靈活性、保證拍攝現(xiàn)場創(chuàng)作穩(wěn)定性提供了可靠保障。

未來筆者將會進一步提升聚合算法的穩(wěn)定性與實時性，并逐步支持更多追蹤設(shè)備與跟焦設(shè)備，提出能兼容更多設(shè)備并具有更好魯棒性的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)，進一步提升虛擬攝制創(chuàng)作效率與創(chuàng)作質(zhì)量。

參考文獻

（向下滑動閱讀）

[1] Epic Games. The Virtual Production Field Guide: a new resource for filmmakers [EB/OL].(2019?07?25) [2024?09?25].https://www.unrealengine.com/es-ES/blog/virtual-production-field-guide-a-new-resource-for-filmmakers.

[2] LAMA R. The Future of Virtual Backgrounds in Filmmaking[D]. Prague: Academy of Performing Arts in Prague, 2024.

[3] BYUN H W. Interactive vfx system for tv virtual studio[J]. Journal of the Korea Computer Graphics Society, 2015, 21(5): 21?27.

[4] SHAN X, CHUNG J. Comparison of the Characteristics of Green Screen and LED Wall in Virtual Production System[J]. International journal of advanced smart convergence, 2022, 11(2): 64?70.

[5] HELZLE V, SPIELMANN S, TROTTNOW J. Green screens, green pixels and green shooting[M]//ACM SIGGRAPH 2022 Talks, 2022: 1?2.

[6] 陳軍,趙建軍,李想.基于LED背景墻的電影虛擬化制作系統(tǒng)集成與研發(fā)[J].北京電影學(xué)院學(xué)報,2021(07):112?121.

[7] 耿天樂,趙建軍,常一孜,等.LED虛擬攝制實踐中存在的問題及應(yīng)對策略研究[J].現(xiàn)代電影技術(shù),2023(09):18?26.

[8] LAGUNA G. Unreal Engine Enhances Virtual Production Workflows With NVIDIA Rivermax and BlueField [EB/OL]. (2023?04?05) [2025?01?13].https://blogs.nvidia.com/blog/unreal-engine-rivermax-bluefield/.

[9] 陳軍,趙建軍,盧柏宏.基于LED背景墻的電影虛擬化制作關(guān)鍵技術(shù)研究[J].現(xiàn)代電影技術(shù),2021(08):17?25.

[10] 劉丙凱.虛擬演播室中攝像機跟蹤與定位系統(tǒng)研究[D].南京：南京理工大學(xué),2017.

[11] 馬金秀.Vicon追蹤系統(tǒng)在LED虛擬攝制中的應(yīng)用研究[J].現(xiàn)代電影技術(shù),2023(03):34?39.

[12] 尹娟. 六自由度電磁定位跟蹤系統(tǒng)[D]. 天津:天津大學(xué),2012 (12).

[13] Unreal Engine. In?Camera VFX Overview [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-overview-in-unreal-engine?application_version=5.4.

[14] British Broadcasting Corporation. BBC Research & Development [EB/OL]. (2024?01?01) [2024?09?25]. https://www.bbc.co.uk/rd.

[15] Virtual Reality Peripheral Network. Virtual Reality Peripheral Network ? Official Repo [EB/OL]. (2023?06?23) [2024?09?25]. https://github.com/vrpn/vrpn/wiki.

[16] Unreal Engine. Using Live Link Data [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/using-live-link-d

ata-in-unreal-engine?application_version=5.4.

[17] Ncam Technologies. Ncam Mk2 Camera Bar [EB/OL]. (2021?01?01) [2024?09?25].https://www.ncam-tech.com/hardware.

[18] Mo?Sys Engineering Ltd. Mo?Sys StarTracker [EB/OL]. (2024?01?01) [2024?09?25]. https://www.mo-sys.com/products/startracker.

[19] Movcam Tech. Co., LTD. Movcam MCS?2 [EB/OL]. (2024?01?01) [2024?09?25] .https://www.movcam.com/mcs2.

[20] Epic Games. Unreal Engine [EB/OL].[2024?09?25]. https://www.unrealengine.com.

[21] 無錫國家數(shù)字電影產(chǎn)業(yè)園. 5G智慧虛擬攝影巨幕，顛覆傳統(tǒng)拍攝新紀元！[EB/OL]. (2023?06?23) [2024?09?25]. http://wuxistudio.com/index.php?s=/article/detail/id/962.html.

【項目信息】中國電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所）基本科研業(yè)務(wù)費項目“LED虛擬攝制系統(tǒng)中的鏡頭和位姿元數(shù)據(jù)聚合研究”(2023?DKS?9)。