Varjo宣布Varjo XR-4系列全部支持手跟蹤功能，隨著Varjo Base 4.10軟件的發(fā)布。這一強大的新功能現(xiàn)在作為標配免費提供！可通過Varjo Base設置自動啟用。

請注意：手動跟蹤作為一種測試功能。雖然它已經(jīng)實現(xiàn)了新的可能性，但也有一些已知的限制，包括手勢可靠性和延遲。

與OpenXR應用程序無縫集成

集成的手部跟蹤功能適用于定焦和自動對焦功能的XR-4頭顯。用戶現(xiàn)在可以在任何支持手部跟蹤的應用中享受身臨其境的交互。具體來說，Varjo實現(xiàn)了包括對XR EXT hand 跟蹤和XR EXT hand 交互的OpenXR擴展。

XR EXT hand _跟蹤支持完全連接26個手形標志，提供詳細的骨骼跟蹤。

XR EXT hand _交互支持四種直觀的手勢：瞄準、捏、抓、戳。為了獲得最佳用戶體驗，Varjo建議使用應用此擴展的應用程序。

基于攝像頭的跟蹤–不需要額外的硬件

這一新功能是通過利用視頻透視(VST)攝像機流式傳輸?shù)絏R-4實現(xiàn)的。這意味著不需要額外的硬件—用戶的手部將直接可在可視區(qū)域內(nèi)被跟蹤。

90 Hz和75 Hz VST模式都支持手部跟蹤，盡管在初始版本中跟蹤幀速率略有降低。(對于使用XR-4 FE的用戶，請注意75 Hz模式提供了略大的垂直視野。)

針對真實環(huán)境進行優(yōu)化

該系統(tǒng)針對典型的辦公室照明條件(200-500勒克斯)進行了優(yōu)化。為了實現(xiàn)最佳性能，請確保環(huán)境光線充足，讓VST相機捕捉高質(zhì)量的幀。
手部跟蹤獨立于頭顯的位置跟蹤方法（inside-out跟蹤(IoT)與SteamVR跟蹤）工作。

由機器學習提供支持

該功能的核心部分是在Varjo內(nèi)部訓練的機器學習模型。該系統(tǒng)使用以下組合來檢測和映射3D環(huán)境中的手：

• 立體視覺來自耳機的VST攝像頭。

• 深度數(shù)據(jù)來自內(nèi)置的飛行時間傳感器

Varjo已經(jīng)通過對來自各種個人的數(shù)據(jù)（包括年齡、膚色、手的大小和性別）進行模型訓練，確保了該功能的穩(wěn)定性和包容性。

推算是在CPU上執(zhí)行的，因此高性能處理器將提供更平穩(wěn)的手部跟蹤。（GPU不用于手跟蹤，以區(qū)分用戶應用程序的優(yōu)先級）