MIT.nano沉浸式實驗室是麻省理工學(xué)院的多學(xué)科空間，旨在可視化復(fù)雜數(shù)據(jù)和原型沉浸式技術(shù)以支持AR和VR研究、動作捕捉以及面向科學(xué)、工程和藝術(shù)領(lǐng)域用戶的數(shù)字物理交互。

外科訓(xùn)練的挑戰(zhàn)

現(xiàn)代神經(jīng)外科技術(shù)要求極其精確，尤其是在小兒腦積水手術(shù)中。多年來，年輕的外科醫(yī)生不得不長途跋涉精進技能向像波士頓兒童醫(yī)院的本杰明·華爾醫(yī)生這樣的專家學(xué)習(xí)。這些手術(shù)技能需要非常高的精度，傳統(tǒng)上這些技能只能通過面對面的指導(dǎo)來傳承。

為了打破這個障礙，小兒神經(jīng)外科醫(yī)生吉賽爾·科埃略創(chuàng)立了EDUCSIM并與MIT.nano的沉浸式實驗室一起共同創(chuàng)造了一個沃爾博士的虛擬現(xiàn)實形象，讓居民可以遠(yuǎn)程向他學(xué)習(xí)，就好像他就站在學(xué)員身邊一樣。

根據(jù)華爾博士創(chuàng)作虛擬化身的挑戰(zhàn)

• 要求高保真動作捕捉能夠以外科手術(shù)級別的精度記錄操作人員靈巧的手指運動。
  

• 需要高分辨率立體視頻采集，以在手術(shù)過程中準(zhǔn)確保存全身姿勢和空間背景。
  

• 捕捉面部表情和非語言暗示的必要性，這對教學(xué)清晰性和臨床交流至關(guān)重要。
  

• 集成多種虛擬現(xiàn)實/增強現(xiàn)實技術(shù)，確保完整、真實地再現(xiàn)外科醫(yī)生的遠(yuǎn)程培訓(xùn)技術(shù)。

Manus解決方案

沃爾多次訪問MIT.nano網(wǎng)站進行數(shù)字“捕捉”，包括穿著動捕套裝（MANUS Metagloves Pro手套和嵌入傳感器的衣服）在嬰兒模型上做手術(shù)。

外科手術(shù)級手指動作捕捉

MANUS手套提供高精度傳感器數(shù)據(jù)，實時捕捉關(guān)節(jié)位置、旋轉(zhuǎn)和角度。這使得數(shù)字模型能夠保留沃爾手術(shù)技術(shù)的準(zhǔn)確細(xì)節(jié)，從他如何穩(wěn)定器械到他如何執(zhí)行精細(xì)的手術(shù)任務(wù)，而不是將手部運動簡化為寬泛的手勢。由此產(chǎn)生的手指水平的數(shù)據(jù)成為一個精確的訓(xùn)練參考，學(xué)員可以觀察和復(fù)制。

跨VR/AR環(huán)境的無縫集成

MANUS手套與VR環(huán)境兼容，可以支持手術(shù)模擬器和混合現(xiàn)實訓(xùn)練系統(tǒng)中的工作流程。通過同步位置跟蹤、身體姿勢和手部運動數(shù)據(jù)，MANUS使外科醫(yī)生能夠在沉浸式環(huán)境中實現(xiàn)完整的數(shù)字孿生。學(xué)員可以從多個角度觀察技術(shù)，接受實時指導(dǎo)，體驗沉浸式空間教學(xué)而不是靜態(tài)演示。

“這些技術(shù)主要用于娛樂、VFX或CGI。但是我們現(xiàn)在把它應(yīng)用于真正的醫(yī)學(xué)實踐和真正的外科手術(shù)技術(shù)學(xué)習(xí)中�！薄槭±砉W(xué)院納米沉浸實驗室AR/VR技術(shù)專家泰爾絲·瑞克斯說到。

結(jié)果

沃爾和EDUCSIM的項目使3000多英里外的巴西學(xué)員能夠觀察世界級神經(jīng)外科醫(yī)生的數(shù)字化身并與之互動，在一比一大小的嬰兒大腦模型上練習(xí)精細(xì)的手術(shù)。

“如果有一天我們可以擁有像Giselle這樣的化身，在偏遠(yuǎn)的地方向人們展示如何做手術(shù)和回答問題，而不需要旅行的成本或時間，我認(rèn)為這將是非常強大的，”沃爾說，目前他已經(jīng)花費了數(shù)年時間在世界各地培訓(xùn)兒童神經(jīng)外科醫(yī)生。

展望未來，結(jié)合MANUS手套精確的手部動作捕捉和VR/AR環(huán)境可以支持更廣泛的應(yīng)用，如遠(yuǎn)程手術(shù)指導(dǎo)、遙操作機器人、工業(yè)技能轉(zhuǎn)移和全球培訓(xùn)工作流等。