MIT.nano沉浸式實驗室是麻省理工學院的多學科空間，旨在可視化復雜數(shù)據(jù)和原型沉浸式技術以支持AR和VR研究、動作捕捉以及面向科學、工程和藝術領域用戶的數(shù)字物理交互。

外科訓練的挑戰(zhàn)

現(xiàn)代神經外科技術要求極其精確，尤其是在小兒腦積水手術中。多年來，年輕的外科醫(yī)生不得不長途跋涉精進技能向像波士頓兒童醫(yī)院的本杰明·華爾醫(yī)生這樣的專家學習。這些手術技能需要非常高的精度，傳統(tǒng)上這些技能只能通過面對面的指導來傳承。

為了打破這個障礙，小兒神經外科醫(yī)生吉賽爾·科埃略創(chuàng)立了EDUCSIM并與MIT.nano的沉浸式實驗室一起共同創(chuàng)造了一個沃爾博士的虛擬現(xiàn)實形象，讓居民可以遠程向他學習，就好像他就站在學員身邊一樣。

根據(jù)華爾博士創(chuàng)作虛擬化身的挑戰(zhàn)

• 要求高保真動作捕捉能夠以外科手術級別的精度記錄操作人員靈巧的手指運動。
  

• 需要高分辨率立體視頻采集，以在手術過程中準確保存全身姿勢和空間背景。
  

• 捕捉面部表情和非語言暗示的必要性，這對教學清晰性和臨床交流至關重要。
  

• 集成多種虛擬現(xiàn)實/增強現(xiàn)實技術，確保完整、真實地再現(xiàn)外科醫(yī)生的遠程培訓技術。

Manus解決方案

沃爾多次訪問MIT.nano網站進行數(shù)字“捕捉”，包括穿著動捕套裝（MANUS Metagloves Pro手套和嵌入傳感器的衣服）在嬰兒模型上做手術。

外科手術級手指動作捕捉

MANUS手套提供高精度傳感器數(shù)據(jù)，實時捕捉關節(jié)位置、旋轉和角度。這使得數(shù)字模型能夠保留沃爾手術技術的準確細節(jié)，從他如何穩(wěn)定器械到他如何執(zhí)行精細的手術任務，而不是將手部運動簡化為寬泛的手勢。由此產生的手指水平的數(shù)據(jù)成為一個精確的訓練參考，學員可以觀察和復制。

跨VR/AR環(huán)境的無縫集成

MANUS手套與VR環(huán)境兼容，可以支持手術模擬器和混合現(xiàn)實訓練系統(tǒng)中的工作流程。通過同步位置跟蹤、身體姿勢和手部運動數(shù)據(jù)，MANUS使外科醫(yī)生能夠在沉浸式環(huán)境中實現(xiàn)完整的數(shù)字孿生。學員可以從多個角度觀察技術，接受實時指導，體驗沉浸式空間教學而不是靜態(tài)演示。

“這些技術主要用于娛樂、VFX或CGI。但是我們現(xiàn)在把它應用于真正的醫(yī)學實踐和真正的外科手術技術學習中。”—麻省理工學院納米沉浸實驗室AR/VR技術專家泰爾絲·瑞克斯說到。

結果

沃爾和EDUCSIM的項目使3000多英里外的巴西學員能夠觀察世界級神經外科醫(yī)生的數(shù)字化身并與之互動，在一比一大小的嬰兒大腦模型上練習精細的手術。

“如果有一天我們可以擁有像Giselle這樣的化身，在偏遠的地方向人們展示如何做手術和回答問題，而不需要旅行的成本或時間，我認為這將是非常強大的，”沃爾說，目前他已經花費了數(shù)年時間在世界各地培訓兒童神經外科醫(yī)生。

展望未來，結合MANUS手套精確的手部動作捕捉和VR/AR環(huán)境可以支持更廣泛的應用，如遠程手術指導、遙操作機器人、工業(yè)技能轉移和全球培訓工作流等。