玩了十幾年 3D 掃描，老問題一直沒解決：透明、反光的東西，掃不出來，機(jī)器人看不見

前段時(shí)間新到了一臺(tái)新的 3D 掃描設(shè)備 Revopoint MetroY，想看看新設(shè)備能不能好點(diǎn)，試了幾樣?xùn)|西，emmmmm....還是那個(gè)樣

比如我這個(gè)對講機(jī)，透明玻璃罩，掃出來只剩后面的屏幕，罩子本身消失了

Hytera 對講機(jī)，你值得擁有 玻璃罩子，你擁有不了一點(diǎn)

如果顯示器會(huì)反光，那就直接空白了

比如這個(gè)小玩意兒 你就獲得了這個(gè) Mesh 一下更清晰：屏幕整塊都丟了

玻璃瓶稍微好一點(diǎn)，但也缺了不少

Cocia 巧克力奶，山姆有售 看角度，有時(shí)候能撿回來一點(diǎn)

Revopoint MetroY 這玩意兒還不便宜，但該有的問題，是個(gè)個(gè)都在，反正也不知道啥時(shí)候能解決

也是在前段時(shí)間找方案的時(shí)候，和螞蟻那邊聊到他們在做一個(gè)東西，叫 LingBot-Depth，大致上能解決這些問題，方法就是：AI 補(bǔ)全

思路有點(diǎn)反直覺：把「測不準(zhǔn)」的地方當(dāng)作訓(xùn)練材料，讓 AI 能夠理解這些看不清的東西（思路很類似 Bert，這個(gè)后面講）

在用了這個(gè)模型之后，機(jī)器人能穩(wěn)定抓起透明玻璃杯、反光不銹鋼杯

左邊原始深度圖，透明物體大片缺失；右邊補(bǔ)全后，機(jī)器人能抓了

而這個(gè)東西，今天也正式開源了，這里來說道說道

https://github.com/robbyant/lingbot-depth?tab=readme-ov-file 老問題了

說回前文，最早開始玩 3D，還得追溯到 14 年的時(shí)候， Google 發(fā)布 Project Tango，這是一個(gè)空間感知平臺(tái)，手機(jī)或平板上集成了深度傳感器、攝像頭、IMU

Project Tango

當(dāng)時(shí)，第一時(shí)間搞了一臺(tái)開發(fā)機(jī)，當(dāng)時(shí)覺得這玩意要改變世界，結(jié)果掃自己家客廳，落地窗的位置是一個(gè)長方形的虛空

后來呢...Google 2017 年底宣布停止支持，2018 年 3 月正式關(guān)閉

我懷疑他們自己也掃不明白辦公室的玻璃幕墻

如果強(qiáng)行算的話，我最早用上的3D 設(shè)備是 Kinect。不過我當(dāng)時(shí)只是弄來玩舞力全開啥的，還沒想到可以來開發(fā)

再往后，看到有些開發(fā)者朋友，拿它做一些交互應(yīng)用，但碰到透明、反光、吸光的材質(zhì)，深度圖上直接出洞，而窗戶經(jīng)常是個(gè)窟窿

Kinect

以前的 Xbox 還有 Kinect，現(xiàn)在咋就沒了

RealSense 用的是紅外結(jié)構(gòu)光，透明物體同樣會(huì)造成深度缺失。比如拍桌面，透明塑料盒大面積丟數(shù)據(jù)

iPhone 的 LiDAR 好一點(diǎn)，但鏡面和類鏡面表面還是個(gè)坎

https://developer.apple.com/documentation/avfoundation/capturing-depth-using-the-lidar-camera

它的原理是往外發(fā)激光脈沖，測光往返的時(shí)間來算距離
但鏡面和類鏡面表面還是個(gè)坎

光打上去，直接被彈到別的方向去了，很少能散射回接收器

掃描 App 的教程都會(huì)寫：盡量避開鏡子和高反光表面

比如我現(xiàn)在在廚房，用水龍頭往鍋里倒水，會(huì)發(fā)現(xiàn)水的部分被完全忽視了

軟件是 Record3D：其實(shí)鍋里，有半鍋水了

再比如，如果去拍攝魚缸，會(huì)發(fā)現(xiàn)玻璃缸的位置全是空洞，魚倒是有幾條，飄在虛空里

等等...是不是能拿這玩意兒去釣魚...這個(gè)真沒去試...釣魚佬狂喜

然后，換了不知道多少設(shè)備，反正透明、反光的東西，特別容易出問題

為什么會(huì)這樣

市面上的深度相機(jī)，測距原理大概有這么幾種

ToF（飛行時(shí)間）

就是發(fā)一束光出去，測它飛回來用了多久，算出距離，然后算出來它的 3D 結(jié)構(gòu)，蘋果各種設(shè)備的 LiDAR（激光雷達(dá)）就是這個(gè)原理

結(jié)構(gòu)光

投射一個(gè)已知的圖案（比如點(diǎn)陣）到物體上，看圖案怎么變形，反推深度，早期的 Kinect、Face ID 用的都是這個(gè)

雙目

靠左右兩個(gè)攝像頭拍到的畫面做匹配，通過視差算距離，有的純靠物體表面本身的紋理，比如 ZED 系列

有的會(huì)主動(dòng)往外打紅外紋理來增加匹配點(diǎn)，比如 RealSense D 系列、Orbbec Gemini

深度感知的幾種方式 共同的弱點(diǎn)

當(dāng)知道了原理，就很自然的能明白為啥鏡面、透明的物品，測 3D 總是崩：

• ? 透明的東西，光穿過去了，反射信號(hào)弱或者跑偏

• ? 鏡面的東西，光彈到別處去了

• ? 純色無紋理的表面，雙目匹配找不到對應(yīng)點(diǎn)

結(jié)果呢...就是深度圖上出現(xiàn)缺失、噪聲、錯(cuò)誤的深度值，有時(shí)候是一片黑，有時(shí)候是亂跳的數(shù)據(jù)

對人來說無所謂，眼睛看一眼就知道那是玻璃杯，但機(jī)器人就不行了，需要精確的三維坐標(biāo)，不然干不了一點(diǎn)活

一個(gè)思路：用「測不準(zhǔn)」當(dāng)訓(xùn)練素材

以前的做法，就是繞開這個(gè)問題
用更貴的傳感器、多傳感器融合、或者干脆限制使用場景

但 AI 時(shí)代了，總是可以有點(diǎn)新的思路：既然這些「測不準(zhǔn)」的區(qū)域是真實(shí)存在的，為什么不拿來當(dāng)學(xué)習(xí)材料？

這個(gè)方法叫 Masked Depth Modeling，簡稱 MDM

大家都是經(jīng)歷過九年義務(wù)教育的優(yōu)秀人才，熟悉古詩詞鑒賞套路和英語完形填空的解題方法

當(dāng)你在試卷里看到：「襯衣的價(jià)格是___」
根據(jù)腦補(bǔ)，你就會(huì)知道要填「九磅十五便士」

深度圖也一樣，根據(jù)周圍的深度值和彩色圖的內(nèi)容，可以推斷空的地方大概是多遠(yuǎn)

MDM訓(xùn)練示意
MDM 訓(xùn)練流程：把缺失的深度當(dāng)作「填空題」

BERT 的訓(xùn)練方式就是這樣，隨機(jī)擋住一些詞，讓模型猜
相當(dāng)于老師出卷子，隨便挑幾個(gè)空讓學(xué)生填

MDM 也是填空題，但出題方式不一樣

• ? 深度相機(jī)測不準(zhǔn)的地方，必考

• ? 測得不太穩(wěn)的地方，大概率考

如果這些還湊不夠一張卷子，再從測得準(zhǔn)的地方隨機(jī)挑一些
最后一張卷子大概有 60% 到 90% 是空

這樣訓(xùn)練出來的模型，既會(huì)做難題，也會(huì)做簡單題
深度相機(jī)哪里容易測不準(zhǔn)，它就重點(diǎn)練哪里

搞點(diǎn)數(shù)據(jù)

做深度學(xué)習(xí)，數(shù)據(jù)是關(guān)鍵
（當(dāng)然，做啥數(shù)據(jù)都是關(guān)鍵）

深度數(shù)據(jù)比普通圖片難搞得多，需要專門的相機(jī)采集

現(xiàn)有的公開數(shù)據(jù)集還有個(gè)問題
大多是精心挑選的「好」數(shù)據(jù)，深度圖很完整，沒什么缺失

MDM 需要的，偏偏是帶著缺失的數(shù)據(jù)
越多真實(shí)的「爛數(shù)據(jù)」，對它越有用

于是，螞蟻聯(lián)合奧比中光采集了一批真實(shí)數(shù)據(jù)，然后也制作了很多高質(zhì)量合成數(shù)據(jù)

真實(shí)數(shù)據(jù)：210 萬張

用 3D 打印做了一個(gè)采集支架，能掛不同型號(hào)的深度相機(jī)

包括主動(dòng)雙目的（RealSense、Orbbec）和被動(dòng)雙目的（ZED）

采集設(shè)備長這樣，一個(gè)支架掛多個(gè)相機(jī)，很樸實(shí)

螞蟻的這次數(shù)據(jù)采集和效果驗(yàn)證，是和奧比中光合作的，這是國內(nèi)做 3D 視覺的頭部公司，很多人手上的深度相機(jī)可能就是他們的 Gemini 330 系列

為了收集這些數(shù)據(jù)，他們派人跑了住宅、辦公室、商場、健身房、博物館、停車場、醫(yī)院、機(jī)場候機(jī)廳，總共二十多種場景

合成數(shù)據(jù)：100 萬張

在 Blender 里用 3D 模型渲染，關(guān)鍵是要模擬「不完美」
你沒看錯(cuò)，這里主動(dòng)制造不完美，去復(fù)現(xiàn)真實(shí)相機(jī)的失效模式

這里的做法，就是渲染的時(shí)候故意用傳統(tǒng)的立體匹配算法去算深度

加上 700 萬的公開數(shù)據(jù)集，總共 1000 萬張用于訓(xùn)練

最終的結(jié)果，就是....成功讓 AI 學(xué)會(huì)了識(shí)別這些透明、反光物體

效果怎么樣

下面這些內(nèi)容，都來自技術(shù)報(bào)告

https://github.com/Robbyant/lingbot-depth/blob/main/tech-report.pdf 深度補(bǔ)全

在幾個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上測，按難度分了四檔：
從簡單的隨機(jī)遮擋，到極端的大面積缺失

LingBot-Depth 在所有檔位上都是最好的
室內(nèi)數(shù)據(jù)集上，「極端」檔位的誤差比第二名低 40% 以上

效果對比 輸入、真值、其他方法、LingBot-Depth 視頻深度

只用圖片訓(xùn)練，沒有用視頻，但模型在視頻上表現(xiàn)出了時(shí)序一致性

拿著相機(jī)在玻璃大堂、健身房、水族館隧道這些場景里走

原始深度圖大片缺失，補(bǔ)全后的深度圖則填上了空洞，幀與幀之間還很連貫

機(jī)器人抓取

這是最實(shí)際的應(yīng)用

測試物體：不銹鋼杯、透明玻璃杯、透明收納盒、玩具車

物體

原始深度

補(bǔ)全后

不銹鋼杯

13/20

17/20

透明玻璃杯

12/20

16/20

玩具車

9/20

16/20

透明收納盒

抓不了

10/20

這里得說一下，透明收納盒用原始深度完全抓不了，因?yàn)樯疃葓D上它大面積缺失

用 LingBot-Depth 補(bǔ)全后，成功率 50%；
50% 聽起來不高，但之前是 0%
從「完全不行」到「一半能成」，質(zhì)變

左邊原始深度（透明物體大片缺失），右邊補(bǔ)全后的深度 最后

本項(xiàng)目的代碼、模型權(quán)重現(xiàn)已全部開源，而訓(xùn)練數(shù)據(jù)也將于近期開源x

• ? 代碼：

• https://github.com/robbyant/lingbot-depth

• ? 權(quán)重：

• https://huggingface.co/robbyant/lingbot-depth

做具身和視覺的團(tuán)隊(duì)，可以直接拿來用，很利好具身了

另外：奧比中光也將基于 LingBot-Depth 推出新一代深度相機(jī)