[首發(fā)于智駕最前沿微信公眾號(hào)]最近有一位小伙伴留言，想讓我聊聊自動(dòng)駕駛汽車(chē)對(duì)于石頭這樣的小障礙物，是使用什么視覺(jué)任務(wù)檢測(cè)的。在直接回答“如何檢測(cè)”之前，其實(shí)要思考一個(gè)更根本的問(wèn)題，對(duì)于一個(gè)像石頭這樣的小障礙物，自動(dòng)駕駛汽車(chē)真的要檢測(cè)嗎？如果要檢測(cè)，是如何檢測(cè)的？

自動(dòng)駕駛視覺(jué)系統(tǒng)都在看什么？

自動(dòng)駕駛汽車(chē)要“看見(jiàn)”周?chē)h(huán)境，是靠一系列傳感器來(lái)完成的，其中最核心的一個(gè)就是攝像頭。攝像頭采集到實(shí)時(shí)圖像之后，自動(dòng)駕駛中的視覺(jué)感知系統(tǒng)會(huì)將原始圖像變成機(jī)器可以理解的“環(huán)境模型”。

圖片源自：網(wǎng)絡(luò)

這個(gè)環(huán)境模型中會(huì)包括前方有沒(méi)有車(chē)輛、有沒(méi)有行人、車(chē)道線在哪里、交通標(biāo)志是什么，甚至還有路面上的障礙物等很多信息。視覺(jué)感知是整個(gè)自動(dòng)駕駛系統(tǒng)的基礎(chǔ)任務(wù)之一，沒(méi)有它，后續(xù)的決策和控制都無(wú)從談起。

在自動(dòng)駕駛的視覺(jué)感知體系里，有兩個(gè)非�；A(chǔ)且核心的任務(wù)，即目標(biāo)檢測(cè)（Object Detection）和語(yǔ)義分割（Semantic Segmentation）。目標(biāo)檢測(cè)就是在圖像里找到如汽車(chē)、人、摩托車(chē)這樣的目標(biāo)并給出它們的位置。語(yǔ)義分割則是把圖像里每個(gè)像素分配到類(lèi)別標(biāo)簽上，比如“這是道路，這是人行道，這是障礙物”這樣的標(biāo)記。

簡(jiǎn)單理解這兩個(gè)概念，目標(biāo)檢測(cè)回答的是“這里有沒(méi)有一個(gè)物體？它在哪里？是什么？”；而語(yǔ)義分割回答的是“這塊區(qū)域?qū)儆谑裁搭?lèi)別”。這兩類(lèi)任務(wù)結(jié)合起來(lái)，就是視覺(jué)感知要做的基本工作。

什么是異常物體？

小伙伴所提及的石頭這樣的小障礙物，其實(shí)可以歸類(lèi)為異常物體。所謂“異常物體”，其實(shí)就是那些在訓(xùn)練集中不常出現(xiàn)、類(lèi)別不明確，但可能對(duì)車(chē)輛安全構(gòu)成威脅的物體。這類(lèi)物體在視覺(jué)上可能大小、形狀都很不規(guī)則，有時(shí)候顏色還和地面、陰影特別接近，這給機(jī)器識(shí)別帶來(lái)很大挑戰(zhàn)。

圖片源自：網(wǎng)絡(luò)

在日常駕駛中，最常見(jiàn)的障礙物就是其他車(chē)輛、行人、自行車(chē)、摩托車(chē)等一目了然的大物體。視覺(jué)系統(tǒng)會(huì)把這些定義為主要目標(biāo)類(lèi)別，在訓(xùn)練數(shù)據(jù)里反復(fù)學(xué)習(xí)它們的特征。

但是真實(shí)路并不是理想狀態(tài)，在行駛過(guò)程中，還可能會(huì)遇到如掉落的貨物、輪胎碎片、塑料袋、甚至石頭這樣的異常物體。這些物體不是標(biāo)準(zhǔn)的目標(biāo)類(lèi)別，也不一定在我們訓(xùn)練數(shù)據(jù)里有大量樣本出現(xiàn)。但如果車(chē)輛高速行駛碰上這樣的物體，可能造成輪胎爆胎、控制失誤等安全風(fēng)險(xiǎn)。因此，對(duì)這些異常物體進(jìn)行精準(zhǔn)識(shí)別，是非常有必要的。

因?yàn)橐曈X(jué)感知系統(tǒng)主要是從數(shù)據(jù)里學(xué)特征，像石頭這種偶爾才出現(xiàn)的場(chǎng)景，沒(méi)有足夠的例子能讓系統(tǒng)學(xué)會(huì)判斷它就是個(gè)障礙物。有時(shí)候，石頭在視覺(jué)上會(huì)和路面、陰影、裂縫這些東西非常相似，對(duì)于模型來(lái)說(shuō)，它很難從單張圖像里判斷這塊石頭有沒(méi)有危險(xiǎn)、離車(chē)多遠(yuǎn)、應(yīng)不應(yīng)該規(guī)避。對(duì)這類(lèi)情況的檢測(cè)和處理就成為自動(dòng)駕駛感知的一大難題。

視覺(jué)任務(wù)怎么檢測(cè)這些異常物體？

既然石頭這樣的異常物體不屬于常規(guī)類(lèi)別，自動(dòng)駕駛視覺(jué)系統(tǒng)還能檢測(cè)它嗎？答案是，能檢測(cè)，但不是簡(jiǎn)單地把它歸為某類(lèi)物體，而是通過(guò)多種視覺(jué)任務(wù)和策略來(lái)識(shí)別風(fēng)險(xiǎn)。

圖片源自：網(wǎng)絡(luò)

現(xiàn)階段，自動(dòng)駕駛已使用深度學(xué)習(xí)模型來(lái)進(jìn)行視覺(jué)感知，它們?cè)趫D像上學(xué)習(xí)不同物體的形狀、紋理、邊界等特征。像是YOLO、SSD、Faster R-CNN這些主流物體檢測(cè)模型，可以在圖像中找到各種目標(biāo)并給出置信度和位置框。對(duì)于不屬于已知類(lèi)別的目標(biāo)，這類(lèi)模型可能不會(huì)輸出如“石頭”這樣的明確標(biāo)簽，但會(huì)給出一個(gè)“未知物體/障礙物”的檢測(cè)結(jié)果，以提示自動(dòng)駕駛系統(tǒng)有一個(gè)值得注意的物體在前方。

語(yǔ)義分割或?qū)嵗指钜彩亲R(shí)別異常物體的主要手段，它會(huì)把圖像分成如“路面”“非道路”“障礙物”等標(biāo)簽。只要模型在訓(xùn)練時(shí)學(xué)會(huì)了把“正常路面”與“路面上的異常區(qū)域”區(qū)分開(kāi)來(lái)，即便它沒(méi)有見(jiàn)過(guò)“石頭”這種具體類(lèi)別，也會(huì)把視覺(jué)上突兀、不屬于路面的那一塊像素標(biāo)記為“非路面/障礙物”。像素級(jí)的標(biāo)注會(huì)讓系統(tǒng)發(fā)現(xiàn)道路上異常的區(qū)域，并把這些區(qū)域當(dāng)作潛在障礙物上報(bào)給后續(xù)的決策與控制模塊。

還有一類(lèi)專門(mén)針對(duì)小型異常物體檢測(cè)的視覺(jué)任務(wù)，被稱為小目標(biāo)檢測(cè)，其主要解決的是體積很小、距離較遠(yuǎn)、外形又不規(guī)則的物體識(shí)別問(wèn)題。由于這些目標(biāo)在圖像中只占很少的像素，傳統(tǒng)目標(biāo)檢測(cè)模型很容易把它們當(dāng)成噪聲而忽略。為了解決這個(gè)問(wèn)題，可通過(guò)引入激光雷達(dá)等其他傳感器的信息，用三維點(diǎn)云提供的空間位置和高度線索，去約束和引導(dǎo)視覺(jué)模型關(guān)注那些“看起來(lái)不起眼、但在空間上確實(shí)存在”的區(qū)域。這樣一來(lái)，視覺(jué)模型不再只依賴外觀特征，而是可以結(jié)合真實(shí)的三維結(jié)構(gòu)信息，對(duì)小障礙物的識(shí)別會(huì)更加穩(wěn)定，也更不容易漏檢。

最后的話

自動(dòng)駕駛視覺(jué)系統(tǒng)里涉及如目標(biāo)檢測(cè)、語(yǔ)義分割等很多不同的視覺(jué)任務(wù)，這些都是把攝像頭捕捉的圖像轉(zhuǎn)化為對(duì)環(huán)境的理解。對(duì)于如石頭這樣不常見(jiàn)的路面物體，它們往往沒(méi)有標(biāo)準(zhǔn)類(lèi)別標(biāo)簽，但視覺(jué)系統(tǒng)仍然可以通過(guò)廣泛訓(xùn)練、優(yōu)化模型和結(jié)合其他傳感器等方法，把它們識(shí)別為潛在障礙物。檢測(cè)這些物體的目的只有一個(gè)，那就是讓自動(dòng)駕駛汽車(chē)行駛得更安全、更可靠。