[首發(fā)于智駕最前沿微信公眾號(hào)]有些時(shí)候，我們?cè)谟靡恍┦謾C(jī)拍照，手機(jī)拍出來的畫面與真實(shí)世界看起來會(huì)不太一樣，直接會(huì)有些彎曲，物體看起來距離也會(huì)更遠(yuǎn)，之所以會(huì)出現(xiàn)這個(gè)問題，是因?yàn)殓R頭有畸變、焦距和光心位置不夠準(zhǔn)確等原因?qū)е碌摹＿@一問題在拍照時(shí)影響并不大，但是對(duì)于自動(dòng)駕駛攝像頭來說，如果出現(xiàn)這些問題，就會(huì)讓自動(dòng)駕駛汽車無法看懂世界，無法判斷距離，使得小偏差變成大問題。

為什么自動(dòng)駕駛攝像頭需要標(biāo)定？

自動(dòng)駕駛車輛靠多個(gè)攝像頭、激光雷達(dá)、毫米波雷達(dá)、慣性測(cè)量單元（IMU）等傳感器一起“看世界”和定位。攝像頭拿到的是二維圖像，機(jī)器要靠這些圖像去識(shí)別車道線、行人、障礙物，同時(shí)還要判斷它們的三維空間位置。這個(gè)過程中必須把攝像頭拍到的每一個(gè)像素點(diǎn)，正確地映射到真實(shí)三維空間坐標(biāo)上。如果這個(gè)映射不準(zhǔn)確，機(jī)器感知出的物體位置就可能是錯(cuò)的，進(jìn)而影響車輛決策與控制。為了做到準(zhǔn)確的映射，就必須要進(jìn)行攝像頭標(biāo)定。

圖片源自：網(wǎng)絡(luò)

攝像頭標(biāo)定，簡而言之就是找出攝像頭內(nèi)部和外部的一系列參數(shù)，讓攝像頭拍出來的圖像能對(duì)應(yīng)真實(shí)世界的物理坐標(biāo)，這樣自動(dòng)駕駛系統(tǒng)才有靠譜的感知基礎(chǔ)。

攝像頭標(biāo)定包含什么？

自動(dòng)駕駛汽車上的攝像頭，其實(shí)就是一個(gè)把三維世界投影到二維圖像的機(jī)器，這個(gè)過程中有兩個(gè)參數(shù)非常關(guān)鍵，即內(nèi)參數(shù)和外參數(shù)。

圖片源自：網(wǎng)絡(luò)

內(nèi)參數(shù)是攝像頭“自身的性格”，包括焦距、光心（像素坐標(biāo)里的中心點(diǎn)）、鏡頭畸變這些東西。鏡頭的焦距決定物體成像放大還是縮小，鏡頭畸變會(huì)讓直線看起來彎曲。這些屬性取決于鏡頭本身和生產(chǎn)制造精度。我們要通過標(biāo)定找出一組具體的數(shù)值來描述它。

外參數(shù)則描述攝像頭在車輛坐標(biāo)系里的位置和朝向。自動(dòng)駕駛汽車裝了不只有一個(gè)攝像頭，可能前視、側(cè)視、后視等多個(gè)視角都有攝像頭，甚至還有激光雷達(dá)、毫米波雷達(dá)這樣的傳感器。每個(gè)傳感器的坐標(biāo)系都不一樣，要讓攝像頭的數(shù)據(jù)跟其他傳感器的數(shù)據(jù)融合，就必須知道每個(gè)攝像頭的位置、朝向，即它們與車輛坐標(biāo)系之間的三維旋轉(zhuǎn)和平移關(guān)系。

簡單理解這兩個(gè)概念，內(nèi)參數(shù)像是“透鏡自己的性格描述”，而外參數(shù)像是“這個(gè)鏡頭裝在車上什么位置、朝哪個(gè)方向”，對(duì)于攝像頭的標(biāo)定就是要找出這些參數(shù)。

攝像頭的標(biāo)定要怎么做？

在自動(dòng)駕駛開發(fā)中，一般會(huì)使用兩種方式來做攝像頭標(biāo)定，一種是在受控環(huán)境下靜態(tài)完成，另一種是在車輛行駛過程中動(dòng)態(tài)優(yōu)化。

靜態(tài)標(biāo)定會(huì)在實(shí)驗(yàn)室或標(biāo)定場(chǎng)地里完成。標(biāo)定前需準(zhǔn)備一個(gè)有已知幾何結(jié)構(gòu)的標(biāo)定板，上面會(huì)有棋盤格、圓點(diǎn)陣列等規(guī)則的平面圖案，然后在攝像頭前多角度、不同位置拍很多張照片。通過這些照片中棋盤格角點(diǎn)在圖像中的位置變化，算法就能反推出攝像頭的內(nèi)參數(shù)和外參數(shù)，并校正鏡頭畸變等影響。經(jīng)典的標(biāo)定方法之一是以張正友標(biāo)定法為代表的相機(jī)標(biāo)定算法，它就是利用拍攝了不同角度的已知標(biāo)定板圖像來求解這些參數(shù)。

圖片源自：網(wǎng)絡(luò)

靜態(tài)標(biāo)定的精度比較高，尤其內(nèi)參數(shù)能通過專門設(shè)計(jì)的標(biāo)定軟件和場(chǎng)景得到較精確的估計(jì)。外參數(shù)在靜態(tài)環(huán)境下也能測(cè)出一個(gè)初始值。靜態(tài)標(biāo)定適合在制造或裝配完畢后、車輛上路之前先做一次。

動(dòng)態(tài)標(biāo)定則是在車輛行駛狀態(tài)下進(jìn)行的優(yōu)化，車輛在路上跑的時(shí)候，攝像頭不斷采集圖像，同時(shí)配合IMU、GPS等定位數(shù)據(jù)，或者是檢測(cè)到路邊的特征、車道線等信息，通過連續(xù)運(yùn)動(dòng)模型和傳感器數(shù)據(jù)來進(jìn)一步優(yōu)化攝像頭的外參數(shù)甚至某些內(nèi)參數(shù)（如果車輛結(jié)構(gòu)輕微改變）。動(dòng)態(tài)標(biāo)定的好處是能讓標(biāo)定結(jié)果更貼近真實(shí)駕駛場(chǎng)景，能夠適應(yīng)安裝誤差、振動(dòng)等因素帶來的變化。

很多自動(dòng)駕駛系統(tǒng)會(huì)先做一個(gè)靜態(tài)標(biāo)定，然后在實(shí)際路測(cè)中通過動(dòng)態(tài)標(biāo)定持續(xù)優(yōu)化，這樣可以讓攝像頭始終保持較高的感知準(zhǔn)確性。

標(biāo)定過程里的關(guān)鍵步驟

不管是靜態(tài)標(biāo)定還是動(dòng)態(tài)標(biāo)定，大體步驟都包含數(shù)據(jù)采集、特征提取、求解攝像頭模型及驗(yàn)證幾個(gè)核心內(nèi)容。

圖片源自：網(wǎng)絡(luò)

對(duì)于靜態(tài)標(biāo)定，需要拍攝很多標(biāo)定板的照片，要求棋盤格或圓點(diǎn)陣列遍布鏡頭視野的各個(gè)角落，角度要變化多樣，這樣算法才能充分約束內(nèi)參數(shù)和畸變項(xiàng)。很多成熟的標(biāo)定工具至少要幾十張圖片，才能覆蓋整個(gè)視場(chǎng)。

特征提取時(shí)，標(biāo)定算法會(huì)根據(jù)這些圖像自動(dòng)識(shí)別棋盤格的角點(diǎn)或圓點(diǎn)的中心點(diǎn)，這些特征點(diǎn)在真實(shí)世界中的坐標(biāo)是已知的，通過圖像里這些點(diǎn)的像素坐標(biāo)和實(shí)際三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系，算法可以開始求解攝像頭參數(shù)。

在求解攝像頭模型時(shí)，會(huì)把提取出來的點(diǎn)對(duì)作為輸入，根據(jù)如透視投影模型和鏡頭畸變模型等攝像機(jī)成像物理模型，通過數(shù)學(xué)優(yōu)化去擬合出一組內(nèi)參數(shù)、外參數(shù)和畸變系數(shù)。這個(gè)過程背后常用的優(yōu)化方法包括最小二乘、非線性優(yōu)化等，有時(shí)也會(huì)利用如BA算法（bundle adjustment）這樣更復(fù)雜的全局優(yōu)化來提高精度。

攝像頭標(biāo)定完成后，還要用一些獨(dú)立的數(shù)據(jù)或者圖像來驗(yàn)證標(biāo)定結(jié)果，如通過重新投影誤差看預(yù)測(cè)點(diǎn)和真實(shí)圖像點(diǎn)之間的偏差多大。誤差越小，說明標(biāo)定越準(zhǔn)確。通過這種方式可以判斷標(biāo)定是否達(dá)到自動(dòng)駕駛所需的精度。驗(yàn)證還還包括檢查多相機(jī)系統(tǒng)之間的一致性，如會(huì)檢查左右攝像頭的外參數(shù)是否符合實(shí)際的安裝結(jié)構(gòu)等。

標(biāo)定在自動(dòng)駕駛中有什么具體要求？

在自動(dòng)駕駛種系統(tǒng)里，標(biāo)定不能只是簡單“做一次就完了”，而是要貫穿到自動(dòng)駕駛汽車使用的整個(gè)周期。

圖片源自：網(wǎng)絡(luò)

攝像頭出廠本身就會(huì)有如鏡頭組裝位置不精確、鏡頭畸變不一致等一定的制造誤差，裝到車上時(shí)車體結(jié)構(gòu)也會(huì)帶來偏差。這些都需要通過標(biāo)定去校正，否則攝像頭的感知數(shù)據(jù)就會(huì)帶偏。

車輛行駛過程中還會(huì)受到振動(dòng)、熱脹冷縮、甚至碰撞等因素的影響，這些都會(huì)改變攝像頭的外參數(shù)。如果標(biāo)定結(jié)果不能跟上這些變化，感知精度會(huì)逐漸變差。尤其對(duì)于自動(dòng)駕駛這種對(duì)精度要求高的系統(tǒng)來說，定期檢查和動(dòng)態(tài)標(biāo)定是非常必要的。

單個(gè)攝像頭雖然能做基本的檢測(cè)和跟蹤，但是要實(shí)現(xiàn)高精度的三維定位、障礙物檢測(cè)和傳感器融合，就必須讓攝像頭與激光雷達(dá)、毫米波雷達(dá)、IMU等傳感器的數(shù)據(jù)在同一坐標(biāo)系下統(tǒng)一。這就對(duì)外參數(shù)精度提出了更高的要求，這其中就需要聯(lián)合標(biāo)定或全局優(yōu)化的策略。

當(dāng)然，自動(dòng)駕駛汽車上不僅僅會(huì)安裝一個(gè)相機(jī)，因此，不僅要標(biāo)定每個(gè)攝像頭自身的內(nèi)參數(shù)，還要標(biāo)定多個(gè)攝像頭之間的外參數(shù)，以及與車體坐標(biāo)系的關(guān)系。這些參數(shù)一旦有小誤差，就會(huì)在傳感器融合、深度計(jì)算、障礙物定位等環(huán)節(jié)被放大，從而影響整個(gè)感知系統(tǒng)的可靠性。

最后的話

攝像頭標(biāo)定是自動(dòng)駕駛感知系統(tǒng)里非常基礎(chǔ)但又極其關(guān)鍵的一步工作。做好標(biāo)定，自動(dòng)駕駛系統(tǒng)才能在真實(shí)道路場(chǎng)景里可靠地感知路況、確定物體位置，進(jìn)而提高安全性和魯棒性。雖然其中涉及的數(shù)學(xué)和算法看起來有些復(fù)雜，但理解標(biāo)定的基本思想和流程，對(duì)自動(dòng)駕駛工程師來說是非常重要的基礎(chǔ)技能。