特斯拉前深度學(xué)習(xí)負責(zé)人談自動駕駛純視覺與融合感知路線之爭。

文丨趙宇

編輯丨龔方毅

在自動駕駛領(lǐng)域，純視覺與融合感知方案的路線之爭由來已久。前者把攝像頭作為核心傳感器，就像人類主要用眼睛感知道路情況；后者主張綜合采用激光雷達、攝像頭、毫米波雷達等多種傳感器，構(gòu)建比人類感官更強大的感知系統(tǒng)。

為理解爭論背后的技術(shù)原理，我們訪談了智能駕駛研發(fā)商 Nullmax 紐勱科技創(chuàng)始人兼 CEO 徐雷。創(chuàng)辦 Nullmax 前，徐雷先后任職于高通、特斯拉，曾作為 Autopilot 研發(fā)團隊的核心成員，從零開始領(lǐng)導(dǎo)搭建 Tesla Vision 深度學(xué)習(xí)網(wǎng)絡(luò)，并取代特斯拉第一代自動駕駛產(chǎn)品中使用的 Mobileye 視覺系統(tǒng)。這些經(jīng)歷讓他對于這場技術(shù)爭論有著自己的獨到見解。

徐雷說，攝像頭獲取道路場景信息的頻率和豐富程度都明顯高于激光雷達，因此視覺方案有著更高的能力上限。而在現(xiàn)階段的一些融合感知方案中，當(dāng)不同傳感器提供的信息發(fā)生沖突時，智駕系統(tǒng)傾向于更相信激光雷達——這從側(cè)面印證了廠商視覺處理能力的不足。

“激光雷達能讓智駕系統(tǒng)快速實現(xiàn)量產(chǎn)上車，但最終要達到一定高度，還是要把視覺 AI 能力做好?！?徐雷告訴我們，他并非完全排斥激光雷達，而是對不同傳感器的使用都持開放態(tài)度。但無論采用哪種方案，都必須將視覺感知作為最核心、最優(yōu)先發(fā)展的能力。在他看來，過度依賴激光雷達雖然是能讓產(chǎn)品快速上車的 “捷徑”，但最終會限制智駕系統(tǒng)的長遠發(fā)展和性能天花板。

以下是我們與徐雷對話的主要內(nèi)容，經(jīng)編輯：

晚點：今年 7 月，懂車帝的一場智駕系統(tǒng)測試顯示：特斯拉雖未搭載激光雷達，實際表現(xiàn)卻超過許多配備激光雷達的國產(chǎn)品牌。你預(yù)料到這個結(jié)果嗎？如何看待激光雷達的必要性？

徐雷：視覺傳感器和激光雷達各有優(yōu)勢。攝像頭屬于被動感知，能提供分辨率更高的圖像、顏色和紋理特征等豐富信息，幀率可達每秒 30 幀。激光雷達雖能主動發(fā)射激光、通過 ToF（Time of Flight，一種基于信號飛行時間的測距技術(shù)）測距，但點云密度和分辨率比攝像頭低，信息沒有視覺傳感器豐富，幀率通常只有每秒 10 幀。

在理想狀態(tài)下，如果車輛能同時搭載兩種類型的傳感器，且控制器算力足夠強、算法足夠好，那性能天花板肯定最高。不過汽車作為消費品，需要考慮成本和價位差異。單獨使用激光雷達會因幀率低、點云稀疏而限制智駕系統(tǒng)性能上限。純視覺方案在算法和算力足夠的情況下也能開得挺不錯，但仍會受到算力水平等因素制約。

因此，智駕系統(tǒng)的傳感器選擇需要綜合考慮性能、成本等多方面因素，并不是單純的理論問題。

晚點：現(xiàn)在車端算力還在提升，這是否為搭載激光雷達提供了便利條件？

徐雷：激光雷達對算力的消耗實際上比視覺傳感器更小，因為激光雷達的點云信息量相比 800 萬像素攝像頭的視頻流要稀疏很多，幀率也更低。攝像頭捕捉到的信息量更大，關(guān)鍵在于如何充分利用這些海量信息。

如果重度使用激光雷達，而視覺處理能力不足，智駕方案會受限于激光雷達的性能天花板。然而，對于需要快速博弈和迅速反應(yīng)的場景，僅靠激光雷達難以有效處理，視覺能力必須跟上。

晚點：充分利用攝像頭的技術(shù)難點是在于算法嗎？

徐雷：主要是兩個方面。一是算法本身的技術(shù)先進性；二是如何讓算法在車端計算資源有限的嵌入式平臺上高效運行，智駕方案最終還是要跑在車端。

晚點：從行業(yè)平均角度看，一顆 800 萬像素攝像頭大概占用多少算力？

徐雷：很難給出絕對數(shù)值，因為這取決于具體功能需求——是單車道的高速 NOA、帶換道的高速 NOA，還是城市 NOA？要處理的場景數(shù)量不同，決定同樣傳感器配置下系統(tǒng)對算力的消耗不一樣。而且 TOPS（Tera Operations Per Second，每秒計算一萬億次） 只是衡量指標(biāo)之一，還要考慮內(nèi)存帶寬、NPU（Neural Processing Unit，神經(jīng)處理單元）對算子的支持力度等因素。

晚點：業(yè)內(nèi)有說法認為，激光雷達是現(xiàn)階段的一根 “拐棍”，你認可嗎？

徐雷：激光雷達方案可能是個捷徑，能快速讓系統(tǒng)跑起來，但上限相對較低。

晚點：為什么純視覺方案的上限更高？

徐雷：從信息輸入看，激光雷達每 100 毫秒才獲得一次點云，而攝像頭每 33 毫秒就能提供 800 萬像素的圖像——視覺傳感器的信息更豐富，獲取頻率更高。開車需要在電光石火間作出決策，如果輸入幀率和信息量跟不上，雖然車也能行駛，但在需要快速反應(yīng)的場景下，智駕方案的能力確實會差一些。

激光雷達雖然通過直接測距降低了處理難度，但它的信息量少、觀測間隔長，構(gòu)建周圍環(huán)境可能不夠及時、精確。對一些需要準確及時理解的場景，表現(xiàn)相對較弱。

晚點：純視覺方案以攝像頭為主傳感器，那融合感知方案呢？

徐雷：以特斯拉為例，它沒有在量產(chǎn)車上搭載激光雷達，系統(tǒng)必須靠純視覺理解三維世界。而我了解的一些以激光雷達為主的方案，對激光雷達的依賴度非常高。

一些以激光雷達為主傳感器的車，它的視覺處理能力可能跟不上。攝像頭雖然每秒輸入 30 張圖像，但系統(tǒng)可能只處理 10 次結(jié)果。這種對激光雷達的強依賴可能導(dǎo)致系統(tǒng)在極限測試場景下表現(xiàn)不佳。

晚點：純視覺方案上限可能更高，但你剛才也說，在理想狀態(tài)下，兩種傳感器都用才最好。

徐雷：如果不考慮成本，我當(dāng)然希望有冗余配置，比如在車里放兩臺發(fā)動機，一臺壞了就換另一臺。但冗余不僅涉及傳感器，算法融合本身的技術(shù)挑戰(zhàn)也很高。所以像特斯拉，選擇在發(fā)展過程中先做好視覺，同時它考慮到要賣車，加那么多激光雷達對成本也是挑戰(zhàn)。

晚點：所以你從內(nèi)心角度是支持純視覺方案？

徐雷：不是，我比較開放。我的想法是：第一，肯定要以視覺為主，一定要把視覺能力做好。如果車上有視覺和激光雷達，卻只把激光雷達做好，視覺只處理到 10 幀，那我不能接受。第二，對于車上的傳感器，無論是激光雷達、4D 毫米波雷達還是將來的新東西，我都持開放態(tài)度，我不認為車上只能有攝像頭。

晚點：你反對的是，有些廠商用了激光雷達，但沒有把視覺能力做好。

徐雷：對。你會看到，那些車的攝像頭也不少。理論上，裝了這么多攝像頭，還有激光雷達，智駕系統(tǒng)的能力不應(yīng)該比特斯拉差才對。

晚點：有些廠商說，用激光雷達是為了在夜間、雨霧等場景下更快識別前方不規(guī)則障礙物，這樣更安全。你怎么看？

徐雷：我個人認為，在漆黑的惡劣天氣下，建議不要行駛。這不適合自動駕駛甚至人工駕駛。攝像頭有局限性，不過傳感器也在進步，車上還可能有 4D 毫米波雷達等其它傳感器。激光雷達能看到的東西，其他傳感器也能看到，但能否準確識別是個問題，因為會有誤報的挑戰(zhàn)。激光雷達在雨雪天氣也會受影響。

有這些傳感器當(dāng)然更好，但這涉及產(chǎn)品定義：我們的產(chǎn)品邊界在哪？到底要識別多大的障礙物？根據(jù)國家智能駕駛標(biāo)準，視覺加 4D 毫米波的方案能夠解決這些問題，并不一定要上激光雷達。

晚點：可以把 4D 毫米波雷達理解為小一號的激光雷達嗎？

徐雷：它們的原理還不太一樣，像是蘋果和橘子。

晚點：4D 毫米波雷達能提供一些攝像頭感知不到的環(huán)境要素。

徐雷：惡劣環(huán)境對它的影響非常小，甚至沒有影響。

晚點：特斯拉現(xiàn)在連 4D 毫米波雷達都不用，這是出于什么考量？

徐雷：馬斯克的想法很樸素：人開車時，惡劣天氣下看到東西也會剎車，也不可能把每種場景都處理好。如果有這些傳感器當(dāng)然更好，但從馬斯克的角度，攝像頭就能達到要求：晚上有燈光，現(xiàn)在的 CMOS 傳感器進光量大，也能看到很多東西。

晚點：相比國內(nèi)廠商，特斯拉的視覺能力大概高出多少？

徐雷：現(xiàn)在國內(nèi)頭部廠商基本在 10FPS（Frames Per Second，每秒幀數(shù)） 左右，特斯拉至少達到 20 多 FPS。

晚點：還有人覺得，有些廠商不用激光雷達是由于成本因素，但現(xiàn)在激光雷達的價格也不是很高。

徐雷：不一定是純價格原因。包括海外一些車企，他們可能覺得激光雷達難以布置，會影響車輛造型。

晚點：馬斯克還說過，當(dāng)攝像頭和激光雷達的識別結(jié)果不一致時，聽誰的也是個問題。

徐雷：這就是融合時的難點。兩個不同源的信息，到底信誰，或者怎么綜合？

晚點：國內(nèi)用激光雷達的廠商解決這個問題了嗎？

徐雷：大部分廠商還是更相信激光雷達，這可能是因為他們還沒有把視覺處理到比較好的狀態(tài)。有激光雷達至少能讓車先開起來，只是遇到挑戰(zhàn)性場景時處理不好。在國內(nèi)，大家更關(guān)心如何讓智駕方案快點兒上車。

晚點：激光雷達廠商還在提高線數(shù)，比如從 128 線到 800 線，這對激光雷達的性能提升有多大幫助？

徐雷：增加線數(shù)是為了讓點云更密。在以前，地上的較小物體激光雷達可能探測不到；現(xiàn)在能被多個點覆蓋，識別效果肯定會更好，但相應(yīng)地，成本也會上升。

晚點：現(xiàn)在很多廠商都在做 “端到端”、VLA，這些新技術(shù)對數(shù)據(jù)的使用更重。他們使用的數(shù)據(jù)，主要就是攝像頭采集來的吧？

徐雷：這要看每一家廠商怎么定義。從數(shù)據(jù)角度，無論是傳統(tǒng) CNN 還是 Transformer、BEV，最開始肯定是用實際采集來的數(shù)據(jù)。但越往后，如何通過 AIGC 生成數(shù)據(jù)更重要，因為對于一些極限場景，實際采集來的數(shù)據(jù)畢竟有限。

晚點：Nullmax 是怎么使用數(shù)據(jù)的？

徐雷：我們研發(fā)了一套數(shù)據(jù)驅(qū)動的成長系統(tǒng)。舉個例子，2021 年做海外項目時，不同國家交通標(biāo)識的差別很大，不可能開車采集很長里程。我們就想用 AI 生成方案，比如自動把速度標(biāo)識貼到真實場景的正確位置，后來擴展到生成不同顏色、距離的車輛，甚至生成視頻。在閉環(huán)仿真中調(diào)整規(guī)控策略，攝像頭視角的視頻也會相應(yīng)變化。

我們希望靠技術(shù)而非狂采數(shù)據(jù)，因為后者成本很高。通過算法，用真實數(shù)據(jù)生成千變?nèi)f化的場景，同時覆蓋危險場景。產(chǎn)生有效數(shù)據(jù)的能力本質(zhì)上是算法能力。算力也不是蠻干，用什么網(wǎng)絡(luò)架構(gòu)能大幅降低算力需求，這是有技術(shù)含量的，并不是完全拼誰有錢買卡。

晚點：你在特斯拉自動駕駛部門工作過。至今人們?nèi)哉J為，特斯拉的智駕能力處于行業(yè)前列。特斯拉主要做對了哪些事情？

徐雷：第一性原理比較重要，就是即使有挑戰(zhàn)，也堅持走正確的路。我們認為，用激光雷達像拐棍或捷徑，能讓智駕系統(tǒng)快速實現(xiàn)量產(chǎn)上車，但最終要達到一定高度，還是要把視覺 AI 能力做好，這沒那么急功近利。無論是視覺加激光雷達，還是視覺加毫米波雷達，首先要把視覺能力提到足夠高，這會決定系統(tǒng)上限。

題圖來源：視覺中國