智東西
作者 ZeR0
編輯 漠影

智東西3月24日?qǐng)?bào)道，上周英偉達(dá)GTC期間，智東西在圣何塞深度體驗(yàn)乘坐了一輛沒(méi)有激光雷達(dá)、沒(méi)有高精地圖的L2++級(jí)自動(dòng)駕駛汽車，跑了11英里，將近50分鐘，全程沒(méi)有被駕駛位上的人類安全員接管一次。

▲試乘車

此次體驗(yàn)的，便是前不久英偉達(dá)創(chuàng)始人兼CEO黃仁勛、英偉達(dá)全球副總裁吳新宙在舊金山體驗(yàn)的同款輔助駕駛汽車方案——汽車是梅賽德斯-奔馳CLA，搭載基于NVIDIA DRIVE Hyperion硬件平臺(tái)的Alpamayo端到端輔助駕駛大模型。

▲黃仁勛和吳新宙試乘輔助駕駛汽車

借助英偉達(dá)深度學(xué)習(xí)模型，Hyperion架構(gòu)可通過(guò)擴(kuò)展功能實(shí)現(xiàn)增強(qiáng)型L2級(jí)輔助駕駛功能，包括在復(fù)雜城市環(huán)境中實(shí)現(xiàn)點(diǎn)到點(diǎn)城市領(lǐng)航輔助，使汽車自主完成整個(gè)行駛過(guò)程。

我的試乘路線是從圣何塞Signia酒店附近上車，途徑日本城、Willow Glen社區(qū)，最終繞回出發(fā)點(diǎn)。這條路線經(jīng)專門設(shè)計(jì)，盡可能多地展示不同路況，涉及信控路口、四路停車標(biāo)志、施工路段等復(fù)雜場(chǎng)景。

在圣何塞街道上兜風(fēng)近50分鐘，我的總體感覺(jué)歸納為一個(gè)字——順。

試乘過(guò)程中，汽車根據(jù)實(shí)際路況、紅綠燈做出車道選擇、轉(zhuǎn)彎、跟隨、停車等行為，并在識(shí)別行人后主動(dòng)讓行。途中遇到的幾個(gè)插曲，都被輔助駕駛系統(tǒng)應(yīng)對(duì)自如。

剛啟程沒(méi)多久，一輛車從我們前方插進(jìn)來(lái)，堵了半條車道，而前方是雙黃線，不能壓線超車。這時(shí)車載系統(tǒng)沒(méi)有強(qiáng)行繞行，也沒(méi)有亂打方向，而是減速等待，做出了像人類司機(jī)一樣正確的判斷。

遇到信號(hào)燈沒(méi)工作、減速帶等情況，汽車會(huì)謹(jǐn)慎地主動(dòng)減速，通過(guò)后恢復(fù)正常速度。

等開(kāi)到日本城附近時(shí)，前方有一位老太太推著一堆箱子從路左側(cè)向右慢慢橫穿。

還有當(dāng)我們?cè)谝粋€(gè)路口準(zhǔn)備右轉(zhuǎn)時(shí)，一位行人邊過(guò)馬路邊聚精會(huì)神打電話。

遇到這兩種場(chǎng)景，汽車都非常自然地減速停車，禮讓行人。

這些“順”的背后，藏著一些很有意思的技術(shù)細(xì)節(jié)。

一、無(wú)激光雷達(dá)、無(wú)高精地圖，一顆芯片支撐全部算力

這輛奔馳CLA搭載的英偉達(dá)的L2++輔助駕駛方案沒(méi)有使用激光雷達(dá)，主要采用攝像頭和毫米波雷達(dá)等傳感器，也沒(méi)有高精地圖，只使用來(lái)自導(dǎo)航模塊的普通地圖。

因此，這套方案非常經(jīng)濟(jì)高效，幾乎可應(yīng)用于各種汽車，也讓軟件具備極高的跨地域可擴(kuò)展性。

在我們乘坐的汽車中，NVIDIA DRIVE Hyperion平臺(tái)包括一個(gè)DRIVE AGX Orin SoC芯片、10顆攝像頭、5顆毫米波雷達(dá)和12顆超聲波傳感器。

10個(gè)攝像頭包括2顆前向攝像頭、2顆側(cè)向攝像頭、2顆側(cè)后向攝像頭和4顆魚眼攝像頭。這些攝像頭能夠閱讀交通標(biāo)志和車道標(biāo)志，提供周遭廣泛視角和能見(jiàn)度，實(shí)現(xiàn)精確控制、安心駕駛。

5顆毫米波雷達(dá)包括1顆中程雷達(dá)和4顆角雷達(dá)，能探測(cè)其他行人、車輛的距離和速度，監(jiān)測(cè)附近的交通和盲點(diǎn)。

超聲波傳感器可探測(cè)附近的障礙物，以支持平穩(wěn)、自信的低速操作。

所有計(jì)算任務(wù)都運(yùn)行在單顆Orin芯片上。這一套硬件配置，支撐起了整個(gè)L2++級(jí)自動(dòng)駕駛功能。英偉達(dá)正與更多OEM合作伙伴推進(jìn)量產(chǎn)落地，計(jì)劃今年覆蓋美國(guó)全境，明年覆蓋歐洲、日本和韓國(guó)。

DRIVE Hyperion硬件架構(gòu)可擴(kuò)展到L4級(jí)自動(dòng)駕駛。

這次試乘，我體驗(yàn)的是DRIVE Hyperion 8架構(gòu)。而比亞迪、吉利、日產(chǎn)等已經(jīng)在開(kāi)發(fā)基于DRIVE Hyperion 10架構(gòu)的新一代L4自動(dòng)駕駛汽車項(xiàng)目。

五十鈴和TIER IV采用DRIVE Hyperion里的DRIVE AGX Thor SoC芯片，合作開(kāi)發(fā)L4級(jí)自動(dòng)駕駛巴士。Uber、Bolt、Grab、Lyft等移動(dòng)出行服務(wù)商均在基于DRIVE Hyperion擴(kuò)展自動(dòng)駕駛出租車規(guī)模。

梅賽德斯-奔馳也在開(kāi)發(fā)一款基于新S級(jí)的自動(dòng)駕駛出租車，將采用DRIVE Hyperion和全棧AV L4軟件。

▲NVIDIA GTC大會(huì)上展出的NVIDIA DRIVE AGX Thor開(kāi)發(fā)者套件

另一個(gè)值得關(guān)注的點(diǎn)是，不用高精地圖會(huì)帶來(lái)一大挑戰(zhàn)：如何理解信號(hào)燈與車道的關(guān)聯(lián)關(guān)系？

一個(gè)十字路口有多條車道、多個(gè)信號(hào)燈，怎么判斷我的車道對(duì)應(yīng)哪個(gè)燈？這在有高精地圖的系統(tǒng)里，是預(yù)先標(biāo)注好的。

而英偉達(dá)通過(guò)在軟件棧中進(jìn)行大量創(chuàng)新，使汽車在行駛過(guò)程中實(shí)時(shí)完成判斷，在線創(chuàng)建全球高精地圖，最終實(shí)時(shí)創(chuàng)建所有車道線、連接方式和行駛方案。

做到這一點(diǎn)，離不開(kāi)先進(jìn)的模型推理能力。

二、推理模型：給輔助駕駛決策注入像人一樣的思維

英偉達(dá)認(rèn)為，推理能力是輔助駕駛的下一個(gè)前沿。

傳統(tǒng)輔助駕駛架構(gòu)將感知與規(guī)劃分離開(kāi)來(lái)，這在面臨突發(fā)或異常狀況時(shí)，往往會(huì)限制其系統(tǒng)擴(kuò)展性。解決這些長(zhǎng)尾極端事件，需要具備安全推理因果關(guān)系能力的模型。

對(duì)此，英偉達(dá)開(kāi)發(fā)Alpamayo生態(tài)系統(tǒng)，以加速安全、基于推理的自動(dòng)駕駛汽車開(kāi)發(fā)。

Alpamayo系列包括具備決策推理能力的AI模型、用于測(cè)試決策的閉環(huán)仿真工具AlpaSim與物理AI自動(dòng)駕駛數(shù)據(jù)集。

其中， Alpamayo 1是該系列的首個(gè)版本，是一款開(kāi)放VLA（視覺(jué)-語(yǔ)言-動(dòng)作）推理模型，專為應(yīng)對(duì)輔助駕駛長(zhǎng)尾場(chǎng)景挑戰(zhàn)而設(shè)計(jì)，基于100億參數(shù)架構(gòu)，集成了視覺(jué)感知、語(yǔ)言理解和動(dòng)作生成能力，通過(guò)視頻輸入生成行駛軌跡，并通過(guò)推理來(lái)解釋自身的決策。

Alpamayo輔助駕駛堆棧的駕駛方式非常接近人類。借助這一模型，汽車會(huì)實(shí)時(shí)感知周邊環(huán)境，在后臺(tái)持續(xù)推理，能夠更準(zhǔn)確地感知環(huán)境、解讀環(huán)境和預(yù)測(cè)風(fēng)險(xiǎn)，推演罕見(jiàn)或全新場(chǎng)景，靈活應(yīng)對(duì)復(fù)雜多變的路況，并能解釋它在決定時(shí)的推理思路。

比如前方雙排停車的一輛車開(kāi)始倒車，車載系統(tǒng)不會(huì)試圖從旁邊硬擠過(guò)去，而是在識(shí)別倒前方汽車倒車燈亮起、汽車向后移動(dòng)時(shí)，判斷對(duì)方意圖是停車，于是等它停好后再繼續(xù)前行；如果前方汽車停著不動(dòng)，車載系統(tǒng)就會(huì)輕輕繞過(guò)去通行。

開(kāi)發(fā)者既可將Alpamayo 1調(diào)整為更精簡(jiǎn)的運(yùn)行時(shí)模型，部署于車端；又可將它作為輔助駕駛的基礎(chǔ)架構(gòu)，構(gòu)建基于推理的評(píng)估器和自動(dòng)標(biāo)注系統(tǒng)等開(kāi)發(fā)工具。

英偉達(dá)在GTC 2026大會(huì)上最新發(fā)布的Alpamayo 1.5，正是基于Alpamayo 1模型打造。Alpamayo 1.5模型可交互、可操控，能夠?qū)⑿旭傄曨l、自車運(yùn)動(dòng)歷史、導(dǎo)航引導(dǎo)和自然語(yǔ)言指令作為輸入，輸出帶有推理鏈路的行駛軌跡，能夠清晰展示每項(xiàng)決策背后的邏輯。

開(kāi)發(fā)者通過(guò)導(dǎo)航與文本指令，就能調(diào)控車輛駕駛行為并設(shè)定行駛約束條件。

AlpaSim是一款面向高保真輔助駕駛開(kāi)發(fā)、完全開(kāi)源的端到端閉環(huán)仿真框架，提供逼真的傳感器建模、可配置交通動(dòng)態(tài)，以及可擴(kuò)展的閉環(huán)測(cè)試環(huán)境，支持快速驗(yàn)證與策略優(yōu)化。

物理AI開(kāi)放數(shù)據(jù)集包含來(lái)自全球2500多個(gè)城市的30多萬(wàn)個(gè)片段，有超過(guò)1700小時(shí)的駕駛數(shù)據(jù)，覆蓋廣泛的地理區(qū)域和環(huán)境條件，涵蓋推動(dòng)推理架構(gòu)發(fā)展所需的罕見(jiàn)且復(fù)雜的真實(shí)世界極端場(chǎng)景。

三、全棧自動(dòng)駕駛軟件平臺(tái)：多模態(tài)、端到端、主動(dòng)安全防護(hù)

對(duì)于輔助駕駛系統(tǒng)，英偉達(dá)與OEM合作伙伴共同定義架構(gòu)、功能和特性。當(dāng)然最終的整車形態(tài)、駕乘感受和外觀設(shè)計(jì)由OEM負(fù)責(zé)。

NVIDIA DRIVE Hyperion和Alpamayo是NVIDIA DRIVE AV全棧式自動(dòng)駕駛軟件平臺(tái)的一部分。

NVIDIA DRIVE AV軟件采用雙棧架構(gòu)：

（1）多模態(tài)經(jīng)典棧（包括感知/規(guī)劃/控制）：安全守護(hù)層，提供冗余和安全防護(hù)。

（2）端到端AI棧：處理復(fù)雜動(dòng)態(tài)場(chǎng)景，提供長(zhǎng)尾駕駛所需的上下文推理和決策能力。

經(jīng)典棧的工作原理是感知世界中的所有物體，預(yù)測(cè)動(dòng)態(tài)物體的未來(lái)行為，綜合使用這些信息及行駛路線來(lái)決定應(yīng)該遵循的正確安全路徑。

端到端AI棧將傳感器與導(dǎo)航路線作為輸入，通過(guò)一個(gè)單一網(wǎng)絡(luò)模型直接輸出最終的行駛軌跡。

系統(tǒng)會(huì)綜合這兩條軌跡，從中選擇最安全和舒適的軌跡。

兩層之間隨時(shí)準(zhǔn)備好交接控制權(quán)：端到端模型主導(dǎo)開(kāi)車，經(jīng)典棧則猶如托底的安全衛(wèi)士，在發(fā)現(xiàn)端到端模型做出不可接受的決策時(shí)，立刻接管，等情況解除后，再把控制權(quán)交還給端到端模型。

駕駛員隨時(shí)可以接管方向盤，期間軟件始終保持運(yùn)行，并在人類與它協(xié)作時(shí)提供幫助。

為安全保駕護(hù)航的核心技術(shù)由NVIDIA Halos OS安全系統(tǒng)提供支撐。

Halos OS基于通過(guò)ASIL D級(jí)標(biāo)準(zhǔn)的DriveOS架構(gòu)打造，其統(tǒng)一的三層安全架構(gòu)整合了安全中間件與可量產(chǎn)部署的安全應(yīng)用，包括符合NCAP 2026五星級(jí)標(biāo)準(zhǔn)的主動(dòng)安全系統(tǒng)，通過(guò)緊急制動(dòng)、規(guī)避轉(zhuǎn)向和360度威脅檢測(cè)，自動(dòng)防止與汽車、行人或騎自行車者發(fā)生碰撞。

通常情況下，人類駕駛員的操作擁有更高優(yōu)先級(jí)。如果原定路線是執(zhí)行，駕駛員打錯(cuò)方向盤左轉(zhuǎn)，汽車會(huì)按照駕駛員的操作來(lái)行駛。但如果因?yàn)轳{駛員誤操作導(dǎo)致要撞向另一輛車，主動(dòng)安全功能就會(huì)立即介入，阻止事故發(fā)生。

這些安全設(shè)計(jì)是量產(chǎn)落地的關(guān)鍵，也是通往L4自動(dòng)駕駛的基礎(chǔ)。

四、三種方式采集數(shù)據(jù)，用高保真仿真增加數(shù)據(jù)多樣性

在開(kāi)發(fā)階段，英偉達(dá)主要通過(guò)三種方式與OEM合作伙伴合作推進(jìn)數(shù)據(jù)采集。

一是專用數(shù)據(jù)采集車隊(duì)，裝備傳感器的汽車由人類駕駛，在全球采集數(shù)據(jù)。

二是開(kāi)發(fā)測(cè)試車隊(duì)，像我們乘坐的這輛一樣，做測(cè)試和開(kāi)發(fā)，有些一直在采集，有些只在發(fā)生有趣事件時(shí)才采集。

三是客戶車隊(duì)，用戶購(gòu)買了搭載NVIDIA DRIVE AV系統(tǒng)的量產(chǎn)車，車輛在發(fā)生有趣事件時(shí)會(huì)采集數(shù)據(jù)。

從配備DRIVE Hyperion的汽車收集的數(shù)據(jù)，可用于在云端訓(xùn)練和優(yōu)化AI模型，在逼真的仿真環(huán)境中驗(yàn)證模型，然后將更新后的軟件部署回汽車，從而持續(xù)改進(jìn)自動(dòng)駕駛系統(tǒng)。

為了大規(guī)模構(gòu)建和驗(yàn)證軟件，英偉達(dá)使用了很多不同的仿真技術(shù)。

首先是英偉達(dá)Omniverse平臺(tái)，使用汽車采集的多傳感器數(shù)據(jù)構(gòu)建數(shù)字孿生世界。

英偉達(dá)使用NVIDIA Cosmos在離線狀態(tài)下創(chuàng)建場(chǎng)景的許多不同變體，這對(duì)于創(chuàng)建大量數(shù)據(jù)用于訓(xùn)練和驗(yàn)證堆棧非常重要，尤其是關(guān)注到我們?cè)诂F(xiàn)實(shí)世界中幾乎看不到的邊緣和罕見(jiàn)情況。

為了構(gòu)建和驗(yàn)證一個(gè)非常安全、可靠的堆棧，這是必不可少的。

另一項(xiàng)關(guān)鍵仿真技術(shù)是NVIDIA Omniverse NuRec。

為了涵蓋真實(shí)世界駕駛場(chǎng)景的多樣性，推理型輔助駕駛汽車的測(cè)試與驗(yàn)證需要高保真的仿真環(huán)境。

NuRec是一套基于3D高斯?jié)姙R技術(shù)的工具集，可通過(guò)接收攝像頭輸入，攝取真實(shí)世界數(shù)據(jù)，完成可交互仿真場(chǎng)景的重建與渲染，即重建其在現(xiàn)實(shí)世界中獲得的數(shù)據(jù)。

它能夠幫助輔助駕駛汽車開(kāi)發(fā)者在不耗費(fèi)大量時(shí)間和成本手動(dòng)構(gòu)建世界的情況下，對(duì)推理行為進(jìn)行壓力測(cè)試，并模擬極端事件。

因此，英偉達(dá)能利用其在道路上行駛的每一英里、無(wú)限的時(shí)間來(lái)驗(yàn)證每個(gè)新的軟件版本，加速輔助駕駛技術(shù)的進(jìn)化。

結(jié)語(yǔ)

在試乘前，我曾以為這會(huì)像很多自動(dòng)駕駛demo一樣，是在一個(gè)安全環(huán)境里沿著封閉路段開(kāi)一圈。

但汽車開(kāi)到了圣何塞的真實(shí)道路上，從車流密集的市中心開(kāi)到熱門景點(diǎn)、居民區(qū)周遭，遇到了推車的老人、插隊(duì)占道的車、盯著手機(jī)走過(guò)的行人等真實(shí)的“意外”。

在這場(chǎng)近50分鐘的駕駛中，它不需要激光雷達(dá)、不需要高精度地圖，僅憑攝像頭、毫米波雷達(dá)、超聲波傳感器、芯片和具備推理能力的模型，就擔(dān)當(dāng)了一位稱職的數(shù)字司機(jī)。

隨著汽車開(kāi)始具備理解真實(shí)世界、推理并付諸行動(dòng)的能力，更安全、智能的輔助駕駛功能將給未來(lái)出行方式帶來(lái)更多輕松與愉悅。