猿力部落——汽車(chē)人的技術(shù)社區(qū)

據(jù)EurekAlert! AAAS報(bào)道，自動(dòng)駕駛技術(shù)發(fā)展迅猛，已從基于規(guī)則的系統(tǒng)過(guò)渡到深度神經(jīng)網(wǎng)絡(luò)。然而，端到端模型仍面臨諸多缺陷：它們往往缺乏世界知識(shí)，難以應(yīng)對(duì)罕見(jiàn)或模糊的場(chǎng)景，并且對(duì)其決策過(guò)程的洞察也十分有限。相比之下，大型語(yǔ)言模型（LLM）在推理、情境理解和解讀復(fù)雜指令方面表現(xiàn)出色。然而，LLM的輸出是語(yǔ)言性的而非可執(zhí)行的，這使得它們難以與實(shí)際車(chē)輛控制系統(tǒng)集成。這些差距凸顯了構(gòu)建框架的必要性，該框架應(yīng)將多模態(tài)感知與基于成熟駕駛邏輯的結(jié)構(gòu)化、可操作的決策輸出相結(jié)合。應(yīng)對(duì)這些挑戰(zhàn)需要對(duì)如何將多模態(tài)推理與自動(dòng)駕駛規(guī)劃器相融合進(jìn)行更深入的研究。

上海交通大學(xué)、上海人工智能實(shí)驗(yàn)室、清華大學(xué)及合作機(jī)構(gòu)的研究團(tuán)隊(duì)開(kāi)發(fā)了DriveMLM，這是一個(gè)用于閉環(huán)自動(dòng)駕駛的多模態(tài)大型語(yǔ)言模型框架。該研究成果發(fā)表在《視覺(jué)智能》（Visual Intelligence）期刊上。DriveMLM整合了多視角攝像頭圖像、激光雷達(dá)點(diǎn)云、系統(tǒng)消息和用戶(hù)指令，生成對(duì)齊的行為規(guī)劃狀態(tài)。這些狀態(tài)可以直接接入現(xiàn)有的運(yùn)動(dòng)規(guī)劃模塊，從而實(shí)現(xiàn)實(shí)時(shí)駕駛控制，并為每個(gè)決策生成自然語(yǔ)言解釋。

DriveMLM解決了基于LLM的駕駛中的一個(gè)核心挑戰(zhàn)：將語(yǔ)言推理轉(zhuǎn)化為可靠的控制行為。該框架將LLM的輸出與模塊化系統(tǒng)（例如Apollo）中使用的行為規(guī)劃狀態(tài)相匹配，涵蓋速度決策（保持、加速、減速、停止）和路徑?jīng)Q策（跟隨、左轉(zhuǎn)、右轉(zhuǎn)等）。

一種專(zhuān)門(mén)的多模態(tài)分詞器將多視角時(shí)序圖像、激光雷達(dá)數(shù)據(jù)、交通規(guī)則和用戶(hù)指令處理成統(tǒng)一的詞嵌入。然后，多模態(tài)邏輯學(xué)習(xí)模型預(yù)測(cè)合適的決策狀態(tài)并生成相應(yīng)的解釋?zhuān)瑥亩_�？山忉屝浴�

為了支持訓(xùn)練，團(tuán)隊(duì)創(chuàng)建了一個(gè)大規(guī)模數(shù)據(jù)引擎，該引擎在八張CARLA地圖和30個(gè)具有挑戰(zhàn)性的場(chǎng)景（包括罕見(jiàn)的安全關(guān)鍵事件）上生成了280小時(shí)的駕駛數(shù)據(jù)。該流程會(huì)自動(dòng)標(biāo)注速度和路徑?jīng)Q策，并結(jié)合人工修正和基于GPT的數(shù)據(jù)增強(qiáng)，生成豐富的解釋性標(biāo)注。

在CARLA Town05 Long基準(zhǔn)測(cè)試的閉環(huán)評(píng)估中，DriveMLM的駕駛得分達(dá)到76.1分，比Apollo基線(xiàn)系統(tǒng)高出4.7分，并且在所有對(duì)比系統(tǒng)中實(shí)現(xiàn)了最高的每次干預(yù)里程數(shù)(0.96英里)。DriveMLM還展現(xiàn)出強(qiáng)大的開(kāi)環(huán)決策準(zhǔn)確性、更高的解釋質(zhì)量以及在自然語(yǔ)言指導(dǎo)下的穩(wěn)健性能——例如，在不同的交通狀況下，能夠避讓緊急車(chē)輛或理解“超車(chē)”等用戶(hù)指令。

研究團(tuán)隊(duì)指出：“我們的研究表明，LLM一旦與結(jié)構(gòu)化決策狀態(tài)相匹配，就能成為自動(dòng)駕駛車(chē)輛強(qiáng)大的行為規(guī)劃器。DriveMLM超越了簡(jiǎn)單的規(guī)則遵循。它能夠理解復(fù)雜的場(chǎng)景，推理運(yùn)動(dòng)規(guī)律，并用自然語(yǔ)言解釋其決策——這些能力對(duì)于安全性和公眾信任至關(guān)重要。DriveMLM將感知、規(guī)劃和人工指令整合到一個(gè)統(tǒng)一的框架中，為下一代自動(dòng)駕駛系統(tǒng)提供了一個(gè)充滿(mǎn)希望的發(fā)展方向�！�

DriveMLM展示了多模態(tài)邏輯邏輯模型如何提升自動(dòng)駕駛的透明度、靈活性和安全性。其即插即用設(shè)計(jì)使其能夠無(wú)縫集成到Apollo或Autopilot等現(xiàn)有系統(tǒng)中，無(wú)需進(jìn)行重大架構(gòu)變更即可改進(jìn)決策。解讀自然語(yǔ)言指令的能力拓展了交互式駕駛輔助和個(gè)性化車(chē)載AI副駕駛的可能性。更廣泛地說(shuō)，DriveMLM為構(gòu)建能夠理解復(fù)雜環(huán)境、預(yù)測(cè)風(fēng)險(xiǎn)并為其行為提供合理依據(jù)的推理驅(qū)動(dòng)型自動(dòng)駕駛系統(tǒng)指明了方向——這些都是在實(shí)際交通網(wǎng)絡(luò)中部署可信賴(lài)AI的關(guān)鍵能力。