導(dǎo)言

“端到端大模型”在行業(yè)里被提到太多次，它其實(shí)干的活很樸素，就是把過(guò)去分散在不同環(huán)節(jié)的邏輯收緊，讓系統(tǒng)在同一套規(guī)則下處理更多情況。外界喜歡把它描述成能力飛躍，而工程師更關(guān)心的是它穩(wěn)不穩(wěn)、好不好調(diào)、會(huì)在哪些地方偏離預(yù)期。理解它，不能從想象它能變多強(qiáng)開(kāi)始，而要從它要解決的問(wèn)題看起。

要看懂端到端大模型，需要先接受一個(gè)現(xiàn)實(shí)：道路世界是真實(shí)世界，光影、動(dòng)作、節(jié)奏每天都在變化。不管模型多大，都要在這些變化里保持穩(wěn)定。把大模型放回這條現(xiàn)實(shí)主線上，再看它能做什么、做不到什么，就會(huì)清楚很多。

模型越大，路不一定就簡(jiǎn)單

如果只看演示視頻，端到端大模型顯得比老司機(jī)還穩(wěn)。方向的調(diào)整干脆利落，跟車(chē)距離控制平滑，似乎模型越大越能“看懂整條路”。可真實(shí)道路并不提供那樣干凈的輸入。清晨的水汽會(huì)在鏡頭邊緣凝成薄霧，傍晚的逆光把前車(chē)輪廓拉得模模糊糊，路面反光會(huì)在某一幀里突然閃一下，電動(dòng)車(chē)和外賣(mài)車(chē)則經(jīng)常在模型最不想看到的位置竄進(jìn)畫(huà)面。

道路和障礙物檢測(cè)系統(tǒng)

這些被光影切碎的信息會(huì)讓模型瞬間迷茫。人類(lèi)司機(jī)會(huì)把部分細(xì)節(jié)自動(dòng)過(guò)濾，例如樹(shù)影的晃動(dòng)、擋風(fēng)玻璃反射出的偽輪廓，可模型沒(méi)有這種本能，它必須用大量樣本告訴自己哪些信號(hào)應(yīng)該忽略，哪些動(dòng)作值得提前準(zhǔn)備。模型越大，這種學(xué)習(xí)越復(fù)雜，它在某些瞬間甚至?xí)憩F(xiàn)出注意力“跑偏”的情況。

工程師常在回放日志里看到一些意想不到的片段。前車(chē)在畫(huà)面里清晰可見(jiàn)，它卻把注意力放到旁邊的反光塊上；路邊行人動(dòng)作穩(wěn)穩(wěn)當(dāng)當(dāng)，它卻突然表現(xiàn)出謹(jǐn)慎。模型看到的世界不是“路”，而是一堆碎片化的像素組合，它要把這些碎片重新拼出意義，而現(xiàn)實(shí)場(chǎng)景的復(fù)雜度遠(yuǎn)超想象。端到端大模型并沒(méi)有讓世界變得更簡(jiǎn)單，它只是讓系統(tǒng)有能力把這些碎片理解為一個(gè)整體，但碎片本身的混亂從未消失。

端到端學(xué)習(xí)架構(gòu)

在人類(lèi)駕駛里，我們會(huì)憑經(jīng)驗(yàn)把“下一秒可能發(fā)生什么”放在腦子里，提前松油或輕輕壓一點(diǎn)剎車(chē)。模型也需要這種提前量，只是它依賴(lài)的不是直覺(jué)，而是數(shù)據(jù)里的“相似場(chǎng)景”。場(chǎng)景越復(fù)雜，模型就越需要大量的樣本去描述真實(shí)世界，稍有偏差，行為就會(huì)被拖得忽快忽慢。

把所有事情塞進(jìn)一個(gè)模型，并不輕松

端到端大模型最吸引人的地方，是它把感知、預(yù)測(cè)、決策放在一個(gè)模型里處理，讓鏈路看起來(lái)更短。廠商喜歡用“一體化”形容這種結(jié)構(gòu)，仿佛模型自然就能把所有事情串成順滑的邏輯。但在工程現(xiàn)場(chǎng)，情況遠(yuǎn)不如此。

基于概率世界建模的視覺(jué)自動(dòng)駕駛表征學(xué)習(xí)

大模型像一個(gè)萬(wàn)能鍋，看上去可以處理所有食材，可真正下鍋時(shí)才會(huì)發(fā)現(xiàn)配比、時(shí)機(jī)和火候都會(huì)互相影響。工程師原本想提升模型在低速場(chǎng)景的敏感度，結(jié)果模型在高速場(chǎng)景里變得過(guò)度謹(jǐn)慎；他們讓模型在高速上果斷一些，又會(huì)影響它在城市擁堵里對(duì)密集行為的判斷力。

這類(lèi)連鎖反應(yīng)是端到端大模型最難調(diào)的地方。過(guò)去的模塊化系統(tǒng)，每個(gè)模塊偏了都能單獨(dú)修；現(xiàn)在所有邏輯擠在一個(gè)模型里，任何一個(gè)輸出改變，都可能牽動(dòng)一整串內(nèi)部關(guān)聯(lián)。工程師要盯著同一幀視頻反復(fù)放慢，只為看清模型注意力落在哪個(gè)區(qū)域。有時(shí)會(huì)發(fā)現(xiàn)模型對(duì)某些細(xì)節(jié)格外在意，有時(shí)卻忽略了顯而易見(jiàn)的線索。

基于深度學(xué)習(xí)的實(shí)時(shí)錯(cuò)誤方向檢測(cè)

這些變化看上去像隨機(jī)波動(dòng)，實(shí)際上是模型在內(nèi)部不斷重新分配注意力的結(jié)果。端到端大模型不是按步驟出錯(cuò)，而是把小偏差、多余注意力和難以量化的背景條件堆在一起，最后在某個(gè)不顯眼的路口表現(xiàn)出來(lái)。把所有事情放進(jìn)一個(gè)模型，從紙面看很整潔，調(diào)起來(lái)卻比模塊化更“費(fèi)神”，像一鍋永遠(yuǎn)需要重新調(diào)味的湯，每次調(diào)整都要確認(rèn)不會(huì)讓另一頭失衡。

聰明之外，更需要可控

外界往往關(guān)注模型能不能處理極端場(chǎng)景，能不能像老司機(jī)一樣提前預(yù)判。工程師更關(guān)心的是，它能不能把一件事情交代清楚。道路里最怕的從來(lái)不是系統(tǒng)不夠靈活，而是它突然做了一個(gè)沒(méi)人預(yù)料的動(dòng)作。輕輕提前松油、突然縮短跟車(chē)距離、在光線變化時(shí)慢半拍，這些小動(dòng)作都會(huì)破壞整體節(jié)奏，而模型不會(huì)告訴你當(dāng)時(shí)“在想什么”。

全球超級(jí)計(jì)算中心采用 NVQLink

端到端大模型內(nèi)部沒(méi)有清晰邊界。它不會(huì)寫(xiě)小紙條告訴你“我剛才把那塊反光當(dāng)成了車(chē)”，工程師只能通過(guò)權(quán)重變化、輸入分布和注意力熱圖去推測(cè)它當(dāng)時(shí)關(guān)注了哪些像素。推錯(cuò)方向，調(diào)整可能會(huì)適得其反，讓原本穩(wěn)定的部分變得不穩(wěn)。

法規(guī)要求每一個(gè)自動(dòng)化動(dòng)作都必須可追溯。《智能網(wǎng)聯(lián)汽車(chē)道路測(cè)試與示范應(yīng)用管理規(guī)范（試行）》強(qiáng)調(diào)決策過(guò)程必須能被還原。端到端大模型把許多中間環(huán)節(jié)揉成了一個(gè)整體，動(dòng)作看上去更流暢，卻讓單一步判斷背后的依據(jù)變得難以拆解。工程團(tuán)隊(duì)因此會(huì)在模型之外設(shè)置更“笨”的安全層，不是懷疑模型，而是不敢讓它在關(guān)鍵時(shí)刻獨(dú)自承擔(dān)判斷。那些看似老派的規(guī)則，往往是現(xiàn)實(shí)道路里最可靠的兜底。

模型終究有邊界

大模型常被描述成自動(dòng)駕駛的“最終路徑”，但工程師知道，它更像一個(gè)能不斷改進(jìn)的工具。道路永遠(yuǎn)比模型快一步變化，駕駛行為的組合也永遠(yuǎn)比樣本庫(kù)多。暴雨積水、冰面路段、施工繞行、突發(fā)管制，這些場(chǎng)景不可能全部靠模型自己推斷。

天氣數(shù)據(jù)影響交通

真正落地的系統(tǒng)往往是折中的結(jié)果，讓大模型負(fù)責(zé)順滑體驗(yàn)，讓規(guī)則邏輯負(fù)責(zé)兜底，讓工程限制守住邊界。在這些底線場(chǎng)景里，工程師寧愿多放幾條看上去“古老”的限制，也不會(huì)把命運(yùn)交給模型的靈活性。不是因?yàn)槟Ｐ筒粔蚝�，而是因�(yàn)榈缆肥澜缋锟傆幸恍o(wú)論如何都必須按最笨的方法處理的情況。

算力同樣是一條清晰的邊界。車(chē)載芯片的能力有限，大模型越大，需要的資源越多。工程師常常要在“更細(xì)致的理解”和“更及時(shí)的響應(yīng)”之間做取舍。有些復(fù)雜判斷來(lái)不及在幾毫秒內(nèi)算完，只能交給更硬的規(guī)則邏輯兜著。大模型能做的事情并不少，但它并不能包辦全部。

英偉達(dá)的通用軌跡評(píng)分

結(jié)語(yǔ)

端到端大模型不是全能大腦，而是一種把鏈路集中化的工程方式。可控、可驗(yàn)證、可解釋?zhuān)@些底線永遠(yuǎn)比“聰明”更重要。請(qǐng)對(duì)消費(fèi)者說(shuō)人話(huà)，大模型不是萬(wàn)能，它只是讓道路上的某些動(dòng)作更順、更穩(wěn)，讓麻煩的問(wèn)題少一點(diǎn)。

歡迎線上購(gòu)買(mǎi)《汽車(chē)之友》雜志

北京時(shí)尚

成都雜志鋪

掃碼進(jìn)店，線上購(gòu)買(mǎi)，快遞到家

獲取更多圖文資訊，歡迎關(guān)注《汽車(chē)之友》微信公眾號(hào)

獲取更多視頻資訊，敬請(qǐng)關(guān)注《汽車(chē)之友》視頻號(hào)