[首發(fā)于智駕最前沿微信公眾號(hào)]最近有小伙伴提問(wèn)，一段式端到端和二段式端到端有什么區(qū)別。其實(shí)說(shuō)到自動(dòng)駕駛里的“端到端”，很多人第一反應(yīng)其就是把傳感器的原始數(shù)據(jù)直接變成車輛的控制指令。比如在大模型中輸入攝像頭、毫米波雷達(dá)、激光雷達(dá)等信號(hào)，便可以直接輸出轉(zhuǎn)向、油門、剎車或者軌跡指令。一段式端到端就是用一個(gè)整體模型完成這個(gè)任務(wù)，從傳感器到控制，中間不拆成多個(gè)模塊，訓(xùn)練的目標(biāo)是直接模仿人類司機(jī)的操作，或者直接優(yōu)化車輛行駛的安全指標(biāo)。一段式端到端就是“一條路走到底”，中間過(guò)程不暴露出來(lái)。

“二段式端到端”雖然依舊保持整體訓(xùn)練、聯(lián)合優(yōu)化的思路，但會(huì)把整個(gè)系統(tǒng)分成兩個(gè)明確的階段。第一階段負(fù)責(zé)把原始感知數(shù)據(jù)轉(zhuǎn)換成一種如語(yǔ)義地圖、軌跡點(diǎn)、可行駛區(qū)域等對(duì)決策友好的中間表達(dá)；第二階段再根據(jù)這個(gè)中間表達(dá)生成控制指令或軌跡。二段式端到端的中間結(jié)果是可觀察、可監(jiān)督的。簡(jiǎn)單理解這兩者的區(qū)別，一段式像一口氣寫完的程序，二段式像先寫感知模塊、再寫決策模塊，雖然可以一起訓(xùn)練，但邊界會(huì)清晰些。

架構(gòu)與訓(xùn)練上的關(guān)鍵差別

一段式模型的輸入一般是原始圖像（或連續(xù)幀）加上車輛狀態(tài)，輸出直接是控制指令或短期軌跡。訓(xùn)練時(shí)常用“行為克隆”，也就是學(xué)習(xí)人類司機(jī)的操作記錄；也可以結(jié)合強(qiáng)化學(xué)習(xí)做微調(diào)，其目標(biāo)就是讓控制誤差最小。它的優(yōu)點(diǎn)是模型自己會(huì)內(nèi)部消化感知、預(yù)測(cè)、規(guī)劃這些步驟，理論上能學(xué)到對(duì)最終任務(wù)最有利的特征。

二段式在結(jié)構(gòu)上明確分為“感知網(wǎng)絡(luò)”和“決策網(wǎng)絡(luò)”。感知部分輸出的是如車道線、障礙物位置、語(yǔ)義柵格、未來(lái)軌跡點(diǎn)等可理解的中間信息。這個(gè)階段通常會(huì)有更豐富的監(jiān)督信號(hào)，不僅有駕駛行為數(shù)據(jù)，還可以引入傳統(tǒng)感知任務(wù)的標(biāo)簽（如檢測(cè)、分割、深度等），讓感知更可靠。決策部分則把這些中間信息映射成控制指令，也可以配合經(jīng)典控制器（比如MPC）或規(guī)則過(guò)濾器使用。訓(xùn)練時(shí)，可以先單獨(dú)訓(xùn)練感知模塊，再聯(lián)合微調(diào)；也可以端到端一起訓(xùn)練，但中間仍然加入監(jiān)督，防止決策“跑偏”。

二段式端到端也更容易做模塊級(jí)的損失設(shè)計(jì)和多任務(wù)學(xué)習(xí)。如感知模塊可以同時(shí)學(xué)分割和深度估計(jì)，決策模塊可以針對(duì)不同駕駛風(fēng)格調(diào)整權(quán)重。這種分層方式通常在數(shù)據(jù)利用、訓(xùn)練效率和可解釋性上優(yōu)于純一段式。

如何權(quán)衡兩者使用？

那在設(shè)計(jì)產(chǎn)品時(shí)，是選擇一段式端到端，還是選擇二段式端到端？其實(shí)對(duì)于選擇哪一個(gè)，關(guān)鍵不是誰(shuí)理論上更強(qiáng)，而是項(xiàng)目對(duì)平衡泛化能力、可驗(yàn)證性、可解釋性、算力開銷和開發(fā)效率等因素的要求。

一段式的明顯優(yōu)勢(shì)是簡(jiǎn)潔，從數(shù)據(jù)到控制的路徑更短，理論上能挖掘出對(duì)控制最有用的特征，還能避免模塊間誤差傳遞的問(wèn)題。適合做研究探索、快速原型，或者追求極簡(jiǎn)推理鏈的場(chǎng)景。

但它也有可解釋性差、調(diào)試?yán)щy等缺點(diǎn)。如果車輛出現(xiàn)異常行為，很難判斷是感知錯(cuò)了還是決策錯(cuò)了，缺少中間信號(hào)導(dǎo)致問(wèn)題難定位。此外，一段式端到端的安全驗(yàn)證也更復(fù)雜，也需要大量數(shù)據(jù)，覆蓋所有極端場(chǎng)景，否則在遇到?jīng)]見過(guò)的狀況時(shí)容易“崩”。

二段式端到端則相對(duì)友好，由于其中間表達(dá)提供了監(jiān)控點(diǎn)，可以在運(yùn)行時(shí)做感知置信度檢查、觸發(fā)降級(jí)策略或人工接管。這對(duì)高等級(jí)自動(dòng)駕駛（如L4）的安全目標(biāo)非常關(guān)鍵。二段式端到端的數(shù)據(jù)使用也更靈活，感知模塊可以用大量標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練，決策模塊再用高質(zhì)量駕駛數(shù)據(jù)微調(diào)。

不過(guò)二段式也有問(wèn)題，其任務(wù)拆分會(huì)帶來(lái)信息損失的可能，中間表達(dá)未必包含決策所需的全部細(xì)節(jié)，手工設(shè)計(jì)的中間表達(dá)也可能限制模型能力。另外，它的推理延遲、計(jì)算開銷和實(shí)現(xiàn)復(fù)雜度一般比一段式高。

如何將端到端模型用上車？

想把端到端模型從實(shí)驗(yàn)室搬到實(shí)車，需要有多個(gè)方面的考量。對(duì)于端到端模型，一定要做閉環(huán)測(cè)試，不能只看開環(huán)指標(biāo)。很多一段式端到端模型在預(yù)測(cè)人類操作的誤差上表現(xiàn)很好，但實(shí)際閉環(huán)駕駛時(shí)可能出現(xiàn)誤差累積或場(chǎng)景適應(yīng)問(wèn)題。必須在仿真環(huán)境中做大規(guī)模閉環(huán)測(cè)試，覆蓋各種交通反應(yīng)、噪聲和極端條件。

分布外檢測(cè)和回退機(jī)制也必不可少。不管用哪種端到端模型，都要能識(shí)別模型在當(dāng)前場(chǎng)景下的不確定性。二段式端到端可以通過(guò)感知置信度、語(yǔ)義一致性等做判斷；一段式端到端則要依賴內(nèi)部不確定性估計(jì)、模型集成等方法。其目的都是當(dāng)不確定性高時(shí)，可以執(zhí)行自動(dòng)降速、拉大車距或請(qǐng)求接管等操作。

可調(diào)試性和數(shù)據(jù)閉環(huán)也很重要。二段式端到端調(diào)試起來(lái)更模塊化，感知出問(wèn)題就補(bǔ)標(biāo)注數(shù)據(jù)，決策出問(wèn)題就調(diào)策略。一段式端到端調(diào)試更依賴可視化工具，比如注意力圖、梯度分析等，但不如模塊化直接。在數(shù)據(jù)閉環(huán)中，要記錄完整的傳感器序列和對(duì)應(yīng)的人工/自動(dòng)行為，方便回放和增量訓(xùn)練。

權(quán)衡軟硬件與實(shí)時(shí)性也是一個(gè)重要的考量因素。端到端模型對(duì)延遲和算力敏感。二段式端到端允許感知部分算得慢一點(diǎn)、細(xì)一點(diǎn)，決策部分做得輕快；一段式端到端則要在設(shè)計(jì)初期就把實(shí)時(shí)性作為目標(biāo)，從結(jié)構(gòu)到量化部署通盤考慮。

最后就是法規(guī)和審查因素。想讓依托端到端的自動(dòng)駕駛汽車實(shí)際路上跑，要面對(duì)監(jiān)管審查，模塊化設(shè)計(jì)（二段式端到端）更容易被理解和審計(jì)，因?yàn)樨?zé)任和行為可以拆到感知、決策等環(huán)節(jié)。一段式端到端如果沒(méi)有解釋工具，未來(lái)合規(guī)壓力會(huì)更大。所以現(xiàn)階段商業(yè)化項(xiàng)目往往更傾向二段式或混合方案。

最后的話

“一段式”與“二段式”端到端的核心區(qū)別在于對(duì)“黑盒”與“白盒”的權(quán)衡。一段式端到端模型追求極致的簡(jiǎn)潔與性能潛力，它將從感知到控制的整個(gè)過(guò)程壓縮為一個(gè)整體網(wǎng)絡(luò)，像一個(gè)“黑盒”，雖然理論上能挖掘出最優(yōu)策略，但在工程實(shí)踐中面臨調(diào)試?yán)щy、安全驗(yàn)證復(fù)雜的挑戰(zhàn)，因此更適用于前沿技術(shù)探索。

而二段式端到端方案則體現(xiàn)了工程上的務(wù)實(shí)精神，它將流程明確拆分為感知與決策兩個(gè)可解釋的“白盒”模塊，通過(guò)引入可監(jiān)控的中間表示，極大地提升了系統(tǒng)的可調(diào)試性、可驗(yàn)證性與安全性，從而成為當(dāng)前產(chǎn)業(yè)落地的主流選擇。在實(shí)際應(yīng)用中，并沒(méi)有哪個(gè)更具優(yōu)勢(shì)，而是根據(jù)自己的項(xiàng)目需求選擇合適自己的方案。