走出去智庫(kù)（CGGT）觀察

由走出去智庫(kù)（CGGT）提供學(xué)術(shù)資源支持的《深圳法治評(píng)論》2025年第二期《專論》欄目聚焦“創(chuàng)新自動(dòng)駕駛汽車管理制度體系”，約請(qǐng)法律專家建言獻(xiàn)策。

西南政法大學(xué)民商法學(xué)院鄭志峰教授的文章《自動(dòng)駕駛汽車如何應(yīng)對(duì)“電車難題”》，闡述了自動(dòng)駕駛汽車如何應(yīng)對(duì)“電車難題”，分析了“機(jī)器人三法則”在自動(dòng)駕駛汽車運(yùn)行管理中具有局限性后， 提出了應(yīng)當(dāng)為自動(dòng)駕駛汽車設(shè)置“機(jī)器人碰撞三法則”，并肯定了深圳自動(dòng)駕駛汽車前沿立法探索破解“電車難題”的做法。

《深圳法治評(píng)論》由中共深圳市委全面依法治市委員會(huì)辦公室、深圳市司法局主辦，定位于高端領(lǐng)導(dǎo)決策讀物，聚焦深圳法治建設(shè)，刊發(fā)高水平、可實(shí)操的應(yīng)用性政策研究，輔助市領(lǐng)導(dǎo)及本市黨政機(jī)關(guān)領(lǐng)導(dǎo)干部法治建設(shè)方面決策，為支持深圳建設(shè)中國(guó)特色社會(huì)主義法治先行示范城市建言獻(xiàn)策?！渡钲诜ㄖ卧u(píng)論》在2020-2024年連續(xù)五年榮膺深圳內(nèi)刊傳媒獎(jiǎng)之“優(yōu)秀城市內(nèi)刊獎(jiǎng)”。自2020年創(chuàng)刊起，走出去智庫(kù)（CGGT）即為該高端決策讀物提供學(xué)術(shù)資源支持。

今天，走出去智庫(kù)（CGGT）微信公眾號(hào)刊發(fā)西南政法大學(xué)民商法學(xué)院鄭志峰教授的文章《自動(dòng)駕駛汽車如何應(yīng)對(duì)“電車難題”》，供關(guān)注自動(dòng)駕駛汽車法規(guī)的讀者參考。

要點(diǎn)

1、“電車難題”對(duì)自動(dòng)駕駛技術(shù)具有重要的規(guī)范價(jià)值，直接關(guān)系到產(chǎn)品準(zhǔn)入、責(zé)任分配等法律制度設(shè)計(jì)，絕非空洞的智力游戲，而是關(guān)乎人機(jī)法律秩序是否以人為本的根本問題。

2、機(jī)器人三法則完全以人類利益為中心，并不必然體現(xiàn)真正的“善”。第二法則要求機(jī)器人無條件服從人類命令，只要不違反第一法則。這將賦予每個(gè)人類對(duì)機(jī)器人極大的支配權(quán)，即便出于無理甚至惡意的目的，人類仍可命令機(jī)器人傷害自己或自毀。

3、《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例》高度重視安全管理，明確實(shí)行產(chǎn)品準(zhǔn)入制度，從源頭減少“電車難題”的發(fā)生。

正文

文/鄭志峰

西南政法大學(xué)民商法學(xué)院教授、博士生導(dǎo)師，科技法學(xué)研究院副院長(zhǎng)

想象一下，在未來某個(gè)遙遠(yuǎn)的時(shí)刻，您的自動(dòng)駕駛汽車遇到一個(gè)可怕的兩難選擇：它必須向左轉(zhuǎn)，撞向一個(gè)八歲的小女孩，或者向右轉(zhuǎn)，撞向一位八十歲的祖母。根據(jù)汽車的速度，無論選擇哪一方，受害者都將喪生。這是“電車難題”在自動(dòng)駕駛時(shí)代新版本的體現(xiàn)。既然自動(dòng)駕駛汽車將取代人類駕駛員，就必須遵循人類的倫理準(zhǔn)則。然而，讓機(jī)器具備倫理判斷能力極具挑戰(zhàn)性。歷史上，阿西莫夫提出“機(jī)器人三定律”，試圖規(guī)范機(jī)器人行為，但其在兩難困境中的效用仍存爭(zhēng)議。如何應(yīng)對(duì)倫理困境，不僅是技術(shù)問題，更可能影響自動(dòng)駕駛汽車的準(zhǔn)入標(biāo)準(zhǔn)與責(zé)任認(rèn)定，值得深思。

“電車難題”的法律意義

“電車難題”自提出以來爭(zhēng)議不斷，至今仍無定論。在此背景下，探討其對(duì)自動(dòng)駕駛汽車是否具有現(xiàn)實(shí)意義？筆者認(rèn)為，“電車難題”對(duì)自動(dòng)駕駛技術(shù)具有重要的規(guī)范價(jià)值，直接關(guān)系到產(chǎn)品準(zhǔn)入、責(zé)任分配等法律制度設(shè)計(jì)，絕非空洞的智力游戲，而是關(guān)乎人機(jī)法律秩序是否以人為本的根本問題。

自動(dòng)駕駛汽車面臨“電車難題”的可能性客觀存在

首先，作為新興技術(shù)，其安全性只能是相對(duì)的，即便系統(tǒng)完善，也無法完全避免碰撞事故。其次，自動(dòng)駕駛技術(shù)尚處于發(fā)展階段，在可預(yù)見的很長(zhǎng)一段時(shí)間內(nèi)仍將與傳統(tǒng)車輛并存，“電車難題”短期內(nèi)無法回避。最后，“電車難題”的成因多樣，既可能源于自動(dòng)駕駛汽車本身的剎車故障或系統(tǒng)缺陷，也可能由其他交通參與者的違規(guī)行為引發(fā)，或因惡劣天氣與復(fù)雜路況等意外因素導(dǎo)致。因此，僅憑技術(shù)進(jìn)步尚不足以徹底避免“電車難題”的發(fā)生。

“電車難題”也會(huì)影響著自動(dòng)駕駛汽車相關(guān)法律制度的設(shè)計(jì)

當(dāng)面臨“電車難題”時(shí)，自動(dòng)駕駛汽車不可避免地會(huì)對(duì)一方造成損害，從而引發(fā)生產(chǎn)者、使用者、保險(xiǎn)公司之間的責(zé)任分擔(dān)問題。而生產(chǎn)者是否設(shè)計(jì)出合理應(yīng)對(duì)該問題的算法系統(tǒng)，還將直接影響產(chǎn)品的市場(chǎng)準(zhǔn)入。

在域外，德國(guó)早在 2017 年發(fā)布了《自動(dòng)和網(wǎng)聯(lián)車輛交通倫理準(zhǔn)則》，2021 年通過的《自動(dòng)駕駛法案》，第 1e 條第 2 款第 2 項(xiàng)要求自動(dòng)駕駛系統(tǒng)在不可避免的事故中權(quán)衡法益，優(yōu)先保護(hù)人的生命，并不得依據(jù)個(gè)體特征設(shè)定差別權(quán)重，直面“電車難題”。在國(guó)內(nèi)，2022 年制定的《上海市浦東新區(qū)促進(jìn)無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定》第 32 條規(guī)定，若自動(dòng)駕駛汽車違反倫理要求或存在重大風(fēng)險(xiǎn)，應(yīng)終止其應(yīng)用。2023年工信部等四部委制定的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》明確指出，系統(tǒng)應(yīng)避免對(duì)駕乘人員和其他交通參與者造成不合理風(fēng)險(xiǎn)，事故不可避免時(shí)應(yīng)采取合理控制策略。2024 年 AI 善治學(xué)術(shù)小組提出的《人工智能法（學(xué)者建議稿）》亦在第 75 條第 2 款中要求，不得對(duì)交通參與者進(jìn)行不合理差別對(duì)待。因此，討論“電車難題”具有現(xiàn)實(shí)意義，會(huì)影響自動(dòng)駕駛汽車乃至人工智能的法律設(shè)計(jì)。

“機(jī)器人三法則”的局限

阿西莫夫被讀者譽(yù)為“神一樣的人”，其在1942 年短篇小說《環(huán)舞》中提出了著名的“機(jī)器人三法則”。

“機(jī)器人三法則”的內(nèi)容

一是不得傷害人類或坐視人類受傷（不傷害法則）；

二是須服從人類命令，除非與第一法則沖突（服從法則）；

三是在不違反前兩法則下保護(hù)自己（保護(hù)法則）。

1986 年，他在長(zhǎng)篇小說《機(jī)器人與帝國(guó)》中又提出“零號(hào)法則”：機(jī)器人不得傷害人類，或因不作為致其受害。只不過零號(hào)法則提出較晚，不如機(jī)器人三法則名氣大，在科幻小說和法學(xué)界，人們習(xí)慣上仍稱之為機(jī)器人三法則。

機(jī)器人三法則備受推崇，被稱為“當(dāng)代機(jī)器人學(xué)的基本法則”“現(xiàn)代機(jī)器人學(xué)的基石”。即使是放在當(dāng)前的人工智能環(huán)境中，該法則也是非常具有啟發(fā)意義的倫理指引。2016 年歐盟制定的《機(jī)器人技術(shù)民事法律規(guī)則》就明確指出，“阿西莫夫機(jī)器人三法則應(yīng)當(dāng)可以直接適用于具有自主性和自我學(xué)習(xí)能力的機(jī)器人的設(shè)計(jì)者、生產(chǎn)者和操作者，盡管這些法則并不能被轉(zhuǎn)換成機(jī)器代碼”。

“機(jī)器人三法則”的困境

那么，機(jī)器人三法則是否可以解決兩難困境呢？筆者認(rèn)為，答案是否定的。

首先，機(jī)器人三法則存在內(nèi)

在沖突阿西莫夫在小說《環(huán)舞》中便展現(xiàn)了這一矛盾：兩名宇航員在水星執(zhí)行任務(wù)時(shí)，一名宇航員命令機(jī)器人斯皮迪采集硒礦。但斯皮迪在硒礦湖附近徘徊不前——靠近硒礦湖會(huì)觸發(fā)第三法則（自我保護(hù)），遠(yuǎn)離后又觸發(fā)第二法則（服從命令）。

兩個(gè)法則不斷拉扯，使機(jī)器人陷入循環(huán)。這源于斯皮迪造價(jià)昂貴，程序上加強(qiáng)了自我保護(hù)機(jī)制，使第三法則權(quán)重上升，最終與第二法則產(chǎn)生沖突。由此可見，機(jī)器人三法則本身正是建立在邏輯張力之上，若其完全協(xié)調(diào)，許多科幻作品便不會(huì)有如此豐富的戲劇沖突。

其次，機(jī)器人三法則并不完全符合倫理

機(jī)器人三法則完全以人類利益為中心，并不必然體現(xiàn)真正的“善”。第二法則要求機(jī)器人無條件服從人類命令，只要不違反第一法則。這將賦予每個(gè)人類對(duì)機(jī)器人極大的支配權(quán)，即便出于無理甚至惡意的目的，人類仍可命令機(jī)器人傷害自己或自毀。由于服從法則優(yōu)先于保護(hù)法則，機(jī)器人對(duì)自身無法有效防護(hù)。這種權(quán)力結(jié)構(gòu)并不構(gòu)成人機(jī)和諧的倫理基礎(chǔ)。理想的機(jī)器人倫理，不僅應(yīng)規(guī)范機(jī)器人行為，也應(yīng)反向促進(jìn)人類的道德自律。

最后，機(jī)器人三法則無法解決兩難困境

機(jī)器人三法則的邏輯預(yù)設(shè)機(jī)器人總能找到不傷害人類的“好”選擇，然而現(xiàn)實(shí)中常有道德兩難：自動(dòng)駕駛汽車面對(duì)小女孩和祖母，轉(zhuǎn)向或直行都會(huì)造成傷害。此時(shí)，機(jī)器人無論如何抉擇，都將違背第一法則，陷入倫理困境。更復(fù)雜的是，機(jī)器人三法則未明確“傷害”的程度區(qū)分，在生命與健康、重傷與輕傷之間缺乏判斷標(biāo)準(zhǔn)。例如，撞擊小女孩可能致命，而撞擊祖母僅造成輕傷，但機(jī)器人三法則對(duì)此無能為力。

“機(jī)器人碰撞三法則”的提出

為破解“電車難題”的道德困境，應(yīng)立足于提升全體交通參與者安全的目標(biāo)，為自動(dòng)駕駛汽車構(gòu)建“機(jī)器人碰撞三法則”。

第一法則：生命利益優(yōu)先法則

生命利益應(yīng)優(yōu)先于財(cái)產(chǎn)與動(dòng)物利益，這在德國(guó)《自動(dòng)和網(wǎng)聯(lián)車輛交通倫理準(zhǔn)則》第 7 條中已有體現(xiàn)。無論車內(nèi)外人員，生命利益都應(yīng)被優(yōu)先保障。與此同時(shí)，生命利益有條件地優(yōu)于健康利益，如自動(dòng)駕駛汽車直行會(huì)導(dǎo)致甲死亡，左轉(zhuǎn)僅會(huì)使乙受傷，此時(shí)可選擇左轉(zhuǎn)。但這種“優(yōu)先”并非無條件：若為挽救一人生命而導(dǎo)致多人重傷，則道德上難以正當(dāng)化。因此，僅當(dāng)健康損害輕微且能換取較大生命利益時(shí)，生命利益才可優(yōu)先。

第二法則：遵守交通法規(guī)優(yōu)先法則

交通法規(guī)維護(hù)多數(shù)人安全，應(yīng)被自動(dòng)駕駛系統(tǒng)優(yōu)先遵循。當(dāng)兩難困境源于一方違法，自動(dòng)駕駛汽車應(yīng)優(yōu)先保護(hù)守法一方。例如，逆行騎手與正常過路人構(gòu)成沖突，應(yīng)由違法者承擔(dān)后果，車輛應(yīng)直行，不應(yīng)轉(zhuǎn)向以犧牲他人安全。即使違法者人數(shù)更多，如五人騎手逆行，也不應(yīng)轉(zhuǎn)向撞向守法個(gè)體或犧牲車內(nèi)乘客。唯有堅(jiān)守這一底線，才能真正維護(hù)規(guī)則的權(quán)威，促使公眾普遍遵守法律。

第三法則：不改變路線兜底法則

前兩種法則無法涵蓋所有情形，如兩人都違反交通規(guī)則，或都遵守交通規(guī)則時(shí)，該如何抉擇？此時(shí)，“不改變路線”可作為兜底機(jī)制。例如，自動(dòng)駕駛汽車直行撞到甲、左轉(zhuǎn)撞到乙、右轉(zhuǎn)犧牲乘客，甲乙均違法，生命利益也相等，此時(shí)應(yīng)維持既定路線，選擇直行。同理，在雙方都守法的情況下，也應(yīng)適用該法則，避免人為選擇決定生死。

深圳對(duì)“電車難題”的前沿探索

作為我國(guó)自動(dòng)駕駛汽車發(fā)展的先行城市，深圳不斷探索解決相關(guān)法律問題，推動(dòng)產(chǎn)業(yè)加速發(fā)展。2022 年，深圳出臺(tái)全國(guó)首部規(guī)范智能網(wǎng)聯(lián)汽車管理的法規(guī)——《深圳經(jīng)濟(jì)特區(qū)智能網(wǎng)聯(lián)汽車管理?xiàng)l例》（以下簡(jiǎn)稱《條例》），為自動(dòng)駕駛汽車的準(zhǔn)入、管理與責(zé)任劃分提供了制度保障。

2023 年，深圳發(fā)布十項(xiàng)地方標(biāo)準(zhǔn)，構(gòu)建起地方技術(shù)準(zhǔn)入體系，成為全國(guó)首個(gè)制定智能網(wǎng)聯(lián)汽車標(biāo)準(zhǔn)的城市。在應(yīng)對(duì)“電車難題”方面，深圳也展開了諸多前沿探索。

堅(jiān)持產(chǎn)品準(zhǔn)入

《條例》高度重視安全管理，明確實(shí)行產(chǎn)品準(zhǔn)入制度，從源頭減少“電車難題”的發(fā)生。一方面，生產(chǎn)者與銷售者須對(duì)產(chǎn)品質(zhì)量安全負(fù)責(zé)，建立可追溯機(jī)制；另一方面，需完善售后服務(wù)體系，若發(fā)生重大故障，應(yīng)及時(shí)提供技術(shù)支持與救援服務(wù)。此外，生產(chǎn)者若發(fā)現(xiàn)產(chǎn)品存在缺陷，應(yīng)立即調(diào)查并向監(jiān)管部門報(bào)告，確認(rèn)為缺陷產(chǎn)品的，必須停止相關(guān)活動(dòng)并實(shí)施召回，經(jīng)營(yíng)者也須配合處理。

堅(jiān)持全生命周期安全

除功能安全與預(yù)期功能安全外，《條例》還強(qiáng)調(diào)網(wǎng)絡(luò)安全與數(shù)據(jù)安全，防止黑客入侵引發(fā)風(fēng)險(xiǎn)。企業(yè)應(yīng)依法取得安全認(rèn)證，建立應(yīng)急預(yù)案與數(shù)據(jù)管理制度，確保信息安全。在產(chǎn)品使用中，要求車輛配置自動(dòng)駕駛模式外部指示燈，運(yùn)行時(shí)需開啟，提醒他人注意；駕駛?cè)藙t須按規(guī)定掌握并規(guī)范使用自動(dòng)駕駛功能，履行相應(yīng)義務(wù)。

堅(jiān)持以人為本

《條例》注重落實(shí)倫理困境下的“人在環(huán)內(nèi)”原則，保障人在“電車難題”中的參與權(quán)。具言之，有條件和高度自動(dòng)駕駛汽車必須具備人工駕駛模式，配備駕駛?cè)?，駕駛?cè)诵柙隈{駛座監(jiān)控車輛狀態(tài)，隨時(shí)準(zhǔn)備接管。完全自動(dòng)駕駛汽車應(yīng)具備故障或危險(xiǎn)情形下自動(dòng)采取避險(xiǎn)措施的能力，如減速、遠(yuǎn)程接管等。由于完全自動(dòng)駕駛短期難以全面落地，故可以認(rèn)為深圳強(qiáng)調(diào)的是人的決策參與，一旦發(fā)生“電車難題”，駕駛?cè)诵枰槿脒x擇。

（原文《自動(dòng)駕駛汽車“電車難題”的倫理困境與立法因應(yīng)》發(fā)表于《法學(xué)》2024 年第 11 期，經(jīng)作者修改后在《深圳法治評(píng)論》刊發(fā)。）

免責(zé)聲明

本文僅代表原作者觀點(diǎn)，不代表走出去智庫(kù)立場(chǎng)。

延展閱讀

▌地緣政治風(fēng)險(xiǎn):

▌出口管制與制裁:

▌跨境數(shù)據(jù)監(jiān)管:

▌全球科技競(jìng)爭(zhēng):

▌品牌聲譽(yù)管理:

走出去智庫(kù)（CGGT）為《深圳法治評(píng)論》提供學(xué)術(shù)資源支持。