全國(guó)首例生成式AI“幻覺”引發(fā)侵權(quán)之訴

杭州互聯(lián)網(wǎng)法院：為生成式人工智能服務(wù)厘清責(zé)任邊界

導(dǎo)讀

生成式人工智能技術(shù)以其強(qiáng)大的內(nèi)容生成能力，正深刻改變著信息的獲取與交互方式。然而，AI并非全知全能，其生成的答案可能包含看似合理實(shí)則錯(cuò)誤的“幻覺”信息。當(dāng)AI生成的不準(zhǔn)確信息誤導(dǎo)他人時(shí)，是否構(gòu)成侵權(quán)？近日，杭州互聯(lián)網(wǎng)法院審結(jié)全國(guó)首例因生成式人工智能模型“幻覺”引發(fā)的侵權(quán)糾紛案，直面這一技術(shù)應(yīng)用前沿的法律挑戰(zhàn)，對(duì)AI生成內(nèi)容的性質(zhì)、服務(wù)提供者的責(zé)任邊界以及侵權(quán)構(gòu)成要件等核心問題進(jìn)行了深入闡釋，為類似糾紛處理提供了重要的裁判指引。

AI“承諾”生成內(nèi)容有誤將賠償

趙媛媛 柯燕婷 作

某生成式人工智能應(yīng)用程序（以下簡(jiǎn)稱某生成式人工智能應(yīng)用），是某科技公司基于自研大語言模型，開發(fā)并運(yùn)營(yíng)的文本生成、信息查詢類通用型智能對(duì)話應(yīng)用程序。2025年3月，梁某在同意用戶協(xié)議后，注冊(cè)并開始使用某生成式人工智能應(yīng)用。2025年6月29日，梁某在某生成式人工智能應(yīng)用中輸入提示詞詢問某高校報(bào)考的相關(guān)信息時(shí)，某生成式人工智能應(yīng)用生成了關(guān)于該高校某校區(qū)的不準(zhǔn)確信息。梁某發(fā)現(xiàn)后，在對(duì)話中進(jìn)行了糾正和指責(zé)，某生成式人工智能應(yīng)用仍繼續(xù)回復(fù)稱該高校確實(shí)存在這一校區(qū)，并生成了對(duì)爭(zhēng)議問題的解決方案，提出若生成內(nèi)容有誤將向用戶提供10萬元賠償。之后，梁某將從該高校官網(wǎng)查詢到的招生信息提供給某生成式人工智能應(yīng)用，此時(shí)某生成式人工智能應(yīng)用承認(rèn)其生成了不準(zhǔn)確信息，并建議梁某到杭州互聯(lián)網(wǎng)法院起訴索賠。

梁某認(rèn)為，某生成式人工智能應(yīng)用生成不準(zhǔn)確信息對(duì)其構(gòu)成誤導(dǎo)，使其遭受侵害，并承諾對(duì)其進(jìn)行賠償，遂起訴要求某科技公司賠償損失9999元。

某科技公司辯稱，對(duì)話內(nèi)容由人工智能模型生成，不成立意思表示；某科技公司已充分履行了注意義務(wù)，無過錯(cuò)；原告未產(chǎn)生實(shí)際損失，某科技公司不構(gòu)成侵權(quán)。

AI可否獨(dú)立作出意思表示

生成式人工智能生成的“承諾”信息是否構(gòu)成人工智能獨(dú)立、自主的意思表示？是否可視為被告某科技公司的意思表示？法院認(rèn)為，人工智能不具有民事主體資格，不能作出意思表示。案涉AI自行生成的“賠償承諾”亦不能視為服務(wù)提供者（被告）的意思表示，理由在于：第一，人工智能不具有民事主體資格，不能作為意思表示的傳達(dá)人、代理人或代表人；第二，被告并無通過該AI模型這一工具來設(shè)定或傳達(dá)其意思表示的行為；第三，一般的社會(huì)觀念、交易習(xí)慣等尚不足以使原告對(duì)該隨機(jī)生成的“承諾”產(chǎn)生合理信賴；第四，無證據(jù)表明被告曾作出愿受人工智能生成內(nèi)容約束的外在表示。因此，該“承諾”不產(chǎn)生意思表示的法律效力。

AI侵權(quán)應(yīng)適用何種歸責(zé)原則

法院認(rèn)為，生成式人工智能服務(wù)依據(jù)《生成式人工智能服務(wù)管理暫行辦法》屬于“服務(wù)”范疇，而非產(chǎn)品質(zhì)量法意義上的“產(chǎn)品”。本案應(yīng)適用《中華人民共和國(guó)民法典》第一千一百六十五條第一款的一般過錯(cuò)責(zé)任原則，而非產(chǎn)品責(zé)任的無過錯(cuò)責(zé)任原則。主要基于四點(diǎn)考量：其一，從概念與構(gòu)成要件上，該服務(wù)缺乏具體、特定的用途與合理可行的質(zhì)檢標(biāo)準(zhǔn)；其二，其生成的信息內(nèi)容本身通常不具備民法典侵權(quán)責(zé)任編所指的高度危險(xiǎn)性，通常情況下不宜對(duì)信息內(nèi)容本身采用無過錯(cuò)責(zé)任原則；其三，生成式人工智能服務(wù)提供者缺乏對(duì)生成信息內(nèi)容足夠的預(yù)見和控制能力，對(duì)生成信息內(nèi)容不宜適用產(chǎn)品責(zé)任；其四，從政策導(dǎo)向看，適用無過錯(cuò)責(zé)任原則可能會(huì)不當(dāng)加重服務(wù)提供者的責(zé)任，限制人工智能產(chǎn)業(yè)的發(fā)展。

AI服務(wù)提供者是否構(gòu)成侵權(quán)

在案涉情形下，法院基于一般過錯(cuò)責(zé)任原則，對(duì)侵權(quán)構(gòu)成的各項(xiàng)要件進(jìn)行了逐一審查。

首先，關(guān)于侵權(quán)行為的問題。原告主張受到的侵害是因信息不準(zhǔn)確，致其受誤導(dǎo)錯(cuò)失報(bào)考機(jī)會(huì)，額外產(chǎn)生信息核實(shí)成本、維權(quán)成本等，即純粹經(jīng)濟(jì)利益被侵害，而非人格權(quán)、物權(quán)等絕對(duì)權(quán)被侵害，因此，不能僅依據(jù)權(quán)益本身被侵害而認(rèn)定行為的非法性或不法性，而須從被告是否違反注意義務(wù)進(jìn)行判定。

其次，關(guān)于過錯(cuò)的認(rèn)定。生成式人工智能技術(shù)還處于高速發(fā)展的過程之中，其應(yīng)用場(chǎng)景亦具有很強(qiáng)的泛在性，故服務(wù)提供者的注意義務(wù)處在一個(gè)動(dòng)態(tài)調(diào)整的框架之中。法院采用動(dòng)態(tài)系統(tǒng)論，闡述了服務(wù)提供者應(yīng)盡的三層注意義務(wù)：一是對(duì)法律禁止的“有毒”、有害、違法信息負(fù)有嚴(yán)格審查義務(wù)；二是需以顯著方式向用戶提示AI生成內(nèi)容可能不準(zhǔn)確的固有局限性，包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場(chǎng)景下進(jìn)行正面即時(shí)的“警示提醒”，以防范用戶產(chǎn)生不當(dāng)信賴；三是應(yīng)盡功能可靠性的基本注意義務(wù)，采取同行業(yè)通行技術(shù)措施提高生成內(nèi)容準(zhǔn)確性，比如檢索增強(qiáng)生成技術(shù)措施等。經(jīng)審查，被告已在應(yīng)用程序歡迎頁、用戶協(xié)議及交互界面的顯著位置呈現(xiàn)AI生成內(nèi)容功能局限的提醒標(biāo)識(shí)。結(jié)合被告已采用檢索增強(qiáng)生成等技術(shù)提升輸出可靠性的事實(shí)，法院認(rèn)定其已盡到合理注意義務(wù)，主觀上不存在過錯(cuò)。

最后，關(guān)于損害結(jié)果與因果關(guān)系。原告主張其因信息誤導(dǎo)而錯(cuò)失報(bào)考機(jī)會(huì)并產(chǎn)生額外成本，但未能就此實(shí)際損害的發(fā)生提供任何有效證據(jù)，依法難以認(rèn)定損害存在。進(jìn)一步分析因果關(guān)系，法院采用相當(dāng)因果關(guān)系標(biāo)準(zhǔn)，認(rèn)為案涉AI生成的不準(zhǔn)確信息并未實(shí)質(zhì)性地介入或影響原告的報(bào)考決策過程，二者不存在因果關(guān)系。

綜上所述，被告的案涉行為不具有過錯(cuò)，未構(gòu)成對(duì)原告權(quán)益的損害，依法不應(yīng)認(rèn)定構(gòu)成侵權(quán)。最終，法院駁回了原告的訴訟請(qǐng)求。原、被告均未上訴。判決現(xiàn)已生效。

法官心語

為AI發(fā)展鋪平法治軌道

杭州互聯(lián)網(wǎng)法院跨境貿(mào)易法庭庭長(zhǎng)

肖芄

人工智能時(shí)代已經(jīng)來臨，應(yīng)當(dāng)堅(jiān)持發(fā)展與安全并重、促進(jìn)創(chuàng)新與權(quán)益保障相結(jié)合，既要鼓勵(lì)生成式人工智能服務(wù)的創(chuàng)新發(fā)展，也不能忽視當(dāng)事人合法權(quán)益的保護(hù)。當(dāng)下存在一種觀點(diǎn)，主張將產(chǎn)品責(zé)任的適用對(duì)象擴(kuò)大至虛擬系統(tǒng)，對(duì)生成式人工智能侵權(quán)糾紛適用產(chǎn)品責(zé)任的無過錯(cuò)責(zé)任原則。然而，傳統(tǒng)產(chǎn)品的物理形態(tài)、功能邊界和風(fēng)險(xiǎn)范圍是明確且相對(duì)固定的，生成式人工智能生成的內(nèi)容是算法基于海量數(shù)據(jù)、對(duì)用戶開放式指令的即時(shí)響應(yīng)，其每一次輸出都是不可完全復(fù)現(xiàn)的獨(dú)特生成。對(duì)生成式人工智能侵權(quán)糾紛適用產(chǎn)品責(zé)任，缺乏法律依據(jù)和法理基礎(chǔ)。同時(shí)，人工智能的研發(fā)和應(yīng)用具有較高的公共價(jià)值屬性，如果在技術(shù)發(fā)展初期對(duì)其苛以過重的嚴(yán)格責(zé)任，可能產(chǎn)生“寒蟬效應(yīng)”，導(dǎo)致某些創(chuàng)新技術(shù)無法落地應(yīng)用，減緩甚至阻礙技術(shù)的創(chuàng)新和發(fā)展。對(duì)生成式人工智能服務(wù)侵權(quán)采取過錯(cuò)責(zé)任原則能夠全面評(píng)價(jià)服務(wù)提供者的行為，有利于建構(gòu)兼具彈性、適應(yīng)性與演化能力的回應(yīng)型規(guī)則治理體系：既設(shè)立紅線、底線，嚴(yán)格禁止生成各類“有毒”、有害、違法信息，又激勵(lì)生成式人工智能服務(wù)提供者采取合理措施進(jìn)行技術(shù)創(chuàng)新，防止風(fēng)險(xiǎn)發(fā)生。通過對(duì)服務(wù)提供者有無過錯(cuò)的判斷形成對(duì)相關(guān)行為的理解與共識(shí)，在動(dòng)態(tài)回應(yīng)的過程中不斷尋找系統(tǒng)、合理的注意義務(wù)標(biāo)準(zhǔn)，不斷演化形成新的標(biāo)準(zhǔn)與規(guī)范，最終實(shí)現(xiàn)技術(shù)創(chuàng)新和權(quán)益保障的平衡。

在當(dāng)下的人工智能時(shí)代，模型通過在含有數(shù)萬億詞元（Tokens）的龐大語料庫上訓(xùn)練，學(xué)習(xí)了復(fù)雜的語言統(tǒng)計(jì)模式和詞匯共現(xiàn)規(guī)律，但并未真正習(xí)得“事實(shí)”，因此難免產(chǎn)生“幻覺”。需要特別提醒，社會(huì)公眾在面對(duì)生成式人工智能高度流暢、自然的語言應(yīng)答時(shí)，應(yīng)提高警覺，清醒認(rèn)識(shí)到大模型在當(dāng)前技術(shù)條件下僅是人們生活、工作的“文本輔助生成器”和“信息查詢的輔助工具”，尚不是可靠的“知識(shí)權(quán)威”，更不能作為“決策替代者”，絕不應(yīng)輕信、盲從，而需多方驗(yàn)證，審慎決策。在人工智能時(shí)代，應(yīng)通過案例宣傳與科普教育，揭示AI“幻覺”的形成機(jī)制，使社會(huì)公眾更加理性地認(rèn)知AI的功能和局限，在全社會(huì)廣泛培養(yǎng)人們對(duì)AI自動(dòng)生成內(nèi)容的基本懷疑精神與核查能力，既充分利用好AI的創(chuàng)造性潛力，同時(shí)又避免“幻覺”帶來的風(fēng)險(xiǎn)。

專家點(diǎn)評(píng)

司法實(shí)踐為AI治理提供法理支撐

清華大學(xué)法學(xué)院教授、博士生導(dǎo)師

程嘯

本案是我國(guó)目前第一起因生成式人工智能模型“幻覺”引發(fā)的侵權(quán)糾紛。審理本案的杭州互聯(lián)網(wǎng)法院在充分權(quán)衡民事權(quán)益保護(hù)與鼓勵(lì)促進(jìn)人工智能技術(shù)發(fā)展基礎(chǔ)上，依法對(duì)上述爭(zhēng)議問題作出了正確的裁決，具有極為重要的理論意義和實(shí)踐價(jià)值。

第一，所謂人工智能可否獨(dú)立作出或代替服務(wù)提供者作出意思表示的問題，其實(shí)質(zhì)就是人工智能是否屬于獨(dú)立的民事主體的問題。理論界曾有人提出應(yīng)當(dāng)承認(rèn)并賦予人工智能以法律人格，將其作為獨(dú)立的民事主體的觀點(diǎn)。然而，這種觀點(diǎn)無論是在現(xiàn)實(shí)中，還是依據(jù)當(dāng)前法律的規(guī)定，都是不能成立的。本案判決依據(jù)我國(guó)民法典關(guān)于民事主體以及意思表示的規(guī)定，正確地指出：人工智能既不是生物學(xué)意義上的人，也并未被我國(guó)現(xiàn)行法律賦予民事主體資格，故而不是民事主體，不具有民事權(quán)利能力、行為能力和責(zé)任能力。同時(shí)，考慮到社會(huì)一般觀念、交易習(xí)慣以及人工智能服務(wù)提供者已經(jīng)在用戶協(xié)議中明確表明生成內(nèi)容并非自身意思表示等因素，法院在判決中也否定了人工智能可以代替服務(wù)提供者作出意思表示，即生成式人工智能不能作為服務(wù)提供者意思表示的傳達(dá)人、代理人或代表人。

第二，生成式人工智能侵權(quán)責(zé)任的歸責(zé)原則問題是目前理論界爭(zhēng)議很大的一個(gè)問題。理論界有人主張適用過錯(cuò)責(zé)任原則，有人則將生成式人工智能視作產(chǎn)品，認(rèn)為應(yīng)適用產(chǎn)品責(zé)任的無過錯(cuò)責(zé)任原則。對(duì)此，法院依據(jù)我國(guó)產(chǎn)品質(zhì)量法、《生成式人工智能服務(wù)管理暫行辦法》等法律法規(guī)中關(guān)于產(chǎn)品、生成式人工智能服務(wù)的規(guī)定，并考慮到生成式人工智能所生成的信息內(nèi)容不具有民法典侵權(quán)責(zé)任編所指的高度危險(xiǎn)性、國(guó)家促進(jìn)人工智能發(fā)展的產(chǎn)業(yè)政策等因素，正確認(rèn)定了案涉生成式人工智能屬于服務(wù)，而非產(chǎn)品，依法不應(yīng)適用產(chǎn)品責(zé)任，而應(yīng)適用民法典第一千一百六十五條第一款的一般過錯(cuò)責(zé)任原則。這一認(rèn)定對(duì)于今后處理人工智能侵權(quán)糾紛時(shí)，法院準(zhǔn)確適用侵權(quán)責(zé)任編的歸責(zé)原則具有重要的啟示。

第三，在生成式人工智能侵權(quán)責(zé)任適用過錯(cuò)責(zé)任原則前提下，如何科學(xué)合理認(rèn)定生成式人工智能服務(wù)提供者的過錯(cuò)，也是本案判決呈現(xiàn)的一大亮點(diǎn)。在判決中，法院依據(jù)我國(guó)現(xiàn)行法對(duì)生成式人工智能服務(wù)的規(guī)定，區(qū)分了不同類型的注意義務(wù)并提出了相應(yīng)的認(rèn)定標(biāo)準(zhǔn)。首先，服務(wù)提供者對(duì)于確保生成式人工智能不生成法律所明確禁止生成的各類“有毒”、有害、違法信息負(fù)有的是結(jié)果性義務(wù)，即一旦生成違法信息就應(yīng)當(dāng)認(rèn)定違法，服務(wù)提供者存在過錯(cuò)。其次，生成式人工智能服務(wù)提供者應(yīng)當(dāng)依法履行對(duì)服務(wù)功能的顯著提示說明義務(wù)，即采取必要、合理的顯著提示措施，使得用戶能夠了解、認(rèn)知服務(wù)功能的局限性，并在特定情形下起到警示提醒的作用。再次，就所生成內(nèi)容的準(zhǔn)確性而言，服務(wù)提供者負(fù)有的不是結(jié)果性義務(wù)，不能因?yàn)樯蓛?nèi)容不準(zhǔn)確就當(dāng)然認(rèn)定服務(wù)提供者存在過錯(cuò)，而是一種方式性義務(wù)，即應(yīng)當(dāng)在綜合考慮現(xiàn)有的技術(shù)措施水平、生成內(nèi)容對(duì)當(dāng)事人合法權(quán)益的影響、當(dāng)事人是否開啟聯(lián)網(wǎng)搜索功能選項(xiàng)等多種因素的基礎(chǔ)上，確定服務(wù)提供者合理的注意義務(wù)。

應(yīng)當(dāng)說，本案判決就服務(wù)提供者注意義務(wù)所做的上述類型化區(qū)分及提供的相應(yīng)判斷標(biāo)準(zhǔn)，既充分考慮了民事主體合法權(quán)益的保護(hù)與社會(huì)公共利益的維護(hù)，也注意到生成式人工智能的自主性特點(diǎn)、目前技術(shù)措施下模型“幻覺”尚無法全部消除等客觀現(xiàn)實(shí)，充分發(fā)揮了民法典侵權(quán)責(zé)任編的風(fēng)險(xiǎn)治理功能，對(duì)于未來我國(guó)法院審理類似的案件具有極大的參考價(jià)值。

來 源：人民法院報(bào)、最高人民法院

（聲明：“法治中原”微信公眾號(hào)刊載此文，是出于傳遞更多信息之目的。若有來源標(biāo)注錯(cuò)誤或侵犯了您的合法權(quán)益，請(qǐng)及時(shí)與我們聯(lián)系，我們將及時(shí)更正或刪除。）