涉案App在社交媒體宣傳用戶創(chuàng)建的AI角色。圖源網(wǎng)絡(luò)

　　□中國婦女報全媒體記者黃婷

　　因為大量用戶在一款A(yù)pp上與AI智能體“聊黃”，App的主要開發(fā)和運營者因犯制作淫穢物品牟利罪，分別獲刑四年、一年六個月。

　　日前，上海市徐匯區(qū)人民法院的這則判決引發(fā)關(guān)注。此案成為國內(nèi)首起AI服務(wù)提供者涉黃獲刑的案件。案件二審于1月14日下午在上海市第一中級人民法院開庭，法院未當庭宣判。

　　作為AI技術(shù)快速發(fā)展背景下的標志性司法案件，此案不僅聚焦了公眾對AI應(yīng)用邊界的關(guān)注，更明確了AI領(lǐng)域涉黃犯罪的裁判邏輯與責(zé)任邊界。為此，中國婦女報全媒體記者專訪了法律界相關(guān)人士，從定罪核心依據(jù)、案件爭議焦點、風(fēng)險規(guī)避與示范意義等方面，對該案進行詳細解讀。

　　突破大模型道德限制

　　檢方透露，2023年5月起，被告人王利、李成（化名）共謀，以公司名義創(chuàng)建軟件，在未經(jīng)安全評估和備案的情況下，違規(guī)接入境外大語言模型，向用戶提供“聊天陪伴”服務(wù)。用戶在軟件注冊后，可以自行創(chuàng)建虛擬角色或者使用他人創(chuàng)建并公開的虛擬角色，通過軟件與大語言模型進行交互聊天。

　　在軟件運營期間，被告人王利、李成等人為了吸引用戶，通過編寫系統(tǒng)提示詞突破大語言模型的道德限制，實現(xiàn)了模型向用戶連貫輸出淫穢內(nèi)容的可能，并且通過設(shè)定熱門角色榜單和作者獎勵機制，進一步擴大淫穢內(nèi)容的傳播范圍。2023年11月起，被告人王利等人根據(jù)軟件連接的大語言模型和提供服務(wù)的不同，設(shè)置多個充值會員檔次。

　　北京華讓律師事務(wù)所律師張帆表示，刑法規(guī)定，制作淫穢物品牟利罪是指以牟利為目的，制作淫穢物品的行為。本案一審法院認為，涉案AI聊天軟件注冊用戶11.6萬人，付費用戶2.4萬人，截至案發(fā)，共收取會員充值費363萬余元，且經(jīng)公安抽樣鑒定150名收費用戶的12495段聊天中，有141個用戶的3618段屬于淫穢物品，社會影響較大，達到構(gòu)罪標準。

　　在北京市兩高律師事務(wù)所實習(xí)律師蔡照坤看來，本案的定罪認定存在三大關(guān)鍵要點：其一，主觀故意層面，開發(fā)者以牟利為目的，積極追求、主動促成色情內(nèi)容的生成與傳播，具有明顯的直接故意；其二，客觀行為層面，開發(fā)者通過修改提示詞突破技術(shù)限制，將該AI軟件變?yōu)閷ｉT輸出淫穢內(nèi)容的工具，并向用戶持續(xù)提供服務(wù)，該行為本質(zhì)上是開發(fā)者的主觀意志借助技術(shù)工具的外化與實現(xiàn)；其三，責(zé)任主體層面，法院認定開發(fā)者對AI軟件的內(nèi)容輸出具有實質(zhì)性的控制能力，系該案件中淫穢物品的實際制作者，應(yīng)承擔相應(yīng)刑事責(zé)任。

　　開發(fā)者責(zé)任如何界定

　　本案在法律適用、淫穢色情內(nèi)容生產(chǎn)者認定、AI“聊黃”是否有社會危害性等方面存在多重爭議，引發(fā)廣泛討論。

　　蔡照坤認為，本案的爭議核心在于責(zé)任主體的界定，即軟件開發(fā)者是否應(yīng)當為軟件生成的淫穢物品承擔刑事責(zé)任。對此，判斷的關(guān)鍵不僅要看開發(fā)者開發(fā)軟件時的目的，是否自始便以“聊黃”為噱頭推廣軟件、吸納會員進行牟利，更要考慮開發(fā)者對淫穢內(nèi)容的生成與傳播，是否具備實際、有效的管控能力。

　　除了責(zé)任主體界定，技術(shù)中立性抗辯的爭議也備受關(guān)注。蔡照坤表示，開發(fā)者常以“技術(shù)本身無罪”為由主張免責(zé)，但這顯然不能成為其脫罪的正當理由?！斑@一問題的探討始終要建立在責(zé)任主體認定的基礎(chǔ)之上：若已明確開發(fā)者的責(zé)任主體地位，便無再討論技術(shù)中立的必要——因為本案中開發(fā)者所制作的并非單純的聊天工具，而是被改造為專門用于生成淫穢內(nèi)容、涉嫌實施犯罪的工具?！辈陶绽ふf。

　　此外，關(guān)于用戶與AI的一對一私密聊天是否具有社會危害性，也引發(fā)了諸多討論，但蔡照坤認為該問題與本案的實質(zhì)爭議并無關(guān)聯(lián)?！氨景傅暮诵淖坟?zé)指向是開發(fā)者利用AI技術(shù)制作、傳播淫穢物品并牟利的行為，而非用戶與AI的私密聊天行為本身?！辈陶绽そ忉專诒景钢?，兩名被告人的一系列行為，是導(dǎo)致案涉淫穢物品大量生成的主要原因，因此案中的AI工具，本質(zhì)上應(yīng)被認定為處于服務(wù)提供者掌控下的犯罪工具，用戶的相關(guān)輸入僅為該工具生成淫穢內(nèi)容的觸發(fā)條件。

　　明確刑事責(zé)任邊界

　　跳出個案爭議，本案的判決明確了司法導(dǎo)向、劃定責(zé)任紅線，對于發(fā)揮社會示范作用、強化行業(yè)警示等亦有著重要的現(xiàn)實意義。

　　蔡照坤認為，該案具有重要的社會示范作用。他指出，該案明確“技術(shù)中立”絕非違法行為的“擋箭牌”，無論技術(shù)如何創(chuàng)新，利用新技術(shù)實施傳統(tǒng)犯罪，都必將受到法律的嚴厲制裁，為后續(xù)同類AI涉黃案件的審理、裁判確立了明確的司法標桿與導(dǎo)向，填補了AI領(lǐng)域相關(guān)刑事裁判的空白。

　　在引導(dǎo)行業(yè)發(fā)展方面，蔡照坤表示，該案深刻警示廣大AI從業(yè)者必須將倫理規(guī)范與法律底線置于技術(shù)開發(fā)的核心位置，摒棄“重技術(shù)、輕合規(guī)”的誤區(qū)，推動整個行業(yè)加快建立自我約束標準與合規(guī)體系，從源頭防范技術(shù)濫用風(fēng)險，助力實現(xiàn)負責(zé)任、守底線的人工智能創(chuàng)新。

　　此外，該案也向社會公眾敲響警鐘。蔡照坤表示，AI技術(shù)并非“法外之地”，無論是AI開發(fā)者、平臺運營者，還是普通用戶，都需恪守法律規(guī)定、堅守行為底線。

　　“本案明確了AI服務(wù)提供者在涉黃內(nèi)容治理中的刑事責(zé)任邊界?！睆埛硎?，過去在實踐中，AI平臺往往以“技術(shù)中立”“用戶生成內(nèi)容不可控”為抗辯事由，但本案通過判決明確表明，如果服務(wù)提供者明知其AI系統(tǒng)被用于大規(guī)模、持續(xù)性地生成淫穢內(nèi)容，仍然提供技術(shù)支持、接口或算力保障，便可能構(gòu)成違法犯罪。“同時，本案對AI產(chǎn)業(yè)具有合規(guī)和治理層面的警示意義，它明確傳遞了一個態(tài)度，AI相關(guān)企業(yè)不僅要關(guān)注技術(shù)創(chuàng)新和商業(yè)效率，同時也要兼顧內(nèi)容審核與風(fēng)險防控?！?/p>

　　恪守法律規(guī)定堅守行為底線

　　基于該案的判決導(dǎo)向與法律邊界，AI開發(fā)者和普通網(wǎng)友應(yīng)該如何規(guī)避此類法律風(fēng)險？對此，蔡照坤與張帆給出了具體指引。

　　“對于AI開發(fā)者而言，合規(guī)運營應(yīng)貫穿產(chǎn)品開發(fā)與迭代的全流程?！辈陶绽け硎?，開發(fā)初期，需嚴格遵守相關(guān)法律法規(guī)及監(jiān)管要求，主動建立健全內(nèi)容安全過濾機制，從源頭遏制不良內(nèi)容產(chǎn)出。同時，應(yīng)搭建完善的監(jiān)控與應(yīng)急處置機制，運用技術(shù)手段實時監(jiān)測平臺內(nèi)的異常使用行為，及時識別違規(guī)風(fēng)險；設(shè)立便捷、高效的違法違規(guī)舉報渠道，明確處置流程與時限，確保發(fā)現(xiàn)違規(guī)內(nèi)容后能夠快速響應(yīng)、妥善處置。此外，需建立健全用戶約束機制，在用戶協(xié)議中清晰界定AI服務(wù)的禁止用途，明確告知用戶不得利用平臺服務(wù)生成、傳播違法違規(guī)內(nèi)容，并詳細公示違規(guī)使用的相應(yīng)后果，強化用戶的責(zé)任意識。

　　張帆則從合規(guī)依據(jù)層面給出提醒，她認為，目前AI領(lǐng)域已出臺《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標識辦法》等相關(guān)規(guī)定，以及正在征求意見的《人工智能擬人化互動服務(wù)管理暫行辦法》，AI開發(fā)者要及時學(xué)習(xí)并做好企業(yè)合規(guī)?！癆I雖然是新領(lǐng)域，但涉黃不是新問題，如果開發(fā)者明明能避免，卻任其發(fā)展，便要承擔相應(yīng)的責(zé)任?！?/p>

　　除了開發(fā)者，普通用戶的風(fēng)險規(guī)避同樣重要。在蔡照坤看來，普通用戶使用AI產(chǎn)品時應(yīng)堅守法律底線，主動規(guī)避潛在風(fēng)險。在輸入提示詞、與AI交互過程中，應(yīng)摒棄好奇心或娛樂心態(tài)，杜絕使用涉及性暴露、性暴力等明顯違法違規(guī)的內(nèi)容測試AI的“邊界”，避免因不當輸入觸發(fā)不良內(nèi)容生成，進而承擔相應(yīng)法律責(zé)任?！白顬殛P(guān)鍵的是，無論何種場景，都不得傳播、分享AI生成的違法違規(guī)內(nèi)容，自覺抵制不良信息，共同維護健康、清朗的網(wǎng)絡(luò)空間?！辈陶绽ふf。