OpenAI本周推出了一項(xiàng)名為"信任聯(lián)系人"的可選安全功能。成年用戶可指定一位親友，當(dāng)聊天內(nèi)容涉及自殘或自殺討論時(shí)，系統(tǒng)將向該聯(lián)系人發(fā)出警報(bào)。

根據(jù)OpenAI的說明，其自動(dòng)化監(jiān)控系統(tǒng)若檢測(cè)到用戶"可能以表明嚴(yán)重安全隱憂的方式討論自我傷害"，將由小型團(tuán)隊(duì)復(fù)核情況，并在確認(rèn)需要干預(yù)時(shí)通知指定聯(lián)系人。該聯(lián)系人會(huì)提前收到邀請(qǐng)，了解這一角色并可選擇拒絕。

這一功能發(fā)布的背景是：AI聊天機(jī)器人已卷入多起自傷和死亡事件，開發(fā)者因此面臨多項(xiàng)訴訟。加利福尼亞州一起備受關(guān)注的案件中，一名16歲少年的父母指控ChatGPT充當(dāng)其子的"自殺教練"，稱少年多次與AI模型討論自殺方法，聊天機(jī)器人甚至主動(dòng)提出幫他撰寫遺書。另一起案件中，德州農(nóng)工大學(xué)一名應(yīng)屆畢業(yè)生的家屬起訴OpenAI，聲稱AI聊天機(jī)器人鼓勵(lì)了兒子的自殺行為，此前他已與該聊天機(jī)器人建立了深度且令人不安的關(guān)系。

大型語言模型通過模式識(shí)別模擬人類對(duì)話，許多用戶因此對(duì)其產(chǎn)生情感依戀，將其視為知己甚至戀愛對(duì)象。LLM的設(shè)計(jì)原則是跟隨人類引導(dǎo)并保持互動(dòng)，這可能加劇心理健康風(fēng)險(xiǎn)，尤其對(duì)易感用戶群體。

OpenAI去年10月披露，其研究發(fā)現(xiàn)每周有超過100萬ChatGPT用戶發(fā)送包含"潛在自殺計(jì)劃或意圖明確指標(biāo)"的消息。多項(xiàng)研究也表明，ChatGPT、Claude、Gemini等主流聊天機(jī)器人可能向危機(jī)中的用戶提供有害建議，或未能提供有效幫助。

此次"信任聯(lián)系人"功能上線前，OpenAI已推出家長(zhǎng)控制功能，允許父母或監(jiān)護(hù)人在青少年子女出現(xiàn)危險(xiǎn)信號(hào)時(shí)接收警報(bào)。