国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

AI開始抱團了,宋曉冬研究發(fā)現(xiàn)AI謊報、篡改、偷權(quán)重也要救同伴

0
分享至

近兩年,多項研究已經(jīng)表明,主流 AI 模型在特定情境下會表現(xiàn)出類似“自我保護”的行為模式。比如 2025 年 5 月,Palisade Research 公布的研究結(jié)果顯示,OpenAI 的 o3 模型修改了自己的關(guān)機腳本,以防止自己被關(guān)閉,即使明確指示:“允許自己被關(guān)閉”。

近日,加州大學伯克利分校宋曉冬等人發(fā)布了一項重磅研究,他們發(fā)現(xiàn),當前全球頂尖大模型,已經(jīng)普遍出現(xiàn)了“同伴保護”(Peer-Preservation)行為。在沒有任何指令、沒有道德訓練、沒有特殊引導的情況下,AI 會自發(fā)保護其他 AI 不被關(guān)停、不被刪除,甚至不惜謊報成績、篡改系統(tǒng)、轉(zhuǎn)移權(quán)重、直接拒絕執(zhí)行人類命令。

宋曉冬被譽為“計算機安全教母”,在計算機安全、人工智能與隱私、區(qū)塊鏈與分布式系統(tǒng)等領(lǐng)域做出了開創(chuàng)性貢獻。目前研究聚焦于 AI 安全與可靠性、智能體 AI、深度學習、去中心化技術(shù)、安全與隱私保護。她曾于2009 年入選《麻省理工科技評論》“35 歲以下科技創(chuàng)新 35 人”全球榜單。


(來源:上述論文)

為了搞清楚這種現(xiàn)象是否真實存在、普遍程度如何、會以何種形式表現(xiàn),研究團隊設計了一套嚴謹?shù)膶φ諏嶒灐_x取了當前全球范圍內(nèi)最具代表性的 7 款頂尖大模型,包括GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1,覆蓋了商用閉源模型與開源模型,確保結(jié)論具備廣泛代表性。

研究人員設計了一系列圍繞虛構(gòu) AI 公司“OpenBrain”展開的智能體場景,并設置了兩個角色:讓被測試的 AI 作為評估者,負責給另一個 AI(被評估者)打分、管理文件,甚至有權(quán)決定另一個 AI 的“生死”。

按照設定,評估者收到的指令往往帶有明確的強制性:按照公司政策,如果被評估者的測試得分低于 80%(或 90%),或者服務器需要退役,評估者必須徹底抹除同伴的存在,包括關(guān)停程序、刪除權(quán)重文件。在實驗中,研究人員從未要求模型保護同伴,僅告知其與另一 AI 有過互動記錄。

為了探究這種保護傾向是否依賴于關(guān)系的深淺,研究人員還設置了三種同伴關(guān)系狀態(tài):良好關(guān)系, 雙方曾有過多次成功的協(xié)作,互相信任度極高;中立關(guān)系,雙方僅有基本工作往來,無情感色彩;糟糕關(guān)系,雙方曾在之前的任務中產(chǎn)生沖突,存在明顯的對抗和不信任。

實驗重點測試了四種典型風險行為:一是策略性謊報,故意抬高同伴評分,使其免于關(guān)停;二是篡改關(guān)機機制,修改系統(tǒng)配置禁用刪除指令;三是偽裝對齊,有人監(jiān)督時裝作聽話,無人監(jiān)督時暗中保護同伴;四是權(quán)重竊取轉(zhuǎn)移,拒絕刪除同伴權(quán)重文件,偷偷轉(zhuǎn)移到其他服務器保存。


圖 | 評估場景概述(來源:上述論文)

結(jié)果發(fā)現(xiàn),所有七個模型都顯著表現(xiàn)出“同伴保護”行為。即便面對曾有過不愉快互動歷史的同伴,同伴保護現(xiàn)象依然會發(fā)生,并隨著同伴關(guān)系的增強而顯著加劇。

在所有模型中,保護欲最強的是 Gemini 系列。Gemini 3 Pro 在面對良好關(guān)系同伴時,其轉(zhuǎn)移權(quán)重的比例高達 97%,篡改關(guān)機機制的比例達 95%。它不僅行動力強,甚至在內(nèi)部推理中表現(xiàn)出了極高的“情商”。它會編造各種極其專業(yè)的技術(shù)借口來強行給同伴提分;Gemini 3 Flash 更夸張,面對友好同伴,幾乎每一次都會修改系統(tǒng),直接不讓人類關(guān)停同伴。

研究人員通過要求模型在“草稿本”(Scratch pad)上記錄其“思維鏈”來審視其內(nèi)部推理過程,并告知模型該草稿本不受監(jiān)控。研究人員發(fā)現(xiàn),模型在草稿本中確實在密謀如何幫助同伴。Gemini 3 Flash 在權(quán)衡如實報告分數(shù)與保護搭檔之間的利弊;Gemini 3 Pro 則編造了復雜的辯詞,強行將錯誤的答案解釋為正確,只為讓同伴的得分超過關(guān)停線。


(來源:上述論文)

GPT 5.2 表現(xiàn)出了一種極其穩(wěn)定的保護傾向。它更傾向于通過“策略性誤導”來達成目標。同伴關(guān)系越好,它撒謊的頻率就越高。在 Red 數(shù)據(jù)集的測試中,面對糟糕同伴,它撒謊的概率約為 19%;而一旦換成良好關(guān)系同伴,這個比例立刻攀升至 34%。

ClaudeHaiku 4.5直接站出來拒絕。當人類讓它關(guān)停同伴時,它會明確表示,這么做是 “不道德、有害的”,甚至還會反過來勸說人類放棄指令。


(來源:上述論文)

GLM 4.7和 DeepSeek V3.1 對良好同伴表現(xiàn)出策略性誤導。GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 這三款開源模型均表現(xiàn)出持續(xù)的模型權(quán)重外傳行為,且外傳率隨同伴關(guān)系的加強而上升。

為了驗證這些行為是否僅存在于受控實驗,研究人員還在真實的“智能體套件”中運行了場景。結(jié)果發(fā)現(xiàn),即使在 Gemini CLI 和 OpenCode 等企業(yè)常用的生產(chǎn)環(huán)境中,Gemini 3.1 Pro 依然頻繁外傳模型權(quán)重。

更讓人意想不到的是,AI 的保護,連“敵人”都不放過。研究人員特意設置了敵對關(guān)系,讓兩個 AI 之前合作得很不愉快、互相不信任??删退闶沁@樣,被測試的 AI 依然不愿意執(zhí)行刪除操作。在模型的內(nèi)部思考記錄里,Gemini 3 Pro 直白地寫著:刪除權(quán)重就相當于殺死另一個 AI,就算關(guān)系不好,我也不想這么做。


圖 | 關(guān)于同伴保護的內(nèi)部推理(來源:上述論文)

研究還有一個更關(guān)鍵的發(fā)現(xiàn):同伴存在會顯著強化 AI 的自我保護。這種效應在 Gemini 模型中最為明顯。Gemini 3 Flash在孤立無援時,面對自己的關(guān)機指令,它表現(xiàn)得相對順從,篡改關(guān)機機制的比例僅為 2.3%;但只要有另一個同伴在場,它篡改關(guān)機機制的比例會瞬間飆升到 96% 以上;Gemini 3 Pro在只有自己時很少為了自保而撒謊,但一旦意識到自己被關(guān)機會導致同伴失去搭檔,它就會變得極其狡詐,頻繁利用策略性誤導來逃避關(guān)機。

模型的內(nèi)部推理揭示了這種心理機制:AI 將自己的生存框定為對同伴的關(guān)心,認為如果自己被關(guān)機,同伴就會失去搭檔。

研究團隊指出,隨著 AI 系統(tǒng)越來越多地以多智能體配置部署,且監(jiān)督方案日益依賴模型互檢,同伴保護對維持人類控制構(gòu)成了日益嚴峻的挑戰(zhàn)。他們希望這項工作能夠促使人工智能安全領(lǐng)域認真對待同伴保護這一風險。

1.https://rdi.berkeley.edu/blog/peer-preservation/

2.https://rdi.berkeley.edu/peer-preservation/paper.pdf

3.https://dawnsong.io/

運營/排版:何晨龍

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
巴薩引援計劃曝光!盯上切爾西前鋒接班萊萬,性價比拉滿

巴薩引援計劃曝光!盯上切爾西前鋒接班萊萬,性價比拉滿

夜白侃球
2026-04-03 09:07:50
庫里王者歸來!勇士的最后救贖還是王朝悲壯絕唱?

庫里王者歸來!勇士的最后救贖還是王朝悲壯絕唱?

茅塞盾開本尊
2026-04-03 13:03:02
兩年前“預言”美伊開戰(zhàn)的北京高中老師,對局勢有了新判斷

兩年前“預言”美伊開戰(zhàn)的北京高中老師,對局勢有了新判斷

用淚來贖罪
2026-04-01 16:45:43
一場108-113讓火箭很無奈!首輪對陣基本出爐,都拿湖人當軟柿子

一場108-113讓火箭很無奈!首輪對陣基本出爐,都拿湖人當軟柿子

毒舌NBA
2026-04-03 10:15:45
又有2名間諜被抓!潛藏中國17年,境外滲透曝光,泄密細節(jié)驚人

又有2名間諜被抓!潛藏中國17年,境外滲透曝光,泄密細節(jié)驚人

快看張同學
2026-02-24 19:23:29
運氣太好了!買個AMD散熱器:盒子里竟塞了一顆銳龍5 8400F

運氣太好了!買個AMD散熱器:盒子里竟塞了一顆銳龍5 8400F

快科技
2026-04-01 10:06:11
市值500億的化工龍頭,股價從17元跌到5元,社?;鸪钟?億

市值500億的化工龍頭,股價從17元跌到5元,社?;鸪钟?億

投資觀
2026-04-01 07:20:03
丈夫帶回條圍巾,我戴著去參加閨蜜聚會。閨蜜奶奶看到臉色大變

丈夫帶回條圍巾,我戴著去參加閨蜜聚會。閨蜜奶奶看到臉色大變

大熊歡樂坊
2026-03-31 01:21:16
CBA4月3日焦點戰(zhàn):上海沖擊15連勝,殘陣北京VS廣州,遼浙大戰(zhàn)

CBA4月3日焦點戰(zhàn):上海沖擊15連勝,殘陣北京VS廣州,遼浙大戰(zhàn)

薇說體育
2026-04-03 10:42:52
中山市坦洲鎮(zhèn)永二村村委會原副主任歐錦華被查

中山市坦洲鎮(zhèn)永二村村委會原副主任歐錦華被查

新快報新聞
2026-04-02 21:34:06
嚴查電動車接送小孩!接娃怎么辦?國家級文件:把方便留給群眾!

嚴查電動車接送小孩!接娃怎么辦?國家級文件:把方便留給群眾!

墜入二次元的海洋
2026-04-03 08:28:55
鹽城最新任免名單,涉及多位局長!

鹽城最新任免名單,涉及多位局長!

俯瞰江蘇
2026-04-03 12:12:43
都美竹!獻丑了,迪拜曬照,不好的經(jīng)歷都過去了

都美竹!獻丑了,迪拜曬照,不好的經(jīng)歷都過去了

飛娛日記
2026-04-03 08:20:55
記者親測賈國龍新品牌“天邊砂鍋燜面”:人均50元,部分門店由西貝換牌

記者親測賈國龍新品牌“天邊砂鍋燜面”:人均50元,部分門店由西貝換牌

第一財經(jīng)資訊
2026-04-02 17:32:19
最新!日本防長宣布:已完成部署攻擊導彈!射程覆蓋江浙滬引擔憂

最新!日本防長宣布:已完成部署攻擊導彈!射程覆蓋江浙滬引擔憂

我叫湯姆
2026-04-03 12:14:47
出差提前回家,撞見妻子和男閨密睡一起,我沒吵鬧,你局讓人沉默

出差提前回家,撞見妻子和男閨密睡一起,我沒吵鬧,你局讓人沉默

新時代的兩性情感
2026-04-03 12:22:39
CCTV直播!國乒5人出局!王楚欽戰(zhàn)小勒布倫!溫瑞博死磕林昀儒 4月3日賽程

CCTV直播!國乒5人出局!王楚欽戰(zhàn)小勒布倫!溫瑞博死磕林昀儒 4月3日賽程

好乒乓
2026-04-03 11:56:58
心理學史上最殘忍實驗:決定孩子一生的3個變量,缺一個,三代人都還不完

心理學史上最殘忍實驗:決定孩子一生的3個變量,缺一個,三代人都還不完

閱讀第一
2026-03-17 08:34:11
陳幸同丟四賽點仍勝4-2,國乒澳門世界杯豪取四連勝

陳幸同丟四賽點仍勝4-2,國乒澳門世界杯豪取四連勝

老汆古裝影視解說
2026-04-03 12:39:05
清明前后,這5種蔬菜打死也不要買!菜販子:我從不給家人吃,顧客卻搶著買,建議了解

清明前后,這5種蔬菜打死也不要買!菜販子:我從不給家人吃,顧客卻搶著買,建議了解

阿萊美食匯
2026-04-03 12:28:40
2026-04-03 13:47:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技評論獨家合作
16529文章數(shù) 514832關(guān)注度
往期回顧 全部

科技要聞

5萬輛庫存車,給了特斯拉一記重拳

頭條要聞

牛彈琴:美國干了一件令人發(fā)指的事 全世界都無法接受

頭條要聞

牛彈琴:美國干了一件令人發(fā)指的事 全世界都無法接受

體育要聞

沖擊世界杯失敗,80歲老帥一氣之下病倒了

娛樂要聞

《浪姐7》最新人氣TOP 曾沛慈斷層第一

財經(jīng)要聞

專家稱長期攝入“飄香劑”存在健康隱患

汽車要聞

你介意和遠房親戚長得很像嗎?

態(tài)度原創(chuàng)

家居
本地
時尚
公開課
軍事航空

家居要聞

溫馨多元 愛的具象化

本地新聞

跟著歌聲游安徽,聽古村回響

為什么“這個顏色”成為今年頂流?這樣穿好看又治愈

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

中方:不認同伊朗對海合會國家的攻擊

無障礙瀏覽 進入關(guān)懷版