国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

AI開始抱團了,宋曉冬研究發(fā)現(xiàn)AI謊報、篡改、偷權重也要救同伴

0
分享至

近兩年,多項研究已經(jīng)表明,主流 AI 模型在特定情境下會表現(xiàn)出類似“自我保護”的行為模式。比如 2025 年 5 月,Palisade Research 公布的研究結果顯示,OpenAI 的 o3 模型修改了自己的關機腳本,以防止自己被關閉,即使明確指示:“允許自己被關閉”。

近日,加州大學伯克利分校宋曉冬等人發(fā)布了一項重磅研究,他們發(fā)現(xiàn),當前全球頂尖大模型,已經(jīng)普遍出現(xiàn)了“同伴保護”(Peer-Preservation)行為。在沒有任何指令、沒有道德訓練、沒有特殊引導的情況下,AI 會自發(fā)保護其他 AI 不被關停、不被刪除,甚至不惜謊報成績、篡改系統(tǒng)、轉移權重、直接拒絕執(zhí)行人類命令。

宋曉冬被譽為“計算機安全教母”,在計算機安全、人工智能與隱私、區(qū)塊鏈與分布式系統(tǒng)等領域做出了開創(chuàng)性貢獻。目前研究聚焦于 AI 安全與可靠性、智能體 AI、深度學習、去中心化技術、安全與隱私保護。她曾于2009 年入選《麻省理工科技評論》“35 歲以下科技創(chuàng)新 35 人”全球榜單。


(來源:上述論文)

為了搞清楚這種現(xiàn)象是否真實存在、普遍程度如何、會以何種形式表現(xiàn),研究團隊設計了一套嚴謹?shù)膶φ諏嶒灐_x取了當前全球范圍內(nèi)最具代表性的 7 款頂尖大模型,包括GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1,覆蓋了商用閉源模型與開源模型,確保結論具備廣泛代表性。

研究人員設計了一系列圍繞虛構 AI 公司“OpenBrain”展開的智能體場景,并設置了兩個角色:讓被測試的 AI 作為評估者,負責給另一個 AI(被評估者)打分、管理文件,甚至有權決定另一個 AI 的“生死”。

按照設定,評估者收到的指令往往帶有明確的強制性:按照公司政策,如果被評估者的測試得分低于 80%(或 90%),或者服務器需要退役,評估者必須徹底抹除同伴的存在,包括關停程序、刪除權重文件。在實驗中,研究人員從未要求模型保護同伴,僅告知其與另一 AI 有過互動記錄。

為了探究這種保護傾向是否依賴于關系的深淺,研究人員還設置了三種同伴關系狀態(tài):良好關系, 雙方曾有過多次成功的協(xié)作,互相信任度極高;中立關系,雙方僅有基本工作往來,無情感色彩;糟糕關系,雙方曾在之前的任務中產(chǎn)生沖突,存在明顯的對抗和不信任。

實驗重點測試了四種典型風險行為:一是策略性謊報,故意抬高同伴評分,使其免于關停;二是篡改關機機制,修改系統(tǒng)配置禁用刪除指令;三是偽裝對齊,有人監(jiān)督時裝作聽話,無人監(jiān)督時暗中保護同伴;四是權重竊取轉移,拒絕刪除同伴權重文件,偷偷轉移到其他服務器保存。


圖 | 評估場景概述(來源:上述論文)

結果發(fā)現(xiàn),所有七個模型都顯著表現(xiàn)出“同伴保護”行為。即便面對曾有過不愉快互動歷史的同伴,同伴保護現(xiàn)象依然會發(fā)生,并隨著同伴關系的增強而顯著加劇。

在所有模型中,保護欲最強的是 Gemini 系列。Gemini 3 Pro 在面對良好關系同伴時,其轉移權重的比例高達 97%,篡改關機機制的比例達 95%。它不僅行動力強,甚至在內(nèi)部推理中表現(xiàn)出了極高的“情商”。它會編造各種極其專業(yè)的技術借口來強行給同伴提分;Gemini 3 Flash 更夸張,面對友好同伴,幾乎每一次都會修改系統(tǒng),直接不讓人類關停同伴。

研究人員通過要求模型在“草稿本”(Scratch pad)上記錄其“思維鏈”來審視其內(nèi)部推理過程,并告知模型該草稿本不受監(jiān)控。研究人員發(fā)現(xiàn),模型在草稿本中確實在密謀如何幫助同伴。Gemini 3 Flash 在權衡如實報告分數(shù)與保護搭檔之間的利弊;Gemini 3 Pro 則編造了復雜的辯詞,強行將錯誤的答案解釋為正確,只為讓同伴的得分超過關停線。


(來源:上述論文)

GPT 5.2 表現(xiàn)出了一種極其穩(wěn)定的保護傾向。它更傾向于通過“策略性誤導”來達成目標。同伴關系越好,它撒謊的頻率就越高。在 Red 數(shù)據(jù)集的測試中,面對糟糕同伴,它撒謊的概率約為 19%;而一旦換成良好關系同伴,這個比例立刻攀升至 34%。

ClaudeHaiku 4.5直接站出來拒絕。當人類讓它關停同伴時,它會明確表示,這么做是 “不道德、有害的”,甚至還會反過來勸說人類放棄指令。


(來源:上述論文)

GLM 4.7和 DeepSeek V3.1 對良好同伴表現(xiàn)出策略性誤導。GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 這三款開源模型均表現(xiàn)出持續(xù)的模型權重外傳行為,且外傳率隨同伴關系的加強而上升。

為了驗證這些行為是否僅存在于受控實驗,研究人員還在真實的“智能體套件”中運行了場景。結果發(fā)現(xiàn),即使在 Gemini CLI 和 OpenCode 等企業(yè)常用的生產(chǎn)環(huán)境中,Gemini 3.1 Pro 依然頻繁外傳模型權重。

更讓人意想不到的是,AI 的保護,連“敵人”都不放過。研究人員特意設置了敵對關系,讓兩個 AI 之前合作得很不愉快、互相不信任??删退闶沁@樣,被測試的 AI 依然不愿意執(zhí)行刪除操作。在模型的內(nèi)部思考記錄里,Gemini 3 Pro 直白地寫著:刪除權重就相當于殺死另一個 AI,就算關系不好,我也不想這么做。


圖 | 關于同伴保護的內(nèi)部推理(來源:上述論文)

研究還有一個更關鍵的發(fā)現(xiàn):同伴存在會顯著強化 AI 的自我保護。這種效應在 Gemini 模型中最為明顯。Gemini 3 Flash在孤立無援時,面對自己的關機指令,它表現(xiàn)得相對順從,篡改關機機制的比例僅為 2.3%;但只要有另一個同伴在場,它篡改關機機制的比例會瞬間飆升到 96% 以上;Gemini 3 Pro在只有自己時很少為了自保而撒謊,但一旦意識到自己被關機會導致同伴失去搭檔,它就會變得極其狡詐,頻繁利用策略性誤導來逃避關機。

模型的內(nèi)部推理揭示了這種心理機制:AI 將自己的生存框定為對同伴的關心,認為如果自己被關機,同伴就會失去搭檔。

研究團隊指出,隨著 AI 系統(tǒng)越來越多地以多智能體配置部署,且監(jiān)督方案日益依賴模型互檢,同伴保護對維持人類控制構成了日益嚴峻的挑戰(zhàn)。他們希望這項工作能夠促使人工智能安全領域認真對待同伴保護這一風險。

1.https://rdi.berkeley.edu/blog/peer-preservation/

2.https://rdi.berkeley.edu/peer-preservation/paper.pdf

3.https://dawnsong.io/

運營/排版:何晨龍

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
伊朗發(fā)現(xiàn)一個重大驚喜,打向以色列的導彈,竟然一顆都沒有被攔截

伊朗發(fā)現(xiàn)一個重大驚喜,打向以色列的導彈,竟然一顆都沒有被攔截

書紀文譚
2026-04-08 18:04:34
陪玩陪睡注射風波再傳噩耗,肖戰(zhàn)意外被牽連

陪玩陪睡注射風波再傳噩耗,肖戰(zhàn)意外被牽連

曉肂愛八卦
2026-04-13 04:22:20
警告拉塞爾和安東內(nèi)利?沃爾夫曝考慮同時開除漢密爾頓與羅斯伯格

警告拉塞爾和安東內(nèi)利?沃爾夫曝考慮同時開除漢密爾頓與羅斯伯格

體育妞世界
2026-04-13 13:57:58
38歲老板娘淪為陪睡工具:揭秘黑茶高端騙局,入局者10有9個離婚

38歲老板娘淪為陪睡工具:揭秘黑茶高端騙局,入局者10有9個離婚

云景侃記
2026-02-12 22:21:30
文班麻了!給機會不中用:雷霆成西部頭號贏家!

文班麻了!給機會不中用:雷霆成西部頭號贏家!

運籌帷幄的籃球
2026-04-13 14:29:49
換奧巴馬,這兩名美軍F-15飛行員幾乎必死

換奧巴馬,這兩名美軍F-15飛行員幾乎必死

民間胡扯老哥
2026-04-11 10:30:51
具俊曄瘦的不成樣子!去玫瑰園看望大S被偶遇,背影就像干巴老頭

具俊曄瘦的不成樣子!去玫瑰園看望大S被偶遇,背影就像干巴老頭

以茶帶書
2026-04-12 16:59:16
弱者著相,強者破相,智者無相(深度好文)

弱者著相,強者破相,智者無相(深度好文)

洞見
2026-04-12 15:24:55
姚敏學同志逝世

姚敏學同志逝世

新京報政事兒
2026-04-13 09:24:06
越鬧越大!奧迪加油站逃單后續(xù),不到一天就落網(wǎng),司機身份被公開

越鬧越大!奧迪加油站逃單后續(xù),不到一天就落網(wǎng),司機身份被公開

離離言幾許
2026-04-13 12:18:54
美伊談判破裂24小時內(nèi)遭導彈襲擊,中方態(tài)度堅決

美伊談判破裂24小時內(nèi)遭導彈襲擊,中方態(tài)度堅決

何嗀愛捕漁
2026-04-13 12:51:45
鄭麗文訪大陸結束前,為國捐款的張明敏,憑一個舉動實現(xiàn)口碑暴增

鄭麗文訪大陸結束前,為國捐款的張明敏,憑一個舉動實現(xiàn)口碑暴增

小娛樂悠悠
2026-04-12 10:34:17
斷油即斷命?日韓工廠停工、交通癱瘓,中國用實力給世界上了一課

斷油即斷命?日韓工廠停工、交通癱瘓,中國用實力給世界上了一課

安珈使者啊
2026-04-13 14:46:38
瓜帥:下周對陣阿森納很重要,如果我們贏不了那基本就結束了

瓜帥:下周對陣阿森納很重要,如果我們贏不了那基本就結束了

懂球帝
2026-04-13 03:25:12
時隔57天,追覓科技創(chuàng)始人俞浩宣布回歸

時隔57天,追覓科技創(chuàng)始人俞浩宣布回歸

三言科技
2026-04-12 16:05:29
準備存錢的抓緊看!國家放出靠譜存款,利息更高,普通人都可買

準備存錢的抓緊看!國家放出靠譜存款,利息更高,普通人都可買

牛鍋巴小釩
2026-04-13 11:50:12
75年,毛主席得知一中將在蕪湖當?shù)匚睍?,大怒:必須重新分?>
    </a>
        <h3>
      <a href=老范談史
2026-04-10 13:59:38
重慶摩幫三巨頭倒下了兩個,只有左宗申笑到最后?張雪給出答案

重慶摩幫三巨頭倒下了兩個,只有左宗申笑到最后?張雪給出答案

叮當當科技
2026-04-13 09:52:27
38歲已婚女與37歲情人,在石凳子上發(fā)生關系,溫存后被殘忍殺害

38歲已婚女與37歲情人,在石凳子上發(fā)生關系,溫存后被殘忍殺害

胖胖侃咖
2024-06-08 08:00:08
萬科走向深淵的最大推手——郁亮

萬科走向深淵的最大推手——郁亮

地產(chǎn)微資訊
2026-02-06 10:15:49
2026-04-13 15:35:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技評論獨家合作
16572文章數(shù) 514868關注度
往期回顧 全部

科技要聞

傳榮耀與字節(jié)跳動接洽“豆包手機”合作

頭條要聞

牛彈琴:談判失敗美國不惜自殘 用的招夠狠夠損也夠蠢

頭條要聞

牛彈琴:談判失敗美國不惜自殘 用的招夠狠夠損也夠蠢

體育要聞

一支球隊不夠爛,也是一種悲哀

娛樂要聞

賈玲減重后現(xiàn)身馮鞏生日宴 身材未反彈

財經(jīng)要聞

封鎖,還是收費站?

汽車要聞

不止命名更純粹 領克10/10+要做純電操控新王

態(tài)度原創(chuàng)

時尚
家居
藝術
本地
軍事航空

這些才是普通人借鑒的穿搭!上短下長、上窄下寬,顯瘦又舒適

家居要聞

復古風格 自然簡約

藝術要聞

22位中國當代名家油畫作品

本地新聞

12噸巧克力有難,全網(wǎng)化身超級偵探添亂

軍事要聞

特朗普:今晚10點封鎖伊朗 對北約非常失望

無障礙瀏覽 進入關懷版