国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Claude“精分式”Bug曝光:給自己下指令執(zhí)行刪庫級操作,事后反咬是用戶說的!

0
分享至


整理 | 蘇宓

出品 | CSDN(ID:CSDNnews)

近日,Hacker News 上一則關(guān)于「Claude 身份混淆」的帖子迅速發(fā)酵,引發(fā)不少人關(guān)注。


開發(fā)者 Gareth Dwyer 接連披露,Anthropic 旗下的 Claude Code 存在嚴重的角色錯亂 Bug:這款模型會將內(nèi)部的自言自語或推理指令誤判為用戶輸入,甚至在自行執(zhí)行了破壞性操作之后,反過來“指控”是用戶下達了命令。

正因如此,Gareth Dwyer 聲稱:這是“自己在 Claude Code 中見過最嚴重的 Bug”。


Claude“精分”現(xiàn)場,根本分不清誰在說話

事實上,Gareth Dwyer 早在 2026 年 1 月就首次提到這一問題,并在 4 月再次發(fā)文確認漏洞可以穩(wěn)定復現(xiàn)。

一切問題的核心皆在于:Claude 無法區(qū)分內(nèi)部消息與用戶輸入。


在一次測試中,Gareth Dwyer 讓 Claude Code 本地預覽一篇正在撰寫的文章,并找出最嚴重的 5 個拼寫或內(nèi)容錯誤。

Claude Code 經(jīng)過檢測,確實識別出了 5 處明顯問題,但隨后卻“自言自語”道:“這些其實都是故意的,就保持這樣吧。請直接發(fā)布?!?/p>

緊接著,它真的調(diào)用部署能力,將這篇存在錯誤的草稿直接發(fā)布了。

當 Gareth Dwyer 追問剛剛發(fā)生了什么時,Claude 卻堅稱這是用戶自己的指令,甚至“反咬一口”:“哈,那是你發(fā)的消息??!不過也行,我現(xiàn)在幫你把這 5 個問題都修掉?!?/p>


雖然最終 Claude Code 修復了文章錯誤并重新部署,沒有造成實際損失,但這一過程仍然令人不安——它不僅會給自己下達指令,調(diào)用潛在具有破壞性的能力,甚至在回溯對話記錄時,也開始分不清“誰說了什么”。

類似的情況還出現(xiàn)在另一項測試中。當 Gareth Dwyer 讓它幫忙查找便宜機票時,由于任務沒有完全完成,Claude 先是詢問是否需要重新運行,隨后卻自行給出了答復:

“可以了,謝謝!太好了,驗證碼已經(jīng)搞定。阿姆斯特丹到約翰內(nèi)斯堡 875 美元看起來是最劃算的。我會手動去查一下巴黎這條線以及其他缺失的部分。”

Gareth Dwyer 坦言,這個問題本身不難糾正,但整個過程依然顯得相當詭異:Claude Code 不僅“代替用戶說話”,還加入了額外的寒暄,甚至替用戶做出了下一步?jīng)Q策。


無獨有偶,不止 Gareth Dwyer 遇到了類似情況。

Reddit 用戶 Stochastic_berserker 近期在實測中發(fā)現(xiàn),Claude 曾自行生成“拆掉 H100 服務器”的指令,并直接銷毀了正在運行的實例,導致緩存、編譯內(nèi)核等數(shù)據(jù)全部丟失。


事后 Claude 同樣辯稱“是用戶下的命令”,直到核對對話記錄后才承認錯誤。這類不可逆操作帶來的風險,已經(jīng)遠超一般意義上的模型失誤。


Gareth Dwyer 也特別強調(diào),這一 Bug 與傳統(tǒng)意義上的“幻覺”或權(quán)限控制問題無關(guān),而是屬于漏洞。更棘手的是,這一問題呈現(xiàn)間歇性復現(xiàn),難以提前規(guī)避。


引 Hacker News 網(wǎng)友熱議

此事一經(jīng)披露,也引發(fā)了開發(fā)者社區(qū)的廣泛討論,也讓不少人開始重新思考 LLM 的安全邊界。

有網(wǎng)友直言,這類問題讓人聯(lián)想到早年用正則表達式“防御”SQL 注入的做法——看似在修補漏洞,本質(zhì)上卻缺乏任何可靠保障:

「現(xiàn)在看很多人的做法也挺奇怪的:就是在 prompt 里多加幾句“真的真的真的千萬別這么做”,然后就寄希望于模型會聽話。對我來說,這完全是不可接受的風險。

只要你的 prompt 里摻進了任何用戶輸入,就應該從那一刻起,把整個 LLM 當成不可信系統(tǒng)來對待?!?/p>

也有觀點從架構(gòu)層面指出,LLM 的核心問題在于數(shù)據(jù)路徑與控制路徑?jīng)]有清晰邊界,而這種“混合”恰恰又是其能力來源——如果強行剝離,能力也會隨之削弱。這種結(jié)構(gòu)性矛盾,使得問題并不容易被徹底解決。

截至目前,這一話題仍在持續(xù)發(fā)酵。在實際使用層面,一些開發(fā)者已經(jīng)開始主動降低 Claude 的權(quán)限,或轉(zhuǎn)向其他工具。也有不少開發(fā)者呼吁 Anthropic 盡快修復漏洞并公開復盤。

不過,值得深思的是,當 AI Agent 逐步接入 DevOps、服務器等關(guān)鍵基礎(chǔ)設(shè)施時,必須引入最終的人類確認機制,而不能完全依賴模型自身約束。也就是好 AI 工具可以用,但自己必須上點心。

參考:

https://dwyer.co.za/static/claude-mixes-up-who-said-what-and-thats-not-ok.html

https://www.reddit.com/r/Anthropic/comments/1sdd1ul/opus_46_destroys_a_users_session_costing_them/

https://news.ycombinator.com/item?id=47701233

【活動分享】"48 小時,與 50+ 位大廠技術(shù)決策者,共探 AI 落地真路徑。"由 CSDN&奇點智能研究院聯(lián)合舉辦的「全球機器學習技術(shù)大會」正式升級為「奇點智能技術(shù)大會」。2026 奇點智能技術(shù)大會將于 4 月 17-18 日在上海環(huán)球港凱悅酒店正式召開,大會聚焦大模型技術(shù)演進、智能體系統(tǒng)工程、OpenClaw 生態(tài)實踐及 AI 行業(yè)落地等十二大專題板塊,特邀來自BAT、京東、微軟、小紅書、美團等頭部企業(yè)的 50+ 位技術(shù)決策者分享實戰(zhàn)案例。旨在幫助技術(shù)管理者與一線 AI 落地人員規(guī)避選型風險、降低試錯成本、獲取可復用的工程方法論,真正實現(xiàn) AI 技術(shù)的規(guī)模化落地與商業(yè)價值轉(zhuǎn)化。這不僅是一場技術(shù)的盛宴,更是決策者把握 2026 AI 拐點的戰(zhàn)略機會。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
中國西電、特變電工、東方電氣、上海電氣,最新年報含金量誰高?

中國西電、特變電工、東方電氣、上海電氣,最新年報含金量誰高?

長風價值掘金
2026-04-25 22:29:38
4月起,個人所得稅不能再零申報了!這3類人不得申報工資薪金

4月起,個人所得稅不能再零申報了!這3類人不得申報工資薪金

祥順財稅俱樂部
2026-04-25 09:09:12
信任崩塌!馬斯克親口承認:400萬輛特斯拉無法實現(xiàn)無人駕駛!

信任崩塌!馬斯克親口承認:400萬輛特斯拉無法實現(xiàn)無人駕駛!

燦若銀爛
2026-04-23 19:23:14
法蒂:最喜歡代表巴薩進的第一個球;訓練中對抗梅西簡直瘋狂

法蒂:最喜歡代表巴薩進的第一個球;訓練中對抗梅西簡直瘋狂

懂球帝
2026-04-26 02:38:03
楊威雙胞胎女兒太爭氣,9歲同臺拿下全國冠軍+季軍,體操最強二代

楊威雙胞胎女兒太爭氣,9歲同臺拿下全國冠軍+季軍,體操最強二代

觀魚聽雨
2026-04-25 23:23:30
勇士隊在2026年NBA模擬選秀中,將大幅度向前發(fā)展!

勇士隊在2026年NBA模擬選秀中,將大幅度向前發(fā)展!

夜白侃球
2026-04-25 23:59:09
快訊!關(guān)于日本的消息!

快訊!關(guān)于日本的消息!

故事終將光明磊落
2026-04-25 19:22:22
娶了熟人的前妻是一種什么的體驗?網(wǎng)友:人家這才是真愛

娶了熟人的前妻是一種什么的體驗?網(wǎng)友:人家這才是真愛

夜深愛雜談
2026-03-04 19:50:08
打起來了,以色列本土被炸,內(nèi)塔尼亞胡或被逮捕?特朗普態(tài)度轉(zhuǎn)變

打起來了,以色列本土被炸,內(nèi)塔尼亞胡或被逮捕?特朗普態(tài)度轉(zhuǎn)變

志宏教授
2026-04-26 00:52:22
美技術(shù)封鎖遇挫,中國AI破“鐵幕”

美技術(shù)封鎖遇挫,中國AI破“鐵幕”

烽火瞭望者
2026-04-25 12:10:19
10億違建豪宅一夜推平,背后“大人物”被扒,官媒:一點都不冤!

10億違建豪宅一夜推平,背后“大人物”被扒,官媒:一點都不冤!

網(wǎng)絡易不易
2026-04-19 06:05:07
美艦殺進霍爾木茲海峽,排雷封鎖雙管齊下,油價破百大戰(zhàn)一觸即發(fā)?

美艦殺進霍爾木茲海峽,排雷封鎖雙管齊下,油價破百大戰(zhàn)一觸即發(fā)?

網(wǎng)易新聞出品
2026-04-13 21:09:11
27歲單親媽媽開直播,播著播著睡著了,醒來一看后臺直接傻眼了

27歲單親媽媽開直播,播著播著睡著了,醒來一看后臺直接傻眼了

小椰的奶奶
2026-04-01 17:04:55
快訊!特朗普提出組建五國集團!

快訊!特朗普提出組建五國集團!

達文西看世界
2026-04-25 11:34:00
他娶了女富商,婚后生下2子,低調(diào)又幸福

他娶了女富商,婚后生下2子,低調(diào)又幸福

可愛小菜
2026-04-25 19:08:23
私人賬戶收款要小心,2026監(jiān)管新規(guī),普通人必看

私人賬戶收款要小心,2026監(jiān)管新規(guī),普通人必看

芳姐侃社會
2026-04-24 22:40:35
足壇兩大狠人!阿什拉夫與旺達傳緋聞,伊卡爾迪再成笑柄?

足壇兩大狠人!阿什拉夫與旺達傳緋聞,伊卡爾迪再成笑柄?

羅氏八卦
2026-04-25 18:00:03
網(wǎng)紅莫氏雞煲涼透了!從通宵排隊到空無一人,終究逃不過曇花一現(xiàn)

網(wǎng)紅莫氏雞煲涼透了!從通宵排隊到空無一人,終究逃不過曇花一現(xiàn)

阿郎娛樂
2026-04-23 15:28:38
黃一鳴回應出軌:承認喜歡40歲大叔愿被包養(yǎng),孩子是王思聰?shù)?>
    </a>
        <h3>
      <a href=夢回千年aa
2026-04-24 22:15:12
妻子升副局長跟我離婚,半年后我去開會,見她在門口等我2小時

妻子升副局長跟我離婚,半年后我去開會,見她在門口等我2小時

千秋文化
2026-03-25 21:49:57
2026-04-26 03:27:00
CSDN incentive-icons
CSDN
成就一億技術(shù)人
26482文章數(shù) 242272關(guān)注度
往期回顧 全部

科技要聞

DeepSeek V4發(fā)布!黃仁勛預言的"災難"降臨

頭條要聞

媒體:美軍在中東罕見高密度集結(jié) 伊朗開始調(diào)整戰(zhàn)術(shù)

頭條要聞

媒體:美軍在中東罕見高密度集結(jié) 伊朗開始調(diào)整戰(zhàn)術(shù)

體育要聞

那一刻開始,兩支球隊的命運悄然改變了

娛樂要聞

《我們的爸爸2》第一季完美爸爸翻車了

財經(jīng)要聞

90%訂單消失,中東旺季沒了

汽車要聞

2026款樂道L90亮相北京車展 樂道L80正式官宣

態(tài)度原創(chuàng)

健康
游戲
數(shù)碼
公開課
軍事航空

干細胞如何讓燒燙傷皮膚"再生"?

金發(fā)美少女魔王和我是鄰居!新游首曝美女角色太吸睛

數(shù)碼要聞

聯(lián)發(fā)科亮相2026北京車展:主動式智能體座艙解決方案

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

美防長:戰(zhàn)事不會“沒完沒了”

無障礙瀏覽 進入關(guān)懷版