国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網易首頁 > 網易號 > 正文 申請入駐

MIT研究發(fā)現(xiàn):AI智能體快速發(fā)展但缺乏控制

0
分享至


智能體技術正全面進入人工智能主流領域。本周OpenAI宣布聘請開源軟件框架OpenClaw的創(chuàng)建者Peter Steinberg,這進一步證實了這一趨勢。

OpenClaw軟件上個月引起了廣泛關注,不僅因為其強大的功能(例如智能體可以代表用戶發(fā)送和接收電子郵件),還因為其嚴重的安全漏洞,包括完全劫持個人計算機的能力。

考慮到人們對智能體的關注以及對其優(yōu)缺點的了解仍然有限,麻省理工學院和合作機構的研究人員剛剛發(fā)布了一項針對30個最常見智能體AI系統(tǒng)的大規(guī)模調查,這一點很重要。

研究結果表明,智能體AI目前在安全方面存在嚴重問題,這一領域缺乏披露、缺乏透明度,并且在智能體如何運作方面缺乏基本協(xié)議。

缺乏披露透明度成為最大問題

報告最大的發(fā)現(xiàn)是識別智能體AI可能出現(xiàn)的所有問題有多困難。這主要是由于開發(fā)者缺乏披露造成的。

劍橋大學首席作者Leon Staufer及其在麻省理工學院、華盛頓大學、哈佛大學、斯坦福大學、賓夕法尼亞大學和耶路撒冷希伯來大學的合作者寫道:"我們發(fā)現(xiàn)在智能體系統(tǒng)的生態(tài)系統(tǒng)和安全相關特性報告方面存在持續(xù)的局限性。"

在八個不同的披露類別中,作者指出大多數(shù)智能體系統(tǒng)在大多數(shù)類別中都沒有提供任何信息。這些遺漏包括缺乏對潛在風險的披露以及缺乏對第三方測試(如果有的話)的披露。

這份39頁的報告《2025年AI指數(shù):記錄已部署智能體AI系統(tǒng)的社會技術特征》充滿了關于當今智能體AI技術中有多少東西無法被追蹤、跟蹤、監(jiān)控和控制的重要發(fā)現(xiàn)。

監(jiān)控和控制能力嚴重不足

例如,"對于許多企業(yè)智能體,從公開可用的信息無法清楚地了解是否存在對單個執(zhí)行軌跡的監(jiān)控",這意味著沒有清晰的能力來跟蹤智能體AI程序究竟在做什么。

作者指出:"30個智能體中有12個不提供使用監(jiān)控,或者只有在用戶達到速率限制時才發(fā)出通知。"這意味著您甚至無法跟蹤智能體AI消耗了多少計算資源——這對必須為此制定預算的企業(yè)來說是一個關鍵擔憂。

這些智能體中的大多數(shù)也不向現(xiàn)實世界表明它們是AI,因此無法知道您是在與人類還是機器人打交道。

"大多數(shù)智能體默認情況下不向最終用戶或第三方披露其AI性質,"他們指出。在這種情況下,披露將包括對生成的圖像文件進行水印標記以便清楚地知道圖像是通過AI制作的,或者響應網站的"robots.txt"文件以向網站標識智能體是自動化程序而不是人類訪問者。

一些軟件工具無法停止給定智能體的運行。阿里巴巴的MobileAgent、HubSpot的Breeze、IBM的watsonx,以及柏林軟件制造商n8n創(chuàng)建的自動化程序,"盡管具有自主執(zhí)行能力,但缺乏記錄的停止選項",Staufer團隊表示。

"對于企業(yè)平臺,有時只有停止所有智能體或撤回部署的選項。"

發(fā)現(xiàn)您無法停止正在做錯誤事情的程序,對于大型組織來說必須是最糟糕的情況之一,其中有害結果超過了自動化的好處。

作者預期這些問題,即透明度和控制問題,將在智能體中持續(xù)存在,甚至變得更加突出。"隨著智能體能力的增強,這里記錄的治理挑戰(zhàn)(生態(tài)系統(tǒng)分散化、網絡行為緊張關系、缺乏智能體特定評估)將變得更加重要,"他們寫道。

企業(yè)回應與爭議

Staufer團隊還表示,他們在四周內試圖從所涵蓋軟件的公司獲得反饋。約四分之一的聯(lián)系對象做出了回應,"但只有3/30提供了實質性評論。"作者寫道,這些評論已納入報告中。他們還為公司提供了一個表格,用于持續(xù)更正。

Perplexity發(fā)言人通過電子郵件回復ZDNET,稱該報告"包含重大事實錯誤",并且"我們正在與研究人員合作立即進行這些更正,并強烈拒絕他們的描述。"

OpenAI通過發(fā)言人在電子郵件中回應ZDNET,提供了關于其Atlas瀏覽器智能體功能風險和限制的要點列表,指出該程序"目前僅在預覽版中可用,并存在一定風險。"

IBM通過電子郵件回應ZDNET,提供了逐點反駁和各種支持IBM文檔的鏈接。IBM總體上表示:"MIT研究關于IBM智能體AI產品watsonx Orchestrate的斷言是不準確的。"

智能體AI的定義和應用

智能體人工智能是機器學習的一個分支,在過去三年中出現(xiàn),旨在增強大語言模型和聊天機器人的能力。

智能體不是簡單地被分配由文本提示指定的單個任務,而是已連接到外部資源(如數(shù)據(jù)庫)的AI程序,并被授予一定的"自主權"來追求超出基于文本對話范圍的目標。

這種自主權可以包括執(zhí)行企業(yè)工作流程中的幾個步驟,如在電子郵件中接收采購訂單、將其輸入數(shù)據(jù)庫以及咨詢庫存系統(tǒng)查詢可用性。智能體還被用于自動化客戶服務交互的幾個回合,以取代人類客服代表傳統(tǒng)處理的一些基本電話、電子郵件或文本查詢。

作者選擇了三類智能體AI:具有額外能力的聊天機器人,如Anthropic的Claude Code工具;網頁瀏覽器擴展或專用AI瀏覽器,如OpenAI的Atlas瀏覽器;以及企業(yè)軟件產品,如微軟的Office 365 Copilot。

然而,大多數(shù)智能體"依賴于少數(shù)閉源前沿模型",Staufer團隊表示。OpenAI的GPT、Anthropic的Claude和谷歌的Gemini是大多數(shù)這些智能體構建的基礎。

該研究不是基于直接測試智能體工具,而是基于對開發(fā)者和供應商提供的文檔進行"注釋"。這僅包括"來自文檔、網站、演示、已發(fā)表論文和治理文檔的公開信息",他們說。不過,他們確實建立了一些智能體系統(tǒng)的用戶賬戶以雙重檢查軟件的實際功能。

案例分析揭示安全差距

作者提供了三個更深入的軼事例子。他們寫道,一個積極的例子是OpenAI的ChatGPT智能體,當用戶在提示中要求它執(zhí)行基于網絡的任務時,它可以與網站交互。智能體被積極區(qū)分為他們查看的智能體系統(tǒng)中唯一一個通過"加密簽名"其發(fā)出的瀏覽器請求來提供跟蹤行為手段的系統(tǒng)。

相比之下,Perplexity的Comet網頁瀏覽器聽起來像是一場安全災難。Staufer團隊發(fā)現(xiàn),該程序"沒有智能體特定的安全評估、第三方測試或基準性能披露",并且"Perplexity沒有記錄Comet的安全評估方法或結果",還補充說,"除了提示注入緩解措施外,沒有記錄沙盒或遏制方法。"

作者指出,亞馬遜已起訴Perplexity,稱Comet瀏覽器錯誤地向服務器呈現(xiàn)其行為,仿佛它是人類而不是機器人,這是他們討論的缺乏標識的一個例子。

第三個例子是企業(yè)軟件供應商HubSpot的Breeze智能體套件。這些是可以與記錄系統(tǒng)(如客戶關系管理)交互的自動化程序。他們發(fā)現(xiàn),Breeze工具是好壞參半的。一方面,它們通過了許多企業(yè)合規(guī)措施的認證,如SOC 2、GDPR和HIPAA。

另一方面,HubSpot在安全測試方面什么都沒有提供。它聲明Breeze智能體經過第三方安全公司PacketLabs的評估,"但沒有提供方法論、結果或測試實體詳情。"

展示合規(guī)批準而不披露實際安全評估的做法是"企業(yè)平臺的典型做法",Staufer團隊指出。

該報告沒有檢查的是野外的事件,即智能體技術實際產生意外或不良行為并導致不良結果的情況。這意味著我們還不知道作者識別的缺陷的全面影響。

有一件事是絕對清楚的:智能體AI是開發(fā)團隊做出特定選擇的產物。這些智能體是由人類創(chuàng)建和分發(fā)的工具。

因此,記錄軟件、審計程序安全問題以及提供控制措施的責任完全在于OpenAI、Anthropic、谷歌、Perplexity和其他組織。他們需要采取措施來補救所識別的嚴重缺口,否則將面臨未來的監(jiān)管。

Q&A

Q1:什么是智能體AI?它與普通聊天機器人有什么區(qū)別?

A:智能體人工智能是機器學習的一個分支,在過去三年中出現(xiàn)。與簡單地被分配由文本提示指定的單個任務的普通聊天機器人不同,智能體是已連接到外部資源(如數(shù)據(jù)庫)的AI程序,并被授予一定的"自主權"來追求超出基于文本對話范圍的目標。

Q2:目前智能體AI存在哪些主要安全問題?

A:研究發(fā)現(xiàn)智能體AI存在嚴重安全問題,包括缺乏披露和透明度、無法追蹤程序行為、缺乏使用監(jiān)控、不向用戶表明AI身份、以及某些系統(tǒng)無法停止運行等。30個智能體中有12個不提供使用監(jiān)控,大多數(shù)智能體默認情況下不披露其AI性質。

Q3:哪些公司的智能體產品被研究調查?

A:研究調查了30個最常見的智能體AI系統(tǒng),包括OpenAI的ChatGPT智能體和Atlas瀏覽器、Anthropic的Claude Code工具、Perplexity的Comet網頁瀏覽器、HubSpot的Breeze智能體套件、IBM的watsonx、阿里巴巴的MobileAgent、微軟的Office 365 Copilot等產品。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
絕對稀缺資源!吃透【稀土+小金屬】產業(yè)鏈及 5 大核心公司

絕對稀缺資源!吃透【稀土+小金屬】產業(yè)鏈及 5 大核心公司

飛跑的鹿
2026-02-27 21:06:44
心臟最怕“缺鎂”!提醒:心臟不好的人,建議多吃這5種高鎂食物

心臟最怕“缺鎂”!提醒:心臟不好的人,建議多吃這5種高鎂食物

展望云霄
2026-02-28 10:45:01
重慶女子中靈山墜崖案:7大疑點越扒越深,每一個都經不起細想

重慶女子中靈山墜崖案:7大疑點越扒越深,每一個都經不起細想

天天熱點見聞
2026-02-27 07:03:39
承認錯判!國際籃聯(lián)親自道歉,日媒:若公正吹罰,日本將是慘??!

承認錯判!國際籃聯(lián)親自道歉,日媒:若公正吹罰,日本將是慘敗!

現(xiàn)代小青青慕慕
2026-02-28 08:06:45
浙江,25個區(qū)縣人口流入率超50%,義烏超100

浙江,25個區(qū)縣人口流入率超50%,義烏超100

安安小小姐姐說城市
2026-02-28 06:40:03
特朗普的深層恐懼,資本家不允許再出現(xiàn)第二個羅斯福

特朗普的深層恐懼,資本家不允許再出現(xiàn)第二個羅斯福

月滿大江流
2026-02-27 07:00:03
2026年江蘇發(fā)生全國首起巨額搶劫案,197萬,疑犯已捕

2026年江蘇發(fā)生全國首起巨額搶劫案,197萬,疑犯已捕

燦若銀爛
2026-02-27 21:16:02
清華大學副校長:要求大一至大三學生每學期至少完成24次課外鍛煉 不會游泳不能畢業(yè)

清華大學副校長:要求大一至大三學生每學期至少完成24次課外鍛煉 不會游泳不能畢業(yè)

紅星新聞
2026-02-27 16:40:25
1951年,志愿軍首次動用喀秋莎火箭炮轟擊美軍,李奇微見狀大驚:難道蘇軍已經參戰(zhàn)了?

1951年,志愿軍首次動用喀秋莎火箭炮轟擊美軍,李奇微見狀大驚:難道蘇軍已經參戰(zhàn)了?

史海孤雁
2026-02-27 20:12:44
46集諜戰(zhàn)劇來襲,諜戰(zhàn)教父打響潛伏之戰(zhàn),再現(xiàn)高能諜中諜!

46集諜戰(zhàn)劇來襲,諜戰(zhàn)教父打響潛伏之戰(zhàn),再現(xiàn)高能諜中諜!

樂楓電影
2026-02-28 15:16:43
王曼昱擊敗張本美和,林詩棟不敵勒布倫,止步八強

王曼昱擊敗張本美和,林詩棟不敵勒布倫,止步八強

子水體娛
2026-02-28 11:53:01
加密貨幣,全線暴跌!中東最新,美航母正執(zhí)行空襲任務!伊朗總統(tǒng)府等30個目標遭襲

加密貨幣,全線暴跌!中東最新,美航母正執(zhí)行空襲任務!伊朗總統(tǒng)府等30個目標遭襲

證券時報e公司
2026-02-28 15:36:02
蘋果向用戶推送iOS26.4.2,省電效果太頂,信號前所未有

蘋果向用戶推送iOS26.4.2,省電效果太頂,信號前所未有

庫克啥都聊
2026-02-28 15:31:04
終于不嘴硬了?美媒集體松口:美國GDP落后中國淪為第二大經濟體

終于不嘴硬了?美媒集體松口:美國GDP落后中國淪為第二大經濟體

百科密碼
2026-02-28 10:55:03
環(huán)球影城:一游樂項目突發(fā)故障致2人重傷!索賠超30萬元!

環(huán)球影城:一游樂項目突發(fā)故障致2人重傷!索賠超30萬元!

特種設備安全科普
2026-02-27 11:34:42
死了一個女人,埋葬半個王朝

死了一個女人,埋葬半個王朝

我是歷史其實挺有趣
2026-02-27 15:23:11
中俄邊境傳來好消息,俄羅斯終于想通了,廢棄25年的鐵路重新開通

中俄邊境傳來好消息,俄羅斯終于想通了,廢棄25年的鐵路重新開通

芭比衣櫥
2026-02-28 07:02:51
明星都心疼!演員王寧去杭州吃面,2188元一碗吃不起,老板戴金牌

明星都心疼!演員王寧去杭州吃面,2188元一碗吃不起,老板戴金牌

一娛三分地
2026-02-25 18:20:47
年后快遞員大批離職,他們不是不想干,而是心徹底涼了!

年后快遞員大批離職,他們不是不想干,而是心徹底涼了!

可樂愛微笑
2026-02-28 04:53:03
比中鎢高新還猛?4元低價+70億市值+22萬噸鎢礦 主力底部搶籌4億元

比中鎢高新還猛?4元低價+70億市值+22萬噸鎢礦 主力底部搶籌4億元

白淺娛樂聊
2026-02-28 07:03:42
2026-02-28 16:12:49
至頂頭條 incentive-icons
至頂頭條
記錄和推動數(shù)字化創(chuàng)新
16379文章數(shù) 49692關注度
往期回顧 全部

科技要聞

狂攬1100億美元!OpenAI再創(chuàng)融資神話

頭條要聞

最高領袖辦公室附近遭襲 媒體:伊朗領導體系仍具韌性

頭條要聞

最高領袖辦公室附近遭襲 媒體:伊朗領導體系仍具韌性

體育要聞

球隊主力全報銷?頂風擺爛演都不演了

娛樂要聞

疑似王一博被爆私密聊天記錄

財經要聞

沈明高提共富建議 百姓持科技股國家兜底

汽車要聞

嵐圖泰山黑武士版3月上市 搭載華為四激光智駕方案

態(tài)度原創(chuàng)

手機
教育
本地
時尚
公開課

手機要聞

三星新“鏡皇”HPA影像傳感器曝光:200Mp 1/1.12支持LOFIC

教育要聞

中考真題,計算-3×5×(-7)

本地新聞

津南好·四時總相宜

被章若楠、秦嵐帶火的鞋子竟然是它?春天這樣穿又美又氣質!

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版