国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

?AI時代的內存優(yōu)化是不容忽視的數(shù)據(jù)庫安全挑戰(zhàn)

0
分享至

  AI時代的內存優(yōu)化,本質上就是一個數(shù)據(jù)庫的安全問題。若想避免人工智能Agent成為新的攻擊對象,就必須像對待數(shù)據(jù)庫那樣對待Agent內存,控制好防火墻、審計機制以及嚴格的訪問權限管理。


  大型語言模型(LLM)發(fā)展帶來的挑戰(zhàn)

  大型語言模型(LLM)的迅猛發(fā)展,讓人始料未及。以技術達人艾莉·米勒的親身實踐為例,她近期對首選的 LLM 用于多項任務進行了評價,卻坦言“相信下周情況就會改變”。原因在于,不同模型間的競爭激烈,有的會加速迭代,有的會在特定領域強化訓練。然而,當前這些 LLM 在處理高價值企業(yè)數(shù)據(jù)時,其“接地氣”的能力亟待提升。破解難題的關鍵在于,并非單純地跟上 LLM 的進化速度,而是要探索如何將內存優(yōu)化經(jīng)驗有效應用于人工智能領域。

  若把 LLM 比作 CPU,那么內存就如同硬盤、上下文以及積累的智慧,是智能體有效運行的關鍵支撐。剝奪Agent的內存,它便淪為一個成本高昂的隨機生成器。與此同時,將記憶融入這些日益成熟的系統(tǒng),也帶來了全新的、巨大的攻擊風險。

  Agent內存優(yōu)化,也是被忽視的“數(shù)據(jù)庫”危險

  多數(shù)組織將Agent內存視作抓取板或 SDK 背后的簡單功能,卻未意識到它本質上是一個數(shù)據(jù)庫問題,而且可能是組織所擁有的最危險(同時也最具潛力)的數(shù)據(jù)庫問題。

  不久前,我曾提出,看似普通的數(shù)據(jù)庫正逐漸成為人工智能的“海馬體”,為類似長期回憶的無狀態(tài)模型賦予外部記憶能力。當時,Agent系統(tǒng)浪潮尚未真正興起,如今風險已然大幅增加。

  正如里士滿·阿萊克在“特工記憶”研究中反復強調的,LLM 記憶與Agent記憶存在本質區(qū)別。LLM 內存僅涉及參數(shù)權重和短暫的上下文窗口,會話結束后便消失不見。而Agent內存則是一種持久的認知架構,能讓Agent基于歷史互動積累知識、保持情境感知并調整行為。

  阿拉克將這一新興領域稱為“記憶工程”,認為它是提示或情境工程的后續(xù)發(fā)展。其核心并非簡單地向上下文窗口填充更多代幣,而是構建一條將原始數(shù)據(jù)轉化為結構化、持久記憶的流程,涵蓋短期、長期、共享等多種類型。

  這看似是人工智能領域的專業(yè)術語,實則是一個偽裝成數(shù)據(jù)庫的問題。一旦Agent能夠回溯自身記憶,每次交互都可能引發(fā)系統(tǒng)狀態(tài)變化,進而影響未來決策。此時,調整提示已無濟于事,因為運行的是一個實時、持續(xù)更新的數(shù)據(jù)庫,存儲著Agent對世界的認知。

  若該數(shù)據(jù)庫出現(xiàn)錯誤,Agent會自信地犯錯;若遭到入侵,Agent將始終處于危險境地。這些威脅主要分為以下三類:

  記憶中毒:攻擊者不直接破壞防火墻,而是通過正常交互向Agent灌輸虛假內容。開放全球應用安全項目(OWASP)將記憶中毒定義為損壞存儲數(shù)據(jù),致使Agent在后續(xù)決策中出現(xiàn)缺陷。如今,像 Promptfoo 這類工具已配備專門的紅隊插件,用于測試Agent是否會被惡意記錄誤導。一旦發(fā)生這種情況,Agent對中毒記憶的后續(xù)判斷都將被扭曲。

  工具濫用:Agent越來越多地獲得訪問各類工具的權限,如 SQL 終端、shell 命令、CRM API 和部署系統(tǒng)等。當攻擊者能夠誘導代理在錯誤上下文中調用正確工具時,其危害與掌握“內幕指令”的內部人員無異。OWASP 將此類問題歸類為工具濫用和Agent劫持,即Agent無法擺脫權限限制,被攻擊者利用謀取私利。

  特權蔓延和妥協(xié):隨著時間推移,Agent會積累涉及敏感數(shù)據(jù)的角色、密鑰和心理快照。例如,若某Agent先協(xié)助首席財務官,后又為初級分析師服務,就可能“記住”不應在下游分享的信息。Agent人工智能安全類稅務信息明確指出,特權妥協(xié)和訪問風險會隨著動態(tài)角色或審計不力政策的實施而增加。

  新問題的本質是數(shù)據(jù)安全問題

  這些威脅看似新穎,本質上卻都是數(shù)據(jù)問題?;仡櫲斯ぶ悄馨l(fā)展歷程,這些問題正是數(shù)據(jù)治理團隊多年來致力于解決的。

  我一直建議企業(yè)應從“快速轉型”轉向“快速實現(xiàn)數(shù)據(jù)的有效管理”,并將其作為人工智能平臺的核心選擇標準。對于Agent系統(tǒng)而言,這一點尤為重要。Agent以機器速度處理人體數(shù)據(jù),若數(shù)據(jù)錯誤、陳舊或標注有誤,Agent出錯的速度將遠超人類管理能力。

  沒有有效“治理”的“快速”發(fā)展,無異于高速疏忽。問題在于,多數(shù)Agent框架都自帶小型內存存儲,如默認的向量數(shù)據(jù)庫、JSON 文件以及內存中的快速緩存,這些緩存可能在后續(xù)悄然投入生產(chǎn)使用。從數(shù)據(jù)治理角度看,這些屬于影子數(shù)據(jù)庫,通常缺乏模式定義、訪問控制列表和嚴肅的審計跟蹤記錄。

  我們實際上是為Agent專門搭建了第二個數(shù)據(jù)棧,卻還疑惑為何安全人員對Agent接觸重要事務心存顧慮。顯然,這種做法不可取。若Agent要保存影響真實決策的內存,該存儲應與處理客戶記錄、人力資源數(shù)據(jù)和財務數(shù)據(jù)的受管控數(shù)據(jù)基礎設施屬于同一體系。Agent是新事物,但保護它們的方法并不用是最新的。

  一種行業(yè)覺醒,Agent記憶與數(shù)據(jù)庫設計的融合

  業(yè)界逐漸意識到,“Agent記憶”實質是“數(shù)據(jù)持久化”的“新包裝”。仔細審視,大型云服務提供商的舉措已初具數(shù)據(jù)庫設計雛形。例如,亞馬遜的 Bedrock AgentCore 引入“內存資源”作為邏輯容器,明確規(guī)定了留存周期、安全邊界以及原始交互如何轉化為持久洞察,這無疑是數(shù)據(jù)庫語言的運用,即便帶有人工智能品牌標識。

  將向量嵌入視為獨立于核心數(shù)據(jù)庫的特殊數(shù)據(jù)類型毫無意義,若核心事務引擎能夠原生處理向量搜索、JSON 和圖形查詢,這種分離更顯多余。將內存整合到存儲客戶記錄的數(shù)據(jù)庫中,可繼承數(shù)十年的安全強化成果。正如布里吉·潘迪所指出,數(shù)據(jù)庫多年來一直是應用架構的核心,智能人工智能不僅無法改變這一現(xiàn)狀,反而會強化其地位。

  然而,許多開發(fā)者仍繞過這一成熟架構,構建獨立的向量數(shù)據(jù)庫,或使用 LangChain 等框架的默認存儲,創(chuàng)建無模式、無審計跟蹤的無管理嵌入堆。這便是前面提到的“高速疏忽”。解決方案很簡單:將向量內存視為一流數(shù)據(jù)庫。

  具體實踐包括:

  定義思想模式:通常人們將內存視為非結構化文本,這是錯誤的。Agent存儲器需要結構化設計,明確記錄說話者、時間、信心水平等信息。如同不會將財務記錄隨意丟進文本文件,Agent記憶也不應存入通用向量存儲,需借助元數(shù)據(jù)管理想法的生命周期。

  創(chuàng)建內存防火墻:將寫入長期記憶的每一項內容都視為不可信輸入。構建一個“防火墻”邏輯層,執(zhí)行模式驗證、約束檢查以及數(shù)據(jù)丟失防護,甚至可在數(shù)據(jù)寫入磁盤前,使用專用安全模型掃描提示注入或記憶中毒跡象。

  數(shù)據(jù)庫層實施訪問控制:為Agent的“大腦”實施分級安全機制。在Agent為用戶提供初級審核(如初級分析師權限)前,必須有效記錄所有高級記憶(如首席財務官權限)。此操作應在數(shù)據(jù)庫層而非提示層執(zhí)行,若Agent試圖查詢無權限內存,數(shù)據(jù)庫應返回零結果。

  審計“思想鏈”:傳統(tǒng)安全審計關注誰訪問了表格,而Agent安全需審計原因。需將Agent的實際行為追溯到觸發(fā)它的特定記憶譜系。若Agent泄露數(shù)據(jù),要能夠調試其內存,找出有毒記錄并清除。

  構建信任機制,從內存層開始的Agent系統(tǒng)設計

  我們常以抽象概念談論人工智能信任,如倫理、一致性、透明度等,這些固然重要,但對于在實體企業(yè)中運行的Agent系統(tǒng),信任是具體可衡量的。

  當前處于炒作周期階段,各方都希望構建能“直接應對”的Agent機構,這不難理解,畢竟Agent能自動化許多過去需團隊協(xié)作的工作流程和應用程序。但每一次精彩演示背后,都隱藏著一個不斷積累事實、印象、中間計劃和緩存工具結果的存儲庫。這個存儲庫必須被當作一流數(shù)據(jù)庫處理,否則將面臨嚴重風險。

  那些已掌握數(shù)據(jù)譜系、訪問控制、留存和審計管理方法的企業(yè),在進入Agent時代時具有結構性優(yōu)勢,無需重新發(fā)明治理體系,只需將其擴展至新的工作負載。

  若你正在設計Agent系統(tǒng),請從內存層入手,明確其定義、存儲位置、構建方式和管理策略。之后,再讓Agent投入運行。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
泰國二王子被曝為躲千萬債務騙前期假離婚,卻給28歲新歡買大鉆戒

泰國二王子被曝為躲千萬債務騙前期假離婚,卻給28歲新歡買大鉆戒

白露文娛志
2026-03-26 16:11:32
故事:山東一男子救下5只黃鼠狼后,身上頻發(fā)怪事,至今都難以解釋

故事:山東一男子救下5只黃鼠狼后,身上頻發(fā)怪事,至今都難以解釋

清茶淺談
2024-12-04 14:29:09
FIFA系列賽新規(guī):比賽需決出勝負 打平將互射點球

FIFA系列賽新規(guī):比賽需決出勝負 打平將互射點球

體壇周報
2026-03-26 15:53:18
中國摩托在越南被日本本田打的慘敗!現(xiàn)在又一路翻盤,太解氣!

中國摩托在越南被日本本田打的慘??!現(xiàn)在又一路翻盤,太解氣!

萬物知識圈
2026-03-26 15:19:33
黃曉明回應考博失利今年再戰(zhàn):希望自己有一天能成功,因為我們家沒有博士,想做家里第一個博士

黃曉明回應考博失利今年再戰(zhàn):希望自己有一天能成功,因為我們家沒有博士,想做家里第一個博士

臺州交通廣播
2026-03-26 19:49:12
因媽媽姓氏太特殊,全家一致通過“隨母姓”,網(wǎng)友:是我也隨母姓

因媽媽姓氏太特殊,全家一致通過“隨母姓”,網(wǎng)友:是我也隨母姓

譚老師地理大課堂
2026-03-24 07:37:08
太可恨!飛機一落地上海,女孩立馬報案!更多年輕受害人浮出水面……

太可恨!飛機一落地上海,女孩立馬報案!更多年輕受害人浮出水面……

環(huán)球網(wǎng)資訊
2026-03-26 21:48:04
正式退出,31歲朱雨玲發(fā)聲,官宣決定,原因找到,日乒或撿漏奪冠

正式退出,31歲朱雨玲發(fā)聲,官宣決定,原因找到,日乒或撿漏奪冠

運動探索
2026-03-24 15:52:20
人民銀行:個貸新規(guī)落地,8月1日起施行,這三點借款人必須要知道

人民銀行:個貸新規(guī)落地,8月1日起施行,這三點借款人必須要知道

一口老湯
2026-03-26 16:11:39
二百多名軍官被槍斃、撤職、處分,長津湖戰(zhàn)役中失職的志愿軍88師

二百多名軍官被槍斃、撤職、處分,長津湖戰(zhàn)役中失職的志愿軍88師

云霄紀史觀
2026-03-25 12:16:14
在醫(yī)院你遭遇過最羞恥的事是什么?網(wǎng)友:一個比一個炸裂啊

在醫(yī)院你遭遇過最羞恥的事是什么?網(wǎng)友:一個比一個炸裂啊

解讀熱點事件
2026-02-04 00:05:07
上映4天,僅3個觀眾,總票房104元,2026年最慘電影誕生

上映4天,僅3個觀眾,總票房104元,2026年最慘電影誕生

錯過美好
2026-03-24 23:41:07
差一步進世界杯!居勒爾助攻 歐預賽附加賽土耳其進決賽!對手出

差一步進世界杯!居勒爾助攻 歐預賽附加賽土耳其進決賽!對手出

越嶺尋蹤
2026-03-27 03:25:32
巴蒂:馬拉多納離世時身邊沒有人,最后走得像條狗一樣

巴蒂:馬拉多納離世時身邊沒有人,最后走得像條狗一樣

懂球帝
2026-03-26 06:43:02
別盯著伊朗了,非洲有大事發(fā)生,人民幣升值掃清重要障礙!

別盯著伊朗了,非洲有大事發(fā)生,人民幣升值掃清重要障礙!

顧史
2026-03-27 00:47:07
收到中國送來的救命化肥后,菲律賓迎接日本自衛(wèi)隊登陸

收到中國送來的救命化肥后,菲律賓迎接日本自衛(wèi)隊登陸

黑鷹觀軍事
2026-03-27 00:54:54
“住宅禁放骨灰盒”新規(guī)出爐,引爭議!網(wǎng)友:可以去化房地產(chǎn)庫存

“住宅禁放骨灰盒”新規(guī)出爐,引爭議!網(wǎng)友:可以去化房地產(chǎn)庫存

火山詩話
2026-03-26 11:11:22
江蘇一男子為控制血糖,每天堅持走路9000步,半年后他的身體咋樣

江蘇一男子為控制血糖,每天堅持走路9000步,半年后他的身體咋樣

徐醫(yī)生健康講壇
2026-03-26 13:57:18
暴漲1000%,馬年最猛IPO來了

暴漲1000%,馬年最猛IPO來了

投資家
2026-03-26 21:26:29
上將被查、院士被除名,這背后釋放的信號,比你想的更不簡單

上將被查、院士被除名,這背后釋放的信號,比你想的更不簡單

李昕言溫度空間
2026-03-19 22:56:18
2026-03-27 04:20:49
ITPUB學院
ITPUB學院
分享技術干貨,了解最新動態(tài)
1189文章數(shù) 628關注度
往期回顧 全部

科技要聞

美團發(fā)布外賣大戰(zhàn)后成績單:虧損超200億

頭條要聞

特朗普:伊朗允許10艘油輪通行霍爾木茲海峽

頭條要聞

特朗普:伊朗允許10艘油輪通行霍爾木茲海峽

體育要聞

申京努力了,然而杜蘭特啊

娛樂要聞

劉曉慶妹妹發(fā)聲!稱姐姐受身邊人挑撥

財經(jīng)要聞

油價"馴服"特朗普?一到100美元就TACO

汽車要聞

一汽奧迪A6L e-tron開啟預售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

手機
本地
旅游
健康
數(shù)碼

手機要聞

1499 iQOO Z11系列發(fā)布丨9020mAh電池 165Hz高刷

本地新聞

救命,這只醬板鴨已經(jīng)在我手機復仇了一萬遍

旅游要聞

河南開封萬歲山武俠城,游客買300元門票:給妻子拍照被保安阻攔

轉頭就暈的耳石癥,能開車上班嗎?

數(shù)碼要聞

英特爾發(fā)Q1.26版Arc Pro專業(yè)顯卡驅動,支持B70 / B65顯卡

無障礙瀏覽 進入關懷版