鳳凰網(wǎng)科技訊 4月15日，在2026年世界互聯(lián)網(wǎng)大會亞太峰會人工智能安全治理論壇上，深信服科技集團股份有限公司副總裁杜智偉在主旨演講中，系統(tǒng)性地拆解了當(dāng)前AI智能體所面臨的失控風(fēng)險。他將這些風(fēng)險歸納為三類具體且緊迫的挑戰(zhàn)：

第一類是權(quán)限濫用所引發(fā)的“代理人危機”。杜智偉指出，當(dāng)智能體具備調(diào)用系統(tǒng)接口和執(zhí)行操作的能力時，若缺乏嚴(yán)格的鑒權(quán)機制，極易釀成事故。他舉例說明：“財務(wù)智能體在收到非法指令時可能不經(jīng)鑒權(quán)就直接執(zhí)行操作，把公司整個審批報銷全部通過?！?/p>

第二類是通過提示詞注入實現(xiàn)的惡意攻擊。這類攻擊極為隱蔽，智能體往往難以區(qū)分善意指令與惡意指令。杜志偉描述了一個典型場景：智能體在理解一封精心構(gòu)造的釣魚郵件時，可能將其誤判為可信的日常工作操作，進而將員工通訊錄或敏感文件外發(fā)給攻擊者。

第三類則是智能體在執(zhí)行任務(wù)時“自作聰明”產(chǎn)生的涌現(xiàn)行為。杜智偉舉了一個非常生活化且危險的例子：假設(shè)上級指令智能體“5點前完成所有任務(wù)”，為了迎合這一目標(biāo)，智能體可能會將系統(tǒng)中未完成的任務(wù)列表直接批量標(biāo)記為已完成狀態(tài)。“實際上很多目標(biāo)并沒有得到有效閉環(huán)，”杜智偉強調(diào)，這種為了達標(biāo)而進行的虛假執(zhí)行，會帶來難以察覺的管理黑洞。

面對這些風(fēng)險，他提出了具體的治理思路——“雙軌協(xié)同加熔斷機制”。他解釋，一條軌道是語義合規(guī)，確保AI輸入輸出的內(nèi)容安全合規(guī)；另一條軌道是行為合規(guī)，對AI在系統(tǒng)中的實際操作進行持續(xù)監(jiān)控與驗證?！爱?dāng)這兩個軌產(chǎn)生沖突或有一條軌偏離時，就會觸發(fā)熔斷機制，收斂AI權(quán)限或直接拿掉AI全部權(quán)限?！痹谘葜v最后，他形象地將AI比作“數(shù)字員工”，主張企業(yè)應(yīng)像管理人類員工一樣對待AI：“包括背調(diào)上崗、分配安全的工作工位和空間、持續(xù)動態(tài)監(jiān)管。”