來源：科技日報

記者：張佳欣

當智能體的技術(shù)權(quán)力在事實上大過其主人，人類在數(shù)字世界的控制權(quán)便面臨被“架空”的風(fēng)險。這種權(quán)力的隱形流失，并非源于技術(shù)的惡意，而是因為系統(tǒng)在追求效率的過程中，悄無聲息地打破了人類的“數(shù)字主權(quán)”邊界。

過去兩年，人工智能（AI）技術(shù)的突破讓人們驚嘆其“聰明”程度。我們曾著迷于AI的對話能力、翻譯技能和創(chuàng)作潛力，但如今，隨著AI從簡單的聊天機器人逐步發(fā)展成能夠直接買東西、簽合同的“智能體”時，焦點已經(jīng)轉(zhuǎn)向了權(quán)力邊界的討論。我們不得不思考：人類在享受AI便利的同時，是否依然保持對決策過程的控制權(quán)？

美國《福布斯》雜志網(wǎng)站近期關(guān)注到該趨勢，并指出AI競爭的一個新規(guī)則已浮出水面——信任。信任不再是企業(yè)的軟性優(yōu)勢，而成為產(chǎn)品設(shè)計中不可忽視的“硬指標”。未來數(shù)字世界的控制權(quán)將歸屬于那些能平衡“能力”與“可靠”的平臺。換句話說，AI的“代理權(quán)”將不再僅僅取決于其技術(shù)能力，而是取決于其能否讓用戶在交出控制權(quán)的同時，依然感到安全與放心。

“代理權(quán)”越位或違背用戶意愿

這種安全感的本質(zhì)，是人類對“代理權(quán)”越位的深層警惕。以前，AI是一個“問答機”，人類下指令，AI來執(zhí)行。但現(xiàn)在，AI正在向“智能體”進化，這意味著它從被動響應(yīng)轉(zhuǎn)向了主動執(zhí)行。

據(jù)國外黑客新聞網(wǎng)（The Hacker News）1月24日發(fā)布的文章指出，AI智能體不僅僅是另一種類型的“用戶”。它們與人類用戶、傳統(tǒng)的服務(wù)賬戶有著本質(zhì)區(qū)別，正是這些差異，導(dǎo)致現(xiàn)有的訪問權(quán)限和審批模型全面失效。在實際操作中，為了讓AI能高效完成任務(wù)，系統(tǒng)賦予智能體的權(quán)限往往比用戶本人擁有的更高。這種“訪問權(quán)限漂移”有可能導(dǎo)致AI在用戶不知情、未授權(quán)的情況下，執(zhí)行了技術(shù)層面合法、但違背用戶自主意愿的操作。

當“代理人”的技術(shù)權(quán)力在事實上大過其主人，人類在數(shù)字世界的控制權(quán)便面臨被“架空”的風(fēng)險。這種權(quán)力的隱形流失，并非源于技術(shù)的惡意，而是因為系統(tǒng)在追求效率的過程中，悄無聲息地打破了人類的“數(shù)字主權(quán)”邊界。德勤在1月21日發(fā)布的報告中指出，目前AI的“代理權(quán)”已經(jīng)超越了其安全防御措施。數(shù)據(jù)顯示，全球僅有20%的公司建立了成熟的AI智能體治理模型。這種“4/5的空白”意味著，大多數(shù)企業(yè)和個人在將控制權(quán)交給AI時，實際上是在“裸奔”，這進一步加劇了人類主權(quán)被架空的潛在風(fēng)險。

重塑人機權(quán)限契約邊界

為了奪回這種控制權(quán)，全球的技術(shù)治理者正試圖將“可靠”寫進底層代碼。新加坡資媒局（IMDA）于1月22日發(fā)布的《智能體AI治理框架》提出了一個核心概念，即“有意義的監(jiān)督”。IMDA指出，僅僅在流程里加一個“人工點擊確認”的按鈕是不夠的。如果AI的決策過程像一個看不透的黑盒，人類的批準就會變成一種盲目的走過場。真正的控制，要求AI必須讓用戶看懂它的意圖和可能的后果。

據(jù)《福布斯》雜志介紹，目前技術(shù)界開始推崇一種“雙重授權(quán)”架構(gòu)。這種架構(gòu)的核心在于將AI對數(shù)據(jù)的“訪問權(quán)”與對結(jié)果的“行動權(quán)”分離。這意味著，AI可以幫人們查資料、起草方案，但在涉及付錢、簽合同或修改隱私的關(guān)鍵環(huán)節(jié)，必須觸發(fā)一個獨立的驗證開關(guān)，把決策的“閘門”重新交還給人類。這種權(quán)限重塑確保了技術(shù)無論怎么進化，始終只是人類意志的延伸，而不是替代。

“信任”應(yīng)成為產(chǎn)品硬指標

過去，我們習(xí)慣于把所有個人數(shù)據(jù)都交給遠方的云端巨頭。但《福布斯》指出，伴隨AI長大的年輕人，開始反思這種“讓渡”的代價。這些所謂的“AI原生代”正在產(chǎn)生一種“主權(quán)覺醒”，他們不再信任將所有私人數(shù)據(jù)交付云端，而是要求AI在本地化、私有化的基礎(chǔ)設(shè)施上運行。

事實上，德勤報告中提到的“主權(quán)AI”正演變?yōu)橐环N個人訴求：用戶希望AI能根據(jù)特定的法律、數(shù)據(jù)和個人偏好在本地部署。下一代用戶不會僅僅被新奇事物所吸引，他們更關(guān)注自主權(quán)：我能否控制系統(tǒng)了解我的哪些信息？我能否塑造它的行為方式？我能否在不丟失數(shù)據(jù)的情況下隨時退出？

當信任成為一種硬性的產(chǎn)品指標時，AI開發(fā)者的目標也發(fā)生了轉(zhuǎn)移。功能和成本已不足以成為核心競爭力，如何在權(quán)限控制、數(shù)據(jù)使用以及決策透明度上取得信任，才是AI產(chǎn)品真正的吸引力所在。歸根結(jié)底，AI重構(gòu)數(shù)字世界控制權(quán)的過程，本質(zhì)上是人類在技術(shù)叢林中尋找新安全感的過程。正如《福布斯》所言，未來的AI“代理權(quán)”將是一種“合法性”的競逐。能證明自己“有所不為”、能把控制權(quán)交還給用戶的AI，才能真正走進人類文明的深處。