人類如何與AI智能體共處

編者按

新質(zhì)策源導(dǎo)刊的第二期，我們聚焦AI智能體（AI Agent），不僅僅因?yàn)樗?dāng)下的熱度，更因?yàn)槲覀兛吹搅怂鼘ξ磥淼挠绊?。我們深度訪談行業(yè)頂級專家、資深研究人員、國內(nèi)外知名企業(yè)，盡力描繪當(dāng)下AI時(shí)代的真實(shí)圖景，展望未來的各種可能性，在不確定性中尋找確定性。

這個(gè)領(lǐng)域創(chuàng)新不斷，猶如科幻即將照入現(xiàn)實(shí)。我們想知道的不只是近在咫尺的明天會怎樣，更想知道今天我們做的一切，會對不遠(yuǎn)的未來產(chǎn)生什么樣的影響，誠邀您和我們一起，探索新AI時(shí)代。敬請關(guān)注本期策劃——“人類如何與AI智能體共處”。

——訪中國工程院院士鄔賀銓

■中國經(jīng)濟(jì)時(shí)報(bào)記者張一鳴 王彩娜

人工智能正從大模型的通用問答階段，邁向智能體場景落地的全新階段，深度融入千行百業(yè)，持續(xù)重塑生產(chǎn)生活方式，卻也隨之帶來權(quán)限管控、隱私保護(hù)、責(zé)任認(rèn)定等一系列新挑戰(zhàn)。人類該如何與AI智能體共處，把握技術(shù)發(fā)展與安全規(guī)范的平衡，讓人工智能真正服務(wù)于社會發(fā)展與美好生活？中國經(jīng)濟(jì)時(shí)報(bào)記者日前獨(dú)家專訪了中國工程院院士鄔賀銓，圍繞AI智能體的本質(zhì)特征、潛在風(fēng)險(xiǎn)及治理之道展開深度對話。

從“被動(dòng)助手”到“主動(dòng)代理”：AI智能體帶來了什么？

中國經(jīng)濟(jì)時(shí)報(bào)：AI智能體的出現(xiàn)讓人工智能與人類的關(guān)系發(fā)生了怎樣的本質(zhì)變化？

鄔賀銓：大模型如今已經(jīng)廣泛應(yīng)用，在信息問答、文檔創(chuàng)作等方面展現(xiàn)出強(qiáng)大能力，但其本質(zhì)還是語言模型，局限性十分明顯，主要靠數(shù)學(xué)計(jì)算尋找概率最大的答案，缺乏對物理世界的真實(shí)感知和理解，容易產(chǎn)生幻覺，更重要的是，它難以落地到具體的產(chǎn)業(yè)場景中完成實(shí)際任務(wù)。而AI智能體正是為解決大模型的局限性而誕生的，它從大模型演進(jìn)而來，卻不追求通用性，而是聚焦特定任務(wù)優(yōu)化。

AI智能體有兩個(gè)大模型不具備的關(guān)鍵能力，一是閉環(huán)迭代，能通過持續(xù)實(shí)踐形成經(jīng)驗(yàn)記憶，總結(jié)完成任務(wù)的可行路徑，避免重復(fù)犯錯(cuò)；二是工具鏈集成，可調(diào)用外部數(shù)據(jù)庫、其他模型等資源，突破自身能力邊界，這讓它對單一任務(wù)的處理更精準(zhǔn)、更可靠，也因?yàn)檩p量化設(shè)計(jì)降低了算力需求，能真正走進(jìn)千行百業(yè)。

更重要的是，AI智能體實(shí)現(xiàn)了從“被動(dòng)助手”向“主動(dòng)代理”的轉(zhuǎn)變。工業(yè)生產(chǎn)中，各環(huán)節(jié)AI智能體能協(xié)同優(yōu)化供應(yīng)鏈、生產(chǎn)、銷售全流程。這種自主性和協(xié)同性，讓AI智能體不再是單純的工具，而是成為了人類的全新協(xié)作伙伴。

中國經(jīng)濟(jì)時(shí)報(bào)：AI智能體成為人類協(xié)作伙伴的基礎(chǔ)是什么？它的落地又讓我們看到了哪些新的可能性？

鄔賀銓：AI智能體能成為人類協(xié)作伙伴，核心基礎(chǔ)是它既保留了大模型的智能優(yōu)勢，又補(bǔ)足了落地應(yīng)用的能力短板，還能與人類形成能力互補(bǔ)——人類擅長高階決策、情感判斷和創(chuàng)新思考，AI智能體則擅長重復(fù)性工作、多資源協(xié)同和精準(zhǔn)執(zhí)行。而且AI智能體的輕量化特性，讓它能下沉到手機(jī)、可穿戴設(shè)備等各類終端，讓AI智能體的協(xié)作能力真正貼近人類的生活和工作場景。

它的落地讓我們看到了諸多新可能：消費(fèi)端，旅游規(guī)劃智能體能自動(dòng)協(xié)調(diào)機(jī)票、酒店、路線，解放人類的煩瑣安排；工業(yè)端，智能體協(xié)同能大幅提升生產(chǎn)效率，減少人工干預(yù)；城市治理端，多智能體聯(lián)動(dòng)能讓應(yīng)急處置、公共服務(wù)更高效?？梢哉f，AI智能體的出現(xiàn)，讓人機(jī)協(xié)作的場景變得更具體、更廣泛。

圖片來源/新華社

隱私、安全、責(zé)任：AI智能體帶來的三大挑戰(zhàn)

中國經(jīng)濟(jì)時(shí)報(bào)：您認(rèn)為AI智能體發(fā)展目前面臨的核心風(fēng)險(xiǎn)有哪些？

鄔賀銓：AI智能體現(xiàn)階段的發(fā)展面臨多重挑戰(zhàn)，這些挑戰(zhàn)既來自技術(shù)不成熟，也來自管理和制度的滯后。首先是技術(shù)層面的問題，一是自主學(xué)習(xí)可能產(chǎn)生偏見，智能體缺乏對學(xué)習(xí)內(nèi)容的有效甄別能力，容易兼收并蓄不實(shí)信息，形成錯(cuò)誤的判斷邏輯；二是協(xié)作穩(wěn)定性不足，多智能體協(xié)同過程中，容易出現(xiàn)決策沖突和資源競爭，甚至產(chǎn)生錯(cuò)誤的傳導(dǎo)效應(yīng)，影響任務(wù)執(zhí)行。

其次是權(quán)限和責(zé)任的問題，智能體的自主性容易帶來越權(quán)風(fēng)險(xiǎn)，可能超越人類授權(quán)范圍自作主張；而一旦出現(xiàn)問題，責(zé)任認(rèn)定難度極大，問題溯源可能涉及大模型訓(xùn)練、工具鏈調(diào)用、智能體記憶偏差，甚至人類指令表述不清等多個(gè)方面，很難界定具體責(zé)任主體。

再者是安全放大效應(yīng)，智能體作為數(shù)字世界的新入口，統(tǒng)一調(diào)度后端的App、數(shù)據(jù)庫、工具鏈等所有資源，這個(gè)入口一旦被黑客攻擊，會牽連后端所有系統(tǒng)，造成系統(tǒng)性安全風(fēng)險(xiǎn)；同時(shí)，智能體深度掌握用戶的習(xí)慣和隱私信息，若數(shù)據(jù)管理不當(dāng)，極易引發(fā)隱私泄露問題。

還有生態(tài)協(xié)調(diào)的挑戰(zhàn)，智能體屏蔽了傳統(tǒng)App的界面，成為用戶和App之間的中間層，這就涉及App開發(fā)者的利益分配問題：開發(fā)者投入大量資源獲取用戶，智能體的介入讓其與用戶的直接聯(lián)系被切斷，若沒有合理的利益分配機(jī)制，會引發(fā)生態(tài)矛盾。這些風(fēng)險(xiǎn)的根源，本質(zhì)上是智能體的技術(shù)發(fā)展速度超過了制度規(guī)范、生態(tài)協(xié)調(diào)的速度，也超過了人類對其的管理能力建設(shè)速度。

中國經(jīng)濟(jì)時(shí)報(bào)：面對這些風(fēng)險(xiǎn)，人類該如何守住安全底線，應(yīng)對思路是什么？

鄔賀銓：面對AI智能體發(fā)展的諸多挑戰(zhàn)，我們不能因噎廢食，核心思路是在發(fā)展中規(guī)范，通過制度約束和技術(shù)手段，把AI智能體的“權(quán)力關(guān)進(jìn)籠子”，同時(shí)建立漸進(jìn)式的信任機(jī)制。

第一，明確權(quán)限約束，建立智能體權(quán)限管理制度，智能體的授權(quán)范圍必須清晰界定，不同的任務(wù)賦予不同的權(quán)限，比如簡單的信息查詢可完全授權(quán)，涉及資金、隱私的操作則要設(shè)置嚴(yán)格的權(quán)限門檻。

第二，完善審計(jì)追溯機(jī)制，對智能體的決策過程、工具鏈調(diào)用、記憶更新等所有行為進(jìn)行全程記錄，一旦出現(xiàn)問題，能快速溯源，明確責(zé)任主體，這是實(shí)現(xiàn)有效管理的基礎(chǔ)。

第三，推行漸進(jìn)式授權(quán)，人與智能體的協(xié)作需要一個(gè)磨合過程，就像與人相處一樣，先從低風(fēng)險(xiǎn)、簡單的任務(wù)開始，逐步建立信任，再根據(jù)實(shí)際情況擴(kuò)大授權(quán)范圍，不能一開始就將所有權(quán)力交出去。

第四，推進(jìn)標(biāo)準(zhǔn)建設(shè)，制定智能體間的通信協(xié)議、接口標(biāo)準(zhǔn)，讓多智能體協(xié)同有規(guī)可循，減少?zèng)Q策沖突；同時(shí)規(guī)范用戶數(shù)據(jù)調(diào)用的權(quán)限邊界和同意機(jī)制，明確原始數(shù)據(jù)、加工數(shù)據(jù)的共享范圍，保護(hù)用戶數(shù)據(jù)隱私。

另外，對于普通用戶而言，也可以掌握自主管控的主動(dòng)權(quán)，比如讓智能體先提供方案而非直接執(zhí)行，由人類做最終決策，降低操作風(fēng)險(xiǎn)。歸根結(jié)底，智能體的可控性，離不開人類的全程參與和有效管理，我們要始終掌握人機(jī)協(xié)作的主導(dǎo)權(quán)。

共處之道：平衡發(fā)展與規(guī)范，構(gòu)建多方協(xié)同的新生態(tài)

中國經(jīng)濟(jì)時(shí)報(bào)：人類與AI智能體和諧共處，需要構(gòu)建一個(gè)怎樣的產(chǎn)業(yè)生態(tài)？

鄔賀銓：人類與AI智能體和諧共處，需要構(gòu)建一個(gè)多方協(xié)同、利益共享、安全可控的產(chǎn)業(yè)生態(tài)，核心是平衡智能體開發(fā)者、App開發(fā)者、用戶和監(jiān)管部門四方的利益，缺一不可。

對于用戶，要建立嚴(yán)格的數(shù)據(jù)保護(hù)規(guī)范，明確智能體對用戶數(shù)據(jù)的使用范圍、加工方式和共享邊界，所有數(shù)據(jù)調(diào)用必須以用戶授權(quán)為前提，保障用戶的隱私和數(shù)據(jù)主權(quán)；對于App開發(fā)者，要建立合理的利益分配機(jī)制，智能體作為中間層，不能無償占用開發(fā)者的資源和用戶資源，要通過商業(yè)規(guī)則、技術(shù)接口等方式，讓開發(fā)者能從智能體的生態(tài)中獲得相應(yīng)收益，避免生態(tài)矛盾；對于智能體開發(fā)者，要強(qiáng)化行業(yè)自律，遵守?cái)?shù)據(jù)規(guī)范和安全要求，與上下游產(chǎn)業(yè)形成良性互動(dòng)；對于監(jiān)管部門，要出臺針對性的政策法規(guī)，明確各方的權(quán)利和義務(wù)，同時(shí)推進(jìn)智能體的識別和監(jiān)管，防止惡意智能體傳播，維護(hù)生態(tài)安全。

中國經(jīng)濟(jì)時(shí)報(bào)：從長遠(yuǎn)來看，實(shí)現(xiàn)人類與AI智能體和諧共生的關(guān)鍵是什么？

鄔賀銓：從長遠(yuǎn)來看，AI智能體會“潤物細(xì)無聲”地融入人類的生活和工作，人機(jī)協(xié)同會成為未來社會的主流生產(chǎn)和生活方式。而人工智能的終極發(fā)展方向，是從語言模型向世界模型演進(jìn)，讓智能體真正具備對物理世界的真實(shí)認(rèn)知，讓人機(jī)協(xié)作更精準(zhǔn)、更自然，但這個(gè)過程需要長期的技術(shù)積累，目前還沒有明確的技術(shù)路徑和時(shí)間表。

實(shí)現(xiàn)人類與AI智能體和諧共生的關(guān)鍵，始終在于把握“人為主導(dǎo)、技術(shù)向善、規(guī)范發(fā)展”的原則。首先，人類要始終掌握人機(jī)協(xié)作的主導(dǎo)權(quán)，智能體的發(fā)展是為了讓人類的生活更美好，而非替代人類，所有的技術(shù)研發(fā)和制度設(shè)計(jì)，都要圍繞這個(gè)核心；其次，技術(shù)發(fā)展要堅(jiān)守向善的底線，讓智能體始終服務(wù)于人類的共同利益，避免技術(shù)被濫用；最后，要堅(jiān)持發(fā)展與規(guī)范并重，在技術(shù)研發(fā)的同時(shí)，同步推進(jìn)制度建設(shè)、生態(tài)協(xié)調(diào)和能力培養(yǎng)，讓智能體的發(fā)展速度與社會的適應(yīng)能力相匹配。

總 監(jiān) 制丨王列軍車海剛

監(jiān) 制丨陳 波 王 彧 楊玉洋

主 編丨毛晶慧 編 輯丨蔣 帥