隨著生成式人工智能（GenAI）技術加速迭代與廣泛滲透，其應用場景已從技術探索階段延伸至日常商業(yè)運營與個人生產生活領域，并被用于重構整個政府和行業(yè)的工作流程，這一顛覆性技術正如同歷史上其他具有變革意義的技術一樣，在帶來機遇的同時，也可能引發(fā)諸多負面影響。因此，系統(tǒng)評估GenAI在社會與個人層面的實際影響顯得尤為必要，這有助于識別亟需應對的負面后果，并制定基于實證的有效政策。2025年1月，卡內基國際和平基金會發(fā)布了報告《衡量生成式人工智能引起的變化：奠定基礎》（Measuring Changes Caused by Generative Artificial Intelligence: Setting the Foundations），提出了一套用于評估GenAI對信息生態(tài)與輿論環(huán)境實際影響的方法框架。

一、填補量化研究的知識空白

在探討這一議題時，一個關鍵問題在于公眾對人工智能的認知尚不清晰。不同群體對人工智能的理解存在差異，導致討論對象常常被混淆。廣義上，人工智能是一系列使計算機能夠執(zhí)行復雜功能的工具集合。GenAI作為其子集，依托深度學習系統(tǒng)，通過訓練數據生成高質量的文本、圖像等內容。鑒于GenAI在內容生成中的作用，其已知濫用行為往往與既有技術（如社交媒體）結合出現。據參與研討的研究人員介紹，GenAI已被用于創(chuàng)建虛假賬號、虛擬頭像和網站等，還有報道稱其被用于冒充他人、制造誹謗內容，或實施金融詐騙和網絡情感騙局。這些應用顯示，GenAI常與其他通信工具協同使用。信息生態(tài)的碎片化特性，加之對人工智能活動報道的不足，限制了我們對GenAI單獨或與其他技術結合時所發(fā)揮作用的理解。

盡管關于GenAI濫用威脅的研究論文不斷涌現，但對其社會影響的量化研究仍較為缺乏。由于GenAI發(fā)展時間尚短，現有文獻多聚焦于潛在風險的預測，而非實際觀察到的結果，且大多基于實驗環(huán)境。然而，實驗所能提供的認知有限，現實情況往往更為復雜。顯然，盡管GenAI使用引發(fā)的擔憂已引起社會廣泛關注，但對其影響的系統(tǒng)衡量在學術研究中仍屬空白。對于如何量化由特定GenAI應用引發(fā)的可觀測變化，研究團隊最終總結了七類主要關切：

1.醫(yī)療領域（包括將人工智能用于診斷、自我診斷及醫(yī)療記錄）；

2.法律體系（包括人工智能輔助案件準備以及可能出現的人工智能生成證據）；

3.各類詐騙行為；

4.人工智能生成的兒童性剝削材料（CSAM）；

5.自然災害期間的信息流（包括快速傳播的準確信息與錯誤信息）；

6.選舉過程（包括準確或誤導性信息的傳播）；

7.生成未經同意的私密媒體。

雖然討論主題和衡量方法差異顯著，但最終參與者的意見聚焦于四個基礎性問題?；卮疬@些問題將對設計實驗與方法至關重要，以便衡量在特定領域中因使用GenAI而引發(fā)的變化。

二、四個基礎性問題

（一）哪些檢測方法可靠可用？

研究人員普遍認為，首要問題是能否檢測出某一內容是否由GenAI生成。目前雖存在多種潛在檢測方法，但其在大規(guī)模應用中的可靠性仍需進一步驗證。現有方法主要分為三類，前兩類作用于內容生成后，第三類則嵌入生成過程之中。

1.感知檢測法依賴人工判斷內容真實性，例如識別人工智能生成人臉的面部不對稱、眼睛異常，或察覺視頻與音頻不同步。但這種方法實際上把檢測負擔轉嫁給用戶和調查人員，且隨著生成內容質量提高，檢測難度會進一步加大。

2.計算檢測法借助技術手段進行識別，例如使用機器學習分類器或虛假內容數據庫，但兩類方法在可靠性與擴展性上均存在差異。

3.第三類方法側重于追溯內容來源，試圖將輸出關聯至生成源頭。一種常見提議是對內容添加標簽或水印，以標識其為人工智能生成。該方法將來源驗證機制嵌入合成內容生成流程，通過數字水印使內容可追溯至特定生成引擎。另一種方法是開發(fā)來源驗證技術，以證明某一媒體非人工智能生成且與聲稱內容一致。非人工智能生成內容的來源驗證可參考“內容真實性倡議”，該計劃制定了端到端技術規(guī)范，用于驗證內容真實性，并推動采集設備與應用程序支持“內容憑證”。

然而，這兩類方法均存在局限。水印易被偽造、移除或忽略，而對開源模型等非主流GenAI服務，來源驗證機制也難以有效實施。此外，若將來源驗證作為可信度標準，可能強化主流GenAI提供商的主導地位，導致模型單一化與權力進一步集中。這些挑戰(zhàn)都將為衡量GenAI引發(fā)的變化增加難度。

（二）應以何種基準衡量變化？

從本質上講，變化是指事物狀態(tài)與以往相比產生了差異。要衡量變化，就必須觀察到可察覺的改變，這需要以之前的狀態(tài)為基準，評估后續(xù)狀態(tài)是否發(fā)生變化及其程度。然而，若過去未對相關信息進行系統(tǒng)整理，或需衡量如公眾情緒等難以量化的因素，基準數據的收集就會變得困難。有時還需多個基準，使研究更為復雜。

在某些領域，基準對比相對容易。例如，詐騙案例與經濟損失在GenAI出現前就已有追蹤，可通過對比當前詐騙成功數量與已報告損失，衡量是否出現增長。盡管在釣魚郵件等場景中全面識別GenAI的應用存在挑戰(zhàn)，但仍可單獨分析偽造圖像、音頻或視頻詐騙。而在其他領域，設定基準則更為困難。例如，盡管多項研究指出GenAI可能擴大虛假信息或影響力操作的規(guī)模，但要衡量其加劇程度，仍需以該技術出現前的活動規(guī)模為基準。目前相關案例研究仍零散片面，亟需綜合分析確立基準。因此，回答這一問題可能需要設定多個基準而非單一指標。

（三）所研究的系統(tǒng)是復雜的還是相對可控的？

在探索衡量方法時，需明確信息系統(tǒng)是相對可控（輸入與變量較少）還是復雜龐大（變量與子系統(tǒng)多且相互影響）。相對可控的系統(tǒng)更便于衡量，尤其是在有常規(guī)記錄GenAI使用的情況下。例如，法院系統(tǒng)是典型相對可控的系統(tǒng)，因其通常具備長期記錄，有利于設定基準進行比較?？赏ㄟ^記錄研究人工智能生成或篡改證據是否增加冤錯案，監(jiān)測GenAI應用后使用媒體信息作為證據的案件，識別GenAI使用痕跡并對比案件結果變化；還可對比GenAI出現前后因證據偽造獲無罪判決的比例，評估使用GenAI準備文書對案件結果的影響，例如要求相關方說明GenAI使用情況再對比案件結果。相反，復雜系統(tǒng)變量更多，各技術與子系統(tǒng)相互作用、共同影響整體，且數據所有權與研究途徑高度分散。例如，分析社會或民主制度等復雜系統(tǒng)的變化時，研究人員無法像在法院系統(tǒng)研究中那樣依賴單一渠道，而必須評估多個甚至相互矛盾的信息來源。因此，研究GenAI在復雜系統(tǒng)中引發(fā)的變化挑戰(zhàn)更大，在設計實驗或研究方案時必須充分考慮這些因素。

（四）系統(tǒng)的復雜程度如何，該如何考量其復雜性？

系統(tǒng)的復雜程度取決于其中影響結果的關聯因素數量。這種復雜性既體現在技術層面，也反映在人文層面。技術上，GenAI與社交媒體等其他技術交互作用，使其影響難以單獨剝離；人文上，多種因素交織作用，導致無法明確GenAI與其他社會政治因素在人類決策中各自的作用。引發(fā)變化的可能不僅是GenAI本身，而是它與多種技術結合的結果，而許多技術在信息環(huán)境變化中的作用也尚未得到充分認識。除技術因素外，人們對GenAI的諸多關切還涉及人類決策，無論是在危機情境還是政治活動中。因此，回答這一問題需跨專業(yè)團隊協作。此類研究可能帶來極高價值，但我們絕不能低估其復雜性。

三、結論

即使在理想條件下，衡量信息環(huán)境中某一因素的影響也非易事，但我們仍需務實推進并明確目標。GenAI應用越直接、所引發(fā)的變化越具體，就越容易有效衡量其影響。若GenAI在復雜系統(tǒng)中僅是眾多流程之一，尤其當該系統(tǒng)還影響其他復雜系統(tǒng)時，衡量其變化將更為困難。封閉系統(tǒng)中的GenAI應用較易衡量，而復雜系統(tǒng)則因變量眾多，難以明確其具體影響。要開展可信且有價值的研究，需回答四個基礎問題：如何可靠檢測GenAI生成內容、如何確定衡量變化的基準、所研究系統(tǒng)是復雜還是可控、如何評估并降低系統(tǒng)復雜性的影響。隨著GenAI技術發(fā)展和更多服務商進入該領域，深入了解其在信息生態(tài)系統(tǒng)中的作用變得尤為關鍵。這四個基礎問題為后續(xù)研究指明了方向，有助于解決GenAI社會影響的識別與衡量難題。本文所提出的研究路徑也可供研究人員參考，并為政策制定者評估相關衡量工作的質量提供依據。

免責聲明：本文轉自啟元洞見。文章內容系原作者個人觀點，本公眾號編譯/轉載僅為分享、傳達不同觀點，如有任何異議，歡迎聯系我們！

轉自丨啟元洞見

研究所簡介

國際技術經濟研究所（IITE）成立于1985年11月，是隸屬于國務院發(fā)展研究中心的非營利性研究機構，主要職能是研究我國經濟、科技社會發(fā)展中的重大政策性、戰(zhàn)略性、前瞻性問題，跟蹤和分析世界科技、經濟發(fā)展態(tài)勢，為中央和有關部委提供決策咨詢服務?！叭蚣夹g地圖”為國際技術經濟研究所官方微信賬號，致力于向公眾傳遞前沿技術資訊和科技創(chuàng)新洞見。

地址：北京市海淀區(qū)小南莊20號樓A座

電話：010-82635522

微信：iite_er