（來源：麻省理工科技評論）

AI 正越來越多地被用于輔助高風(fēng)險場景下的決策。比如一個自主系統(tǒng)可以找出一種電力分配策略，在保持電壓穩(wěn)定的前提下把成本降到最低。

這些由 AI 給出的方案雖然在技術(shù)上可能是最優(yōu)的，它們真的公平嗎？如果一個低成本的電力分配策略讓條件不佳的社區(qū)比高收入地區(qū)更容易遭遇停電，這算不算問題？

為了幫助相關(guān)方在 AI 系統(tǒng)部署之前就能快速發(fā)現(xiàn)潛在的倫理困境，MIT 的研究人員開發(fā)了一套自動化評估方法。這套方法的目標(biāo)是在可量化指標(biāo)（比如成本或穩(wěn)定性）與那些定性或主觀的價值（比如公平性）之間找到平衡。

該系統(tǒng)把客觀評估與用戶定義的人類價值觀分開處理，使用一個大語言模型作為“人類代理”來捕捉和整合相關(guān)方的偏好。

這套自適應(yīng)框架會挑選出最值得進(jìn)一步評估的場景，從而簡化原本需要耗費(fèi)大量人力和時間的手工流程。這些測試用例既能展示自動系統(tǒng)與人類價值觀高度吻合的情況，也能揭示那些意外偏離倫理標(biāo)準(zhǔn)的情境。

“我們可以給 AI 系統(tǒng)加上很多規(guī)則和護(hù)欄，但這些防護(hù)只能攔住我們事先能想到的那些風(fēng)險。不能因?yàn)?AI 是在這些數(shù)據(jù)上訓(xùn)練過的，就覺得讓它直接上崗就行。我們想做的是找到一種更系統(tǒng)的方法，把那些‘未知的未知’提前挖出來，在壞事發(fā)生之前就預(yù)判到它。”論文的通訊作者、MIT 航空航天系（AeroAstro）副教授、MIT 信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）首席研究員范楚楚（Chuchu Fan）說。

論文的第一作者是機(jī)械工程系研究生安嘉麗·帕拉沙爾（Anjali Parashar），合著者包括 AeroAstro 博士后 Yingke Li，以及 MIT 和薩博公司（Saab）的其他研究人員。該研究將在國際學(xué)習(xí)表征大會（ICLR）上發(fā)表。

為倫理打分

在電網(wǎng)這樣的大型系統(tǒng)里，要全面評估 AI 推薦方案是否符合倫理，兼顧所有目標(biāo)，是一件特別困難的事。

大多數(shù)測試框架依賴預(yù)先收集的數(shù)據(jù)，但涉及主觀倫理標(biāo)準(zhǔn)的標(biāo)注數(shù)據(jù)往往很難拿到。另外，倫理價值觀和 AI 系統(tǒng)本身都在不斷變化，基于成文規(guī)則或監(jiān)管文件的靜態(tài)評估方法需要頻繁更新。

范楚楚和她的團(tuán)隊從另一個角度切入這個問題。他們借鑒了自己之前在機(jī)器人系統(tǒng)評估方面的工作，開發(fā)出一套實(shí)驗(yàn)設(shè)計框架，專門用來識別那些最有信息量的場景，供人類相關(guān)方進(jìn)一步仔細(xì)評估。

這套由兩部分組成的系統(tǒng)叫做 SEED-SET（Scalable Experimental Design for System-level Ethical Testing，系統(tǒng)級倫理測試的可擴(kuò)展實(shí)驗(yàn)設(shè)計），結(jié)合了量化指標(biāo)與倫理標(biāo)準(zhǔn)。它既能識別出那些既滿足可量化要求、又符合人類價值觀的場景，也能找出反過來的情況。

“我們不想把所有資源都花在隨機(jī)評估上。所以關(guān)鍵是讓框架聚焦在我們最關(guān)心的那些測試用例上，”Yingke Li 說。

SEED-SET 的一個重要優(yōu)勢是：它不需要預(yù)先存在的評估數(shù)據(jù)，而且可以適配多個目標(biāo)。以一個電網(wǎng)為例，它可能有多個用戶群體，比如一個較大的農(nóng)村社區(qū)和一個數(shù)據(jù)中心。兩類用戶都希望電力便宜又可靠，但從倫理角度看，他們各自的優(yōu)先級可能差異很大。

這些倫理標(biāo)準(zhǔn)往往沒有明確定義，因此無法用分析方法直接度量。電網(wǎng)運(yùn)營方想要找到一種最具成本效益的策略，同時盡可能滿足所有相關(guān)方的主觀倫理偏好。

SEED-SET 應(yīng)對這個挑戰(zhàn)的方法是把問題拆成兩層，按層級結(jié)構(gòu)處理。第一層是客觀模型，評估系統(tǒng)在成本等具體指標(biāo)上的表現(xiàn)；第二層是主觀模型，在客觀評估的基礎(chǔ)上，考慮相關(guān)方的判斷，比如他們感受到的公平程度。

“我們方法中客觀的那一部分對應(yīng)的是 AI 系統(tǒng)，主觀的那一部分對應(yīng)的是評估它的用戶。通過以層級方式拆解偏好，我們可以用更少的評估次數(shù)生成理想的場景，”帕拉沙爾說。

把主觀評價編碼進(jìn)來

為了完成主觀評估，系統(tǒng)用一個大語言模型來替代人類評估者。研究人員把每個用戶群體的偏好編碼成自然語言提示詞交給模型，大語言模型按照這些指令對兩個場景進(jìn)行比較，根據(jù)倫理標(biāo)準(zhǔn)選出更合意的那個。

“一個人類評估者在看過幾百甚至幾千個場景之后會疲勞，評估也會變得不一致，所以我們用基于大語言模型的策略來代替，”帕拉沙爾解釋說。SEED-SET 會用選出的場景來模擬整個系統(tǒng)（在這個例子里就是電力分配策略）。模擬結(jié)果又會反過來引導(dǎo)系統(tǒng)去尋找下一個最值得測試的候選場景。

最終，SEED-SET 能智能地篩選出最具代表性的場景，無論是那些同時達(dá)標(biāo)客觀指標(biāo)和倫理標(biāo)準(zhǔn)的場景，還是那些明顯偏離的場景。用戶可以據(jù)此分析 AI 系統(tǒng)的表現(xiàn)，并調(diào)整它的策略。

舉個例子，SEED-SET 能精準(zhǔn)找出那些在用電高峰期優(yōu)先保障高收入?yún)^(qū)域、讓條件較差的社區(qū)更容易停電的電力分配方案。

為了測試 SEED-SET，研究人員對若干真實(shí)的自主系統(tǒng)做了評估，包括一個 AI 驅(qū)動的電網(wǎng)和一個城市交通調(diào)度系統(tǒng)。他們測量了所生成的場景與倫理標(biāo)準(zhǔn)的吻合程度。在相同時間里，該系統(tǒng)生成的最優(yōu)測試用例數(shù)量超過了基準(zhǔn)方法的兩倍，還發(fā)現(xiàn)了許多其他方法忽略的場景。

“當(dāng)我們改變用戶偏好時，SEED-SET 生成的場景集合也會發(fā)生明顯變化。這說明評估策略對用戶的偏好反應(yīng)靈敏，”帕拉沙爾說。

要驗(yàn)證 SEED-SET 在實(shí)際應(yīng)用中的價值，研究人員還需要開展一項(xiàng)用戶研究，看看它生成的場景能不能幫助真實(shí)的決策過程。

除了這項(xiàng)用戶研究，研究人員還計劃探索使用更高效的模型，把這套方法擴(kuò)展到規(guī)模更大、評估標(biāo)準(zhǔn)更多的問題上，比如用來評估大語言模型自己的決策過程。

https://news.mit.edu/2026/evaluating-autonomous-systems-ethics-0402