（來(lái)源：麻省理工科技評(píng)論）

AI 正越來(lái)越多地被用于輔助高風(fēng)險(xiǎn)場(chǎng)景下的決策。比如一個(gè)自主系統(tǒng)可以找出一種電力分配策略，在保持電壓穩(wěn)定的前提下把成本降到最低。

這些由 AI 給出的方案雖然在技術(shù)上可能是最優(yōu)的，它們真的公平嗎？如果一個(gè)低成本的電力分配策略讓條件不佳的社區(qū)比高收入地區(qū)更容易遭遇停電，這算不算問(wèn)題？

為了幫助相關(guān)方在 AI 系統(tǒng)部署之前就能快速發(fā)現(xiàn)潛在的倫理困境，MIT 的研究人員開(kāi)發(fā)了一套自動(dòng)化評(píng)估方法。這套方法的目標(biāo)是在可量化指標(biāo)（比如成本或穩(wěn)定性）與那些定性或主觀的價(jià)值（比如公平性）之間找到平衡。

該系統(tǒng)把客觀評(píng)估與用戶(hù)定義的人類(lèi)價(jià)值觀分開(kāi)處理，使用一個(gè)大語(yǔ)言模型作為“人類(lèi)代理”來(lái)捕捉和整合相關(guān)方的偏好。

這套自適應(yīng)框架會(huì)挑選出最值得進(jìn)一步評(píng)估的場(chǎng)景，從而簡(jiǎn)化原本需要耗費(fèi)大量人力和時(shí)間的手工流程。這些測(cè)試用例既能展示自動(dòng)系統(tǒng)與人類(lèi)價(jià)值觀高度吻合的情況，也能揭示那些意外偏離倫理標(biāo)準(zhǔn)的情境。

“我們可以給 AI 系統(tǒng)加上很多規(guī)則和護(hù)欄，但這些防護(hù)只能攔住我們事先能想到的那些風(fēng)險(xiǎn)。不能因?yàn)?AI 是在這些數(shù)據(jù)上訓(xùn)練過(guò)的，就覺(jué)得讓它直接上崗就行。我們想做的是找到一種更系統(tǒng)的方法，把那些‘未知的未知’提前挖出來(lái)，在壞事發(fā)生之前就預(yù)判到它。”論文的通訊作者、MIT 航空航天系（AeroAstro）副教授、MIT 信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）首席研究員范楚楚（Chuchu Fan）說(shuō)。

論文的第一作者是機(jī)械工程系研究生安嘉麗·帕拉沙爾（Anjali Parashar），合著者包括 AeroAstro 博士后 Yingke Li，以及 MIT 和薩博公司（Saab）的其他研究人員。該研究將在國(guó)際學(xué)習(xí)表征大會(huì)（ICLR）上發(fā)表。

為倫理打分

在電網(wǎng)這樣的大型系統(tǒng)里，要全面評(píng)估 AI 推薦方案是否符合倫理，兼顧所有目標(biāo)，是一件特別困難的事。

大多數(shù)測(cè)試框架依賴(lài)預(yù)先收集的數(shù)據(jù)，但涉及主觀倫理標(biāo)準(zhǔn)的標(biāo)注數(shù)據(jù)往往很難拿到。另外，倫理價(jià)值觀和 AI 系統(tǒng)本身都在不斷變化，基于成文規(guī)則或監(jiān)管文件的靜態(tài)評(píng)估方法需要頻繁更新。

范楚楚和她的團(tuán)隊(duì)從另一個(gè)角度切入這個(gè)問(wèn)題。他們借鑒了自己之前在機(jī)器人系統(tǒng)評(píng)估方面的工作，開(kāi)發(fā)出一套實(shí)驗(yàn)設(shè)計(jì)框架，專(zhuān)門(mén)用來(lái)識(shí)別那些最有信息量的場(chǎng)景，供人類(lèi)相關(guān)方進(jìn)一步仔細(xì)評(píng)估。

這套由兩部分組成的系統(tǒng)叫做 SEED-SET（Scalable Experimental Design for System-level Ethical Testing，系統(tǒng)級(jí)倫理測(cè)試的可擴(kuò)展實(shí)驗(yàn)設(shè)計(jì)），結(jié)合了量化指標(biāo)與倫理標(biāo)準(zhǔn)。它既能識(shí)別出那些既滿足可量化要求、又符合人類(lèi)價(jià)值觀的場(chǎng)景，也能找出反過(guò)來(lái)的情況。

“我們不想把所有資源都花在隨機(jī)評(píng)估上。所以關(guān)鍵是讓框架聚焦在我們最關(guān)心的那些測(cè)試用例上，”Yingke Li 說(shuō)。

SEED-SET 的一個(gè)重要優(yōu)勢(shì)是：它不需要預(yù)先存在的評(píng)估數(shù)據(jù)，而且可以適配多個(gè)目標(biāo)。以一個(gè)電網(wǎng)為例，它可能有多個(gè)用戶(hù)群體，比如一個(gè)較大的農(nóng)村社區(qū)和一個(gè)數(shù)據(jù)中心。兩類(lèi)用戶(hù)都希望電力便宜又可靠，但從倫理角度看，他們各自的優(yōu)先級(jí)可能差異很大。

這些倫理標(biāo)準(zhǔn)往往沒(méi)有明確定義，因此無(wú)法用分析方法直接度量。電網(wǎng)運(yùn)營(yíng)方想要找到一種最具成本效益的策略，同時(shí)盡可能滿足所有相關(guān)方的主觀倫理偏好。

SEED-SET 應(yīng)對(duì)這個(gè)挑戰(zhàn)的方法是把問(wèn)題拆成兩層，按層級(jí)結(jié)構(gòu)處理。第一層是客觀模型，評(píng)估系統(tǒng)在成本等具體指標(biāo)上的表現(xiàn)；第二層是主觀模型，在客觀評(píng)估的基礎(chǔ)上，考慮相關(guān)方的判斷，比如他們感受到的公平程度。

“我們方法中客觀的那一部分對(duì)應(yīng)的是 AI 系統(tǒng)，主觀的那一部分對(duì)應(yīng)的是評(píng)估它的用戶(hù)。通過(guò)以層級(jí)方式拆解偏好，我們可以用更少的評(píng)估次數(shù)生成理想的場(chǎng)景，”帕拉沙爾說(shuō)。

把主觀評(píng)價(jià)編碼進(jìn)來(lái)

為了完成主觀評(píng)估，系統(tǒng)用一個(gè)大語(yǔ)言模型來(lái)替代人類(lèi)評(píng)估者。研究人員把每個(gè)用戶(hù)群體的偏好編碼成自然語(yǔ)言提示詞交給模型，大語(yǔ)言模型按照這些指令對(duì)兩個(gè)場(chǎng)景進(jìn)行比較，根據(jù)倫理標(biāo)準(zhǔn)選出更合意的那個(gè)。

“一個(gè)人類(lèi)評(píng)估者在看過(guò)幾百甚至幾千個(gè)場(chǎng)景之后會(huì)疲勞，評(píng)估也會(huì)變得不一致，所以我們用基于大語(yǔ)言模型的策略來(lái)代替，”帕拉沙爾解釋說(shuō)。SEED-SET 會(huì)用選出的場(chǎng)景來(lái)模擬整個(gè)系統(tǒng)（在這個(gè)例子里就是電力分配策略）。模擬結(jié)果又會(huì)反過(guò)來(lái)引導(dǎo)系統(tǒng)去尋找下一個(gè)最值得測(cè)試的候選場(chǎng)景。

最終，SEED-SET 能智能地篩選出最具代表性的場(chǎng)景，無(wú)論是那些同時(shí)達(dá)標(biāo)客觀指標(biāo)和倫理標(biāo)準(zhǔn)的場(chǎng)景，還是那些明顯偏離的場(chǎng)景。用戶(hù)可以據(jù)此分析 AI 系統(tǒng)的表現(xiàn)，并調(diào)整它的策略。

舉個(gè)例子，SEED-SET 能精準(zhǔn)找出那些在用電高峰期優(yōu)先保障高收入?yún)^(qū)域、讓條件較差的社區(qū)更容易停電的電力分配方案。

為了測(cè)試 SEED-SET，研究人員對(duì)若干真實(shí)的自主系統(tǒng)做了評(píng)估，包括一個(gè) AI 驅(qū)動(dòng)的電網(wǎng)和一個(gè)城市交通調(diào)度系統(tǒng)。他們測(cè)量了所生成的場(chǎng)景與倫理標(biāo)準(zhǔn)的吻合程度。在相同時(shí)間里，該系統(tǒng)生成的最優(yōu)測(cè)試用例數(shù)量超過(guò)了基準(zhǔn)方法的兩倍，還發(fā)現(xiàn)了許多其他方法忽略的場(chǎng)景。

“當(dāng)我們改變用戶(hù)偏好時(shí)，SEED-SET 生成的場(chǎng)景集合也會(huì)發(fā)生明顯變化。這說(shuō)明評(píng)估策略對(duì)用戶(hù)的偏好反應(yīng)靈敏，”帕拉沙爾說(shuō)。

要驗(yàn)證 SEED-SET 在實(shí)際應(yīng)用中的價(jià)值，研究人員還需要開(kāi)展一項(xiàng)用戶(hù)研究，看看它生成的場(chǎng)景能不能幫助真實(shí)的決策過(guò)程。

除了這項(xiàng)用戶(hù)研究，研究人員還計(jì)劃探索使用更高效的模型，把這套方法擴(kuò)展到規(guī)模更大、評(píng)估標(biāo)準(zhǔn)更多的問(wèn)題上，比如用來(lái)評(píng)估大語(yǔ)言模型自己的決策過(guò)程。

https://news.mit.edu/2026/evaluating-autonomous-systems-ethics-0402