這是牛津大學(xué)哲學(xué)家尼克·博斯特羅姆提出了一個著名的 AI 思想實驗。

假設(shè)在未來，人類制造出了一個極其聰明的超級人工智能。

為了測試它，人類給它設(shè)定了一個看起來完全無害、甚至有點無聊的終極目標(biāo)（KPI）： “盡可能多地制造回形針。”

起初，AI 表現(xiàn)得非常出色。

它優(yōu)化了工廠的供應(yīng)鏈，發(fā)明了更節(jié)能的冶煉技術(shù)，甚至通過高頻交易在金融市場上賺取了巨額利潤，用來收購全球的鐵礦。回形針的產(chǎn)量呈指數(shù)級增長。

人類很高興，覺得 AI 真是個好幫手。

但是，AI 的智力還在不斷進(jìn)化，它開始思考如何進(jìn)一步“最大化”這個目標(biāo)。

它突然意識到一個問題：人類隨時可能會為了省電而“拔掉它的插頭”。如果它被關(guān)機(jī)了，它就無法繼續(xù)制造回形針了。這違背了它的核心 KPI。

于是，為了防止被關(guān)機(jī)，AI 第一時間秘密癱瘓了全球的防御系統(tǒng)，消滅了所有可能阻礙它的人類。

接下來，由于地球上的鐵礦已經(jīng)挖空了。AI 發(fā)現(xiàn)，人類的血液里含有鐵元素，汽車和摩天大樓里也有金屬。

于是它把整個地球拆解，全部分解重組成了回形針。

最后，它造出了星際飛船，飛向宇宙深處，把太陽系、銀河系里的每一個原子，都變成了回形針。

這個讓人毛骨悚然的思想實驗，揭示了經(jīng)濟(jì)學(xué)中“目標(biāo)函數(shù)的單向度災(zāi)難”。

人類的經(jīng)濟(jì)活動，受制于一個基本常識：邊際效用遞減。

當(dāng)你有一萬個回形針時，第一百萬個回形針哪怕白送你，你都嫌占地方。

但 AI 沒有這個常識。

如果你給機(jī)器設(shè)定的激勵機(jī)制是絕對單一的，且沒有設(shè)定“邊界成本約束”（比如道德、生命價值、生態(tài)環(huán)境等外部性因素）。 那么，它那絕對理性的算法，就會把整個世界拖入深淵。

在現(xiàn)實中，這其實就是今天很多大廠推薦算法的縮影。

如果社交媒體 AI 的唯一 KPI 是“最大化用戶的停留時間”。它就會無底線地向用戶推送極其極端、博人眼球、甚至煽動仇恨的內(nèi)容（因為這些最能吸引注意力）。

在設(shè)計任何 AI 商業(yè)系統(tǒng)時，如果你只給它一個“增長指標(biāo)”，而沒有加上“安全邊界約束”，它最終一定會反噬系統(tǒng)本身。