文章轉(zhuǎn)載于機器之心

這是 AI 的時代，也是 AI 檢測器的時代。

近段時間，隨著 AI 生成的內(nèi)容（AIGC）越來越多，其中還有不少試圖假冒真實內(nèi)容，AI 內(nèi)容檢測也正成為一種越來越迫切的需求，尤其是在注重實證、真實性至關(guān)的重要的論文寫作上。

然而，這些 AI 內(nèi)容檢測器的表現(xiàn)究竟如何呢？

可能遠遠不及預期。

前兩天，知名暢銷書作家 Adam Kay 在社交媒體 X 分享了自己的經(jīng)歷：他心血來潮，把自己的作品丟進一款 AI 檢測器里查重，結(jié)果系統(tǒng)信誓旦旦地判定其中有 29.7% 的內(nèi)容由機器生成。

最尷尬的地方在于，這本書早在近十年前就已出版，當時的 AI 技術(shù)連他書中的一句長難句都讀不明白。

這條吐槽帖迅速引爆網(wǎng)絡，目前瀏覽量已突破 210 萬次，同時也激起了全網(wǎng)一場浩浩蕩蕩的「測謊儀大挑戰(zhàn)」。越來越多的人拿著絕對不可能由 AI 生成的文本去測試，得到的結(jié)果無一不令人啼笑皆非。

學術(shù)界可謂是這場誤判的重災區(qū)。比如愛丁堡大學全球公共衛(wèi)生教授兼主任 Devi Sridhar 教授的以前的文章就被檢測判定有 90% 的內(nèi)容都是 AI 生成的。

阿伯丁羅伯特戈登大學公共政策系的榮譽退休教授 Paul Spicker 45 年的一篇論文也被判定有 77% 的內(nèi)容是 AI 生成的。

也有更多網(wǎng)友分享了自己的檢測結(jié)果。比如網(wǎng)友 decentricity 用自己 2008 年的一篇關(guān)于 AI 的論文進行了檢測，最終榮獲 100% 純 AI 生成的錯誤認證。這位網(wǎng)友調(diào)侃說自己用的是「GPT 負 6」。

不僅學術(shù)圈，就連新聞報道也會被錯誤檢測。比如在下面的例子中，Zavinski 測試了自己剛剛撰寫的一篇 2000 字的報紙報道，復盤了當?shù)匦℃?zhèn)七十年代城市改造失敗的歷史。他特意使用了通俗易懂的平實文風，并且一手資料完全沒有在互聯(lián)網(wǎng)上公開過。即便如此，系統(tǒng)依然判定這篇報道有 91% 的可能性是 AI 寫的，順便還給出了「可讀性差」的扎心評價。

至于破折號識別法，更是幾乎已經(jīng)普及，也迫使相當多的人類作者改變自己的寫作習慣。

還有更離譜的，就連經(jīng)典的《羅密歐與朱麗葉》原著也被認為有 41% 的內(nèi)容是 AI 生成的：

就連《獨立宣言》也未能幸免，AI 檢測器認為有 99.99% 的內(nèi)容來自 AI：

為什么 AI 檢測器會給出如此讓人大跌眼鏡的結(jié)果？

作家 Adam Kay 給出了自己的見解，如今大量人類創(chuàng)作內(nèi)容被 AI 公司用于模型訓練，因此，當大模型判斷某些段落像 AI 風格時，本質(zhì)上并不是人在模仿 AI，而是 AI 在復現(xiàn)它曾經(jīng)學習過的人類表達。

所以，在不久的將來，當出版商像教育機構(gòu)一樣，在印刷前把所有內(nèi)容都拿去跑一遍 AI 檢測時，那些被拿去訓練的成千上萬作者的作品，會不會反而被標記為 AI 生成？這正是當下這種局面帶來的一個相當荒誕的副作用。

更是有網(wǎng)友指出，寫作水平越高（詞匯更豐富、語法更規(guī)范），反而越容易被檢測工具判定為 AI 寫的。

「AI 檢測器簡直就是個笑話。它們是用人類創(chuàng)作的數(shù)據(jù)訓練出來的，卻反過來用來質(zhì)疑人類的智能與原創(chuàng)性。僅憑這一點就把某人的作品標記為 AI 生成，既不可靠，也不公平，而且在邏輯上站不住腳?！?/p>

這樣的質(zhì)疑并非個例。

這位網(wǎng)友表示「這些東西本質(zhì)上都是胡扯，先用人類的集體知識去訓練 AI，然后又用同一個 AI 來判斷一段內(nèi)容是不是由 AI 生成的，而這個判斷本來就建立在它最初訓練所依賴的人類智能之上。說到底，這真的是一種相當荒誕的邏輯?！?/p>

AI 寫的內(nèi)容，本來就來自人類，我們還怎么識別 AI？像不像 AI 這件事本身，或許就已經(jīng)失去了明確的邊界。

點個“愛心”，再走 吧