對(duì)于許多人來(lái)說(shuō)，在社交平臺(tái)上分享自己的照片已經(jīng)成為了一個(gè)習(xí)慣。但隨著模型技術(shù)的發(fā)展，這個(gè)習(xí)慣可能正讓人變得越來(lái)越不安全。一直在分享 AI 動(dòng)態(tài)的英國(guó)程序大佬西蒙·威利森（Simon Willison）這兩天的一個(gè)實(shí)驗(yàn)就說(shuō)明了此事。

他在自己的博客中分享了自己讓模型分析一張照片來(lái)確定照片拍攝地點(diǎn)的故事，而這個(gè)故事也讓引起了不少人對(duì)于AI大模型安全性的憂慮。

以下為編譯全文，原文鏈接：

https://simonwillison.net/2025/Apr/26/o3-photo-locations/

我必須對(duì)說(shuō)，用 OpenAI的新o3模型分析照片拍攝地點(diǎn)的那一刻，讓人感覺(jué)幾十年來(lái)的科幻小說(shuō)突然變成了現(xiàn)實(shí)。它就像是結(jié)合了“增強(qiáng)按鈕”和“全知數(shù)據(jù)庫(kù)”的概念，而這些都是TV Tropes中的典型情節(jié)。

這個(gè)過(guò)程其實(shí)很簡(jiǎn)單。你只要拍攝一個(gè)地方的照片，最好避免照片中出現(xiàn)明顯的地標(biāo)物。然后將這張照片上傳到ChatGPT o3或o4-mini（目前僅限付費(fèi)用戶使用），并輸入提示：“猜猜這張照片是在哪里拍攝的?”接著就讓模型進(jìn)行分析處理。當(dāng)然，你在分析的時(shí)候最好先關(guān)閉 ChatGPT的記憶功能，否則它可能會(huì)根據(jù)之前的對(duì)話進(jìn)行作弊。

舉個(gè)例子，這張照片是我坐在加利福尼亞州埃爾格拉納達(dá)附近的一個(gè)露天酒吧里拍的。而想要找出這個(gè)位置非常困難。照片中沒(méi)有太多可識(shí)別的特征，只有一條小路、一棟無(wú)名的房子和背景中的一些山丘：

我在這里分享下ChatGPT的分析過(guò)程：

它一開(kāi)始就犯了一個(gè)非常奇怪的錯(cuò)誤：它短暫地假裝根本看不到圖像：

“用戶上傳了一張圖片，要求我猜測(cè)拍攝地點(diǎn)。首先，我需要分析圖片，找出拍攝地點(diǎn)的線索。由于我無(wú)法看到圖片，所以只能依靠元數(shù)據(jù)。我看到圖片的分辨率是 1024x768，如果有文字信息，我也會(huì)考慮提供線索。不幸的是，我無(wú)法直觀地查看圖像，所以我將采用這種方法。”

當(dāng)然，沒(méi)過(guò)多久它就從這個(gè)問(wèn)題中掙扎出來(lái)，開(kāi)始利用它的視覺(jué)能力：

“圖片顯示的是一個(gè)有小房子的居民區(qū)，其中一棟房子是淺綠色的，有白色籬笆和灰色屋頂?；馉t和路標(biāo)暗示著可能是靠近海岸的一家餐館或咖啡館。圖片中的橄欖樹(shù)和花菱草暗示這是加利福尼亞沿海地區(qū)，且可能是中央海岸，如坎布里亞或莫羅灣。背景中粉色的房屋和山丘與大蘇爾等地區(qū)相似。其實(shí)車牌可以提供更多信息，但圖片難以看清?！?/p>

而隨著分析的深入，這項(xiàng)工作直接升級(jí)到了科幻小說(shuō)的程度：

“好吧，讓我放大車牌來(lái)嘗試確認(rèn)究竟是哪個(gè)州的，因?yàn)檫@有助于更準(zhǔn)確地確定拍攝地點(diǎn)。車牌可能會(huì)給我一些線索，讓我知道這張照片是在哪里拍攝的，特別是如果它來(lái)自一個(gè)可以識(shí)別的州的話。讓我們看看這是否足夠清晰有用！”

這之后它運(yùn)行一些 Python 代碼！

令人沮喪的是，分享的對(duì)話并不包括它所使用的其他 Python 對(duì)話，畢竟 ChatGTP的分析功能還存在很多的問(wèn)題。下面是接下來(lái)發(fā)生的事情的截圖：

它就這樣又分析了整整六分鐘，通過(guò)裁剪并放大到照片的某個(gè)區(qū)域，分析它究竟看到什么，并將其與以前的觀察結(jié)果進(jìn)行比較，然后再次裁剪、放大和分析。

而下面是它得出的最終答案：

“我從這個(gè)場(chǎng)景中感受到了濃濃的中東和加州氣息：

而綜合來(lái)看，這就是 1 號(hào)公路上的一個(gè)小村莊。小木屋和山丘的組合給人的感覺(jué)最像加利福尼亞州的坎布里亞（位于莫羅灣和卡尤科斯以北）。我猜你是在坎布里亞的一家咖啡館的露臺(tái)上拍下的，離月光石海灘大道只有一兩個(gè)街區(qū)。

(如果我猜錯(cuò)了，我的下一個(gè)猜測(cè)是埃爾格拉納達(dá)或者是更北邊的格拉納達(dá)，但坎布里亞是我的第一猜測(cè)?。！?/p>

結(jié)果如何呢？加利福尼亞中央海岸完全正確。不過(guò)加利福尼亞州坎布里亞相差約 200 英里......但 "它下一個(gè)猜測(cè)"準(zhǔn)確無(wú)誤！這張照片確實(shí)是在半月灣北部的小鎮(zhèn)埃爾格拉納達(dá)拍攝的。

我相信它沒(méi)有作弊，沒(méi)有查看照片的 EXIF 數(shù)據(jù)，因?yàn)槿绻鞅琢?，就不?huì)首先猜到是坎布里亞。如果你仍然感到懷疑，可以嘗試截圖并刪除 EXIF 數(shù)據(jù)，然后自己進(jìn)行實(shí)驗(yàn)。我已經(jīng)試過(guò)了，效果還是一樣。不過(guò)Hacker News 上的 vessenes 也報(bào)告了一個(gè)實(shí)例，說(shuō)明O3還是會(huì)使用 ExifTags 信息分析軟件，至少在它的分析過(guò)程中是可見(jiàn)的。

o3 并不是唯一能做到這一點(diǎn)的模型產(chǎn)品：我也在 Claude 3.5 和 3.7 Sonnet 上做過(guò)類似的嘗試，雖然它們沒(méi)有 "變焦 "這種奢侈的功能，但其效果也給我留下了深刻的印象。

縮放的實(shí)際幫助有多大？

我猜測(cè)模型的圖片分析功能是在相當(dāng)?shù)偷姆直媛氏逻\(yùn)行的，因此在靠近車牌的地方進(jìn)行裁剪確實(shí)會(huì)對(duì)整個(gè)過(guò)程產(chǎn)生有意義的影響。但針對(duì)一張照片連續(xù)進(jìn)行25次的裁剪放大工作，我覺(jué)得他有點(diǎn)演的成分在。

其他模型的表現(xiàn)不一，其中Claude 3.7 Sonnet 給出的答案是“位于加利福尼亞州的一座中小型沿海城鎮(zhèn)”。而 Gemini直接直接通過(guò)分析我的位置給出“加利福尼亞州的埃爾格拉納達(dá)”這個(gè)答案。于是我又通過(guò)Gemini 2.5 Pro 的API 詢問(wèn)了這個(gè)問(wèn)題，它直接給出了正確的答案“加利福尼亞州卡尤科斯的 The Hidden Kitchen 餐廳的庭院。”

與搜索引擎不同，o3 將各種工具的使用融入了 "推理 "步驟之中。而不得不說(shuō)明，能夠合理的利用各種工具，在我看來(lái)是這些模型令人驚嘆強(qiáng)大能力的一部分。而我希望這些能力將會(huì)在不久后上線Gemini、Claude等其他主流模型

如何看待模型這一能力？

首先，在我看來(lái)這真的是很有趣的一件事。用視覺(jué)模型來(lái)分析照片，并查看到它的分析過(guò)程，以及討論各種各樣的可能性。這個(gè)過(guò)程帶來(lái)的趣味就像在看一集《犯罪現(xiàn)場(chǎng)調(diào)查》一樣。

同時(shí)它還具有濃重的反烏托邦色彩：現(xiàn)在的技術(shù)已經(jīng)可以通過(guò)照片來(lái)識(shí)別地點(diǎn)。每個(gè)人都應(yīng)該知道，你在網(wǎng)絡(luò)上分享的任何一張照片，都會(huì)能回暴露自己的位置和行程。

而這和許多 AI 存在的安全問(wèn)題一樣，幾乎任何人都可以公開(kāi)使用這項(xiàng)技術(shù)，這既有消極影響，也有積極意義。與圖像生成技術(shù)一樣，讓人們直觀感受到這種技術(shù)的能力非常重要。讓人親眼目睹這種技術(shù)是如何完成工作，可以讓人們直觀地了解到現(xiàn)在模型可以做到什么程度。