新智元報道

編輯：定慧

【新智元導(dǎo)讀】谷歌Google DeepMind剛剛推出新能力，用代碼賦予Gemini 3 Flash「法眼」。

沒想到吧，Google DeepMind剛剛為Gemini 3 Flash推出了一個重量級新能力：Agentic Vision（智能體視覺）。（難道是被DeepSeek-OCR2給刺激到了？）

可以看到，這項技術(shù)徹底改變了大語言模型理解世界的方式：

從過去的「猜」變成了如今的「深度調(diào)查」。

該能力由Google DeepMind團隊推出，核心產(chǎn)品經(jīng)理Rohan Doshi表示，傳統(tǒng)的AI模型在處理圖片時，往往只是靜態(tài)地看一眼。

如果圖片里的細節(jié)太小，比如微處理芯片上的序列號或者遠處模糊的路牌，模型往往只能靠「猜」。

而Agentic Vision引入了一個「思考-行動-觀察」（Think-Act-Observe）的閉環(huán)：

模型不再是被動接收像素，而是會根據(jù)用戶的需求，主動編寫Python代碼來操縱圖像。

這一能力直接讓Gemini 3 Flash在各類視覺基準(zhǔn)測試中實現(xiàn)了5%到10%的性能跨越。

Agentic Vision：智能體視覺新前沿

DeepMind探索的方法概括起來就是：利用代碼執(zhí)行作為視覺推理的工具，將被動的視覺理解轉(zhuǎn)化為主動的智能體過程。

什么意思呢？我們知道，目前的SOTA模型通常是一次性處理圖像。

但Agentic Vision引入了一個循環(huán)：

1.思考（Think）：模型分析用戶查詢和初始圖像，制定多步計劃。

2.行動（Act）：模型生成并執(zhí)行Python代碼來主動操縱圖像（如裁剪、旋轉(zhuǎn)、標(biāo)注）或分析圖像（如運行計算、計數(shù)邊界框等）。

3.觀察（Observe）：變換后的圖像被追加到模型的上下文窗口中。這允許模型在生成最終響應(yīng)之前，以更好的上下文檢查新數(shù)據(jù)。

Agentic Vision實戰(zhàn)

通過在API中啟用代碼執(zhí)行，開發(fā)者可以解鎖許多新行為。

Google AI Studio中的演示應(yīng)用已經(jīng)展示了這一點。

1. 縮放與檢查（Zooming and inspecting）

Gemini 3 Flash被訓(xùn)練為在檢測到細粒度細節(jié)時進行隱式縮放。

PlanCheckSolver.com是一個AI驅(qū)動的建筑計劃驗證平臺，通過啟用Gemini 3 Flash的代碼執(zhí)行功能來迭代檢查高分辨率輸入，將準(zhǔn)確率提高了5%。

后臺日志視頻展示了這個智能體過程：Gemini 3 Flash生成Python代碼來裁剪和分析特定的補丁（例如屋頂邊緣或建筑部分）作為新圖像。

通過將這些裁剪圖追加回其上下文窗口，模型在視覺上確立其推理，以確認(rèn)是否符合復(fù)雜的建筑規(guī)范。

2. 圖像標(biāo)注（Image annotation）

Agentic Vision允許模型通過標(biāo)注圖像與環(huán)境交互。

Gemini 3 Flash不僅僅是描述它看到的內(nèi)容，還可以執(zhí)行代碼直接在畫布上繪制以確立其推理。

在下面的例子中，模型被要求數(shù)Gemini應(yīng)用中一只手上的數(shù)字。

為了避免計數(shù)錯誤，它使用Python在它識別的每個手指上繪制邊界框和數(shù)字標(biāo)簽。

這種「視覺草稿紙」確保其最終答案是基于像素級的完美理解。

3. 視覺數(shù)學(xué)與繪圖（Visual math and plotting）

Agentic Vision可以解析高密度表格并執(zhí)行Python代碼來可視化發(fā)現(xiàn)。

標(biāo)準(zhǔn)LLM在多步視覺算術(shù)中經(jīng)常產(chǎn)生幻覺。

Gemini 3 Flash通過將計算放到到確定性的Python環(huán)境中來繞過這個問題。

在Google AI Studio的演示應(yīng)用示例中，模型識別原始數(shù)據(jù)，編寫代碼將之前的SOTA歸一化為1.0，并生成專業(yè)的Matplotlib條形圖。這用可驗證的執(zhí)行取代了概率性猜測。

如何上手

Agentic Vision今天已通過Google AI Studio和Vertex AI中的Gemini API提供。

它也開始在Gemini應(yīng)用中推出（通過從模型下拉菜單中選擇Thinking訪問）。

以下是一個簡單的Python代碼示例，展示了如何調(diào)用這一能力：

print(response.text)

未來展望

Google表示，Agentic Vision才剛剛開始。

目前，Gemini 3 Flash擅長隱式?jīng)Q定何時放大微小細節(jié)。雖然其他功能（如旋轉(zhuǎn)圖像或執(zhí)行視覺數(shù)學(xué)）目前需要顯式的提示引導(dǎo)來觸發(fā)，但Google正在努力在未來的更新中使這些行為完全隱式化。

此外，Google還在探索如何為Gemini模型通過更多工具（包括網(wǎng)絡(luò)和反向圖像搜索）來進一步確立其對世界的理解，并計劃將此功能擴展到Flash以外的其他模型尺寸。

彩蛋：難道是因為DeepSeek？

這就很有意思了。

DeepSeek前腳剛開源了堪稱「OCR 2.0」的DeepSeek-OCR，谷歌后腳就發(fā)布了Gemini 3的Agentic Vision。

這真的是巧合嗎？

我們不妨大膽猜測，谷歌這次的「深夜炸場」，極有可能是被DeepSeek逼出來的。

理由有三：

1.時間點的驚人巧合

1月27日，DeepSeek剛剛發(fā)布了DeepSeek-OCR2，搭載核心黑科技DeepEncoder V2。它拋棄了傳統(tǒng)的機械掃描，讓AI學(xué)會了像人類一樣「按邏輯順序閱讀」，僅用幾百個Token就實現(xiàn)了對復(fù)雜排版和圖表的完美理解。

谷歌同一天立馬拿出Agentic Vision，仿佛在這場「視覺軍備競賽」中隔空喊話：「你們讓AI看懂邏輯，我們直接讓AI上手操作」。

2.技術(shù)路線的巔峰對決

DeepSeek-OCR2走的是「內(nèi)功流」，通過DeepEncoder V2模擬人類的視覺注意力機制，動態(tài)重組圖像信息，把「看」這個動作做到了極致的輕量化和邏輯化。

而谷歌的Agentic Vision走的是「外設(shè)流」，也就是「不光要看清，還要能動手」。DeepSeek在教AI怎么「用心看」，谷歌在教AI怎么「用手算」。

3.爭奪視覺AI定義的終局

DeepSeek-OCR2證明了即便是3B的小模型，只要「視覺邏輯」對路，也能吊打大模型。谷歌則試圖用「代碼執(zhí)行」來降維打擊：你視覺再好也是「看」，我能寫代碼驗證才是「真懂」。

這場仗，本質(zhì)上是誰能重新定義「機器視覺」——是極致的感知，還是全能的交互？

不管是不是「應(yīng)激反應(yīng)」，這場神仙打架，最后爽的還是我們程序員。

參考資料：

https://blog.google/innovation-and-ai/technology/developers-tools/agentic-vision-gemini-3-flash/?linkId=43682412