智東西
作者 陳駿達(dá)
編輯 云鵬

智東西4月29日?qǐng)?bào)道，剛剛，DeepSeek的多模態(tài)能力已經(jīng)開(kāi)啟灰度測(cè)試�，F(xiàn)在，被選中的用戶(hù)會(huì)發(fā)現(xiàn)，DeepSeek首頁(yè)多了一個(gè)“識(shí)圖模式”的入口。上傳圖片后，DeepSeek能像人一樣理解畫(huà)面，不管是物體還是場(chǎng)景，而不是像過(guò)去僅能識(shí)別文字。

多位DeepSeek研究員第一時(shí)間發(fā)文宣傳了這一新功能。DeepSeek研究員陳德里稱(chēng)，這一功能來(lái)自DeepSeek的“天才多模態(tài)同事們”，小鯨魚(yú)現(xiàn)在有了看見(jiàn)世界的能力。

▲DeepSeek多位研究員宣布識(shí)圖模式的灰度上線(xiàn)（圖源：X平臺(tái)）

我們也有幸被灰度到了，并迅速進(jìn)行了一波測(cè)試。

首先是基本的識(shí)物能力，我們上傳了一張兔子的照片，識(shí)圖模式下DeepSeek一眼就判斷出兔子的品種，并且可以描述這只兔子的姿態(tài)。

我們給DeepSeek上了點(diǎn)難度，上傳了一張來(lái)自它老家杭州知名景點(diǎn)靈隱寺的照片，圖中僅有右下角的路燈上有草書(shū)寫(xiě)就的“靈隱寺”字樣，不過(guò)對(duì)人類(lèi)來(lái)說(shuō)這些字樣也有點(diǎn)難懂。我們要求DeepSeek判斷這是哪里，并報(bào)出圖城市的經(jīng)緯度。

根據(jù)建筑風(fēng)格和路燈上的字樣，DeepSeek很快判斷出這里是靈隱寺，給出的坐標(biāo)準(zhǔn)確無(wú)誤。其生成速度也很快，未開(kāi)啟思考模式時(shí)，一眨眼的功夫就好了。

我們又上傳了一張包含視覺(jué)陷阱的圖片，這張圖中幾個(gè)物品的擺放很容易讓人誤以為圖中有個(gè)人坐在椅子上。

這樣的題目同樣沒(méi)能難倒DeepSeek，它判斷圖中有墻面修補(bǔ)痕跡、垃圾收集區(qū)、雜物等等，沒(méi)有被視覺(jué)陷阱蒙騙。

DeepSeek的視覺(jué)模式支持深度思考，我們上傳了一張隨手拍的照片，圖中沒(méi)有任何文字參考，看看DeepSeek能否根據(jù)蛛絲馬跡判斷出位置。

開(kāi)啟推理后，DeepSeek的視覺(jué)能力明顯增強(qiáng)了。它可以分步驟拆解畫(huà)面信息，能看到前景、中景、背景的所有信息，然后將地標(biāo)特征與地理區(qū)域匹配，直接判斷出山脈是燕山山脈、建筑風(fēng)格在北京昌平等郊區(qū)很常見(jiàn)。

最后它直接把范圍收窄到北京昌平區(qū)或者海淀山后地區(qū)，其中某些猜測(cè)選項(xiàng)離我的實(shí)際距離已經(jīng)不到10公里。未來(lái)如果接入聯(lián)網(wǎng)搜索，DeepSeek很可能就順著網(wǎng)線(xiàn)把我家地址給開(kāi)盒了。

我們還嘗試了熱門(mén)的看手相玩法，上傳后，DeepSeek第一眼先把左右手看錯(cuò)了，我們上傳的圖片是左手，它判斷成了右手。

進(jìn)入實(shí)際分析后，DeepSeek對(duì)手相形態(tài)的描述基本符合事實(shí)，分析得也是頭頭是道，不過(guò)具體該相信多少，這就見(jiàn)仁見(jiàn)智了。

結(jié)語(yǔ)：DeepSeek多模態(tài)拼圖，終于補(bǔ)齊

在過(guò)去很長(zhǎng)一段時(shí)間里，DeepSeek多模態(tài)能力的缺失一直是一個(gè)遺憾。DeepSeek一直維持著多模態(tài)的相關(guān)研究，并曾在早期發(fā)布開(kāi)源多模態(tài)模型Janus等成果。不過(guò)，DeepSeek一直未在其產(chǎn)品中向公眾提供多模態(tài)能力。

AI走向多模態(tài)已經(jīng)成為不可逆轉(zhuǎn)的大趨勢(shì)。多模態(tài)內(nèi)容所蘊(yùn)藏的豐富信息可以擴(kuò)展AI認(rèn)知這一世界的觸角，也更貼近人類(lèi)本身理解世界的方式。目前，DeepSeek的識(shí)圖模式還只是一個(gè)測(cè)試功能，不過(guò)它已經(jīng)讓我們看到了其在視覺(jué)解析與跨模態(tài)推理上的潛力。