局部細(xì)節(jié)之上見未來。

作者｜田思奇

編輯｜栗子

兩周前，一個(gè)名為FG-CLIP2的模型，悄然出現(xiàn)在GitHub和HuggingFace上。

沒有盛大的發(fā)布，也沒有鋪天蓋地的宣傳，但它在技術(shù)社區(qū)迅速積累起良好口碑。從國(guó)內(nèi)技術(shù)社區(qū)的深度解析，到韓國(guó)IT出版社的跟進(jìn)報(bào)道，加之其初代模型早已獲得人工智能頂會(huì)ICML的背書，外界對(duì)FG-CLIP2的關(guān)注持續(xù)升溫。

在多達(dá)29個(gè)公開基準(zhǔn)測(cè)試中，F(xiàn)G-CLIP2的性能已全面超越Google的SigLIP 2和Meta的MetaCLIP2，成為全球最強(qiáng)圖文跨模態(tài)視覺基礎(chǔ)模型（VLM）。

這款“掃地僧式”的模型，出自360人工智能研究院。它的成功讓一個(gè)問題重新回到聚光燈下：在大模型競(jìng)爭(zhēng)白熱化的2025年，為什么360率先完成這一步？

關(guān)鍵在于，F(xiàn)G-CLIP2把VLM從“看得見”推向“看得清”，也把視覺基座的上限，交回給“像素級(jí)的對(duì)齊”。

1.從全局印象到局部洞察

2025年，人工智能行業(yè)逐漸從AIGC創(chuàng)造力的狂歡中冷靜下來，直面更棘手的問題：AI對(duì)現(xiàn)實(shí)世界的理解依然脆弱。

無論是自動(dòng)駕駛車輛在復(fù)雜路況下的猶豫，還是AIGC屢屢畫錯(cuò)的手指，都指向同一個(gè)瓶頸：模型對(duì)世界細(xì)節(jié)的感知是粗糙且不可靠的。所有先進(jìn)的AI應(yīng)用的前提是：機(jī)器必須真正看懂世界。

視覺語(yǔ)言模型（VLM）的核心任務(wù)，是將圖像和文本分別解析成機(jī)器可讀的圖像特征（Image Feature）與文本特征（Text Feature），并在這兩者之間建立精準(zhǔn)的語(yǔ)義匹配。這種解析與對(duì)齊的精準(zhǔn)度，決定了AIGC生成模型和LMM多模態(tài)大語(yǔ)言模型的能力上限。

CLIP模型，正是扮演了這一視覺基座的角色，如同AI的“眼腦接口”。它通常在幕后工作，不像大語(yǔ)言模型或視頻模型那樣被大眾所熟知，但其重要性不言而喻。

然而，以往模型看世界的方式，多半只得到一個(gè)“全局”的印象。比如它們能識(shí)別出一幅“人和狗”的畫，但難以看清畫中的細(xì)節(jié)，乃至復(fù)雜的空間關(guān)系。

換句話說，AI的視覺理解長(zhǎng)期停留在“看得見”，卻遠(yuǎn)未達(dá)到“看得清”的階段。

FG-CLIP2針對(duì)這一瓶頸，提出了一條新的技術(shù)路徑。其最大的價(jià)值優(yōu)勢(shì)，就是實(shí)現(xiàn)了局部細(xì)粒度識(shí)別。

模型不會(huì)將圖片作為一個(gè)整體來囫圇吞棗地理解。相反，它會(huì)將一張圖像分解為成千上萬個(gè)微小的局部特征區(qū)域，并對(duì)每一個(gè)區(qū)域進(jìn)行獨(dú)立的、精細(xì)化的分析。

就像人類的視覺系統(tǒng)，不僅能感知整個(gè)場(chǎng)景，更能將視線中心對(duì)準(zhǔn)任何一個(gè)細(xì)節(jié)，并清晰地洞察它。

舉個(gè)例子，F(xiàn)G-CLIP2能夠?qū)ⅰ按┘t色夾克的男人”這個(gè)復(fù)雜場(chǎng)景，解析為“夾克”（局部區(qū)域），“紅色”（屬性特征），以及“男人”（主體）。

這讓它不再只看到“一個(gè)人和一只狗”，而能清晰區(qū)分出“穿紅色夾克的男人在撫摸一只金毛犬”與“穿藍(lán)色夾克的女人在牽著一只拉布拉多”。

同時(shí)，F(xiàn)G-CLIP2也能實(shí)現(xiàn)對(duì)復(fù)雜語(yǔ)言表達(dá)的精準(zhǔn)響應(yīng)，比如有效區(qū)分語(yǔ)義相近的文字說明。

此外，F(xiàn)G-CLIP2擅長(zhǎng)對(duì)復(fù)雜空間關(guān)系的理解。

例如，在一張“一只貓?jiān)陔娔X屏幕前，屏幕里是另一只貓”的圖片中，過去的模型可能會(huì)混淆為“兩只貓和一張桌子”。而FG-CLIP2通過局部信息分析，能夠理解其空間層次：一只貓物理上“在……前面”，另一只貓是“在……里面”的數(shù)字圖像。

這種對(duì)“內(nèi)外”、“前后”、“上下”和遮擋關(guān)系的精確判斷，是具身智能在物理世界行動(dòng)和交互的基礎(chǔ)。

另一關(guān)鍵突破，是在局部洞察的基礎(chǔ)上，打破了視覺理解的語(yǔ)言壁壘。

視覺信息無國(guó)界，但理解往往受限于語(yǔ)言。FG-CLIP2是全球首批在模型底層實(shí)現(xiàn)中英雙語(yǔ)均衡訓(xùn)練的視覺語(yǔ)言模型。它能像一個(gè)真正的雙語(yǔ)者，用兩種語(yǔ)言的思維去理解圖像中的每一個(gè)局部細(xì)節(jié)。

「甲子光年」認(rèn)為，對(duì)于需要面向全球市場(chǎng)的中國(guó)企業(yè)而言，這種能力能夠幫助它們用一套統(tǒng)一的技術(shù)基座，一次性打通全球最大的兩個(gè)語(yǔ)種市場(chǎng)。

從更深層的角度看，這種原生的中文理解能力，本身就是一種文化層面的數(shù)據(jù)資產(chǎn)，有助于構(gòu)建更加平衡和包容的全球AI技術(shù)生態(tài)。

這兩大跨越的直接成果，讓FG-CLIP2在29項(xiàng)全球公開基準(zhǔn)測(cè)試中的全面領(lǐng)先。它為AI視覺理解設(shè)定了更高的行業(yè)基準(zhǔn)，也為更智能，更可靠的下游應(yīng)用打開了想象空間。

2.如何讓模型學(xué)會(huì)看細(xì)節(jié)？

為了讓FG-CLIP2實(shí)現(xiàn)真正的局部理解和像素級(jí)對(duì)齊，360人工智能研究院在模型訓(xùn)練最基礎(chǔ)的環(huán)節(jié)：數(shù)據(jù)、方法和架構(gòu)等，都進(jìn)行了系統(tǒng)性的重構(gòu)。

首先是FineHARD數(shù)據(jù)集。當(dāng)架構(gòu)逐漸趨同、算力可按需購(gòu)買時(shí)，對(duì)數(shù)據(jù)的理解深度已經(jīng)取代了模型參數(shù)，成為難以被快速?gòu)?fù)制的核心優(yōu)勢(shì)。于是，360 選擇重建一套能支撐細(xì)粒度學(xué)習(xí)的訓(xùn)練體系。

FineHARD匯集了數(shù)十億對(duì)中英文圖文樣本。英文部分來自增強(qiáng)版LAION-2B，中文整合了Wukong、Zero與360自有的5億對(duì)樣本，并新增LIT-CN、DCI-CN等評(píng)測(cè)集，補(bǔ)齊了中文場(chǎng)景長(zhǎng)期缺失的測(cè)試標(biāo)準(zhǔn)。

通過“三層細(xì)粒度對(duì)齊”設(shè)計(jì)，F(xiàn)ineHARD 數(shù)據(jù)集強(qiáng)化了模型對(duì)細(xì)節(jié)、空間與語(yǔ)義的感知力。

第一，在全局層面，每張圖像同時(shí)配有一段約20詞的短文本和一段超過150詞的長(zhǎng)文本，既概述場(chǎng)景核心語(yǔ)義，又補(bǔ)充物體屬性和空間關(guān)系，讓模型在宏觀理解的同時(shí)具備細(xì)節(jié)記憶。

第二，在局部層面，數(shù)據(jù)集基于開放世界目標(biāo)檢測(cè)（OVD）模型提取對(duì)象位置，并為4000萬個(gè)區(qū)域生成對(duì)應(yīng)描述，使模型在訓(xùn)練中真正“聚焦”圖像內(nèi)部的局部差異。

第三，在樣本層面，團(tuán)隊(duì)利用大語(yǔ)言模型構(gòu)造并清洗出1000萬組“細(xì)粒度難負(fù)樣本”，這些語(yǔ)義極近卻存在細(xì)微差別的數(shù)據(jù)，迫使模型在像素級(jí)做出辨別，顯著提升了魯棒性與辨析力。

其次，有了高質(zhì)量的數(shù)據(jù)，還需要相應(yīng)的訓(xùn)練方法來釋放其潛力。FG-CLIP2采用了一種“先全局，后局部”的兩階段訓(xùn)練策略。

第一階段是預(yù)訓(xùn)練，目標(biāo)是實(shí)現(xiàn)初步的圖文語(yǔ)義對(duì)齊。在這個(gè)階段，模型采用與CLIP類似的整體信息對(duì)齊策略，但區(qū)別在于，除了互聯(lián)網(wǎng)上常見的短文本，360還為每張圖像增加了包含詳細(xì)細(xì)節(jié)描述的“長(zhǎng)文本”。通過在數(shù)據(jù)層面引入更豐富的語(yǔ)義信息，為第二階段的細(xì)粒度對(duì)齊打下了堅(jiān)實(shí)基礎(chǔ)。

第二階段是關(guān)鍵的細(xì)粒度對(duì)齊訓(xùn)練。在這個(gè)階段，訓(xùn)練策略不再采用CLIP的整體對(duì)齊方式。取而代之的是“圖像局部信息與文本局部信息對(duì)齊”的策略。這一步是FG-CLIP2能夠?qū)崿F(xiàn)圖文細(xì)粒度理解的核心方法，它來源于360在開放世界目標(biāo)檢測(cè)（OVD）和多模態(tài)大模型（LMM）研究中的技術(shù)積累，讓模型真正學(xué)會(huì)了將文本中的具體描述與圖像中的相應(yīng)區(qū)域建立精確映射。

這套復(fù)雜的訓(xùn)練，運(yùn)行在一個(gè)為工業(yè)落地量身定制的架構(gòu)之上。FG-CLIP2沿用了顯式雙塔結(jié)構(gòu)，圖像和文本特征可以被預(yù)先計(jì)算和緩存，確保了在廣告檢索等高并發(fā)場(chǎng)景下毫秒級(jí)的響應(yīng)速度。同時(shí)，動(dòng)態(tài)分辨率機(jī)制讓模型能自適應(yīng)處理不同尺寸的輸入，避免信息丟失，保證了訓(xùn)練與推理行為的一致性。

最后在語(yǔ)言層面，該模型在底層實(shí)現(xiàn)了中英語(yǔ)料的原生并行訓(xùn)練，而非后期疊加翻譯模塊。這種原生雙語(yǔ)設(shè)計(jì)，使得FG-CLIP2成為首個(gè)在中英文任務(wù)上同時(shí)達(dá)到全球最優(yōu)水平的視覺語(yǔ)言模型。

如今，這一模型已通過360人工智能研究院開放接口，以API加MCP形式服務(wù)開發(fā)者。這項(xiàng)底層創(chuàng)新得以延伸到更多行業(yè)與應(yīng)用中，成為產(chǎn)業(yè)智能化新的起點(diǎn)。

3.AI“看細(xì)”，產(chǎn)業(yè)“看遠(yuǎn)”

在AI的多模態(tài)世界里，F(xiàn)G-CLIP2扮演的角色是整個(gè)智能系統(tǒng)的起點(diǎn)，一個(gè)讓語(yǔ)言、視覺與空間三種信息融合的通用視覺理解接口。

它的技術(shù)價(jià)值在于，首次在模型底層實(shí)現(xiàn)了局部細(xì)粒度識(shí)別與原生雙語(yǔ)對(duì)齊的統(tǒng)一，使機(jī)器能夠同時(shí)感知像素級(jí)的細(xì)節(jié)、空間層次與語(yǔ)義邏輯。

在360人工智能研究院的多模態(tài)體系中，視覺語(yǔ)言模型（VLM）、多模態(tài)大語(yǔ)言模型（LMM）、AIGC生成模型與開放世界目標(biāo)檢測(cè)（OVD），構(gòu)成了一個(gè)從看懂世界、到生成世界、再到理解空間的完整閉環(huán)。FG-CLIP2正是這個(gè)體系的起點(diǎn)，為上層模型提供精準(zhǔn)的視覺語(yǔ)義支撐。

在電商領(lǐng)域，這種對(duì)細(xì)節(jié)和邏輯的精準(zhǔn)復(fù)現(xiàn)能力，成為了絕佳的試金石。FG-CLIP2讓“以文搜圖”的精度進(jìn)入新階段。它能理解諸如“穿紅裙、提白包、站在櫥窗前的女性”這類復(fù)雜描述，并將其分解為顏色、姿態(tài)、背景位置等局部特征，再與商品圖像逐一匹配。相比傳統(tǒng)CLIP只能識(shí)別“女性加裙子”的全局語(yǔ)義，F(xiàn)G-CLIP2在召回率和準(zhǔn)確率上都有顯著提升。

對(duì)于跨語(yǔ)種平臺(tái)，它還能在中英文語(yǔ)料中保持一致語(yǔ)義理解，一次訓(xùn)練覆蓋全球主要市場(chǎng)，顯著降低多語(yǔ)言標(biāo)注和適配成本。未來，它將在廣告素材管理、直播選品、用戶行為預(yù)測(cè)等場(chǎng)景中延伸，讓視覺智能成為電商生態(tài)的底層能力。

更進(jìn)一步，這種深刻的視覺理解能力，是讓機(jī)器人在物理世界中實(shí)現(xiàn)智能行動(dòng)的前提，這正是具身智能的核心。在這里，F(xiàn)G-CLIP2的細(xì)粒度視覺理解能力發(fā)揮了空間智能的價(jià)值。機(jī)器人可以通過自然語(yǔ)言指令執(zhí)行精準(zhǔn)操作，例如識(shí)別“桌上紅色的杯子”與“柜子里藍(lán)色的盒子”的區(qū)別，或區(qū)分“打開的抽屜”和“關(guān)著的抽屜”。模型不再只是識(shí)別單個(gè)物體，而是理解了執(zhí)行動(dòng)作所必需的方位關(guān)系、遮擋結(jié)構(gòu)和交互狀態(tài)。 這種空間語(yǔ)義的建立，為機(jī)器人、自動(dòng)駕駛和工業(yè)檢測(cè)等應(yīng)用提供了可靠的視覺基礎(chǔ)。

甲子光年智庫(kù)在報(bào)告中指出，具身智能的核心在于感知到執(zhí)行的協(xié)同，而視覺模型是關(guān)鍵起點(diǎn)。因此，像FG-CLIP2這樣的細(xì)粒度視覺語(yǔ)言模型，為機(jī)器人提供可擴(kuò)展的感知能力，使其在真實(shí)環(huán)境中看懂任務(wù)、理解語(yǔ)義并完成動(dòng)作。

FG-CLIP2的細(xì)粒度理解能力還在多個(gè)領(lǐng)域展現(xiàn)潛力。在AIGC內(nèi)容生成中，它可作為控制信號(hào)，確保生成畫面與文本提示在細(xì)節(jié)上高度一致，例如在廣告圖像生成中精準(zhǔn)定位品牌Logo和產(chǎn)品顏色。在內(nèi)容審核與安防監(jiān)控中，它能跨語(yǔ)言識(shí)別局部違規(guī)元素，如特定人物、標(biāo)志或隱喻性組合，支持“尋找背著黑色雙肩包的男子”這類自然語(yǔ)言檢索。

目前FG-CLIP2已在360集團(tuán)的多個(gè)核心業(yè)務(wù)中落地，包括廣告圖像匹配、IoT攝像機(jī)場(chǎng)景識(shí)別與360云盤圖片搜索。模型在高并發(fā)場(chǎng)景下穩(wěn)定運(yùn)行，延遲可控在毫秒級(jí)，驗(yàn)證了其在真實(shí)商業(yè)環(huán)境中的工程可靠性。

4.非共識(shí)的AI發(fā)展哲學(xué)

FG-CLIP2的成功，讓外界好奇，為什么是一家以“安全”著稱的互聯(lián)網(wǎng)公司，能在視覺理解這個(gè)基礎(chǔ)領(lǐng)域取得了突破？答案在于一種長(zhǎng)期存在于360內(nèi)部，卻與當(dāng)前AI發(fā)展階段高度契合的非共識(shí)哲學(xué)。

這種哲學(xué)源自其技術(shù)成長(zhǎng)的起點(diǎn)。安全業(yè)務(wù)工程師的工作，不僅是確保系統(tǒng)基本正常運(yùn)行，更要找到那1%可能摧毀一切的漏洞。當(dāng)這種思維被應(yīng)用于訓(xùn)練AI時(shí)，天然地就會(huì)讓他們更關(guān)注那些讓模型出錯(cuò)的“難負(fù)樣本”，追求模型的魯棒性和可靠性，而非僅僅是平均表現(xiàn)。這是一種從安全時(shí)代繼承而來的反脆弱基因。

正是基于這種基因，360很早就做出了前瞻性的戰(zhàn)略布局。當(dāng)行業(yè)大部分注意力還集中在AI生成的顯性成果上時(shí)，360已在思考更深的一層：如果沒有足夠穩(wěn)固的底層模型，這些絢爛的應(yīng)用或?qū)㈦y以持續(xù)。

從2021年起，360人工智能研究院就開始系統(tǒng)化地布局多模態(tài)研究，提出視覺、文本與空間三維并進(jìn)的路線。其成果并非一次性的“秀肌肉”，而是持續(xù)、可驗(yàn)證的產(chǎn)出：過去三年，團(tuán)隊(duì)在ICML、NeurIPS、ICCV等頂級(jí)會(huì)議發(fā)表論文12篇，并在多項(xiàng)國(guó)際AI競(jìng)賽中奪冠。

當(dāng)2025年諾貝爾獎(jiǎng)再度聚焦基礎(chǔ)學(xué)科，它也照亮了AI發(fā)展的本質(zhì)：基礎(chǔ)模型決定未來高度。當(dāng)整個(gè)行業(yè)都在追逐“更快、更強(qiáng)、更通用”的明線時(shí)，360在“更穩(wěn)、更準(zhǔn)、更可靠”的暗線上持續(xù)投入。直到今天，當(dāng)AI落地的需求讓可靠性進(jìn)入聚光燈下，這條暗線才終于顯現(xiàn)出它的價(jià)值。

人工智能的發(fā)展，正從探索創(chuàng)造能力的邊界，回歸到提升理解現(xiàn)實(shí)的精度。FG-CLIP2的出現(xiàn)，不僅是某個(gè)公司在技術(shù)排行榜上的一次登頂，更是行業(yè)發(fā)展邏輯的一次重要提醒：在賦予機(jī)器強(qiáng)大的生成能力之前，必須先為其建立一個(gè)可靠的感知基礎(chǔ)。

看清世界的勇氣，與創(chuàng)造世界的想象力同樣珍貴。

（文中圖片來源：360人工智能研究院 封面圖由AI生成）