說(shuō)到圖文檢索，大家可能覺(jué)得這是個(gè)很高深的技術(shù)名詞，但其實(shí)它就在我們身邊。當(dāng)你在購(gòu)物網(wǎng)站上傳一張衣服照片，然后說(shuō)"我想要類似的但是紅色的"，或者在搜索引擎里上傳一張風(fēng)景圖片問(wèn)"這是哪里"，背后用的就是多模態(tài)檢索技術(shù)。這項(xiàng)由北京郵電大學(xué)、北京人工智能研究院、中科大、上海交大和香港理工大學(xué)等多家頂級(jí)院校聯(lián)合完成的研究，于2024年12月19日在arXiv平臺(tái)發(fā)表（論文編號(hào)：arXiv:2412.14475v1），為這個(gè)領(lǐng)域帶來(lái)了革命性的突破。

研究團(tuán)隊(duì)面臨的問(wèn)題就像是要培養(yǎng)一個(gè)"萬(wàn)能導(dǎo)購(gòu)員"?，F(xiàn)在的AI模型就像專業(yè)導(dǎo)購(gòu)員，雖然在各自擅長(zhǎng)的領(lǐng)域表現(xiàn)不錯(cuò)，比如服裝導(dǎo)購(gòu)員很懂衣服，電子產(chǎn)品導(dǎo)購(gòu)員很懂?dāng)?shù)碼產(chǎn)品，但如果讓服裝導(dǎo)購(gòu)去賣家具，或者讓電子產(chǎn)品導(dǎo)購(gòu)去推薦化妝品，他們就不太行了。而研究團(tuán)隊(duì)的目標(biāo)是訓(xùn)練出一個(gè)"全能導(dǎo)購(gòu)員"，無(wú)論客戶拿著什么商品照片，提出什么樣的需求，都能準(zhǔn)確理解并找到最合適的推薦。

更大的挑戰(zhàn)在于，現(xiàn)有的訓(xùn)練這種"萬(wàn)能導(dǎo)購(gòu)員"的教材實(shí)在太少了。就好比你要教一個(gè)人成為全能導(dǎo)購(gòu)，但手頭只有幾本薄薄的產(chǎn)品手冊(cè)，遠(yuǎn)遠(yuǎn)不夠。而這次研究的最大突破，就是創(chuàng)造了一套全新的"教材制作方法"，并且用這種方法生成了超過(guò)2600萬(wàn)條高質(zhì)量的訓(xùn)練數(shù)據(jù)，相當(dāng)于制作了一套超級(jí)豐富的百科全書(shū)級(jí)教材。

一、革命性的數(shù)據(jù)制作工廠：MegaPairs方法

研究團(tuán)隊(duì)設(shè)計(jì)的MegaPairs方法就像一座高度自動(dòng)化的數(shù)據(jù)制作工廠。傳統(tǒng)的數(shù)據(jù)收集方式就像手工制作糖果，效率低、成本高、質(zhì)量還不穩(wěn)定。而MegaPairs就像現(xiàn)代化的糖果生產(chǎn)線，不僅效率高，質(zhì)量還特別穩(wěn)定。

這個(gè)"數(shù)據(jù)工廠"的工作原理非常巧妙。首先，它從互聯(lián)網(wǎng)上收集了大量的圖片，就像收集各種各樣的原材料。然后，它使用三種不同的"篩選機(jī)器"來(lái)找出相關(guān)的圖片對(duì)。第一種機(jī)器專門(mén)尋找"視覺(jué)-語(yǔ)義相關(guān)"的圖片，比如同一輛汽車的不同角度照片；第二種機(jī)器專門(mén)尋找"視覺(jué)-模式相關(guān)"的圖片，比如不同汽車但背景相似的照片；第三種機(jī)器專門(mén)尋找"文本相關(guān)"的圖片，比如圖片說(shuō)明文字相似的照片。

找到相關(guān)圖片對(duì)之后，工廠會(huì)啟動(dòng)兩道"加工工序"。第一道工序使用多模態(tài)大語(yǔ)言模型（相當(dāng)于一個(gè)很懂圖像的智能助手）來(lái)分析兩張圖片之間的關(guān)系，詳細(xì)描述它們的共同點(diǎn)和差異。第二道工序則使用普通的大語(yǔ)言模型（相當(dāng)于一個(gè)很會(huì)寫(xiě)作的助手）將這些描述轉(zhuǎn)換成自然的檢索指令。

這種方法的妙處在于完全不需要人工標(biāo)注。傳統(tǒng)方法就像雇傭大量工人手工制作標(biāo)簽，成本高昂且容易出錯(cuò)。而MegaPairs就像一條全自動(dòng)生產(chǎn)線，只需要投入原材料（開(kāi)源圖片數(shù)據(jù)），就能產(chǎn)出高質(zhì)量的成品（標(biāo)注好的訓(xùn)練數(shù)據(jù)）。更重要的是，這條生產(chǎn)線可以無(wú)限擴(kuò)大規(guī)模，理論上可以處理任意數(shù)量的圖片數(shù)據(jù)。

研究團(tuán)隊(duì)使用這種方法處理了來(lái)自RecapDataComp-1B數(shù)據(jù)集的2000萬(wàn)張圖片，最終生成了26,235,105個(gè)高質(zhì)量的訓(xùn)練樣本。為了保證質(zhì)量，他們還設(shè)置了嚴(yán)格的質(zhì)量控制標(biāo)準(zhǔn)，過(guò)濾掉相似度過(guò)低或過(guò)高的圖片對(duì)，確保每個(gè)訓(xùn)練樣本都有足夠的學(xué)習(xí)價(jià)值。

二、全能檢索模型：MMRet的設(shè)計(jì)理念

基于這些海量高質(zhì)量數(shù)據(jù)，研究團(tuán)隊(duì)開(kāi)發(fā)了MMRet（Massive Multimodal Retrieval）系列模型。這就像用最好的食材和最精湛的工藝制作出的美食，自然比普通食材隨便烹飪的效果要好得多。

MMRet采用了兩種不同的架構(gòu)設(shè)計(jì)，就像同一道菜的兩種不同做法。第一種是基于CLIP的雙編碼器架構(gòu)，這種設(shè)計(jì)就像左右手分工協(xié)作，左手專門(mén)處理圖像，右手專門(mén)處理文本，最后將兩只手的工作成果相加。這種方法的優(yōu)點(diǎn)是計(jì)算效率高，適合大規(guī)模應(yīng)用。

第二種是基于多模態(tài)大語(yǔ)言模型的架構(gòu)，這種設(shè)計(jì)更像一個(gè)多才多藝的全能選手，能夠同時(shí)處理圖像和文本信息，并且理解它們之間復(fù)雜的關(guān)系。雖然計(jì)算成本更高，但理解能力也更強(qiáng)，特別適合處理復(fù)雜的多模態(tài)查詢。

無(wú)論采用哪種架構(gòu)，MMRet都使用了一種叫做"對(duì)比學(xué)習(xí)"的訓(xùn)練方法。這種方法就像教小孩認(rèn)識(shí)不同動(dòng)物，不是簡(jiǎn)單地告訴他們"這是貓"，而是同時(shí)展示貓、狗、兔子的照片，讓他們學(xué)會(huì)區(qū)分"貓和狗的區(qū)別是什么"、"貓和兔子哪里不同"。通過(guò)這種對(duì)比學(xué)習(xí)，模型能夠更好地理解不同圖像和文本之間的細(xì)微差別。

訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)還特別注重"硬負(fù)樣本"的使用。這就像在學(xué)習(xí)過(guò)程中故意增加一些容易混淆的例子，比如在學(xué)習(xí)區(qū)分貓和狗時(shí)，特意加入一些長(zhǎng)毛狗的照片，這樣模型就能學(xué)會(huì)更精確的判斷標(biāo)準(zhǔn)。實(shí)驗(yàn)證明，這種策略顯著提升了模型的檢索準(zhǔn)確性。

三、令人矚目的實(shí)驗(yàn)成果

研究團(tuán)隊(duì)進(jìn)行了大量實(shí)驗(yàn)來(lái)驗(yàn)證MMRet的性能，結(jié)果可以說(shuō)是令人印象深刻。在零樣本組合圖像檢索任務(wù)中，也就是模型從未見(jiàn)過(guò)這些具體任務(wù)但需要立即上手工作的情況下，MMRet在四個(gè)主流基準(zhǔn)測(cè)試中都取得了最佳成績(jī)。

最引人注目的是數(shù)據(jù)質(zhì)量的對(duì)比實(shí)驗(yàn)。研究團(tuán)隊(duì)發(fā)現(xiàn)，僅使用50萬(wàn)條MegaPairs數(shù)據(jù)訓(xùn)練的模型，性能就超過(guò)了使用3670萬(wàn)條MagicLens數(shù)據(jù)（之前的最佳數(shù)據(jù)集）訓(xùn)練的模型。這相當(dāng)于用70倍少的數(shù)據(jù)達(dá)到了更好的效果，充分證明了MegaPairs數(shù)據(jù)的高質(zhì)量。

在CIRCO基準(zhǔn)測(cè)試中，MMRet-MLLM模型達(dá)到了42.2%的mAP@5指標(biāo)，比之前最好的結(jié)果提升了8.1%。在CIRR測(cè)試中，模型在R@1指標(biāo)上達(dá)到了46.7%，Rs@1指標(biāo)達(dá)到了75.4%，都顯著超越了現(xiàn)有最佳方法。在GeneCIS測(cè)試中，模型的Rs@1指標(biāo)達(dá)到了21.1%，同樣創(chuàng)造了新紀(jì)錄。

更令人印象深刻的是，即使是最小的MMRet-Base模型，也能超越許多參數(shù)量大幾十倍的競(jìng)爭(zhēng)對(duì)手。這就像一個(gè)身材嬌小但訓(xùn)練有素的運(yùn)動(dòng)員，能夠擊敗許多比自己高大但訓(xùn)練不夠的對(duì)手，再次證明了高質(zhì)量數(shù)據(jù)和精心設(shè)計(jì)訓(xùn)練方法的重要性。

在更廣泛的多模態(tài)嵌入基準(zhǔn)測(cè)試MMEB上，MMRet同樣表現(xiàn)出色。這個(gè)基準(zhǔn)包含36個(gè)不同的數(shù)據(jù)集，涵蓋分類、視覺(jué)問(wèn)答、檢索和視覺(jué)定位四大類任務(wù)。MMRet-MLLM在零樣本設(shè)置下獲得了44.0%的綜合得分，超越了所有競(jìng)爭(zhēng)對(duì)手。特別值得一提的是，與同樣基于LLaVA-1.6架構(gòu)的E5-V模型相比，MMRet的表現(xiàn)大幅領(lǐng)先，證明了MegaPairs數(shù)據(jù)的訓(xùn)練價(jià)值。

四、深度分析：為什么MegaPairs如此有效

研究團(tuán)隊(duì)還深入分析了MegaPairs方法成功的關(guān)鍵因素。首先是多樣化的圖像對(duì)挖掘策略。使用三種不同的相似性模型就像從三個(gè)不同角度觀察同一個(gè)物體，能夠捕捉到更豐富、更全面的圖像關(guān)系。

單獨(dú)使用任何一種相似性模型的效果都不如三種模型組合使用。這就像做菜時(shí)單一調(diào)料往往味道單調(diào)，而多種調(diào)料搭配使用才能調(diào)出豐富的口感。研究表明，基于文本相似性的圖像對(duì)在零樣本測(cè)試中效果最好，而多種策略組合則在所有測(cè)試中都表現(xiàn)最穩(wěn)定。

硬負(fù)樣本的作用也不容忽視。在訓(xùn)練過(guò)程中，每個(gè)圖像對(duì)都會(huì)配備多個(gè)"干擾項(xiàng)"，這些干擾項(xiàng)與正確答案有一定相似性，但又不完全相同。這種訓(xùn)練方式迫使模型學(xué)會(huì)更精確的判斷標(biāo)準(zhǔn)，就像在嘈雜環(huán)境中訓(xùn)練聽(tīng)力，最終在安靜環(huán)境中的表現(xiàn)會(huì)更好。

數(shù)據(jù)規(guī)模的影響同樣顯著。實(shí)驗(yàn)表明，隨著訓(xùn)練數(shù)據(jù)量的增加，模型性能呈現(xiàn)穩(wěn)定的上升趨勢(shì)，這意味著MegaPairs方法具有良好的可擴(kuò)展性。只要有足夠的計(jì)算資源和原始圖像數(shù)據(jù)，就可以生成更多高質(zhì)量訓(xùn)練樣本，進(jìn)一步提升模型性能。

五、技術(shù)創(chuàng)新的深層價(jià)值

這項(xiàng)研究的價(jià)值不僅在于創(chuàng)造了新的性能記錄，更在于提出了一套可持續(xù)、可擴(kuò)展的數(shù)據(jù)生成方法論。傳統(tǒng)的數(shù)據(jù)標(biāo)注方法就像手工藝品制作，雖然精美但難以大規(guī)模生產(chǎn)。而MegaPairs方法就像工業(yè)化生產(chǎn)線，不僅效率高，還能保證穩(wěn)定的質(zhì)量。

從技術(shù)角度來(lái)看，這種方法解決了多模態(tài)檢索領(lǐng)域長(zhǎng)期存在的數(shù)據(jù)瓶頸問(wèn)題。以往研究者們就像巧婦難為無(wú)米之炊，有好的模型架構(gòu)和訓(xùn)練方法，但缺乏足夠的高質(zhì)量數(shù)據(jù)。MegaPairs方法提供了一種"造米"的方法，讓研究者們可以根據(jù)需要生成所需的訓(xùn)練數(shù)據(jù)。

更重要的是，整個(gè)方法完全基于開(kāi)源模型和公開(kāi)數(shù)據(jù)，這意味著任何研究機(jī)構(gòu)都可以復(fù)現(xiàn)和使用這套方法。這就像公開(kāi)了一道美食的完整制作方法，而不是藏著掖著只讓少數(shù)人掌握。這種開(kāi)放性對(duì)整個(gè)學(xué)術(shù)界和產(chǎn)業(yè)界都有巨大的推動(dòng)作用。

從應(yīng)用前景來(lái)看，MMRet模型的通用性為實(shí)際應(yīng)用提供了更多可能性。無(wú)論是電商平臺(tái)的商品推薦、搜索引擎的圖像檢索、社交媒體的內(nèi)容理解，還是智能助手的多模態(tài)交互，都可能從這項(xiàng)技術(shù)中受益。

研究團(tuán)隊(duì)還特別強(qiáng)調(diào)了技術(shù)的民主化價(jià)值。通過(guò)開(kāi)源模型和公開(kāi)數(shù)據(jù)，他們降低了多模態(tài)AI技術(shù)的門(mén)檻，讓更多研究者和開(kāi)發(fā)者能夠參與到這個(gè)領(lǐng)域中來(lái)。這種做法就像開(kāi)設(shè)免費(fèi)的技能培訓(xùn)班，讓更多人掌握先進(jìn)技術(shù)，最終推動(dòng)整個(gè)行業(yè)的發(fā)展。

六、實(shí)際應(yīng)用的廣闊前景

MMRet技術(shù)的應(yīng)用前景非常廣闊，幾乎涵蓋了所有涉及圖像和文本交互的場(chǎng)景。在電子商務(wù)領(lǐng)域，用戶可以上傳一張商品圖片，然后用自然語(yǔ)言描述自己想要的變化，比如"顏色換成藍(lán)色"、"樣式更休閑一些"，系統(tǒng)就能準(zhǔn)確找到符合要求的商品。

在內(nèi)容創(chuàng)作和媒體行業(yè)，編輯們可以通過(guò)描述所需圖片的具體要求來(lái)快速找到合適的素材。比如輸入"夕陽(yáng)下的海灘，但要有椰子樹(shù)，氛圍更浪漫一些"，系統(tǒng)就能從海量圖片庫(kù)中找到最匹配的圖像。

對(duì)于教育領(lǐng)域，這項(xiàng)技術(shù)能夠幫助構(gòu)建更智能的學(xué)習(xí)系統(tǒng)。學(xué)生可以上傳課本中的圖表或?qū)嶒?yàn)圖片，然后提出問(wèn)題，系統(tǒng)能夠找到相關(guān)的教學(xué)資源或類似的案例來(lái)幫助學(xué)習(xí)。

在醫(yī)療健康領(lǐng)域，醫(yī)生可以上傳病理圖片或X光片，然后描述特定的癥狀特征，系統(tǒng)能夠從醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中找到相似的病例，為診斷提供參考。當(dāng)然，這類應(yīng)用需要更嚴(yán)格的質(zhì)量控制和專業(yè)驗(yàn)證。

研究團(tuán)隊(duì)還考慮到了技術(shù)的社會(huì)責(zé)任問(wèn)題。他們?cè)谡撐闹忻鞔_表示，所有圖像數(shù)據(jù)都經(jīng)過(guò)了嚴(yán)格的內(nèi)容審查，去除了有害內(nèi)容。同時(shí)，他們強(qiáng)烈不建議使用這項(xiàng)技術(shù)來(lái)檢索或處理敏感內(nèi)容，確保技術(shù)被用于正當(dāng)用途。

七、未來(lái)發(fā)展的無(wú)限可能

這項(xiàng)研究不僅解決了現(xiàn)有問(wèn)題，還為未來(lái)的發(fā)展指明了方向。研究團(tuán)隊(duì)發(fā)現(xiàn)，使用更多樣化的檢索器可以產(chǎn)生更豐富的圖像對(duì)，這意味著還有很大的改進(jìn)空間。比如可以加入更先進(jìn)的文本領(lǐng)域檢索器，或者設(shè)計(jì)全新的圖像-文本聯(lián)合檢索策略。

從技術(shù)演進(jìn)的角度來(lái)看，MegaPairs方法為自動(dòng)化數(shù)據(jù)生成開(kāi)辟了新的道路。隨著大語(yǔ)言模型和多模態(tài)模型的不斷進(jìn)步，這種自動(dòng)化數(shù)據(jù)生成方法的質(zhì)量和效率還將進(jìn)一步提升。這就像工業(yè)革命中機(jī)械化程度不斷提高一樣，AI數(shù)據(jù)生成也正在經(jīng)歷自動(dòng)化程度不斷提升的過(guò)程。

研究團(tuán)隊(duì)已經(jīng)計(jì)劃將整套技術(shù)方案開(kāi)源，包括26百萬(wàn)訓(xùn)練樣本的數(shù)據(jù)集、訓(xùn)練好的多個(gè)模型版本，以及完整的數(shù)據(jù)生成流程。這種開(kāi)放態(tài)度將加速整個(gè)領(lǐng)域的發(fā)展，讓更多研究者能夠基于這些基礎(chǔ)設(shè)施開(kāi)展進(jìn)一步的研究。

對(duì)于普通用戶來(lái)說(shuō)，這項(xiàng)技術(shù)的成熟應(yīng)用還需要一定時(shí)間，但其潛在影響已經(jīng)顯現(xiàn)。未來(lái)的搜索引擎、購(gòu)物平臺(tái)、社交媒體可能都會(huì)變得更加智能，能夠更準(zhǔn)確地理解用戶的復(fù)雜需求，提供更精準(zhǔn)的服務(wù)。

說(shuō)到底，這項(xiàng)由多所頂級(jí)院校聯(lián)合完成的研究，不僅在技術(shù)上取得了突破，更重要的是提供了一種可持續(xù)發(fā)展的研究范式。通過(guò)創(chuàng)新的數(shù)據(jù)生成方法，研究者們可以根據(jù)需要?jiǎng)?chuàng)造訓(xùn)練數(shù)據(jù)，而不再受限于現(xiàn)有數(shù)據(jù)的規(guī)模和質(zhì)量。這種范式轉(zhuǎn)變可能會(huì)影響整個(gè)AI研究領(lǐng)域，就像從手工作坊到工業(yè)化生產(chǎn)的轉(zhuǎn)變一樣，將大大加速AI技術(shù)的發(fā)展和應(yīng)用。

對(duì)于關(guān)注AI技術(shù)發(fā)展的讀者，這項(xiàng)研究展示了開(kāi)源合作的力量。當(dāng)多個(gè)頂級(jí)研究機(jī)構(gòu)聯(lián)合起來(lái)，共享資源和知識(shí)，就能產(chǎn)生遠(yuǎn)超單一機(jī)構(gòu)的研究成果。這也提示我們，未來(lái)的AI發(fā)展可能更多地依賴于開(kāi)放合作，而不是封閉競(jìng)爭(zhēng)。有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過(guò)arXiv:2412.14475v1查詢完整論文。

Q&A

Q1：MegaPairs數(shù)據(jù)生成方法和傳統(tǒng)的人工標(biāo)注相比有什么優(yōu)勢(shì)？

A：MegaPairs最大的優(yōu)勢(shì)是完全自動(dòng)化和可擴(kuò)展性。傳統(tǒng)人工標(biāo)注就像手工制作，成本高、效率低、質(zhì)量不穩(wěn)定，而且很難大規(guī)模進(jìn)行。MegaPairs就像自動(dòng)化生產(chǎn)線，只需要投入原始圖片數(shù)據(jù)，就能產(chǎn)出高質(zhì)量的訓(xùn)練樣本，而且可以無(wú)限擴(kuò)大規(guī)模。研究表明，僅用50萬(wàn)條MegaPairs數(shù)據(jù)就能超越用3670萬(wàn)條傳統(tǒng)數(shù)據(jù)訓(xùn)練的模型效果。

Q2：MMRet模型在實(shí)際應(yīng)用中能解決什么問(wèn)題？

A：MMRet可以解決幾乎所有涉及圖像和文本交互的檢索問(wèn)題。比如在購(gòu)物網(wǎng)站上傳衣服照片說(shuō)"要類似的但紅色的"，在圖庫(kù)中用"夕陽(yáng)海灘配椰子樹(shù)"這樣的描述找圖片，或者在學(xué)習(xí)時(shí)上傳課本圖表提問(wèn)找相關(guān)資料。本質(zhì)上，它就像一個(gè)全能的智能助手，能理解你的圖片和文字需求，然后精準(zhǔn)找到你想要的內(nèi)容。

Q3：這項(xiàng)技術(shù)什么時(shí)候能在日常生活中普及使用？

A：研究團(tuán)隊(duì)已經(jīng)計(jì)劃開(kāi)源所有技術(shù)方案和模型，這將加速技術(shù)的產(chǎn)業(yè)化應(yīng)用。目前一些大型科技公司的搜索引擎和購(gòu)物平臺(tái)可能已經(jīng)在測(cè)試類似技術(shù)。預(yù)計(jì)在未來(lái)1-2年內(nèi)，普通用戶就能在主流互聯(lián)網(wǎng)服務(wù)中體驗(yàn)到這種智能檢索功能，比如更聰明的圖片搜索、更精準(zhǔn)的商品推薦等。