點擊下方“JavaEdge”，選擇“設(shè)為星標”

第一時間關(guān)注技術(shù)干貨！

免責聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

前言

OpenSearch 軟件基金會，致力于搜索、分析、可觀測性和向量數(shù)據(jù)庫軟件的發(fā)展。由 Linux 基金會托管，得到 AWS、SAP 和 Uber 等核心成員的支持，攜手社區(qū)維護者、開發(fā)者及會員組織，共同推動 OpenSearch 項目的持續(xù)發(fā)展。

最新版進一步加強開放、可擴展、社區(qū)驅(qū)動的搜索與分析平臺，助力可持續(xù)創(chuàng)新。就在上個月OpenSearch 3.0 正式發(fā)布。相比 OpenSearch 1.3 性能提升高達 9.5 倍，而此前的基準測試數(shù)據(jù)顯示，早期版本的 OpenSearch 比業(yè)內(nèi)最接近的競爭產(chǎn)品快 1.6 倍。

如今的 AI 應(yīng)用——如生成式 AI、混合搜索、RAG和推薦引擎——都高度依賴向量數(shù)據(jù)庫來在龐大復(fù)雜的數(shù)據(jù)集中尋找模式。然而，隨著向量數(shù)量激增至數(shù)十億，許多組織在速度、成本和擴展性方面面臨挑戰(zhàn)。Forrester 強調(diào)，傳統(tǒng)數(shù)據(jù)庫已無法滿足生成式 AI 的增長需求，因為它們在支持現(xiàn)代向量多維數(shù)據(jù)和執(zhí)行相似度搜索方面存在局限。

OpenSearch 3.0 正是為了解決這一挑戰(zhàn)，通過新增的數(shù)據(jù)管理、AI 代理和向量搜索功能，幫助用戶提升效率、實現(xiàn)更優(yōu)性能并加快 AI 應(yīng)用的開發(fā)。同時，引入如 GPU 加速等功能，還能將成本降低達 3.75 倍。

“隨著 AI 的快速發(fā)展，企業(yè)搜索市場正迅速增長，預(yù)計到 2030 年將達到 89 億美元，”O(jiān)penSearch 軟件基金會理事會主席、亞馬遜云科技（AWS）產(chǎn)品管理總監(jiān) Carl Meadows 表示?！癘penSearch 3.0 是我們?yōu)樯鐓^(qū)提供一個開放、可擴展平臺的重要一步，旨在推動搜索與分析的未來發(fā)展。這也體現(xiàn)了我們對開放協(xié)作與創(chuàng)新的承諾，推動實際影響?！?/p>

向量引擎創(chuàng)新：提升處理速度與效率

為支撐其大規(guī)模搜索平臺和海量向量數(shù)據(jù)管理，OpenSearch 引入了基于 GPU 的加速，利用 NVIDIA cuVS 提高索引效率。全新向量引擎功能包括：

• GPU 加速向量引擎：為大規(guī)模向量工作負載提供更優(yōu)性能，同時顯著降低運營成本，縮短索引構(gòu)建時間。該實驗性功能通過部署 GPU，可將索引構(gòu)建速度提升至原來的 9.3 倍，加速數(shù)據(jù)密集型任務(wù)。

• 模型上下文協(xié)議（MCP）支持：原生支持 MCP 協(xié)議，使 AI 代理能更便捷地與 OpenSearch 交互，實現(xiàn)更全面、可定制的 AI 解決方案。

• 派生數(shù)據(jù)源：通過去除冗余的向量數(shù)據(jù)源、僅利用主數(shù)據(jù)在需要時重建源文檔，用于重新索引或調(diào)用原始數(shù)據(jù)，從而降低三分之一的存儲消耗。

OpenSearch 3.0 在數(shù)據(jù)的攝取、傳輸與管理方面取得重大進展，包括：

• 支持 gRPC 協(xié)議：實驗性功能，為 OpenSearch 部署帶來更快速、高效的數(shù)據(jù)傳輸與處理。實現(xiàn)客戶端、服務(wù)端及節(jié)點間更高效的通信機制。

• 基于拉取的數(shù)據(jù)攝取方式：實驗性功能，通過將數(shù)據(jù)源與數(shù)據(jù)消費者解耦，增強數(shù)據(jù)攝取效率，讓 OpenSearch 對數(shù)據(jù)流的獲取擁有更多控制權(quán)。支持從 Apache Kafka、Amazon Kinesis 等流處理系統(tǒng)中拉取數(shù)據(jù)。

• 讀寫分離：通過將索引和搜索工作負載分別配置，確保兩者在高效狀態(tài)下獨立運行，避免彼此影響，提升整體系統(tǒng)性能。

• 集成 Apache Calcite：將查詢構(gòu)建器集成進 OpenSearch SQL 和 PPL，簡化安全、可觀測性與日志分析的使用場景，支持更直觀、迭代式的查詢構(gòu)建。

• 索引類型檢測：可自動識別索引是否包含日志相關(guān)數(shù)據(jù)，加快日志分析功能的應(yīng)用配置，提高生產(chǎn)力。

讓 OpenSearch 的搜索與分析平臺更具前瞻性。

平臺在搜索基礎(chǔ)設(shè)施方面的優(yōu)化——如移除舊代碼、采用模塊化架構(gòu)、對齊最新 Java 標準——進一步增強了維護性、性能潛力與效率。關(guān)鍵更新包括：

• 升級至 Lucene 10：現(xiàn)代化搜索基礎(chǔ)設(shè)施，提升索引與搜索能力，提高并行任務(wù)執(zhí)行性能，為長期創(chuàng)新打下基礎(chǔ)。

• 最低支持 Java 21 運行時：利用現(xiàn)代語言特性與性能改進。

• 支持 Java 平臺模塊系統(tǒng)：改善組織結(jié)構(gòu)，移除頂級包沖突，為將單體服務(wù)器模塊重構(gòu)為可拆分庫奠定基礎(chǔ)。

OpenSearch 3.0 現(xiàn)已正式發(fā)布。請查看官方發(fā)布博客獲取更多信息，以及完整發(fā)布說明。

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)百萬級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

加我好友，一起AI探索交流！