內(nèi)容感知存儲(chǔ)（CAS）代表著傳統(tǒng)存儲(chǔ)系統(tǒng)的一種全新增值范式。CAS將存儲(chǔ)解決方案與新型AI工作負(fù)載的需求緊密對(duì)齊，其核心在于將數(shù)據(jù)處理功能下推至存儲(chǔ)層。具體而言，CAS利用基于大語(yǔ)言模型的嵌入模型在存儲(chǔ)系統(tǒng)內(nèi)部完成文檔向量化——這一過(guò)程通常在存儲(chǔ)系統(tǒng)之外執(zhí)行——從而為檢索增強(qiáng)生成（RAG）流水線提供支撐。

借助CAS方案，IBM讓企業(yè)能夠在統(tǒng)一的數(shù)據(jù)存儲(chǔ)環(huán)境下更快速、更便捷、更安全地執(zhí)行RAG操作。這一新范式是IBM戰(zhàn)略愿景的核心組成部分，旨在將AI能力直接集成到企業(yè)級(jí)存儲(chǔ)系統(tǒng)中，使企業(yè)無(wú)需擴(kuò)張昂貴的基礎(chǔ)設(shè)施，即可從自有資產(chǎn)中挖掘出尚未被充分利用的價(jià)值。IBM存儲(chǔ)總經(jīng)理Sam Werner表示："企業(yè)可以從存儲(chǔ)系統(tǒng)中的所有文檔里獲取前所未有的洞察。這真正開(kāi)啟了利用AI技術(shù)驅(qū)動(dòng)業(yè)務(wù)成果的新篇章。"

CAS解決方案的核心是向量數(shù)據(jù)庫(kù)。向量數(shù)據(jù)庫(kù)專(zhuān)為加速數(shù)據(jù)的語(yǔ)義搜索而設(shè)計(jì)，能夠快速找到與AI應(yīng)用相關(guān)的文檔。IBM研究院與三星及英偉達(dá)攜手合作，成功將原型平臺(tái)擴(kuò)展至在單臺(tái)服務(wù)器上支持千億級(jí)向量，同時(shí)在不超過(guò)700毫秒的查詢延遲下，保持超過(guò)90%的召回精度。

RAG為企業(yè)級(jí)AI應(yīng)用賦能

RAG正迅速成為企業(yè)利用AI從專(zhuān)有文檔中提取價(jià)值的主流技術(shù)。其基本思路是：大語(yǔ)言模型通過(guò)將用戶數(shù)據(jù)或特定領(lǐng)域信息注入提示詞（上下文），從而提供個(gè)性化的精準(zhǔn)答案。

RAG的主要優(yōu)勢(shì)在于以較低成本實(shí)現(xiàn)高精度輸出，無(wú)需昂貴且耗時(shí)的微調(diào)即可生成更準(zhǔn)確的結(jié)果。RAG包含四大核心要素：數(shù)據(jù)攝取流水線、向量數(shù)據(jù)庫(kù)、存儲(chǔ)系統(tǒng)以及AI加速器。數(shù)據(jù)攝取流水線借助AI模型和AI加速器，將企業(yè)文檔轉(zhuǎn)化為語(yǔ)義表示（即向量）。在此過(guò)程中，系統(tǒng)首先從PDF、PPT等文檔中提取文本并切分為若干片段，隨后由嵌入模型將這些片段轉(zhuǎn)換為向量并存入向量數(shù)據(jù)庫(kù)。

向量數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)進(jìn)行有序組織，以便在RAG搜索過(guò)程中執(zhí)行近似最近鄰（ANN）搜索，從而找到語(yǔ)義相似的片段。檢索時(shí)，用戶查詢會(huì)通過(guò)與文檔向量化相同的嵌入模型轉(zhuǎn)換為向量，再由向量數(shù)據(jù)庫(kù)依據(jù)某種向量距離度量（如余弦相似度或L2距離）識(shí)別相鄰向量。最相關(guān)向量所對(duì)應(yīng)的文本片段隨后作為提示詞的一部分傳遞給大語(yǔ)言模型。這一機(jī)制確保了輸出內(nèi)容植根于企業(yè)特定知識(shí)，有效降低了幻覺(jué)現(xiàn)象的發(fā)生，并提升了AI輸出結(jié)果的可信度。

千億級(jí)向量的規(guī)模挑戰(zhàn)

當(dāng)今企業(yè)級(jí)存儲(chǔ)系統(tǒng)支持PB級(jí)容量，存儲(chǔ)著數(shù)十億個(gè)文件。在CAS的應(yīng)用場(chǎng)景下，每個(gè)文件可能對(duì)應(yīng)數(shù)百個(gè)向量，匯總起來(lái)可輕易達(dá)到數(shù)千億的規(guī)模，這些向量最終都需要由CAS向量數(shù)據(jù)庫(kù)統(tǒng)一存儲(chǔ)與管理。

IBM存儲(chǔ)首席技術(shù)官及院士Vincent Hsu指出，隨著AI部署規(guī)模的指數(shù)級(jí)增長(zhǎng)，企業(yè)迫切需要這一量級(jí)的數(shù)據(jù)庫(kù)來(lái)組織專(zhuān)有數(shù)據(jù)，以供AI有效利用。當(dāng)前市場(chǎng)上的向量數(shù)據(jù)庫(kù)解決方案，往往需要跨越數(shù)十乃至數(shù)百臺(tái)服務(wù)器橫向擴(kuò)展，才能支撐數(shù)十億級(jí)別的向量。這種規(guī)模帶來(lái)了獨(dú)特的挑戰(zhàn)：例如，向量索引（或重新索引）以加速搜索所需的時(shí)間極長(zhǎng)，以及托管和服務(wù)這些向量所帶來(lái)的基礎(chǔ)設(shè)施成本不斷攀升。

IBM CAS的技術(shù)架構(gòu)

IBM的CAS方案同時(shí)支持本地部署與云端部署。為降低部署成本和管理復(fù)雜性，IBM研究院專(zhuān)門(mén)聚焦于提升向量密度、縮短重新索引時(shí)間，以減少支撐特定數(shù)量文檔和向量所需部署的服務(wù)器數(shù)量。

該方案的第一個(gè)核心策略是將向量與索引存儲(chǔ)和執(zhí)行查詢的計(jì)算資源解耦，從而靈活調(diào)配查詢服務(wù)器與存儲(chǔ)系統(tǒng)之間的比例——這一能力由IBM Storage Scale高性能ESS文件系統(tǒng)提供支撐。

IBM Storage Scale System 6000（ESS 6000）是一款專(zhuān)為AI、高性能計(jì)算（HPC）及大規(guī)模數(shù)據(jù)工作負(fù)載設(shè)計(jì)的全閃存高性能存儲(chǔ)設(shè)備。ESS支持4U機(jī)架式機(jī)箱，最多可配置48塊NVMe FlashCore模塊（FCM）或標(biāo)準(zhǔn)NVMe QLC/TLC硬盤(pán)，單盤(pán)容量為7至60TB。系統(tǒng)支持400Gb InfiniBand或200GbitE（以太網(wǎng)）鏈路，并采用PCIe Gen 5實(shí)現(xiàn)更快速的內(nèi)部通信。單個(gè)ESS節(jié)點(diǎn)可支持最高340 GB/s讀取和175 GB/s寫(xiě)入吞吐量，以及高達(dá)700萬(wàn)的IOPS。此外，系統(tǒng)還支持英偉達(dá)GPUDirect存儲(chǔ)（GDS）技術(shù)，實(shí)現(xiàn)數(shù)據(jù)向GPU的高速直傳，以及用于網(wǎng)絡(luò)卸載的英偉達(dá)BlueField-3 DPU。

在提升存儲(chǔ)性能方面，IBM研究院與全球先進(jìn)存儲(chǔ)技術(shù)領(lǐng)軍企業(yè)三星展開(kāi)合作。三星為ESS系統(tǒng)提供了48塊PM9D3a PCIe Gen5 NVMe企業(yè)級(jí)固態(tài)硬盤(pán)，構(gòu)建起能夠承載高吞吐量和并行處理工作負(fù)載的均衡架構(gòu)。這些硬盤(pán)基于第八代TLC V-NAND技術(shù)，單盤(pán)容量高達(dá)30.72TB，順序讀取速度最高可達(dá)12,000 MB/s，順序?qū)懭胨俣茸罡呖蛇_(dá)6,800 MB/s。作為量產(chǎn)商用企業(yè)級(jí)固態(tài)硬盤(pán)，它們既能在真實(shí)ESS環(huán)境中實(shí)際落地，又支持系統(tǒng)的彈性擴(kuò)展。

為實(shí)現(xiàn)超大規(guī)模擴(kuò)展，IBM研究團(tuán)隊(duì)構(gòu)建了一套采用動(dòng)態(tài)分層索引結(jié)構(gòu)的解決方案——多個(gè)子索引可隨數(shù)據(jù)的增刪獨(dú)立進(jìn)行優(yōu)化和重優(yōu)化。這種方式同時(shí)提升了容錯(cuò)能力，使增量更新和索引構(gòu)建更易于管理，同時(shí)不影響數(shù)據(jù)訪問(wèn)。IBM研究院存儲(chǔ)系統(tǒng)首席研究員Daniel Waddington表示："規(guī)模問(wèn)題不僅僅是增加更多向量并使這些向量可訪問(wèn)，還包括在數(shù)據(jù)持續(xù)增長(zhǎng)的同時(shí)，維持服務(wù)的性能與可用性。"

分層索引設(shè)計(jì)還便于實(shí)施分階段的系統(tǒng)維護(hù)。在層級(jí)結(jié)構(gòu)中，子索引可按需獨(dú)立重建，而不會(huì)影響整體數(shù)據(jù)庫(kù)的運(yùn)行。為支持這種實(shí)時(shí)維護(hù)，研究團(tuán)隊(duì)引入英偉達(dá)GPU來(lái)提升單個(gè)索引重建的效率——原本在CPU上需要數(shù)小時(shí)完成的索引構(gòu)建，在GPU上可縮短至數(shù)分鐘。研究團(tuán)隊(duì)還特別關(guān)注如何最大化單個(gè)GPU的利用率，并實(shí)現(xiàn)跨多塊GPU的橫向擴(kuò)展。

通過(guò)使用與真實(shí)數(shù)據(jù)在聚類(lèi)特性上高度相似的合成數(shù)據(jù)（通過(guò)從真實(shí)數(shù)據(jù)中提取聚類(lèi)屬性模型生成），研究團(tuán)隊(duì)成功演示了千億級(jí)向量（384維，全精度浮點(diǎn)數(shù)）的加載、索引和查詢?nèi)鞒獭３跏技虞d與頂層分區(qū)耗時(shí)9天，隨后使用6塊英偉達(dá)H200 GPU完成索引構(gòu)建，額外耗時(shí)4天。作為參照，若使用雙路Intel CPU，索引構(gòu)建時(shí)間約需120天。向量及索引在存儲(chǔ)上的總數(shù)據(jù)量為153 TiB。團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)對(duì)查詢延遲和召回精度進(jìn)行了測(cè)量——召回精度通過(guò)暴力搜索從海量數(shù)據(jù)集中提取真實(shí)值來(lái)驗(yàn)證，該過(guò)程本身也耗費(fèi)了數(shù)天時(shí)間。最終結(jié)果：平均查詢延遲為694毫秒，召回精度達(dá)到90%。

持續(xù)優(yōu)化的未來(lái)方向

IBM AI戰(zhàn)略的重要目標(biāo)之一，是消除阻礙企業(yè)向AI開(kāi)放數(shù)據(jù)和應(yīng)用的人為軟件壁壘。借助CAS，IBM將RAG流水線中的關(guān)鍵環(huán)節(jié)交由存儲(chǔ)系統(tǒng)承擔(dān)，并將全新的索引能力無(wú)縫集成到用戶熟悉的文件系統(tǒng)中，使整個(gè)系統(tǒng)易于部署。

IBM與英偉達(dá)正攜手合作，通過(guò)英偉達(dá)cuVS加速向量索引構(gòu)建，進(jìn)一步壓縮索引時(shí)間。具體目標(biāo)包括：將千億級(jí)以上向量的索引時(shí)間壓縮至一天以內(nèi)；探索利用GPU加速數(shù)據(jù)加載與分區(qū)，將數(shù)據(jù)攝取時(shí)間從9天縮短至1天；以及探索在90%召回率條件下，將RAG工作流的搜索延遲降至50至100毫秒的優(yōu)化策略。

Hsu表示："我們已經(jīng)在向量數(shù)據(jù)庫(kù)中內(nèi)置了安全機(jī)制?，F(xiàn)在，我們正在實(shí)現(xiàn)大規(guī)模擴(kuò)展，同時(shí)又不帶來(lái)龐大的基礎(chǔ)設(shè)施占用。"

Q&A

Q1：內(nèi)容感知存儲(chǔ)（CAS）是什么？它和傳統(tǒng)存儲(chǔ)有什么區(qū)別？

A：內(nèi)容感知存儲(chǔ)（CAS）是IBM提出的一種新型存儲(chǔ)范式，核心思路是將原本在存儲(chǔ)系統(tǒng)之外執(zhí)行的數(shù)據(jù)處理功能（如文檔向量化）下推至存儲(chǔ)系統(tǒng)內(nèi)部完成。傳統(tǒng)存儲(chǔ)只負(fù)責(zé)數(shù)據(jù)的存取，而CAS整合了基于大語(yǔ)言模型的嵌入模型，能夠直接在存儲(chǔ)層完成文檔向量化，并支持RAG流水線。這樣企業(yè)無(wú)需擴(kuò)張額外的基礎(chǔ)設(shè)施，即可在同一存儲(chǔ)環(huán)境下安全、高效地利用AI處理自有數(shù)據(jù)，顯著降低了部署成本和復(fù)雜度。

Q2：IBM千億級(jí)向量數(shù)據(jù)庫(kù)的性能表現(xiàn)如何？

A：IBM研究院與三星和英偉達(dá)合作，在單臺(tái)服務(wù)器上成功實(shí)現(xiàn)了千億級(jí)向量（100億條，384維全精度浮點(diǎn)數(shù)）的加載、索引與查詢。索引構(gòu)建使用6塊英偉達(dá)H200 GPU，耗時(shí)約4天；若用雙路Intel CPU則需約120天。向量和索引總存儲(chǔ)占用153 TiB。查詢性能測(cè)試結(jié)果為：平均查詢延遲694毫秒，召回精度達(dá)到90%。目前IBM與英偉達(dá)正合作，目標(biāo)是將索引時(shí)間壓縮至1天以內(nèi)，查詢延遲降至50至100毫秒。

Q3：RAG技術(shù)對(duì)企業(yè)有什么實(shí)際價(jià)值？為什么企業(yè)需要向量數(shù)據(jù)庫(kù)？

A：RAG（檢索增強(qiáng)生成）能讓大語(yǔ)言模型在回答問(wèn)題時(shí)，自動(dòng)檢索企業(yè)自有文檔中的相關(guān)內(nèi)容作為上下文，從而生成基于企業(yè)專(zhuān)屬知識(shí)的精準(zhǔn)答案，有效減少AI"幻覺(jué)"現(xiàn)象，提升輸出的可信度。相比模型微調(diào)，RAG成本更低、部署更快。向量數(shù)據(jù)庫(kù)是RAG的核心組件，負(fù)責(zé)存儲(chǔ)和快速檢索文檔的語(yǔ)義向量表示。隨著企業(yè)存儲(chǔ)的文件數(shù)量達(dá)到數(shù)十億級(jí)別，對(duì)應(yīng)的向量規(guī)?？蛇_(dá)數(shù)千億，因此需要高性能、大規(guī)模的向量數(shù)據(jù)庫(kù)來(lái)支撐實(shí)際業(yè)務(wù)需求。