該技術(shù)由鏡舟科技投遞并參與金猿組委會(huì)×數(shù)據(jù)猿×上海大數(shù)據(jù)聯(lián)盟共同推出的《2025大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)》榜單/獎(jiǎng)項(xiàng)評(píng)選。

本發(fā)明公開(kāi)了一種高效的物化視圖構(gòu)建方法及數(shù)據(jù)處理系統(tǒng)，專為解決大規(guī)模分布式數(shù)據(jù)庫(kù)中復(fù)雜查詢的高延遲問(wèn)題而設(shè)計(jì)。該技術(shù)通過(guò)智能化的預(yù)計(jì)算策略，將高頻復(fù)雜的SQL查詢結(jié)果預(yù)先計(jì)算并存儲(chǔ)，構(gòu)建出能夠?qū)崟r(shí)響應(yīng)的物化視圖。

核心創(chuàng)新在于其構(gòu)建算法支持多表關(guān)聯(lián)（Join）的復(fù)雜場(chǎng)景，并具備增量更新能力，確保視圖數(shù)據(jù)與基表數(shù)據(jù)的實(shí)時(shí)一致性。系統(tǒng)能夠自動(dòng)識(shí)別用戶查詢請(qǐng)求，通過(guò)透明重寫機(jī)制，將針對(duì)原始大表的查詢自動(dòng)路由至高效的物化視圖，從而在無(wú)需用戶修改SQL的前提下，實(shí)現(xiàn)查詢性能的指數(shù)級(jí)躍升，顯著降低了計(jì)算資源消耗，提升了系統(tǒng)的整體吞吐量。

關(guān)鍵突破性技術(shù)說(shuō)明

1.背景與挑戰(zhàn)

在企業(yè)級(jí)數(shù)字化轉(zhuǎn)型過(guò)程中，數(shù)據(jù)量呈爆炸式增長(zhǎng)。傳統(tǒng)的OLAP數(shù)據(jù)庫(kù)在處理多維分析、特別是涉及多張大表關(guān)聯(lián)（Join）和高并發(fā)聚合查詢時(shí)，往往面臨響應(yīng)慢、資源消耗大的瓶頸。傳統(tǒng)的視圖技術(shù)僅是邏輯映射，無(wú)法物理加速；而傳統(tǒng)的物化視圖往往刷新滯后，無(wú)法滿足“實(shí)時(shí)分析”的需求。本專利技術(shù)《一種物化視圖構(gòu)建方法、數(shù)據(jù)處理系統(tǒng)、介質(zhì)及程序產(chǎn)品》正是為了解決實(shí)時(shí)性、復(fù)雜查詢能力、低成本這三個(gè)需求而開(kāi)發(fā)。

2.核心技術(shù)突破

·智能透明查詢重寫

本技術(shù)實(shí)現(xiàn)了一種高智能的優(yōu)化器重寫機(jī)制。用戶無(wú)需感知物化視圖的存在，繼續(xù)對(duì)原始明細(xì)表進(jìn)行查詢。數(shù)據(jù)庫(kù)內(nèi)核會(huì)自動(dòng)分析SQL語(yǔ)義，判斷當(dāng)前的查詢模式是否命中已存在的物化視圖。一旦命中，優(yōu)化器會(huì)自動(dòng)將查詢計(jì)劃重寫為掃描物化視圖，從而規(guī)避了現(xiàn)場(chǎng)進(jìn)行昂貴的Join和Aggregate計(jì)算。這種“無(wú)感加速”極大降低了業(yè)務(wù)層的改造成本。

·實(shí)時(shí)增量更新機(jī)制

區(qū)別于傳統(tǒng)T+1的離線刷新，本技術(shù)引入了基于LSM-Tree架構(gòu)的實(shí)時(shí)更新機(jī)制。當(dāng)基表數(shù)據(jù)發(fā)生變更（Insert/Update/Delete）時(shí)，系統(tǒng)能自動(dòng)計(jì)算出變更對(duì)物化視圖的影響，并僅對(duì)變化部分進(jìn)行增量維護(hù)。這保證了物化視圖的數(shù)據(jù)時(shí)效性達(dá)到秒級(jí)甚至亞秒級(jí)，真正實(shí)現(xiàn)了“實(shí)時(shí)湖倉(cāng)”的分析體驗(yàn)。

·支持復(fù)雜多表關(guān)聯(lián)

現(xiàn)有市場(chǎng)上的許多加速方案僅支持單表聚合，而本專利技術(shù)實(shí)現(xiàn)了對(duì)多表星型模型甚至雪花模型的物化視圖構(gòu)建支持。通過(guò)先進(jìn)的分布式Shuffle策略，系統(tǒng)能夠在構(gòu)建視圖時(shí)高效處理跨節(jié)點(diǎn)的數(shù)據(jù)關(guān)聯(lián)，使得復(fù)雜的業(yè)務(wù)報(bào)表查詢也能享受到預(yù)計(jì)算帶來(lái)的紅利。

·異步構(gòu)建與資源隔離

為了不影響在線業(yè)務(wù)的穩(wěn)定性，本方法采用了存算分離的架構(gòu)基礎(chǔ)，支持異步構(gòu)建物化視圖。構(gòu)建任務(wù)可以被調(diào)度到空閑的計(jì)算節(jié)點(diǎn)執(zhí)行，或者利用獨(dú)立的計(jì)算資源組（Resource Group），確保在構(gòu)建大規(guī)模視圖時(shí)，核心業(yè)務(wù)查詢不受資源爭(zhēng)搶的影響。

3.技術(shù)價(jià)值與行業(yè)領(lǐng)先性

該技術(shù)是鏡舟數(shù)據(jù)庫(kù)（MirrorShip）實(shí)現(xiàn)“極速統(tǒng)一”基礎(chǔ)。相比于業(yè)界同類產(chǎn)品，本技術(shù)在更新時(shí)效性和查詢重寫的智能度上處于國(guó)際領(lǐng)先水平。它不僅解決了金融風(fēng)控、實(shí)時(shí)營(yíng)銷等場(chǎng)景下的低延遲查詢需求，更通過(guò)大幅減少重復(fù)計(jì)算，幫助企業(yè)節(jié)省了昂貴的計(jì)算資源成本，是新一代云原生數(shù)據(jù)倉(cāng)庫(kù)的核心競(jìng)爭(zhēng)力體現(xiàn)。

專利技術(shù)應(yīng)用產(chǎn)品/服務(wù)

本專利技術(shù)已全面應(yīng)用于鏡舟科技的核心產(chǎn)品——鏡舟數(shù)據(jù)庫(kù)（MirrorShip）中。

作為企業(yè)級(jí)一站式分析型數(shù)據(jù)庫(kù)，鏡舟數(shù)據(jù)庫(kù)利用該物化視圖構(gòu)建技術(shù)，為金融、零售、制造等行業(yè)的頭部客戶提供了極致的查詢加速服務(wù)。在實(shí)際應(yīng)用中，該技術(shù)幫助客戶將原本需要分鐘級(jí)響應(yīng)的復(fù)雜報(bào)表查詢優(yōu)化至亞秒級(jí)，實(shí)現(xiàn)了“即席查詢”的流暢體驗(yàn)。同時(shí)，依托該技術(shù)，鏡舟數(shù)據(jù)庫(kù)成功幫助客戶簡(jiǎn)化了數(shù)據(jù)架構(gòu)，替代了傳統(tǒng)復(fù)雜的預(yù)計(jì)算鏈路，顯著降低了運(yùn)維復(fù)雜度與硬件成本。

開(kāi)發(fā)團(tuán)隊(duì)

·帶隊(duì)負(fù)責(zé)人姓名：冉攀峰

鏡舟科技資深數(shù)據(jù)庫(kù)技術(shù)專家，長(zhǎng)期深耕于分布式數(shù)據(jù)庫(kù)內(nèi)核研發(fā)領(lǐng)域。作為核心研發(fā)成員，主導(dǎo)了鏡舟數(shù)據(jù)庫(kù)查詢優(yōu)化器及物化視圖系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。他在大規(guī)模數(shù)據(jù)并行處理、實(shí)時(shí)計(jì)算存儲(chǔ)架構(gòu)以及復(fù)雜SQL查詢加速方面擁有深厚的技術(shù)積累和豐富的實(shí)踐經(jīng)驗(yàn)，致力于通過(guò)技術(shù)創(chuàng)新解決企業(yè)級(jí)海量數(shù)據(jù)實(shí)時(shí)分析難題。

·隸屬機(jī)構(gòu)

鏡舟科技是中國(guó)領(lǐng)先的企業(yè)級(jí)數(shù)據(jù)基礎(chǔ)設(shè)施服務(wù)商，也是全球領(lǐng)先開(kāi)源項(xiàng)目StarRocks的主要貢獻(xiàn)者。公司基于“開(kāi)源+商業(yè)化”模式，致力于推動(dòng)StarRocks在全球范圍內(nèi)的應(yīng)用，并提供企業(yè)級(jí)產(chǎn)品鏡舟數(shù)據(jù)庫(kù)(MirrorShip)及全場(chǎng)景解決方案。

作為新一代數(shù)據(jù)架構(gòu)的踐行者，鏡舟科技率先推出基于StarRocks的Lakehouse解決方案，憑借極速統(tǒng)一、實(shí)時(shí)更新、高并發(fā)查詢等核心優(yōu)勢(shì)，幫助企業(yè)實(shí)現(xiàn)從傳統(tǒng)數(shù)倉(cāng)向現(xiàn)代化湖倉(cāng)架構(gòu)的平滑演進(jìn)。依托強(qiáng)大的技術(shù)創(chuàng)新能力和深耕行業(yè)的洞察力，鏡舟已服務(wù)超過(guò)百家頭部企業(yè)，覆蓋金融、互聯(lián)網(wǎng)、新經(jīng)濟(jì)、智能制造等多個(gè)領(lǐng)域，助力企業(yè)挖掘數(shù)據(jù)價(jià)值，驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。

相關(guān)評(píng)價(jià)

在我們與鏡舟科技共同服務(wù)的眾多客戶中，數(shù)據(jù)分析的“時(shí)效性”與“成本”往往是難以調(diào)和的矛盾，鏡舟的物化視圖構(gòu)建技術(shù)解決了這一痛點(diǎn)。

通過(guò)該技術(shù)，我們能夠幫助客戶在不改變?cè)袛?shù)據(jù)架構(gòu)的基礎(chǔ)上，實(shí)現(xiàn)對(duì)億級(jí)數(shù)據(jù)查詢的秒級(jí)響應(yīng)。鏡舟的這一技術(shù)方案提升了Hadoop生態(tài)的實(shí)時(shí)能力，極大提升了雙方聯(lián)合解決方案的市場(chǎng)競(jìng)爭(zhēng)力，是幫助企業(yè)從離線數(shù)倉(cāng)向?qū)崟r(shí)湖倉(cāng)架構(gòu)演進(jìn)的關(guān)鍵加速器。

——深圳銀興智能數(shù)據(jù)有限公司CEO 李勇

作為StarRocks社區(qū)官方授權(quán)的技術(shù)服務(wù)與培訓(xùn)中心，我們旨在降低企業(yè)數(shù)據(jù)技術(shù)的門檻。在我們的日常培訓(xùn)與技術(shù)支持工作中，物化視圖是用戶咨詢最高頻、也是解決實(shí)際痛點(diǎn)最直接的功能模塊之一。鏡舟科技的物化視圖技術(shù)，簡(jiǎn)化了數(shù)據(jù)建模的復(fù)雜度，讓客戶能夠以極低的上手成本，獲得極致的查詢加速體驗(yàn)，同時(shí)也在工程化落地上展現(xiàn)了極高的易用性。

——北京興元科技有限公司CTO 吳夢(mèng)龍