天謀科技技術(shù)

該技術(shù)由天謀科技投遞并參與金猿組委會(huì)×數(shù)據(jù)猿×上海大數(shù)據(jù)聯(lián)盟共同推出的《2025大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)》榜單/獎(jiǎng)項(xiàng)評(píng)選。

本公開(kāi)提出了一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案，包括：獲取用戶(hù)的寫(xiě)入請(qǐng)求，并通過(guò)分布式集群中的領(lǐng)導(dǎo)者共識(shí)層執(zhí)行寫(xiě)入請(qǐng)求；監(jiān)聽(tīng)存儲(chǔ)引擎中生成的數(shù)據(jù)文件；基于數(shù)據(jù)文件生成加載事項(xiàng)，并將加載事項(xiàng)異步發(fā)送給跟隨者進(jìn)行加載數(shù)據(jù)文件，領(lǐng)導(dǎo)者繼續(xù)執(zhí)行下一寫(xiě)入請(qǐng)求；在跟隨者通過(guò)直接加載技術(shù)完成數(shù)據(jù)加載后，通過(guò)異步回調(diào)的方式將加載結(jié)果更新至分布式集群的共識(shí)數(shù)據(jù)中。相較于當(dāng)前主流的共識(shí)協(xié)議，本公開(kāi)采取異步復(fù)制機(jī)制，返回用戶(hù)寫(xiě)入成功不依賴(lài)副本同步的結(jié)果，無(wú)需額外等待，本公開(kāi)還利用高壓縮比的數(shù)據(jù)文件進(jìn)行狀態(tài)同步，在確保系統(tǒng)資源利用效率的同時(shí)，有效降低了副本同步的性能瓶頸，具備性能隨副本數(shù)線性擴(kuò)展的優(yōu)勢(shì)。

關(guān)鍵突破性技術(shù)說(shuō)明

在分布式系統(tǒng)中，多副本數(shù)據(jù)同步與一致性機(jī)制是保障高可用與容錯(cuò)能力的關(guān)鍵環(huán)節(jié)?，F(xiàn)有主流一致性協(xié)議（如Raft）通常依賴(lài)多數(shù)派寫(xiě)確認(rèn)（quorum write）與日志復(fù)制來(lái)完成副本間同步，從而保證一致性。但在高頻寫(xiě)入、數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng)的場(chǎng)景下，這類(lèi)機(jī)制往往會(huì)帶來(lái)額外網(wǎng)絡(luò)往返時(shí)延（RTT）與同步開(kāi)銷(xiāo)，并且隨著副本數(shù)量增加，同步成本與資源消耗會(huì)進(jìn)一步上升，從而限制系統(tǒng)吞吐與擴(kuò)展能力。

本專(zhuān)利提出的“一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案”，核心思路是在保持分布式集群由領(lǐng)導(dǎo)者（Leader）協(xié)調(diào)寫(xiě)入與共識(shí)數(shù)據(jù)管理的前提下，將副本同步的關(guān)鍵載體從“逐條操作日志”轉(zhuǎn)為“存儲(chǔ)引擎生成的數(shù)據(jù)文件”，并通過(guò)異步復(fù)制與直接加載機(jī)制降低副本同步對(duì)寫(xiě)入路徑的阻塞與資源消耗。

圖1是本公開(kāi)一個(gè)實(shí)施方式的一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖2是本公開(kāi)一個(gè)實(shí)施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖3是本公開(kāi)一個(gè)實(shí)施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖4是本公開(kāi)一個(gè)實(shí)施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖5為本公開(kāi)一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的架構(gòu)圖

圖6是本公開(kāi)一個(gè)實(shí)施方式的一種基于數(shù)據(jù)文件的分布式多副本高性能高可用裝置的示意圖

圖7是本公開(kāi)一個(gè)實(shí)施方式的一種電子設(shè)備的示意圖

具體而言，本方案包括以下關(guān)鍵步驟：獲取用戶(hù)寫(xiě)入請(qǐng)求并由分布式集群中的領(lǐng)導(dǎo)者共識(shí)層執(zhí)行；當(dāng)領(lǐng)導(dǎo)者完成寫(xiě)入后，監(jiān)聽(tīng)存儲(chǔ)引擎生成的最新數(shù)據(jù)文件；基于該最新數(shù)據(jù)文件生成“加載事項(xiàng)”，并將加載事項(xiàng)以異步方式發(fā)送給跟隨者（Follower）進(jìn)行加載，同時(shí)領(lǐng)導(dǎo)者繼續(xù)處理下一寫(xiě)入請(qǐng)求；待跟隨者通過(guò)直接加載技術(shù)完成數(shù)據(jù)文件加載后，通過(guò)異步回調(diào)的方式將加載結(jié)果更新至分布式集群的共識(shí)數(shù)據(jù)中。

與依賴(lài)quorum write的同步確認(rèn)機(jī)制相比，本方案的關(guān)鍵突破在于：領(lǐng)導(dǎo)者在異步發(fā)送加載事項(xiàng)后無(wú)需等待副本同步完成即可繼續(xù)處理寫(xiě)入請(qǐng)求，從而使“寫(xiě)入成功返回”不再直接依賴(lài)多數(shù)副本寫(xiě)確認(rèn)帶來(lái)的額外等待，減少寫(xiě)入路徑中的同步阻塞因素。

第二個(gè)關(guān)鍵突破在于利用高壓縮比的數(shù)據(jù)文件進(jìn)行狀態(tài)同步。專(zhuān)利中指出，傳統(tǒng)日志復(fù)制在副本追趕（catch up）時(shí)需要逐條重放日志并經(jīng)歷WAL與memtable等多層寫(xiě)入步驟，從而增加網(wǎng)絡(luò)與存算資源消耗；而本方案在副本同步過(guò)程中以數(shù)據(jù)文件作為同步對(duì)象，并結(jié)合直接加載技術(shù)，能夠在減少網(wǎng)絡(luò)帶寬消耗的同時(shí)，省略跟隨者側(cè)多層寫(xiě)入重放步驟，從而降低追趕開(kāi)銷(xiāo)。

第三個(gè)關(guān)鍵突破在于其可擴(kuò)展性收益。本專(zhuān)利論述了在多副本組架構(gòu)下，由于副本同步帶來(lái)的額外資源消耗相對(duì)較小且不會(huì)隨副本數(shù)量顯著提升，系統(tǒng)具備“性能隨副本數(shù)線性擴(kuò)展”的優(yōu)勢(shì)；并給出了實(shí)驗(yàn)性描述：在生產(chǎn)環(huán)境常用的2副本情況下，本方案能夠?qū)崿F(xiàn)逼近單節(jié)點(diǎn)單副本的2倍性能。

此外，本方案還考慮了共識(shí)任務(wù)重啟等工程場(chǎng)景：在共識(shí)任務(wù)重啟時(shí)，可獲取存儲(chǔ)引擎中的歷史數(shù)據(jù)文件，確定跟隨者尚未加載的最新數(shù)據(jù)文件，并將對(duì)應(yīng)加載事項(xiàng)重新發(fā)送給跟隨者進(jìn)行加載，以保證數(shù)據(jù)一致性與系統(tǒng)穩(wěn)定性。

綜上，本專(zhuān)利的突破性技術(shù)點(diǎn)可概括為：以數(shù)據(jù)文件為核心同步載體的異步復(fù)制機(jī)制、直接加載技術(shù)與異步回調(diào)更新機(jī)制相結(jié)合，在保證系統(tǒng)高可用與一致性維護(hù)的同時(shí)，減少同步確認(rèn)等待與追趕重放開(kāi)銷(xiāo)，緩解傳統(tǒng)日志復(fù)制一致性方案在多副本與高頻寫(xiě)入場(chǎng)景下的性能瓶頸，并提升系統(tǒng)橫向擴(kuò)展能力。

專(zhuān)利技術(shù)應(yīng)用產(chǎn)品/服務(wù)

本專(zhuān)利所提出的基于數(shù)據(jù)文件的分布式多副本高性能高可用方案，已在天謀科技自主研發(fā)的工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫(kù)管理系統(tǒng)（TimechoDB）等產(chǎn)品中得到工程化落地應(yīng)用，成為其分布式集群高可用與高吞吐寫(xiě)入能力的核心支撐技術(shù)之一。該技術(shù)主要應(yīng)用于面向工業(yè)物聯(lián)網(wǎng)場(chǎng)景的大規(guī)模時(shí)序數(shù)據(jù)管理平臺(tái)，在能源電力、鋼鐵冶煉、石油化工、交通運(yùn)輸?shù)刃袠I(yè)的生產(chǎn)系統(tǒng)中投入使用。

通過(guò)引入文件級(jí)異步復(fù)制機(jī)制，相關(guān)產(chǎn)品在多副本部署條件下顯著降低了寫(xiě)入延遲和副本同步成本，使系統(tǒng)能夠在高采樣頻率、高并發(fā)寫(xiě)入場(chǎng)景中保持穩(wěn)定性能。同時(shí)，該技術(shù)有效簡(jiǎn)化了副本追趕與故障恢復(fù)流程，提升了系統(tǒng)在節(jié)點(diǎn)重啟、網(wǎng)絡(luò)波動(dòng)等復(fù)雜工況下的可用性和運(yùn)維效率，為企業(yè)級(jí)工業(yè)數(shù)據(jù)平臺(tái)提供了可靠的數(shù)據(jù)基礎(chǔ)設(shè)施保障。

開(kāi)發(fā)團(tuán)隊(duì)

·帶隊(duì)負(fù)責(zé)人姓名：?jiǎn)碳瘟?/strong>

喬嘉林博士，天謀科技聯(lián)合創(chuàng)始人兼CTO，高級(jí)工程師，清華大學(xué)水木學(xué)者，北京市海英人才，大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程研究中心存儲(chǔ)部副組長(zhǎng)，國(guó)際 Apache軟件基金會(huì)委員，Apache IoTDB項(xiàng)目管理委員會(huì)委員，Apache TsFile項(xiàng)目主席。曾獲北京市科技進(jìn)步一等獎(jiǎng)。

作為研發(fā)骨干研制工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫(kù)Apache IoTDB，在國(guó)際數(shù)據(jù)庫(kù)權(quán)威榜單TPCx-IoT、benchANT中均排名第一，研究成果廣泛應(yīng)用于規(guī)模以上工業(yè)龍頭企業(yè)超過(guò)1000家，在鋼鐵冶煉、石油化工、飛機(jī)制造、能源電力、智慧電廠、城市交通運(yùn)輸?shù)刃袠I(yè)得到應(yīng)用。其中，作為IoTDB負(fù)責(zé)人推動(dòng)了IoTDB在長(zhǎng)安汽車(chē)云平臺(tái)、中車(chē)四方軌道交通運(yùn)維平臺(tái)、湖南中煙智能制造、四維智聯(lián)駕駛行為分析平臺(tái)上線。

參與國(guó)家、省部、企業(yè)項(xiàng)目十余項(xiàng)。作為課題/子課題負(fù)責(zé)人，參與多項(xiàng)國(guó)家重點(diǎn)研發(fā)計(jì)劃、工信部高質(zhì)量發(fā)展專(zhuān)項(xiàng)、重慶市重大專(zhuān)項(xiàng)等多項(xiàng)。作為項(xiàng)目骨干參與國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金委員會(huì)重大項(xiàng)目多項(xiàng)，主持清華大學(xué)軟件學(xué)院自主創(chuàng)新項(xiàng)目1項(xiàng)。獲中國(guó)發(fā)明專(zhuān)利授權(quán)近20項(xiàng)，美國(guó)發(fā)明專(zhuān)利授權(quán)3項(xiàng)。

入選2025年胡潤(rùn)U30、2024年中關(guān)村U30、2023年中國(guó)電子信息行業(yè)聯(lián)合會(huì)優(yōu)秀軟件工程師、2022年中國(guó)開(kāi)源創(chuàng)新大賽核心貢獻(xiàn)者、2022年中國(guó)開(kāi)源云聯(lián)盟杰出開(kāi)源貢獻(xiàn)者、2022年中國(guó)開(kāi)源先鋒33人。

團(tuán)隊(duì)其他重要成員姓名：王建民，黃向東，譚新宇，田原，彭俊植，谷新豪

·隸屬機(jī)構(gòu)

天謀科技（北京）有限公司（簡(jiǎn)稱(chēng)“天謀科技”）成立于2021年10月，是一家專(zhuān)注于時(shí)序數(shù)據(jù)庫(kù)管理系統(tǒng)及相關(guān)技術(shù)服務(wù)的科技企業(yè)。公司聚焦大數(shù)據(jù)底層系統(tǒng)軟件研發(fā)，核心團(tuán)隊(duì)長(zhǎng)期從事分布式數(shù)據(jù)庫(kù)與時(shí)序數(shù)據(jù)管理技術(shù)研究，當(dāng)前員工規(guī)模約60人，研發(fā)人員占比超過(guò)70%。

圍繞工業(yè)領(lǐng)域數(shù)字化轉(zhuǎn)型過(guò)程中產(chǎn)生的海量時(shí)序數(shù)據(jù)管理需求，天謀科技針對(duì)數(shù)據(jù)體量大、采樣頻率高、數(shù)據(jù)亂序到達(dá)、寫(xiě)入并發(fā)度高以及存儲(chǔ)與運(yùn)維成本敏感等共性問(wèn)題，持續(xù)開(kāi)展數(shù)據(jù)庫(kù)內(nèi)核與分布式系統(tǒng)層面的技術(shù)創(chuàng)新，構(gòu)建高性能、高可靠、可擴(kuò)展的時(shí)序數(shù)據(jù)管理能力。

公司產(chǎn)品主要服務(wù)于工業(yè)大數(shù)據(jù)智能化場(chǎng)景，在狀態(tài)監(jiān)控、故障預(yù)測(cè)、工藝優(yōu)化與設(shè)備數(shù)字畫(huà)像等應(yīng)用中提供底層數(shù)據(jù)管理支撐。據(jù)不完全統(tǒng)計(jì)，相關(guān)技術(shù)與產(chǎn)品已在能源電力、鋼鐵冶煉、石油化工、航空制造、城市交通等多個(gè)行業(yè)的眾多企業(yè)中應(yīng)用，并逐步擴(kuò)展至金融等對(duì)時(shí)序數(shù)據(jù)處理性能與可靠性要求較高的領(lǐng)域。

相關(guān)評(píng)價(jià)

該技術(shù)能夠支撐工業(yè)企業(yè)在復(fù)雜生產(chǎn)環(huán)境中更高效地完成數(shù)據(jù)匯聚與管理，為智能運(yùn)維、AI分析和業(yè)務(wù)優(yōu)化提供可靠的數(shù)據(jù)基礎(chǔ)。這項(xiàng)技術(shù)不僅工程價(jià)值高，也在實(shí)際產(chǎn)業(yè)場(chǎng)景中展現(xiàn)出良好的可擴(kuò)展性，為工業(yè)數(shù)智化提供了解決方案和重要支撐。

——博原資本管理合伙人 朱璘

該技術(shù)為天謀科技的企業(yè)級(jí)時(shí)序數(shù)據(jù)管理系統(tǒng)的持續(xù)演進(jìn)提供了技術(shù)保障，有助于支撐工業(yè)數(shù)字化和工業(yè)智能化業(yè)務(wù)的長(zhǎng)期發(fā)展，具備清晰的技術(shù)價(jià)值和產(chǎn)業(yè)前景。

——誠(chéng)美資本合伙人 王飛雪