數(shù)睿數(shù)據(jù)技術(shù)

該技術(shù)由數(shù)睿數(shù)據(jù)投遞并參與金猿組委會×數(shù)據(jù)猿×上海大數(shù)據(jù)聯(lián)盟共同推出的《2025大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)》榜單/獎項評選。

本公開的實施例公開了數(shù)據(jù)表關(guān)聯(lián)方法、裝置、電子設(shè)備和計算機可讀介質(zhì)。該方法的一具體實施方式包括：響應(yīng)于確定目標(biāo)數(shù)據(jù)庫中存在觸發(fā)數(shù)據(jù)表重關(guān)聯(lián)條件的數(shù)據(jù)表，確定目標(biāo)數(shù)據(jù)表集合中的每個目標(biāo)數(shù)據(jù)表對應(yīng)的數(shù)據(jù)表操作信息；對于目標(biāo)數(shù)據(jù)表，響應(yīng)于確定目標(biāo)數(shù)據(jù)表對應(yīng)的數(shù)據(jù)表操作記錄序列中存在操作類型為預(yù)設(shè)操作類型、且操作狀態(tài)為已執(zhí)行狀態(tài)的數(shù)據(jù)表操作記錄，將目標(biāo)數(shù)據(jù)表確定為過濾后數(shù)據(jù)表；確定過濾后數(shù)據(jù)表對應(yīng)的數(shù)據(jù)表描述信息；確定針對過濾后數(shù)據(jù)表集合的歷史數(shù)據(jù)表關(guān)聯(lián)圖；對歷史數(shù)據(jù)表關(guān)聯(lián)圖進行關(guān)聯(lián)圖更新；對更新后數(shù)據(jù)表關(guān)聯(lián)圖對應(yīng)的過濾后數(shù)據(jù)表進行數(shù)據(jù)表壓縮。該實施方式實現(xiàn)了自動數(shù)據(jù)表關(guān)聯(lián)，提高了數(shù)據(jù)表的關(guān)聯(lián)效率。

關(guān)鍵突破性技術(shù)說明

在傳統(tǒng)數(shù)據(jù)庫管理中，數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系（如外鍵、連接關(guān)系）通常需要人工預(yù)先設(shè)置和維護。當(dāng)數(shù)據(jù)表的結(jié)構(gòu)或關(guān)聯(lián)關(guān)系發(fā)生變動時（例如，新增字段、修改表結(jié)構(gòu)、變更業(yè)務(wù)關(guān)系），數(shù)據(jù)庫管理員（DBA）或開發(fā)人員需要手動重新檢查并更新這些關(guān)聯(lián)關(guān)系，這一過程存在明顯問題：

效率低下：人工處理耗時耗力，尤其在表數(shù)量多、結(jié)構(gòu)復(fù)雜或變動頻繁的系統(tǒng)中。

容易出錯：人工操作易遺漏或關(guān)聯(lián)錯誤，影響數(shù)據(jù)查詢的準(zhǔn)確性和一致性。

資源浪費：未經(jīng)優(yōu)化的表結(jié)構(gòu)中可能存在大量重復(fù)字段，導(dǎo)致存儲空間浪費和查詢性能下降。

該專利旨在通過“自動化、智能化的數(shù)據(jù)表關(guān)聯(lián)與壓縮”來解決上述問題。

專利提出一套全自動的數(shù)據(jù)表關(guān)聯(lián)管理流程，主要包括以下幾個步驟：

1.觸發(fā)與感知

監(jiān)測目標(biāo)數(shù)據(jù)庫，當(dāng)檢測到觸發(fā)“數(shù)據(jù)表重關(guān)聯(lián)條件”（如表結(jié)構(gòu)修改、關(guān)聯(lián)關(guān)系變更等操作）時，啟動自動化流程。

提取觸發(fā)時段內(nèi)的數(shù)據(jù)表操作日志，解析出關(guān)鍵操作記錄。

2.智能過濾

基于操作日志，過濾出真正發(fā)生過預(yù)設(shè)修改類型（如表關(guān)聯(lián)關(guān)系修改、表結(jié)構(gòu)修改）且已成功執(zhí)行的表，作為“過濾后數(shù)據(jù)表集合”。避免了對所有表的無效掃描，節(jié)約計算資源。

3.雙態(tài)描述信息提取

為每個過濾后的數(shù)據(jù)表提取兩套描述信息：歷史數(shù)據(jù)表描述信息：重關(guān)聯(lián)條件觸發(fā)前的表狀態(tài)（字段、結(jié)構(gòu)、關(guān)聯(lián)關(guān)系）。實時數(shù)據(jù)表描述信息：觸發(fā)后的最新表狀態(tài)。為后續(xù)的對比與更新提供依據(jù)。

4.構(gòu)建與更新關(guān)聯(lián)圖

利用鄰接矩陣構(gòu)建“歷史數(shù)據(jù)表關(guān)聯(lián)圖”，刻畫表之間已有的外鍵等關(guān)聯(lián)關(guān)系。根據(jù)最新的實時描述信息，動態(tài)更新該關(guān)聯(lián)圖，得到反映當(dāng)前最新關(guān)聯(lián)狀態(tài)的“更新后數(shù)據(jù)表關(guān)聯(lián)圖”。

5.語義驅(qū)動的數(shù)據(jù)表壓縮

在關(guān)聯(lián)圖的基礎(chǔ)上，智能識別跨表的語義關(guān)聯(lián)字段（如不同表中的“客戶名稱”、“用戶名”可能指向同一實體）。

判斷字段的“原子性”（是否可拆分），并進行智能合并或關(guān)聯(lián)：

字段冗余消除：刪除同一表內(nèi)可由原子字段組合而成的復(fù)合字段。

跨表關(guān)聯(lián)優(yōu)化：若語義關(guān)聯(lián)的原子字段分布在多張表中，則自動創(chuàng)建表間關(guān)聯(lián)，并刪除冗余的復(fù)合字段，實現(xiàn)數(shù)據(jù)壓縮。

其技術(shù)亮點在于：

該專利通過“操作感知→智能過濾→雙態(tài)對比→圖關(guān)聯(lián)更新→語義壓縮”的閉環(huán)流程，實現(xiàn)了一種高度自動化、智能化的數(shù)據(jù)表關(guān)聯(lián)管理與優(yōu)化方法。它不僅解決了人工維護關(guān)聯(lián)效率低、易出錯的核心痛點，還能主動優(yōu)化數(shù)據(jù)結(jié)構(gòu)、減少冗余，從而提升數(shù)據(jù)庫的存儲效率、查詢性能和數(shù)據(jù)一致性。

這項技術(shù)特別適用于：

大型企業(yè)級數(shù)據(jù)庫系統(tǒng)

微服務(wù)架構(gòu)下的多數(shù)據(jù)庫治理

數(shù)據(jù)倉庫與數(shù)據(jù)湖的元數(shù)據(jù)管理

需要頻繁進行數(shù)據(jù)模型迭代的業(yè)務(wù)場景

專利技術(shù)應(yīng)用產(chǎn)品/服務(wù)

目前，此技術(shù)方法已使用在數(shù)睿數(shù)據(jù)核心產(chǎn)品數(shù)據(jù)驅(qū)動的企業(yè)級AI原生開發(fā)平臺smardaten中，顯著提升了應(yīng)用構(gòu)建過程、數(shù)據(jù)分析場景中數(shù)據(jù)表關(guān)聯(lián)的效率，同時在解決方案產(chǎn)品數(shù)據(jù)通里，結(jié)合該技術(shù)進一步提升AI智能問數(shù)和取數(shù)分析，大大提升數(shù)據(jù)分析決策效率。300多家企業(yè)客戶基于本平臺進行數(shù)字化應(yīng)用構(gòu)建或軟件項目交付，如中移研究院、中廣核、奧克斯、衛(wèi)健委等，已在工業(yè)制造、數(shù)字政務(wù)、能源電力等10多個行業(yè)場景實現(xiàn)數(shù)字化落地。

開發(fā)團隊

·帶隊負責(zé)人姓名：車文彬

大連理工大學(xué)博士，數(shù)睿數(shù)據(jù)AI科學(xué)家，從事人工智能與大數(shù)據(jù)分析挖掘相關(guān)領(lǐng)域研究數(shù)十年，先后在華為擔(dān)任數(shù)據(jù)科學(xué)家、在360擔(dān)任高級算法專家等職務(wù)。在數(shù)據(jù)安全相關(guān)領(lǐng)域?qū)Ｗ⑼瑧B(tài)加密、聯(lián)邦學(xué)習(xí)、數(shù)據(jù)水印等技術(shù)的研究，并發(fā)表專利10余項。負責(zé)smardaten中AI技術(shù)的研究與應(yīng)用，涉及增強分析、自動化開發(fā)、無代碼GPT等應(yīng)用場景。

團隊其他重要成員姓名：郭麗娜、易岸霖、陳逸帆、李鴻飛

·隸屬機構(gòu)

數(shù)睿數(shù)據(jù)是領(lǐng)先的數(shù)智化軟件產(chǎn)品與服務(wù)提供商，全國9大代表處，新加坡設(shè)立子公司，員工規(guī)模近400人。以“讓天下數(shù)據(jù)快速使用”為使命、“讓人人盡享數(shù)據(jù)價值”為愿景，通過豐富的產(chǎn)品矩陣、領(lǐng)先的AI技術(shù)、完善的服務(wù)體系和創(chuàng)新應(yīng)用場景，全面助力行業(yè)數(shù)智化轉(zhuǎn)型升級。

數(shù)睿數(shù)據(jù)打造的核心產(chǎn)品smardaten數(shù)據(jù)驅(qū)動的企業(yè)級AI原生開發(fā)平臺，以“AI原生+數(shù)據(jù)驅(qū)動”為核心，推動軟件工程與數(shù)據(jù)應(yīng)用全鏈路革新。通過將多場景AI Agent貫穿一體化平臺，加速數(shù)字化應(yīng)用構(gòu)建、提高數(shù)據(jù)治理與應(yīng)用決策效能，實現(xiàn)讓軟件快速定制、讓數(shù)據(jù)快速使用。已實現(xiàn)在智慧城市、工業(yè)制造、智慧政務(wù)、企業(yè)數(shù)字化、智慧能源等10多個行業(yè)領(lǐng)域的標(biāo)桿應(yīng)用打造。

公司已獲得包括CMMI5認證、國家高新技術(shù)企業(yè)、國家級專精特新“小巨人”企業(yè)、江蘇省軟件核心競爭力企業(yè)（創(chuàng)新型）等資質(zhì)認證，參與低代碼應(yīng)用開發(fā)國家標(biāo)準(zhǔn)編制，積累30多項技術(shù)專利和100余項軟件著作權(quán)。

相關(guān)評價

數(shù)睿數(shù)據(jù)憑借這個一站式的數(shù)據(jù)治理和數(shù)據(jù)一體這兩個最大的優(yōu)點，成為我們的數(shù)據(jù)治理供應(yīng)商，一階段的數(shù)據(jù)治理平臺，把業(yè)務(wù)的數(shù)據(jù)查詢率提升到了90%，因為數(shù)據(jù)錯誤導(dǎo)致的投訴減少大概70%。我們也會在26年將與數(shù)睿一起從三個方面深化數(shù)據(jù)驅(qū)動價值的目標(biāo)，比如主動數(shù)據(jù)治理和AI智能問數(shù)，去助力奧克斯集團的一個數(shù)字化轉(zhuǎn)型。

——奧克斯集團數(shù)據(jù)管理體系負責(zé)人 黃總

全市40多家的醫(yī)療機構(gòu)，以前構(gòu)建一份醫(yī)療數(shù)據(jù)報告需要從各醫(yī)院調(diào)取、手動整理，耗時長達3周，現(xiàn)在基于專家?guī)炷Ｐ?、自動映射和智能分析，同樣的報告生成僅需一個多小時！數(shù)據(jù)使用效率比過去高了很多。

——某市衛(wèi)健委信息中心主任