国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

折磨程序員多年的數(shù)據(jù)庫難題,終于被解決了!

0
分享至

移動互聯(lián)網(wǎng)時代,幾乎每一位做過中大型應用的程序員,都經(jīng)歷過海量數(shù)據(jù) + 高并發(fā)帶來的折磨。

記得之前做過一個中型的互聯(lián)網(wǎng)應用,為了應付海量數(shù)據(jù)和高并發(fā),不得不硬著頭皮做了分庫分表,雖然技術成熟,但是運維非常復雜,按需擴展能力很差,尤其是當數(shù)據(jù)的規(guī)模和查詢需求與之前的規(guī)劃不一樣的時候,調整起來非常的痛苦。比如按商戶id做了拆分,但是卻想從另外一個維度(如用戶id)進查詢,處理起來非常麻煩。

海量數(shù)據(jù)再加上復雜的數(shù)據(jù)庫表結構,讓DBA每天都戰(zhàn)戰(zhàn)兢兢,因為數(shù)據(jù)庫對程序員來說就是“黑盒子”,不定哪天就在代碼里寫了一條會觸發(fā)全表掃描的SQL,讓整個系統(tǒng)掛掉。特別是對于一些分析和查詢的場景,查詢耗時可能達到分鐘級別,嚴重影響用戶體驗。

在那時候沒啥好辦法,出了問題只有靠人力撲上去做分析,加索引,半夜被叫醒都是家常便飯,非??啾?。

我時常想,就沒有一種強大的云數(shù)據(jù)庫把這些問題都解決了,讓數(shù)據(jù)庫更好用、更高效,讓程序員的生活更加輕松一點嗎?

前幾天參加了騰訊全球數(shù)字生態(tài)大會,發(fā)現(xiàn)騰訊推出了一個叫做TDSQL Boundless(簡稱TDSQL-B)的分布式數(shù)據(jù)庫,它的幾個特性不由得讓人眼前一亮,讓我覺得騰訊云真是瞄準了互聯(lián)網(wǎng)時代的數(shù)據(jù)庫痛點問題,并且提供了漂亮的解決方案。

01

和單機MySQL一樣好用的分布式數(shù)據(jù)庫

TDSQL Boundless(簡稱TDSQL-B)是騰訊云推出的最新一代超高性能分布式數(shù)據(jù)庫,我覺得它最大的亮點就是:“看起來/用起來”像個單機MySQL,但是性能和拓展性卻達到了分布式級別。

無需分片,彈性擴容

就拿最讓人頭疼的數(shù)據(jù)分片來說,傳統(tǒng)的方式需要程序員手工指定分片鍵(shard key),一旦分片選錯,或者之后需要改動,后果極為嚴重。

但是在TSQL-B中,系統(tǒng)會根據(jù)數(shù)據(jù)量自動完成分片和調度,當業(yè)務增長需要擴容時,僅需新增節(jié)點,數(shù)據(jù)會自動遷移至新節(jié)點,傳統(tǒng)的分布式數(shù)據(jù)庫擴容可能得“按月計算”,在TSQL-B這里縮減到了分鐘級,整個過程上層業(yè)務無感知,非常方便。

這比傳統(tǒng)分庫分表強太多了,程序員無需提前“絞盡腦汁”規(guī)劃分片策略,業(yè)務發(fā)展怎么變,無論數(shù)據(jù)從GB級增長到PB級,還是并發(fā)從萬級提升到十萬級,數(shù)據(jù)庫都能自動適應。

百萬級QPS

傳統(tǒng)數(shù)據(jù)庫的“主從模式”,只有主節(jié)點能寫,其他節(jié)點只讀,都在“打下手”。TDSQL-B 不一樣,它采用多主模式,每個節(jié)點都能又讀又寫,就像多開了好幾個高速窗口,同時處理請求。并發(fā)能力直接拉滿,一個實例就能頂住百萬級QPS,突發(fā)流量來了也不慌。

存儲這塊兒,TDSQL-B 用上了高壓縮比引擎,對比 InnoDB,壓縮率最高能做到 20 倍。存儲成本直接砍下來,業(yè)務規(guī)模再大也能玩得起。

金融級可靠

TDSQL-B 天生就帶著金融級可靠性,系統(tǒng)會自動把數(shù)據(jù)拷貝成3份,放在不同機房或者機架里。就算一個機房斷電、硬盤壞了,其他副本馬上頂上,數(shù)據(jù)一條都不會丟(RPO=0)。哪怕是銀行轉賬、證券交易這種最嚴苛的場景,也能穩(wěn)穩(wěn)撐住。

如果遇到硬盤壞了、整機掛了,系統(tǒng)會在 30 秒內自動切換到備用節(jié)點,全程不用人工操作,用戶完全無感知。對金融、政務這種對“零中斷”要求極高的行業(yè)來說,簡直不要太省心。

TDSQL-B 還有個“數(shù)據(jù)親和性調度”的黑科技,會把主鍵、索引和相關表的數(shù)據(jù)安排在同一個節(jié)點上。這樣原本復雜的分布式事務就變成了單機事務,避免了數(shù)據(jù)不一致的問題。賬單計算、余額更新這種關鍵操作,結果都能做到精準無誤。

由于100%兼容MySQL語法,支持存儲過程、觸發(fā)器等MySQL核心功能,同時支持原生的Online DDL操作,現(xiàn)有MySQL業(yè)務無需改動一行代碼,即可無損遷移到TSQL-B,非常方便。

TSQL-B的這些能力不但讓它適合高并發(fā)的互聯(lián)網(wǎng)用戶,還適合要求“零中斷、零丟失”的金融行業(yè)用戶,例如銀行、證券、保險等核心交易系統(tǒng)。

比如某游戲中臺系統(tǒng),原來是8 * 一主3備分庫分表老架構,替換成TSQL-B以后,不但可以像單機MySQL那樣使用,資源成本還降低了60%,擴容從月降到了分鐘。

02

TDAI:程序員的SQL守護神

相信不少人都有這樣的經(jīng)歷,上線的功能中包含了一個不起眼的SQL,結果把整個系統(tǒng)都搞掛掉。

在大會上我就看到了一個券商的案例,一個工程師在優(yōu)化債券交易模塊時,隨手添加了一條看似普通的SQL清理語句。這個SQL本來計劃在凌晨執(zhí)行,但是由于沒有正確利用索引,引發(fā)了核心交易表的全網(wǎng)掃描,數(shù)據(jù)庫性能持續(xù)惡化。

等到上午開市,大量高頻交易指令涌來的時候,數(shù)據(jù)庫鎖等待時間攀升至30+秒,高凈值客戶的交易被迫終止,應急團隊緊急回滾代碼后才逐步恢復服務。

這個事故反映出來的其實開發(fā)和DBA之間存著認知鴻溝。

開發(fā)團隊對業(yè)務邏輯和代碼門兒清,但一到數(shù)據(jù)庫這塊兒,基本就是個“黑盒子”,反正 ORM 框架能幫忙生成 SQL,管它呢。結果 SQL 寫出來跑得好不好,全憑運氣。DBA懂數(shù)據(jù)庫內核,也懂各種優(yōu)化技巧,但是沒法進入開發(fā)環(huán)節(jié),只能是出了問題被動“救火”。


能不能在開發(fā)階段就發(fā)現(xiàn)并且消除SQL風險的萌芽呢?

這就是TDAI要做的事情,它既懂代碼,又懂數(shù)據(jù)庫,在開發(fā)者在寫代碼的時候就能掃描代碼,發(fā)現(xiàn)有風險的SQL,給出優(yōu)化建議。


這個功能還能無縫集成到CI/CD的流程中:


這就像給代碼裝上了一個“風險透視鏡”,把可能出現(xiàn)的SQL風險都消滅在無形之中。這個功能真的是很贊。

你可能會好奇,TDAI是怎么實現(xiàn)的呢?

現(xiàn)在的通用大模型肯定是不行的,數(shù)據(jù)庫是個垂直場景,通用大模型理解不了那些復雜的表和復雜的SQL。當前業(yè)界智能體記憶系統(tǒng)(如AWS Bedrock AgentCore、Google Vertex AI Memory)側重記錄用戶偏好和對話上下文,未與企業(yè)私域數(shù)據(jù)深度打通。

所以騰訊云專門訓練了一個數(shù)據(jù)庫大模型(DB LLM),包含了Code2SQL模型(C1)、智能診斷模型(D1)、智能優(yōu)化大模型(O1),將SQL抽取準確率提升至90%+,并對SQL診斷推理持續(xù)深度優(yōu)化,診斷結果高置信度。


其次,TDAI還有一個全域上下文,整合Memory(長短期記憶)、DeepSearch(深度檢索)、Catalog(數(shù)據(jù)目錄),構建企業(yè)級數(shù)據(jù)中樞,實現(xiàn)企業(yè)數(shù)據(jù)與智能體記憶的深度融合。

而工具集則基于MCP協(xié)議封裝上層智能體所需的原子能力(如實例克隆、流量回放),為智能體提供“從規(guī)劃到執(zhí)行”的工具支撐。


這一套組合拳打下來,就實現(xiàn)了事前預測SQL風險的驚艷效果。

TDAI不僅解決了風險SQL治理“先上線,再發(fā)現(xiàn)”的困境,還突破性地實現(xiàn)了從“人找數(shù)據(jù)”到“數(shù)據(jù)找人”的范式躍遷,它就像個24小時不間斷工作的哨兵,能自動看懂業(yè)務,找出關鍵指標的因果關系,能實時盯著數(shù)據(jù)流,秒級發(fā)現(xiàn)異常和趨勢變化。一旦發(fā)現(xiàn)問題,它會立刻生成帶有原因分析、趨勢預測和行動建議的報告,直接推送給決策者。

可以說,TDAI重新定義了數(shù)據(jù)庫治理范式,實現(xiàn)了用AI治理好數(shù)據(jù)庫。

03

AI自學習優(yōu)化器:越用越聰明

在云計算和大數(shù)據(jù)時代,數(shù)據(jù)不僅越來越多,還越來越復雜。企業(yè)的業(yè)務需求也跟著升級,尤其是做統(tǒng)計和分析的時候,動不動就是上億行的數(shù)據(jù),要跑多表 JOIN、好幾層嵌套查詢,還要面對動輒上百列的大寬表,這些查詢耗時經(jīng)常達到分鐘級別,嚴重影響用戶體驗。

為了降低一個復雜SQL的查詢時間,經(jīng)常把DBA給累得夠嗆。

其實SQL執(zhí)行速度的快與慢,和數(shù)據(jù)庫的優(yōu)化器有極大的關聯(lián),優(yōu)化器的核心任務是從海量可能的執(zhí)行計劃中選擇最優(yōu)方案,以決定資源開銷和查詢時延,是決定數(shù)據(jù)庫查詢性能的核心環(huán)節(jié)。

但是在海量大數(shù)據(jù)和復雜查詢的場景下,傳統(tǒng)數(shù)據(jù)庫優(yōu)化器的局限就暴露了出來。


以10表關聯(lián)查詢?yōu)槔?,需要搜索的?zhí)行計劃數(shù)量達到362萬至176億種!

優(yōu)化器要在有限時間里挑一個執(zhí)行計劃,會大量“剪枝”,結果就是最佳方案可能直接被錯過了!

另外優(yōu)化器主要靠過去的經(jīng)驗來估算,但每個業(yè)務場景都不一樣,結果很難做到“因地制宜”,遇到數(shù)據(jù)傾斜,或者多列之間有關聯(lián)時,優(yōu)化器就很難準確判斷數(shù)據(jù)分布。這樣一來,索引怎么選、JOIN 順序怎么排,常常會出錯,執(zhí)行效率大打折扣。

騰訊云 TDSQL-C 通過結合騰訊混元大模型的能力,建立了可自我反思演進的全鏈路優(yōu)化器能力,成為業(yè)界首個推出 AI 自學習數(shù)據(jù)庫的廠商。


有了騰訊混元大模型的加持,極大地擴展了搜索空間,避免陷入局部最優(yōu)解,通過可量化的數(shù)據(jù)反饋,突破了傳統(tǒng)獨立性假設,減少了估算偏差。

騰訊還自研了一個“AI代價對比模型”,在線推理不同計劃的代價,能夠更準確地度量每個執(zhí)行計劃的質量。最后基于歷史執(zhí)行效果,持續(xù)反饋深度優(yōu)化模型,實現(xiàn) “越用越準” 的智能優(yōu)化。

AI自學習優(yōu)化器的效果也非常驚人,在 TPC-DS 測試中,復雜查詢總時延可降幅80%以上。

在一個騰訊數(shù)據(jù)庫客戶的實際業(yè)務案例中,通過 AI 自學習優(yōu)化器的自動調優(yōu),擁有超16萬張表、600多種SQL語句、Top7慢查詢一天耗時13000多秒的客戶,在零人力投入的情況下,直接讓7類慢查詢總耗時下降80%+,查詢耗時壓縮到了3000秒內。

04

總結

現(xiàn)在回頭來看,數(shù)據(jù)庫的這些年發(fā)展路線很清晰:

(1)從本地到云端

(2)從單機到分布式

(3)從人工調優(yōu)到智能化

但是,海量的數(shù)據(jù)和高并發(fā)也讓程序員為了分庫分表的設計,為了降低那么一點點查詢時間而絞盡腦汁,數(shù)據(jù)庫甚至成了程序員半夜被叫醒的“定時炸彈”。

而今天,騰訊云TDSQL-B 這樣的分布式數(shù)據(jù)庫、TDAI 和AI自學習優(yōu)化器,正在把這些煩惱一一解決掉。它不僅解決了開發(fā)者和 DBA 最痛的點,還為未來的數(shù)據(jù)庫打開了一個全新的方向:數(shù)據(jù)庫不再只是一個被動的“黑盒”,而是能主動學習、主動優(yōu)化、主動守護的“智能伙伴”。

未來的程序員和 DBA 可以輕裝上陣,把精力真正放在業(yè)務創(chuàng)新上,而不是疲于救火。這是程序員,也是IT界最大的福音。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
太原的“倒立馬”連夜被拆,誰心虛了?

太原的“倒立馬”連夜被拆,誰心虛了?

李萬卿
2026-01-06 10:50:46
涉馬杜羅指控出現(xiàn)反轉:美司法部不再將“太陽集團”視為真實販毒組織

涉馬杜羅指控出現(xiàn)反轉:美司法部不再將“太陽集團”視為真實販毒組織

紅星新聞
2026-01-06 17:28:19
羅塞尼爾自宣:無法拒絕切爾西!夢想執(zhí)教豪門,已達成協(xié)議

羅塞尼爾自宣:無法拒絕切爾西!夢想執(zhí)教豪門,已達成協(xié)議

奧拜爾
2026-01-06 16:53:33
美記:開拓者可能選到最大水貨 總經(jīng)理若下課楊瀚森前景不容樂觀

美記:開拓者可能選到最大水貨 總經(jīng)理若下課楊瀚森前景不容樂觀

羅說NBA
2026-01-06 19:18:22
中美日26年GDP預測出爐:美31萬億,日跌破4.5萬億,中國令人意外

中美日26年GDP預測出爐:美31萬億,日跌破4.5萬億,中國令人意外

比利
2026-01-06 11:34:07
廣東汕頭潮南西溝村農貿市場致3死較大火災事故調查報告公布

廣東汕頭潮南西溝村農貿市場致3死較大火災事故調查報告公布

澎湃新聞
2026-01-06 19:38:05
淚流滿面!網(wǎng)傳昆山一家20多年外企撤場,N+1額外贈送一張購物卡

淚流滿面!網(wǎng)傳昆山一家20多年外企撤場,N+1額外贈送一張購物卡

火山詩話
2026-01-06 09:22:19
新年聽到的最心痛的一句話 | 何蘭生

新年聽到的最心痛的一句話 | 何蘭生

農見度
2026-01-06 10:35:58
二把手,你到底咋了?

二把手,你到底咋了?

新動察
2026-01-06 16:33:46
礦泉水標簽使用高度相似20元人民幣圖案?網(wǎng)友:“簡直一模一樣!”官方回應:正在進一步研判是否違規(guī)

礦泉水標簽使用高度相似20元人民幣圖案?網(wǎng)友:“簡直一模一樣!”官方回應:正在進一步研判是否違規(guī)

極目新聞
2026-01-05 16:58:55
閆學晶哭窮風波再升級!收入資產(chǎn)被扒,牽連搭檔馮鞏,近況太意外

閆學晶哭窮風波再升級!收入資產(chǎn)被扒,牽連搭檔馮鞏,近況太意外

寒士之言本尊
2026-01-05 18:22:13
武大靖官宣退役

武大靖官宣退役

界面新聞
2026-01-06 20:04:28
人到底有多壞,才能做出這種喪盡天良的事!

人到底有多壞,才能做出這種喪盡天良的事!

槽三刀
2026-01-05 20:56:08
西半球的暗影:從委內瑞拉到哥倫比亞,美國的戰(zhàn)略野心與困境

西半球的暗影:從委內瑞拉到哥倫比亞,美國的戰(zhàn)略野心與困境

南方都市報
2026-01-06 17:42:12
情況不妙,特朗普剛對中國做出承諾,轉頭讓魯比奧掌管委內瑞拉

情況不妙,特朗普剛對中國做出承諾,轉頭讓魯比奧掌管委內瑞拉

博覽歷史
2026-01-05 18:33:05
東風17不藏了,竹林起豎實彈畫面首曝,臺海點穴利器已就位

東風17不藏了,竹林起豎實彈畫面首曝,臺海點穴利器已就位

小濤叨叨
2026-01-04 19:15:26
遭美襲擊后第三天,委局勢進入關鍵階段

遭美襲擊后第三天,委局勢進入關鍵階段

上觀新聞
2026-01-06 16:28:43
就在剛剛,朝鮮突然發(fā)表聲明!

就在剛剛,朝鮮突然發(fā)表聲明!

安安說
2026-01-06 14:48:04
馬杜羅穿囚服出庭,西方質問中國有能力保護朋友嗎?結果怕啥來啥

馬杜羅穿囚服出庭,西方質問中國有能力保護朋友嗎?結果怕啥來啥

博覽歷史
2026-01-06 15:08:58
諷刺的對比下,老百姓將會越來越清醒!

諷刺的對比下,老百姓將會越來越清醒!

胖胖說他不胖
2026-01-06 10:00:08
2026-01-06 20:23:00
碼農翻身 incentive-icons
碼農翻身
有趣且硬核的技術文章
215文章數(shù) 605關注度
往期回顧 全部

科技要聞

速看!黃仁勛萬字實錄:甩出"物理AI"王牌

頭條要聞

媒體:遭美襲擊后第三天 委局勢進入關鍵階段

頭條要聞

媒體:遭美襲擊后第三天 委局勢進入關鍵階段

體育要聞

從NBA最菜首發(fā)控衛(wèi),到NBA最強喬治

娛樂要聞

2026年央視春晚彩排照曝光!

財經(jīng)要聞

丁一凡:中美進入相對穩(wěn)定的競爭共存期

汽車要聞

摩登出街潮品 實拍奇瑞QQ冰淇淋女王版

態(tài)度原創(chuàng)

旅游
教育
房產(chǎn)
數(shù)碼
公開課

旅游要聞

周末微度假走起!嶗山三大精品線路亮相上海

教育要聞

兒子在家里干多少活合適呢

房產(chǎn)要聞

爆發(fā)!三亞開年超千畝城更計劃曝光,香港城砸下100億!

數(shù)碼要聞

威剛XPG發(fā)布Cybercore III電源 支持GPU功率監(jiān)控及1000W/1200W雙版本

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版