眾所周知，隨著數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素，新興軟硬件技術(shù)快速發(fā)展，各行各業(yè)的數(shù)據(jù)呈指數(shù)式增長，傳統(tǒng)集中式數(shù)據(jù)庫面對海量數(shù)據(jù)存儲、高并發(fā)等場景的“局限性”愈發(fā)突顯，而分布式數(shù)據(jù)庫憑借高可用、高可擴展性、高性價比等優(yōu)勢，不但被對數(shù)據(jù)庫要求最嚴(yán)苛的金融行業(yè)所認(rèn)可，同時也逐漸被應(yīng)用在更廣闊的領(lǐng)域。

但也要看到，分布式數(shù)據(jù)庫一直受到“CAP”原則的制約，它指的是在一個分布式系統(tǒng)中，一致性（Consistency）、可用性（Availability）、分區(qū)容錯性（Partition tolerance），這三個要素最多只能同時實現(xiàn)兩點，不可能三者兼得。這也就意味著，在部署分布式數(shù)據(jù)庫產(chǎn)品時，開發(fā)者必須根據(jù)系統(tǒng)的需求和業(yè)務(wù)場景，在一致性、可用性和分區(qū)容錯性之間進行權(quán)衡和選擇。

那么，是否有一種“十全十美”的解決方案，能夠打破分布式數(shù)據(jù)庫面臨的“CAP”魔咒呢？

在剛剛舉辦的亞馬遜云科技 re:Invent 2024，正式宣布推出Amazon Aurora DSQL和Amazon DynamoDB global tables兩個全新功能，就能夠全面滿足一些特殊工作負(fù)載對跨區(qū)域運行、強一致性、低延遲、高可用性的嚴(yán)苛需求，由此不僅徹底解決了困擾數(shù)據(jù)庫產(chǎn)業(yè)半個世紀(jì)之久的CAP“困境”，更引領(lǐng)了整個云原生數(shù)據(jù)庫領(lǐng)域的“再創(chuàng)新”，其價值可謂重要而深遠(yuǎn)。

01.

解讀分布式數(shù)據(jù)庫的“CAP”困境

根據(jù)IDC調(diào)研顯示，分布式數(shù)據(jù)庫為解決企業(yè)數(shù)據(jù)承載困難的問題提供一個較好的解決思路，特別是過去幾年，隨著分布式數(shù)據(jù)庫的實際應(yīng)用價值和技術(shù)驗證的穩(wěn)固，不僅包括中小型金融機構(gòu)，其他諸如電信運營商、交通運輸?shù)雀叨纫蕾嚁?shù)據(jù)庫且業(yè)務(wù)復(fù)雜度相似的行業(yè)，也都將加速選擇分布式數(shù)據(jù)庫，因此2024年將進入分布式數(shù)據(jù)庫大規(guī)模部署階段。

但不可否認(rèn)的是，在相當(dāng)長的時間里，分布式數(shù)據(jù)庫無法同時達(dá)成低延遲、高可用性和強一致性，這個“不可能三角”也被稱之為“CAP”魔咒。

具體而言，Consistency（一致性），由于分布式環(huán)境存在多個節(jié)點，這些節(jié)點上的數(shù)據(jù)在同一時間所存儲的數(shù)據(jù)必須是一致的，這就是一致性協(xié)議；Availability（可用性），即任何時刻需要保證服務(wù)的可用和穩(wěn)定；Partition Tolerance（分區(qū)容錯），即某個時刻出現(xiàn)網(wǎng)絡(luò)或者硬件不可用，甚至宕機，其它的機器也要能保證正�？捎�。在分布式數(shù)據(jù)庫的應(yīng)用中，CAP三件事不能同時兼得。也正因此，從實踐上來看，行業(yè)用戶只能基于不同的應(yīng)用場景，通過妥協(xié)的方式達(dá)到一定程度的兼顧。

比較典型的如CP模式（一致性+分區(qū)容錯性），即在對數(shù)據(jù)一致性要求較高的場景下，如銀行系統(tǒng)、金融交易系統(tǒng)等，通常會選擇CP模式。在CP模式下，系統(tǒng)會優(yōu)先保證數(shù)據(jù)的一致性，即使在網(wǎng)絡(luò)分區(qū)的情況下，也會暫時犧牲部分可用性，以確保所有節(jié)點的數(shù)據(jù)都是一致的。

而AP模式（可用性+分區(qū)容錯性），則是對可用性要求較高、可以容忍一定數(shù)據(jù)不一致的場景，如社交網(wǎng)絡(luò)、新聞網(wǎng)站等，通常會選擇AP模式。在AP模式下，系統(tǒng)會優(yōu)先保證可用性，即使在網(wǎng)絡(luò)分區(qū)的情況下，也會繼續(xù)提供服務(wù)，但是可能會出現(xiàn)數(shù)據(jù)不一致的情況；

最后是CA模式（一致性+可用性），在理論上，CA模式是不存在的，因為在分布式系統(tǒng)中，網(wǎng)絡(luò)分區(qū)是不可避免的，而一旦發(fā)生網(wǎng)絡(luò)分區(qū)，就無法同時保證一致性和可用性。但是，在一些特殊的場景下，比如系統(tǒng)的規(guī)模較小、網(wǎng)絡(luò)環(huán)境較為穩(wěn)定等，可以近似地實現(xiàn) CA模式。

對于大多數(shù)的分布式系統(tǒng)來說，“CAP”原則具有十分重要的指導(dǎo)意義，而這也意味著行業(yè)用戶只能選擇選擇CP，或者AP以及CA，始終無法完成“CAP”的突破，而受到“CAP”原則的制約，分布式數(shù)據(jù)庫未來的長遠(yuǎn)發(fā)展也難以“更上層樓”。

特別是在數(shù)據(jù)服務(wù)場景越來越多樣化的今天，對分布式數(shù)據(jù)庫所具備的數(shù)據(jù)一致性級別要求將會越來越高。不僅如此，隨著越來越多微服務(wù)的廣泛應(yīng)用，還需要分布式數(shù)據(jù)庫能夠支持跨集群、跨表分區(qū)、跨數(shù)據(jù)塊的數(shù)據(jù)一致性等。從這個角度來看，打破分布式數(shù)據(jù)庫的“CAP”魔咒，不僅是“趨勢所在”，更是“迫在眉睫”。

02.

亞馬遜云科技徹底打破“CAP”魔咒

在此背景下，在re:Invent 2024大會上，亞馬遜云科技推出了全新的Amazon Aurora DSQL，這是專為下一代Aurora打造的無服務(wù)器分布式SQL的數(shù)據(jù)庫，具有迄今為止最快的讀寫速度，能夠?qū)崿F(xiàn)跨區(qū)域部署及無限擴展，輕松實現(xiàn)99.999%的高可用性，且具有數(shù)據(jù)強一致性，零基礎(chǔ)設(shè)施運維等特點，徹底打破了困擾數(shù)據(jù)庫久遠(yuǎn)的“CAP”魔咒。

在亞馬遜云科技CEO Matt Garman看來，傳統(tǒng)的“CAP”原則限制了分布式數(shù)據(jù)庫未來發(fā)展和影響力，而亞馬遜云科技一直倡導(dǎo)創(chuàng)新文化，通過不斷的創(chuàng)新和突破，并基于Amazon Aurora端到端的優(yōu)勢構(gòu)建了一套全新的交易體系，由此解決了“CAP”原則的制約。

那么，亞馬遜云科技是如何做到的呢？據(jù)了解，全新Amazon Aurora DSQL采用了新理念和新技術(shù)來克服分布式數(shù)據(jù)庫面臨的兩大挑戰(zhàn)：如何在地理位置不同的節(jié)點上以低延遲實現(xiàn)強一致性，以及以微秒級精度同步全球服務(wù)器。

一方面，新理念，指的是為了在低延遲的情況下實現(xiàn)多區(qū)域強一致性，Amazon Aurora DSQL 將事務(wù)處理與存儲實現(xiàn)完全“解耦”，Amazon Aurora DSQL只在提交時檢查每個事務(wù)，并在提交時并行處理所有區(qū)域的所有寫入，從而提供一個具有強大一致性和快速寫入的多區(qū)域數(shù)據(jù)庫。

Matt Garman進一步解釋說，例如用戶有一個跨兩個區(qū)域的數(shù)據(jù)庫，想要完成一個AA事務(wù)，事務(wù)大概有十個語句。正常來說，一來一回，十個提交十個返回，如果是在同一數(shù)據(jù)中心，延遲應(yīng)該非常低，但如果一個在弗吉尼亞，一個在東京，那延遲就高達(dá)158毫秒，而如果用戶的事務(wù)需要涉及到更多的區(qū)域，那么延遲問題就更加嚴(yán)重。

為此，亞馬遜云科技通過將事務(wù)處理和存儲層分離，提交語句的時候不需要單獨返回，然后同時將所有區(qū)域的所有權(quán)限并行化，相當(dāng)于所有區(qū)域并行提交指令，統(tǒng)一處理，由此即可在跨區(qū)域之間獲得強大的一致性。

另一方面，新技術(shù)，指的是以微秒級精度同步全球服務(wù)器。當(dāng)數(shù)據(jù)分布存儲在全球不同的區(qū)域數(shù)據(jù)中心之中時，往往還會涉及到“時鐘漂移”問題，而為了確保每個區(qū)域都能以準(zhǔn)確的順序看到每個數(shù)據(jù)庫操作，Amazon Aurora DSQL還使用了自己的時間同步基礎(chǔ)設(shè)施（Amazon Time Sync Service），該服務(wù)在每個 EC2實例上添加了硬件參考時鐘，將它們同步到與衛(wèi)星連接的原子鐘，從而在世界任何地方提供微秒級的精確時間。

確實如此，對于數(shù)據(jù)庫而言，時間的同步至關(guān)重要，這是因為數(shù)據(jù)庫對于數(shù)據(jù)的讀寫保證，尤其是支持事物的關(guān)系性數(shù)據(jù)庫，是需要通過嚴(yán)格遵循操作的日期順序來實現(xiàn)的，這在一臺機器中實現(xiàn)是非常容易的，但對于分布式數(shù)據(jù)庫，特別是全球部署的分布式數(shù)據(jù)庫而言，如何保證在“成百上千臺”服務(wù)器節(jié)點中去實現(xiàn)時間的同步，卻是“難上加難”的。

為此，亞馬遜云科技打造了時間同步基礎(chǔ)設(shè)施，通過采用精確的時鐘，并且通過對比“時間戳”來確定眾多服務(wù)器的操作順序，它可以在世界上任何地方提供精確到十億分之一秒誤差的同步時鐘。此外，這個基礎(chǔ)設(shè)施中的每一個機架還備有一個本地原子鐘，防止其同步的衛(wèi)星暫時不可用，由此保證時間的一致性。

正如Matt Garman強調(diào)說：“有了重新設(shè)計的交易體系和能夠提供微秒級的精確時間，我們不再需要在一致性、可用性和分區(qū)容錯性之間進行權(quán)衡和選擇。”

更為關(guān)鍵的是，基于新理念和新技術(shù)打造的Amazon Aurora DSQL還成為了最快的分布式數(shù)據(jù)庫。數(shù)據(jù)顯示，Amazon Aurora DSQL與同樣使用原子鐘保證一致性的Spanner進行了比較，對于一個基本的10次事務(wù)SQL語句，Amazon Aurora DSQL的讀寫吞吐量是其4倍。

在此基礎(chǔ)上，針對非關(guān)系型數(shù)據(jù)庫（NoSQL），亞馬遜云科技同樣“與時俱進”的推出Amazon DynamoDB global tables，這是第一個完全托管的無服務(wù)器NoSQL數(shù)據(jù)庫，該數(shù)據(jù)庫現(xiàn)支持多區(qū)域強一致性，也能夠確保用戶的多區(qū)域應(yīng)用程序始終讀取最新數(shù)據(jù)，而無需更改任何應(yīng)用程序代碼。至此，無論行業(yè)客戶需要SQL還是NoSQL，亞馬遜云科技都可以提供在全球可快速擴展的高可用數(shù)據(jù)庫，支持?jǐn)?shù)據(jù)強一致支持，并具備極低的讀寫延遲。

03.

持續(xù)引領(lǐng)云原生數(shù)據(jù)庫“再創(chuàng)新”

值得一提的是，今年恰好也是Amazon Aurora發(fā)布的十周年，而過去十年亞馬遜云科技也一直走在數(shù)據(jù)庫技術(shù)創(chuàng)新的最前沿，同時還用自身實力和行動真正踐行了那句老話，那就是在云原生數(shù)據(jù)庫領(lǐng)域，亞馬遜云科技“一直在引領(lǐng)，從未被超越”。

可以看到，早在2014年，亞馬遜云科技基于log架構(gòu) (內(nèi)部代號 Grover)，打造了Amazon Aurora，它在提供和開源數(shù)據(jù)庫 MySQL、PostgreSQL 的完好兼容性同時，也能夠提供和商業(yè)數(shù)據(jù)庫媲美的性能和可用性。

發(fā)展至今，在性能方面，Amazon Aurora MySQL能夠支持與開源標(biāo)準(zhǔn)MySQL同等配置下五倍的吞吐量，Amazon Aurora PostgreSQL 能夠支持與開源標(biāo)準(zhǔn) PostgreSQL同等配置下三倍的吞吐量。此外，在擴展性的角度，Amazon Aurora在存儲與計算、橫向與縱向方面都進行了功能的增強和創(chuàng)新。

2018年，Amazon Aurora Serverless正式發(fā)布，這是業(yè)界最早發(fā)布 Serverless 特性的關(guān)系型數(shù)據(jù)庫服務(wù)，在 Serverless 技術(shù)賦能數(shù)據(jù)庫的創(chuàng)新層面就具有“劃時代”的意義，特別是與開源托管的數(shù)據(jù)庫相比，它的性價比提高了3-5倍，因此它不僅改變了傳統(tǒng)數(shù)據(jù)庫產(chǎn)品的使用方式和管理方式，同時更為企業(yè)的“云原生數(shù)據(jù)基礎(chǔ)設(shè)施”提供了更高效、更靈活、更安全、更可靠的數(shù)據(jù)管理解決方案。

與此同時，在“Zero ETL”領(lǐng)域，Amazon Aurora zero-ETL與Amazon Redshift能夠?qū)崿F(xiàn)集成功能，也可以更好地幫助客戶近乎實時地分析 PB 級交易數(shù)據(jù)，由此也讓亞馬遜云科技在“Zero ETL”的目標(biāo)，再次邁出“關(guān)鍵一步”。

而進入2024年，Amazon Aurora DSQL的重磅發(fā)布，則代表著Amazon Aurora DSQL打破了“CAP”的魔咒，它結(jié)合了亞馬遜云科技在存算分離（Grover）、大規(guī)模動態(tài)資源分配（Caspian）和分布式系統(tǒng)時鐘同步（Amazon Time-Sync Service）等多項云基礎(chǔ)設(shè)施技術(shù)創(chuàng)新，實現(xiàn)了分布式數(shù)據(jù)庫的“可用性+跨區(qū)域部署+數(shù)據(jù)強一致性”，由此也讓分布式數(shù)據(jù)庫進入了一個全新的時代。

總的來看，當(dāng)前分布式數(shù)據(jù)庫已經(jīng)在諸如金融、制造、政府、電信等領(lǐng)域?qū)崿F(xiàn)應(yīng)用和部署，以其彈性易擴容、架構(gòu)靈活、成本可控等特點，為企業(yè)的數(shù)智化轉(zhuǎn)型提供了堅實的保障，而隨著Amazon Aurora DSQL以及Amazon DynamoDB global tables新功能的重磅推出，無疑將讓用戶在選擇分布式數(shù)據(jù)庫時不再做痛苦的“選擇題”，相信由此也將幫助亞馬遜云科技更好地推動分布式數(shù)據(jù)庫走入千行萬業(yè)，同時持續(xù)引領(lǐng)云原生數(shù)據(jù)庫“再創(chuàng)新”和“再進化”。

*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外區(qū)域可用，亞馬遜云科技中國僅為幫助您發(fā)展海外業(yè)務(wù)和/或了解行業(yè)前沿技術(shù)選擇推薦該服務(wù)。