本周，Cloudflare發(fā)生六年來最嚴重的服務中斷事件。數據庫訪問控制權限變更觸發(fā)其全球網絡連鎖故障，導致大量網站及在線平臺近6小時無法訪問。

Cloudflare全球網絡是一套分布式基礎設施，服務器與數據中心遍布120多個國家，提供內容分發(fā)、安全防護及性能優(yōu)化服務。該網絡已與全球超1.3萬個網絡建立連接，包括所有主流互聯網服務提供商（ISP）、云服務商及企業(yè)網絡。

公司首席執(zhí)行官Matthew Prince在故障緩解后發(fā)布的事后分析報告中表示，此次服務中斷并非由網絡攻擊導致。故障源于某一數據庫系統的權限變更——這一變更導致數據庫向“機器人管理系統”使用的“特征文件”中輸出多條重復條目。

一項常規(guī)的數據庫權限更新，致使Cloudflare的機器人管理系統生成了包含重復條目的超大配置文件。該文件超出系統內置大小限制，導致網絡流量路由過程中相關軟件崩潰。

權限變更后，數據庫查詢返回了重復的列元數據，使特征文件中的條目從約60個翻倍至200多個，突破了系統為防止內存無限制占用而硬編碼設定的200個特征上限。

5xx 錯誤 HTTP 狀態(tài)碼在故障期間

每五分鐘系統會生成一次配置文件——結果可能正常也可能存在故障，具體取決于哪些集群節(jié)點已完成更新，這導致網絡在正常運行與故障狀態(tài)之間反復波動。

此外，當超大文件在網絡設備間傳播時，機器人管理模塊的Rust代碼觸發(fā)系統崩潰并返回5xx錯誤，進而導致負責流量處理的核心代理系統宕機。

隨后，Cloudflare工程師定位故障根源并將問題文件替換為早期版本后，核心流量恢復正常。不久后，所有系統完全恢復運行。此次中斷影響了Cloudflare的核心CDN、安全服務、Turnstile驗證服務、Workers KV存儲服務、控制臺訪問、郵件安全及身份認證服務。

Matthew Prince表示“鑒于Cloudflare在互聯網生態(tài)系統中的重要性，任何系統中斷都是不可接受的?！?/p>

此次中斷事件是Cloudflare自2019年以來最嚴重的一次服務中斷。以往也曾出現過控制臺無法訪問、新功能暫時不可用等情況，但過去六年多來，從未發(fā)生過導致大部分核心流量無法通過我們網絡的中斷事件。

今年6月，Cloudflare曾緩解過另一起大規(guī)模中斷事件，當時導致多個地區(qū)的零信任WARP連接出現問題、身份認證服務故障，還影響了谷歌云基礎設施。

10月，亞馬遜也處理了一起由重大DNS故障引發(fā)的中斷事件，該故障導致數百萬使用其亞馬遜網絡服務（AWS）云計算平臺的網站連接中斷。

參考及來源：https://www.bleepingcomputer.com/news/technology/cloudflare-blames-this-weeks-massive-outage-on-database-issues/