10月30日，AWS官方發(fā)文，完整復(fù)盤了上周的大規(guī)模宕機(jī)事件。

首先點個贊，這從報告從工程細(xì)節(jié)、故障鏈條到后續(xù)改進(jìn)措施，內(nèi)容非常完整、詳實、透明，技術(shù)披露深度罕見，可以看出公有云老大哥的誠意。

簡要總結(jié)下↓

一、宕機(jī)時間線

10月19日23點38分發(fā)生故障

10月20日14點20分全面恢復(fù)

總時長約14個小時。

二、宕機(jī)原因分析

DynamoDB DNS管理系統(tǒng)觸發(fā)競態(tài)條件。

簡單講就是負(fù)責(zé)更新DNS的兩個執(zhí)行器掐起來了，最終導(dǎo)致DNS記錄被清空，DynamoDB主終端節(jié)點無法解析，所有依賴DNS的服務(wù)都被影響。

（關(guān)于“DNS競態(tài)”可以看上面的圖片解讀）

接下來帶來連鎖反應(yīng)↓

DynamoDB掛了，EC2依賴DynamoDB存儲droplet狀態(tài)租約，EC2也掛了。

Lambda、ECS/EKS等上層服務(wù)依賴EC2，也跟著掛…

最終導(dǎo)致AWS內(nèi)部141個服務(wù)收到影響。

誰能想到，兩個底層牛馬（DNS執(zhí)行器）互掐，最終搞癱了全球半個互聯(lián)網(wǎng)。

三、改進(jìn)措施

對于此次故障的“罪魁禍?zhǔn)住盌ynamoDB DNS系統(tǒng)，AWS出重拳整治。暫停全球自動化更新功能，修復(fù)競態(tài)條件，增加保護(hù)機(jī)制防止舊規(guī)劃覆蓋新規(guī)劃。

同時，改進(jìn)NLB健康檢查機(jī)制，優(yōu)化EC2控制平面組件（DWFM）并增加壓測手段。

當(dāng)然還包括建立對這種「故障連鎖反應(yīng)」的預(yù)演機(jī)制，縮短恢復(fù)時間，防患于未然，畢竟這種級聯(lián)故障，爆炸面太大了。