微軟17生產(chǎn)庫誤刪

　　微軟 Azure DevOps 是一套應(yīng)用程序生命周期服務(wù)，提供了從代碼管理到持續(xù)集成、持續(xù)交付、測試、監(jiān)控等一系列功能。然而，就在 5 月 24 日，這個服務(wù)在巴西南部區(qū)域發(fā)生了長達 10 小時的宕機，影響了數(shù)千名客戶。事后調(diào)查發(fā)現(xiàn)，竟然是因為一個簡單的拼寫錯誤，導(dǎo)致了 17 個生產(chǎn)數(shù)據(jù)庫被誤刪。

　　這個拼寫錯誤出現(xiàn)在一個用于清理數(shù)據(jù)庫快照的后臺作業(yè)中。原本，這個作業(yè)是為了幫助 Azure DevOps 工程師偶爾保存生產(chǎn)數(shù)據(jù)庫的快照，以便調(diào)查問題或測試性能改進。但是，在最近的一次代碼升級中，工程師用一個新的 NuGet 包替換了一個已經(jīng)棄用的包，導(dǎo)致了一個巨大的變更請求。在這個請求中，有一行代碼將刪除 Azure SQL 數(shù)據(jù)庫的調(diào)用換成了刪除托管數(shù)據(jù)庫的 Azure SQL Server 的調(diào)用。也就是說，本來只想刪除一些舊的快照數(shù)據(jù)庫，結(jié)果卻把整個服務(wù)器都刪掉了。

　　這個錯誤并沒有被及時發(fā)現(xiàn)，因為它只在特定條件下才會觸發(fā)，而 Azure DevOps 的測試并沒有覆蓋這些極端情況。當(dāng)這個錯誤代碼被部署到巴西南部區(qū)域的客戶環(huán)境時，就引發(fā)了災(zāi)難性的后果。17 個生產(chǎn)數(shù)據(jù)庫被刪除后，整個區(qū)域的服務(wù)無法處理。

　　雖然數(shù)據(jù)沒有丟失，但恢復(fù)過程卻非常復(fù)雜和耗時。首先，由于客戶無法自行恢復(fù) Azure SQL Server，必須由 Azure SQL 團隊參與恢復(fù)工作。其次，由于數(shù)據(jù)庫有不同的備份配置，導(dǎo)致恢復(fù)數(shù)據(jù)時出現(xiàn)了不匹配的問題。最后，在數(shù)據(jù)庫開始恢復(fù)上線之后，還出現(xiàn)了一系列網(wǎng)絡(luò)服務(wù)器和負載均衡器的問題，導(dǎo)致服務(wù)無法正常訪問。

　　微軟已經(jīng)對此次事件進行了深入分析，并采取了各種措施來防止類似問題再次發(fā)生。包括修復(fù)快照刪除作業(yè)中的 bug，增加更多的測試覆蓋范圍，為關(guān)鍵資源添加鎖定機制，確保所有數(shù)據(jù)庫備份使用相同的設(shè)置等等。微軟也向所有受此次中斷影響的客戶表示了歉意，并承諾會持續(xù)改進服務(wù)質(zhì)量和可靠性。

　　這起事件給我們提供了一個教訓(xùn)：即使是一個看似微不足道的拼寫錯誤，也可能造成嚴重的后果。因此，在編寫、審查和部署代碼時，我們要格外小心和仔細，并且要有充分的測試和備份機制來應(yīng)對可能出現(xiàn)的問題。

　　唯品會宕機事故定責(zé)

　　6月5日，唯品會發(fā)布關(guān)于329機房宕機故障處理公告。公告稱，將329機房宕機故常判定為P0級故障，公司決定對此次事件嚴肅處理，對應(yīng)部門的直接管理者承擔(dān)此次事故責(zé)任，基礎(chǔ)平臺部負責(zé)人予以免職做相應(yīng)處理。

　　之前我們第一時間報道了微信和唯品會同日生產(chǎn)事故

　　據(jù)了解，這是在3月29日發(fā)生的突發(fā)事件，唯品會App崩了當(dāng)天沖上熱搜，當(dāng)時唯品會官方回應(yīng)稱：因系統(tǒng)短時故障，主站“加購”等功能或出現(xiàn)異常。而根據(jù)這篇公告信息顯示，此次機房重大故障影響時間持續(xù)12個小時，導(dǎo)致公司業(yè)績損失超億元，影響客戶達800多萬。

　　知名技術(shù)社區(qū)qidao123.com專家表示：P0屬于最高級別事故，比如崩潰、頁面無法訪問、主流程不通、主功能未實現(xiàn)，或在影響面上影響很大(即使Bug本身不嚴重)。

　　值得注意的是，此次機房事故影響的不僅唯品會一家，微信、QQ等騰訊旗下社交軟件出現(xiàn)功能異常，包括微信語音對話、朋友圈、微信支付，以及QQ文件傳輸、QQ空間和QQ郵箱在內(nèi)的多個功能無法使用。事后騰訊也定義為一級事故，對大量相關(guān)領(lǐng)導(dǎo)做出了處罰。

　　運維無小事

　　你什么想對我們說的呢？

　　企業(yè)服務(wù)IT圈：聚焦全球ToB領(lǐng)域：甲方. 廠商. 集成商. 服務(wù)商. 渠道. ISV等生態(tài)，分享業(yè)內(nèi)干貨，打造中國第一企業(yè)服務(wù)技術(shù)內(nèi)容社區(qū)和社交平臺。我們根據(jù)粉絲真實崗位情況，分別設(shè)置：創(chuàng)業(yè)高管微信群/運維技術(shù)專家群/架構(gòu)師之家/DevOps技術(shù)專家匯/ToB企業(yè)銷售互助會/ToB廠商市場人俱樂部，并為大家提供技術(shù)咨詢,營銷策劃.招聘及工作推薦等服務(wù)。請大家掃碼或者添加微信：tian1tiant,(備注個人真實職業(yè)身份信息邀請不同崗位微信群）。公眾號官方網(wǎng)站：qidao123.com，了解更多，ToB企業(yè)服務(wù)之家,社交平臺,限時注冊體驗更多服務(wù)！