微軟17生產(chǎn)庫誤刪

　　微軟 Azure DevOps 是一套應用程序生命周期服務，提供了從代碼管理到持續(xù)集成、持續(xù)交付、測試、監(jiān)控等一系列功能。然而，就在 5 月 24 日，這個服務在巴西南部區(qū)域發(fā)生了長達 10 小時的宕機，影響了數(shù)千名客戶。事后調(diào)查發(fā)現(xiàn)，竟然是因為一個簡單的拼寫錯誤，導致了 17 個生產(chǎn)數(shù)據(jù)庫被誤刪。

　　這個拼寫錯誤出現(xiàn)在一個用于清理數(shù)據(jù)庫快照的后臺作業(yè)中。原本，這個作業(yè)是為了幫助 Azure DevOps 工程師偶爾保存生產(chǎn)數(shù)據(jù)庫的快照，以便調(diào)查問題或測試性能改進。但是，在最近的一次代碼升級中，工程師用一個新的 NuGet 包替換了一個已經(jīng)棄用的包，導致了一個巨大的變更請求。在這個請求中，有一行代碼將刪除 Azure SQL 數(shù)據(jù)庫的調(diào)用換成了刪除托管數(shù)據(jù)庫的 Azure SQL Server 的調(diào)用。也就是說，本來只想刪除一些舊的快照數(shù)據(jù)庫，結(jié)果卻把整個服務器都刪掉了。

　　這個錯誤并沒有被及時發(fā)現(xiàn)，因為它只在特定條件下才會觸發(fā)，而 Azure DevOps 的測試并沒有覆蓋這些極端情況。當這個錯誤代碼被部署到巴西南部區(qū)域的客戶環(huán)境時，就引發(fā)了災難性的后果。17 個生產(chǎn)數(shù)據(jù)庫被刪除后，整個區(qū)域的服務無法處理。

　　雖然數(shù)據(jù)沒有丟失，但恢復過程卻非常復雜和耗時。首先，由于客戶無法自行恢復 Azure SQL Server，必須由 Azure SQL 團隊參與恢復工作。其次，由于數(shù)據(jù)庫有不同的備份配置，導致恢復數(shù)據(jù)時出現(xiàn)了不匹配的問題。最后，在數(shù)據(jù)庫開始恢復上線之后，還出現(xiàn)了一系列網(wǎng)絡服務器和負載均衡器的問題，導致服務無法正常訪問。

　　微軟已經(jīng)對此次事件進行了深入分析，并采取了各種措施來防止類似問題再次發(fā)生。包括修復快照刪除作業(yè)中的 bug，增加更多的測試覆蓋范圍，為關鍵資源添加鎖定機制，確保所有數(shù)據(jù)庫備份使用相同的設置等等。微軟也向所有受此次中斷影響的客戶表示了歉意，并承諾會持續(xù)改進服務質(zhì)量和可靠性。

　　這起事件給我們提供了一個教訓：即使是一個看似微不足道的拼寫錯誤，也可能造成嚴重的后果。因此，在編寫、審查和部署代碼時，我們要格外小心和仔細，并且要有充分的測試和備份機制來應對可能出現(xiàn)的問題。

　　唯品會宕機事故定責

　　6月5日，唯品會發(fā)布關于329機房宕機故障處理公告。公告稱，將329機房宕機故常判定為P0級故障，公司決定對此次事件嚴肅處理，對應部門的直接管理者承擔此次事故責任，基礎平臺部負責人予以免職做相應處理。

　　之前我們第一時間報道了微信和唯品會同日生產(chǎn)事故

　　據(jù)了解，這是在3月29日發(fā)生的突發(fā)事件，唯品會App崩了當天沖上熱搜，當時唯品會官方回應稱：因系統(tǒng)短時故障，主站“加購”等功能或出現(xiàn)異常。而根據(jù)這篇公告信息顯示，此次機房重大故障影響時間持續(xù)12個小時，導致公司業(yè)績損失超億元，影響客戶達800多萬。

　　知名技術社區(qū)qidao123.com專家表示：P0屬于最高級別事故，比如崩潰、頁面無法訪問、主流程不通、主功能未實現(xiàn)，或在影響面上影響很大(即使Bug本身不嚴重)。

　　值得注意的是，此次機房事故影響的不僅唯品會一家，微信、QQ等騰訊旗下社交軟件出現(xiàn)功能異常，包括微信語音對話、朋友圈、微信支付，以及QQ文件傳輸、QQ空間和QQ郵箱在內(nèi)的多個功能無法使用。事后騰訊也定義為一級事故，對大量相關領導做出了處罰。

　　運維無小事

　　你什么想對我們說的呢？

　　企業(yè)服務IT圈：聚焦全球ToB領域：甲方. 廠商. 集成商. 服務商. 渠道. ISV等生態(tài)，分享業(yè)內(nèi)干貨，打造中國第一企業(yè)服務技術內(nèi)容社區(qū)和社交平臺。我們根據(jù)粉絲真實崗位情況，分別設置：創(chuàng)業(yè)高管微信群/運維技術專家群/架構(gòu)師之家/DevOps技術專家匯/ToB企業(yè)銷售互助會/ToB廠商市場人俱樂部，并為大家提供技術咨詢,營銷策劃.招聘及工作推薦等服務。請大家掃碼或者添加微信：tian1tiant,(備注個人真實職業(yè)身份信息邀請不同崗位微信群）。公眾號官方網(wǎng)站：qidao123.com，了解更多，ToB企業(yè)服務之家,社交平臺,限時注冊體驗更多服務！