數(shù)據(jù)遷移的需求背景

公司內(nèi)部出現(xiàn)業(yè)務(wù)先合并、新舊系統(tǒng)替換、業(yè)務(wù)擴大需要進行數(shù)據(jù)庫分表等情況下，就需要涉及到數(shù)據(jù)遷移。對應(yīng)的常見的遷移場景有：

1、需要將兩個系統(tǒng)的部分數(shù)據(jù)統(tǒng)一從A數(shù)據(jù)庫讀取，a數(shù)據(jù)庫和b數(shù)據(jù)庫通過指定字段進行關(guān)聯(lián)的情況。

2、直接廢棄舊的系統(tǒng)，將舊系統(tǒng)的數(shù)據(jù)遷移到新系統(tǒng)，后續(xù)僅維護新系統(tǒng)。

本文主要總結(jié)分享比較場景的數(shù)據(jù)遷移場景，業(yè)務(wù)線合并，2個系統(tǒng)的用戶數(shù)據(jù)進行關(guān)聯(lián)的場景。

測試分析

正式環(huán)境用戶數(shù)據(jù)分析

在進行數(shù)據(jù)正式遷移之前，產(chǎn)品/開發(fā)/測試均需要參與對線上已有的用戶數(shù)據(jù)進行分析，分析線上大量用戶的數(shù)據(jù)特征，從而進行歸納分類，對不同的分類數(shù)據(jù)進行遷移策略設(shè)計。

以用戶賬號為例，可能存在：用戶使用手機號注冊、用戶未使用手機號注冊等情況，在進行分析時需要考慮到對這兩種的用戶數(shù)據(jù)進行遷移的策略。

假設(shè)遷移的目標庫存在該用戶數(shù)據(jù)，則根據(jù)基礎(chǔ)信息以目標庫為準，并建立源庫和目標庫的關(guān)聯(lián)關(guān)系。

假設(shè)遷移的目標庫內(nèi)不存在該用戶數(shù)據(jù)，則直接將源庫的用戶信息同步在目標庫內(nèi)進行創(chuàng)建。

數(shù)據(jù)遷移測試分析

數(shù)據(jù)遷移目標是什么

在進行數(shù)據(jù)遷移測試之前，需要了解到對應(yīng)的遷移策略，了解兩個系統(tǒng)的數(shù)據(jù)如何關(guān)聯(lián)，以及對應(yīng)的目標數(shù)據(jù)庫和源數(shù)據(jù)庫，通過兩個數(shù)據(jù)庫數(shù)據(jù)創(chuàng)建關(guān)聯(lián)：以源數(shù)據(jù)庫b為基礎(chǔ)在目標數(shù)據(jù)庫a中創(chuàng)建關(guān)聯(lián)，且將b中的相同的基礎(chǔ)字段數(shù)據(jù)直接選擇性的覆蓋填充到目標庫a中。

在遷移過程中，關(guān)聯(lián)數(shù)據(jù)部分基礎(chǔ)字段沖突的處理邏輯。

若兩個數(shù)據(jù)庫相同字段同時存在數(shù)據(jù)：

選擇行覆蓋：b內(nèi)的數(shù)據(jù)覆蓋a內(nèi)的數(shù)據(jù)；

選擇性丟棄：按照優(yōu)先級，直接丟棄b內(nèi)的數(shù)據(jù)，以a的數(shù)據(jù)為準（或者丟棄a數(shù)據(jù)，以b數(shù)據(jù)為準）。

源數(shù)據(jù)庫和目標數(shù)據(jù)庫的同一個字段的規(guī)則差異。

除了數(shù)據(jù)兼容沖突兼容外，還需要考慮數(shù)據(jù)庫兼容，所謂的數(shù)據(jù)庫兼容就是字段的長度、類型等。例如：

1、字段長度限制。

2、字段區(qū)分大小寫：例如：用戶郵箱，在源數(shù)據(jù)庫內(nèi)支持大小區(qū)分，但是在目標庫內(nèi)不支持。

3、字段支持特殊字符：例如用戶昵稱在目標數(shù)據(jù)庫內(nèi)不支持特殊字符，但是在源數(shù)據(jù)庫內(nèi)支持。

4、字段格式不合法：例如手機號格式、郵箱格式。

遷移方案

在評審階段，與開發(fā)產(chǎn)品確認對應(yīng)的遷移方案：

1、正式遷移時，是否需要停機。

2、評估遷移失敗產(chǎn)生的風險以及對應(yīng)的解決措施。

3、在測試階段進行遷移：

a)是否允許針對指定的數(shù)據(jù)進行遷移測試。

b)測試期間未停機導(dǎo)致的臟數(shù)據(jù)如何處理。

c)評估遷移失敗可能產(chǎn)生的風險，是否可進行數(shù)據(jù)恢復(fù)。

4、遷移準備：提前根據(jù)測試分析的各個遷移場景，準備對應(yīng)的“待遷移”數(shù)據(jù)，數(shù)據(jù)要盡可能的模擬線上用戶真實數(shù)據(jù)。

遷移驗收

數(shù)據(jù)遷移成功后驗收，需要基于業(yè)務(wù)場景的角度進行數(shù)據(jù)對應(yīng)的功能場景驗收，必須要覆蓋「增」、「刪」、「改」、「查」。

【新增】：遷移后往新的數(shù)據(jù)庫內(nèi)添加數(shù)據(jù)后，在軟件內(nèi)訪問個人中心查看用戶信息獲取正確。

【查詢】：對用戶的基本信息進行遷移后，需要在軟件內(nèi)訪問個人中心查看用戶的信息是否獲取成功，是否有異常報錯。

【修改】：對用戶的基本信息進行修改，修改后數(shù)據(jù)存儲成功，再次訪問個人中心可展示最新的用戶數(shù)據(jù)。

【刪除】：刪除用戶數(shù)據(jù)后，該用戶無法訪問。

發(fā)布留觀

由于遷移數(shù)據(jù)版本發(fā)布后，勢必會影響到用戶的數(shù)據(jù)，所以在分析階段對用戶可能出現(xiàn)的反饋制定出對應(yīng)的應(yīng)答策略，提前進行人員分工。同時關(guān)注由于發(fā)布后的功能使用情況。

用戶反饋

發(fā)布后對用戶反饋及時響應(yīng)，快速定位用戶的數(shù)據(jù)出現(xiàn)變更是否由數(shù)據(jù)遷移引起，以及如何引導(dǎo)用戶正常繼續(xù)使用，提高用戶的滿意度。

留觀數(shù)據(jù)

重點梳理關(guān)于遷移數(shù)據(jù)涉及到的相關(guān)的核心接口數(shù)據(jù)，在發(fā)布后進行定時監(jiān)測：

1、相關(guān)接口調(diào)用量：關(guān)注數(shù)據(jù)遷移后，接口的調(diào)用量是否暴漲。

2、相關(guān)接口錯誤率：關(guān)注數(shù)據(jù)遷移后，接口的錯誤率是否異常上漲。

3、相關(guān)接口告警率：關(guān)注數(shù)據(jù)遷移后，接口的告警率是否異常上漲。

小案例

以上是個人對于小部分數(shù)據(jù)遷移測試后的總結(jié)反思。一個人必須不停地總結(jié)歸納，才能不被茫茫人海淹沒～

最后：在我的V ：atstudy-js，可以免費領(lǐng)取一份10G軟件測試工程師面試寶典文檔資料。以及相對應(yīng)的視頻學(xué)習(xí)教程免費分享！其中包括了有基礎(chǔ)知識、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫、抓包工具專題、接口測試工具、測試進階-Python編程、Web自動化測試、APP自動化測試、接口自動化測試、測試高級持續(xù)集成、測試架構(gòu)開發(fā)測試框架、性能測試、安全測試等。