跨越平臺、云和全球區(qū)域移動大規(guī)模數(shù)據(jù)不再是少數(shù)高技術(shù)團(tuán)隊的特殊項目。它已成為現(xiàn)代企業(yè)的常規(guī)運(yùn)營要求。公司現(xiàn)在在一個環(huán)境中運(yùn)行分析，在另一個環(huán)境中存儲長期檔案，并構(gòu)建必須從多個位置準(zhǔn)確提取數(shù)據(jù)且永不失準(zhǔn)的應(yīng)用程序。隨著數(shù)據(jù)量從TB增長到PB，挑戰(zhàn)不僅僅在于速度。它在于信任。組織需要知道到達(dá)另一端的數(shù)據(jù)是完整的、一致的、最新的，并且能夠抵御中斷。

造成困難的原因是，數(shù)據(jù)很少存在于一個整潔、受控的環(huán)境中。它駐留在各種存儲類型中，跨越公共云和私有云、區(qū)域數(shù)據(jù)中心，以及從未被設(shè)計為無縫傳輸信息的傳統(tǒng)系統(tǒng)。每個系統(tǒng)都有自己的規(guī)則、格式、訪問限制和性能怪癖。大規(guī)模移動數(shù)據(jù)不僅是一項技術(shù)任務(wù)。它是一次組織測試，揭示了團(tuán)隊的溝通如何順暢、規(guī)劃如何有效，以及驗證和監(jiān)控維持業(yè)務(wù)運(yùn)轉(zhuǎn)的信息時的紀(jì)律性。

近年來最重要的突破之一，是轉(zhuǎn)向?qū)?shù)據(jù)視為可移植資產(chǎn)，而不是與特定系統(tǒng)綁定的靜態(tài)資源。這種轉(zhuǎn)變只有在公司為移動建立清晰架構(gòu)時才能實現(xiàn)。它從設(shè)計即使底層存儲系統(tǒng)不同也保持一致的數(shù)據(jù)模型開始。接著是自動化文件傳輸、創(chuàng)建版本化快照和同步更新而不會使網(wǎng)絡(luò)過載的工具。最重要的是，它需要一種能夠使團(tuán)隊實時檢測和管理錯誤的策略，而不是幾周或幾個月后發(fā)現(xiàn)不一致。

構(gòu)建保護(hù)數(shù)據(jù)完整性的容錯能力

理解難度的一種有益方法是看看典型的大規(guī)模遷移過程中會發(fā)生什么。文件可能亂序到達(dá)。網(wǎng)絡(luò)可能在流量大時丟包。當(dāng)兩個系統(tǒng)在不同時間寫入同一數(shù)據(jù)集時，可能出現(xiàn)沖突更新。某些工作負(fù)載對延遲敏感，當(dāng)數(shù)據(jù)不立即可用時會失敗。在每種情況下，簡單地重試傳輸是不夠的。整個過程必須能夠驗證數(shù)據(jù)是否正確，協(xié)調(diào)沖突更新，并準(zhǔn)確記錄什么改變了以及何時改變。數(shù)據(jù)移動不能是盲目的流動。它必須是可觀察和可追蹤的。

這就是容錯能力變得至關(guān)重要的地方。現(xiàn)代架構(gòu)使用將數(shù)據(jù)分成更小塊并獨立移動的分布式系統(tǒng)。如果某個區(qū)域或某臺機(jī)器上的傳輸失敗，系統(tǒng)繼續(xù)運(yùn)行，并且可以在不重啟整個過程的情況下重建缺失的組件。這種方法帶來了可靠性，但也增加了復(fù)雜性。團(tuán)隊需要日志框架、質(zhì)量檢查和事件警報，能夠精確定位傳輸偏離預(yù)期模式的時刻。

在整個組織中協(xié)調(diào)人員和流程

僅靠技術(shù)解決方案無法解決問題。組織挑戰(zhàn)同樣重要。團(tuán)隊經(jīng)常使用不同的工具、不同的命名約定，以及不同的準(zhǔn)確性定義。當(dāng)數(shù)據(jù)跨越平臺時，這些不匹配變得可見。數(shù)據(jù)工程團(tuán)隊可能認(rèn)為數(shù)據(jù)集是完整的，因為所有文件都存在。財務(wù)團(tuán)隊可能根據(jù)對賬過程定義完整性。機(jī)器學(xué)習(xí)團(tuán)隊可能將完整性定義為時間對齊的輸入且無間隙。如果沒有共享定義，即使完美執(zhí)行的傳輸也可能無法交付業(yè)務(wù)所期望的內(nèi)容。

有效處理數(shù)據(jù)可移植性的企業(yè)投資于共享語言和共享責(zé)任。他們記錄每個數(shù)據(jù)集代表什么。他們在移動任何內(nèi)容之前就檢查點、驗證規(guī)則和驗收標(biāo)準(zhǔn)達(dá)成一致。他們創(chuàng)建操作手冊，描述當(dāng)傳輸變慢、落后計劃或產(chǎn)生意外結(jié)果時會發(fā)生什么。這些組織將數(shù)據(jù)移動視為一種持續(xù)實踐，而不是特殊項目。

全球規(guī)模的準(zhǔn)確性最終取決于既了解系統(tǒng)又了解利害關(guān)系的人。移動數(shù)據(jù)不僅關(guān)于基礎(chǔ)設(shè)施。它關(guān)于領(lǐng)導(dǎo)者在用于決策的信息中放置的信任。當(dāng)公司創(chuàng)建結(jié)合技術(shù)洞察和運(yùn)營理解的團(tuán)隊時，數(shù)據(jù)就變成了存儲資產(chǎn)之外的東西。它變成了可以在業(yè)務(wù)每個部分中旅行、適應(yīng)和支持創(chuàng)新的東西。