備份Hadoop以安裝新羣集，最佳做法

Question

我正在構建新的Hadoop羣集（擴展節點數量並擴展當前節點的容量）並需要備份所有現有數據。現在，我只是將所有內容都打包併發送到另一臺服務器。

有沒有更聰明的方法來做到這一點，這將允許我一旦建立新集羣就可以輕鬆部署？

編輯：我還應該指出，我沒有在羣集上存儲任何數據。我將數據帶入羣集，處理它，然後將處理後的數據發送回原始服務器。羣集上的任何臨時數據都被刪除。

Answer 1

使用Distcp將HDFS數據傳輸到其他羣集或任何雲，以便存儲數據。 如果您想安排備份過程，您可以利用OOZIE-DISTCP進行備份過程！