Apache Falcon數據備份

Question

我無法使用Apache Falcon將數據從一個Hadoop集羣備份到另一個Hadoop集羣。

從一個集羣到另一個集羣的數據備份有哪些方法？

是否有任何流程實體或oozie工作流需要使用Apache Falcon從一個集羣到另一個集羣進行數據備份？

Answer 1

Apache falcon提供了將數據備份到另一個hadoop集羣和amazon s3的選項。微軟Azure正在計劃中，但我不確定它的當前狀態。

數據備份可以通過使用Feed的複製功能來完成。有關更多詳細信息，請參閱http://falcon.apache.org/FalconDocumentation.html#Replication。

您需要提交cluster xmls和一個feed xml進行復制（在您的情況下進行備份）。 cluster xmls將具有來自哪裏和您想要複製數據的集羣的詳細信息。

Answer 2

Apache Falcon提供使用Feed複製從一個hadoop羣集到另一個的直接複製。定義羣集（每個hadoop羣集）並定義一個具有這兩個羣集的feed，並將其中一個標記爲type =「source」，另一個爲type =「target」（源羣集以目標羣集複製）。 提交併計劃供稿，您的複製將啓動。