Falcon vs Wandisco不停

Question

使用案例是：我需要將所有數據從HDFS集羣複製到另一個集羣，使用相同的主設備和從設備，我將釋放以前的集羣並開始在新羣集。

我已閱讀關於Apache Falcon和Wandisco不間斷Hadoop，這有助於此鏡像。但是當我將它們作爲我的生態系統的一部分時，我不確定它們提供的其他優點（哪一個會更有優勢？ - 這取決於我的使用情況，但我想知道是否有特別的情況）。根據你的經驗，可以提供獵鷹與Wandisco的類比嗎？

Answer 1

（聲明：我在WANdisco工作。）

我的看法是，該產品是互補的。除了數據傳輸之外，Falcon還做了很多事情，比如設置數據工作流程階段。 WANdisco的產品執行主動 - 主動數據複製（這意味着數據可以同時用於源集羣和目標集羣）。

在您的使用案例中，如果您使用Falcon，那麼您實際上正在使用DistCP將數據複製到新羣集。您可能會進行初始傳輸以獲取大量數據，然後在某個時候您需要執行最後一次切換以獲取所有增量，然後您可以讓應用程序在新集羣上運行。

如果使用WANdisco的產品進行數據傳輸，則可以在複製引擎使用Paxos算法協調更改的同時使用兩個羣集。這可能會使增量遷移變得更容易。

其他情況下，您會發現持續的主動 - 主動複製與DistCP之間的區別是備份和災難恢復以及攝入多個數據中心。希望有所幫助。