配置單元表導出到羣集+ distcp內的其他hadoop羣集或配置單元導出？

Question

我想蜂巢導出表從一個Hadoop集羣A到B.另一

我有2種方法：

第一：

• 出口至A（同一集羣的HDFS）

• distcp to hdfs of cluster B（不同簇）

• 進口蜂巢集B

二的：

• 出口到B的HDFS（不同簇）
• 進口配置B羣

是distcp增加額外的優勢嗎？

Answer 1

目前尚不清楚「導出到HDFS」和「導入到Hive」的含義。無論如何，Hive數據文件都是存儲在HDFS中的！

對於管理表中，與位於下相同的「位置」以確定的方式所有這些數據文件，做最簡單的事情是：

• 打造集B有確切空管理的表相同的佈局和SERDE - 也創造所有預期的分區，如果在一個任何
• distcp整個HDFS樹從「位置」到「位置」 B中
• 完成！

這就是我們做克隆一些PROD數據（ORC W/gzip壓縮，按月分區）到測試集羣。

請注意，您可以將副本限制爲一個分區列表，在單個子目錄上使用多個distcp命令。