如何將Sqoop連接到多個hadoop羣集

Question

有沒有辦法將Sqoop連接到不同的Hadoop羣集，以便可以創建多個Sqoop作業來將數據導出到多個hadoop羣集？

Answer 1

將數據導出到多個Hadoop集羣

如果數據進入Hadoop的，這是技術上的一個Sqoop進口

不清楚如何你現在從一臺計算機管理不同的集羣，但你會需要有可用於Sqoop讀取的所有環境的conf文件夾

sqoop命令行程序是一個包裝器，它運行Hadoop附帶的腳本。如果您的計算機上存在多個Hadoop安裝，則可以通過設置$HADOOP_HOME環境變量來選擇Hadoop安裝。

例如：

$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments... 

或：

$ export HADOOP_HOME=/some/path/to/hadoop 
    $ sqoop import --arguments... 

如果$HADOOP_HOME沒有設置，Sqoop將使用默認安裝位置Cloudera的分銷Hadoop的，/usr/lib/hadoop。
主動Hadoop配置從$HADOOP_HOME/conf/加載，除非$HADOOP_CONF_DIR環境變量設置

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_the_hadoop_installation

根據設置如何你的Hadoop，Hortonworks只有Sqoop 1，而Cloudera的（也許MAPR）有Sqoop2，這些指令可能不同，因爲Sqoop2架構不同。