如何將mac連接到hadoop/hdfs集羣

Question

我有CDH在集羣中運行，我有ssh訪問機器。我需要將我的Mac連接到羣集，因此如果我使用hadoop fs -ls，它應該顯示羣集的內容。 我已將HADOOP_CONF配置爲指向羣集的配置。我正在羣集中運行CDH4。我在這裏錯過了什麼，可以連接嗎？

是否有一些我需要做的ssh密鑰設置？

Answer 1

有一些事情你需要確保做到這一點：

1. 你需要設置你的HADOOP_CONF_DIR環境變量指向攜帶配置個XML指向集羣目錄。
2. 您的Mac應該能夠直接訪問組成您的羣集的主機（全部）。例如，這可以通過VPN完成 - 如果羣集是從外部網絡保護的。
3. 您的Mac應該攜帶集羣運行的相同版本的Hadoop。