在$ HADOOP_HOME之外運行Java程序（使用HDFS JAVA API）

Question

我有一個簡單的Java程序，它只是讀取和寫入一些文本到HDFS上的文件。我運行它使用hadoop HDFSReadWrite文本。

我想從eclipse或其他Java程序運行它，仍然能夠在Hadoop環境之外使用HDFS。有沒有辦法做到這一點？我真的很需要它。

Answer 1

我能夠在Eclipse中運行mapreduce作業。它與HDFS程序應該沒有多大區別。

• 從命令提示符處啓動namenode和datanode。
• 在Eclipse中創建一個Java項目。
• 包含常見的hdfs和所需的jar文件。
• 在項目中包含HDFSReadWrite.java文件。
• 將以下參數傳遞給java程序。 「 - 配置ConfigurationDirectory文本」
• 執行HDFSReadWrite

而是包括JAR文件的相應的Eclipse項目可以包含在構建路徑或連接用於調試目的SRC jar文件。

代替創建Java項目，將hadoop-eclipse-plugin-*。jar文件複製到eclipse插件文件夾中，並創建一個「Map/Reduce Project」。然後自動包含所需的jar文件。

不同的命令選項在以下網址

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html