無法通過Java API訪問HDFS（Cloudera-CDH4.4.0）

Question

我試圖訪問我的HDFS使用Java代碼，但我無法得到它的工作......經過兩天的掙扎我認爲是時候請求幫忙。

這是我的代碼：

Configuration conf = new Configuration();   
conf.addResource(new Path("/HADOOP_HOME/conf/core-site.xml")); 
conf.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml")); 
FileSystem hdfs = FileSystem.get(conf); 

boolean success = hdfs.mkdirs(new Path("/user/cloudera/testdirectory")); 
System.out.println(success); 

我得到這個代碼here和here。 不幸的是，hdfs對象只是一個「LocalFileSystem」對象，所以一定是錯誤的。看起來這正是Rejeev在他的網站上寫道：

[...] If you do not assign the configurations to conf object (using hadoop xml file) your HDFS operation will be performed on the local file system and not on the HDFS. [...]

使用絕對路徑，我得到了相同的結果。

conf.addResource(new Path("/etc/hadoop/conf/core-site.xml")) 

這是我目前使用的libary：

hadoop-core-2.0.0-mr1-cdh4.4.0.jar

聽說Hadoop的核心被分爲多個庫，所以我也嘗試了以下庫：

hadoop-common-2.0.0-alpha.jar

hadoop-mapreduce-client-core-2.0.2-alpha.jar

我正在使用Cloudera-CDH4.4.0，因此hadoop已經安裝。通過控制檯一切工作正常。 例如：

hadoop fs -mkdir testdirectory 

所以一切都應該被正確地按照默認設置。

我希望你們能幫助我...這東西讓我瘋狂！以這麼簡單的任務失敗是非常令人沮喪的。

非常感謝您的任何幫助。

Answer 1

1），除非你將覆蓋任何配置變量，你並不需要conf.addResource。

2）希望你正在創建一個jar文件，並在命令窗口中運行jar文件，而不是在eclipse中。 如果你在eclipse中執行，它將在本地文件系統上執行。

3）我跑下面的代碼，它的工作。

public class Hmkdirs { 
public static void main(String[] args) 
     throws IOException 
     { 
Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory1")); 
System.out.println(success); 
     } 

}

4）要執行，你需要創建一個jar文件，你可以做到這一點無論是從月食或命令提示符 和執行的jar文件。

命令提示jar文件樣品：

javac的-classpath /usr/local/hadoop/hadoop-core-1.2.1.jar:/usr/local/hadoop/lib/commons-cli-1.2.jar -d類WordCount.java & & jar -cvf WordCount.jar -C classes /。

在命令提示符下通過hadoop執行jar文件。

Hadoop的罐子hadoopfile.jar hadoop.sample.fileaccess.Hmkdirs

hadoop.sample.fileaccess是在我的課Hmkdirs存在的包。如果您的類存在於默認包中，則不必指定它，只要該類沒有問題。

---

更新：您可以從eclipse執行，仍然可以訪問hdfs，請查看下面的代碼。

public class HmkdirsFromEclipse { 

public static void main(String[] args) 

     throws IOException 
     { 
Configuration conf = new Configuration(); 
conf.addResource("/etc/hadoop/conf/core-site.xml"); 
conf.addResource("/etc/hadoop/conf/hdfs-site.xml"); 
conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020/"); 
conf.set("hadoop.job.ugi", "cloudera"); 
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); 
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory9")); 
System.out.println(success); 
     } 

}

Answer 2

試試這個：

conf.set("fs.defaultFS", "file:///"); conf.set("mapreduce.framework.name", "local");

Answer 3

這確實是配置的一個棘手的一點，但是這基本上是你需要做的：

Configuration conf = new Configuration(); 
    conf.addResource("/etc/hadoop/conf/core-site.xml"); 
    conf.addResource("/etc/hadoop/conf/hdfs-site.xml"); 
    conf.set("fs.defaultFS", hdfs://[your namenode]); 
    conf.set("hadoop.job.ugi", [your user] 
    conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); 

確保你在classpath有Hadoop的HDFS，太。