Java項目如何連接到本地hadoop實例

我是hadoop的新手，並試圖創建一個使用hadoop的java項目。Java項目如何連接到本地hadoop實例

我有hadoop在單節點集羣中運行，我有一個java項目，我已經在構建路徑中將hadoop作爲外部jar導入。

以下是否有意義：我應該如何將java項目連接到本地hadoop實例？

謝謝

來源

2013-10-20 user1647708

連接到本地實例後，您想要做什麼？ –

我想在hdfs中的一組文件上運行map reduce。開始我想運行簡單的字數統計的例子，但我想更多的解析xml下線的行。 – user1647708

這應該有效。爲了連接到本地Hadoop設置，您不必執行太多操作。只需創建一個Configuration對象並使用Configuration.addResource（）告訴您的代碼在哪裏查找配置文件。一個小例子：

public class CopyToHdfs { 

    public static void main(String[] args) throws IOException { 

     Configuration conf = new Configuration(); 
     conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml")); 
     conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml")); 
     FileSystem fs = FileSystem.get(conf); 
     fs.copyFromLocalFile(new Path("file:///Users/miqbal1/input.txt"), new Path("/")); 

    } 
}

來源

2013-10-20 23:01:44 Tariq

我覺得你需要的是hadoop eclipse插件。我認爲它不適用於所有的hadoop版本，但我已經運行hadoop 1.2.0版本。看看this tutorial。

來源

2013-10-22 12:38:52 vefthym

Java項目如何連接到本地hadoop實例

回答

相關問題