在多節點羣集上運行mapreduce wordcount（Java代碼）

我當時試圖在hadoop多節點羣集上使用eclipse運行wordcount java程序（它可以在單節點羣集中正常工作，但不能在多節點中工作）。我回來以下信息在多節點羣集上運行mapreduce wordcount（Java代碼）

信息ipc.Client：重試連接到服務器：本地主機/ 127.0.0.1：54310。已經嘗試0次（s）;重試策略是RetryUpToToMaximumCountWithFixedSleep（maxRetries = 10，sleepTime = 1 SECONDS） 16/04/24 21:30:46信息ipc.Client：重試連接到服務器：localhost/127.0.0.1：54310。已經嘗試過1次;重試的政策是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10，休眠時間= 1秒）

public static void main(String[] args) throws Exception 
{ 
Configuration conf = new Configuration(); 

    Job job = new Job(conf, "wordcount"); 

job.setOutputKeyClass(Text.class); 
job.setOutputValueClass(IntWritable.class); 

job.setMapperClass(Map.class); 
job.setReducerClass(Reduce.class); 

job.setInputFormatClass(TextInputFormat.class); 
job.setOutputFormatClass(TextOutputFormat.class); 

FileInputFormat.addInputPath(job, new Path("hdfs://localhost:54310/user/hduser/sam/")); 
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:54310/user/hduser/wc-output")); 

job.waitForCompletion(true);

}

} *

我覺得有一些錯誤的路徑。我在主端

來源

2016-04-24 Abhilash Desai

運行此代碼執行命令

hdfs dfs -ls hdfs://localhost:54310/user/hduser/sam/

工作？

來源

2016-04-24 11:02:17 deba

沒有先生，顯示相同的信息 –

嘗試 hdfs dfs -ls/user/hduser /山姆/ 如果它的工作，那麼我們可能給錯了端口。檢查節點上是否運行namenode進程。 – deba

在多節點羣集上運行mapreduce wordcount（Java代碼）

回答

相關問題