Hadoop減少任務停留在0％

我按照一些指導來設置僞分佈式模式，我運行了start-all.sh並且守護進程都很好（其中6個），然後啓動我的WordCount示例在獨立模式下運行良好，但卡在地圖100％，減少0％。Hadoop減少任務停留在0％

查看jobtracker，reduce任務處於狀態reduce > copy。唯一的錯誤日誌地處secondarynamenode.log：

2013-02-27 23:29:59,555 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:my_user_name cause:java.net.ConnectException: Connection refused 
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint: 
2013-02-27 23:29:59,555 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused

我可以ssh本地主機不需要密碼。 Hadoop版本是1.1.1。我從commande行啓動一個jar文件。

真的不知道什麼是錯，有些幫助？

在此先感謝。

來源

2013-02-28 darkjh

我假設你已經用my_user_name替換了真正的用戶名。請在命令行中使用'jps'來列出hadoop的守護進程。他們是否真的在運行（尤其是'NameNode'）？此外 - 你是否正確地在'hdfs-site.xml'中配置了'dfs.namenode.secondary.http'？ – harpun 2013-02-28 18:27:48

我敢肯定，所有的守護進程都沒問題，並且作業已經通過map執行，但在reduce任務之前停滯不前。但是我沒有設置dfs.namenode.secondary.http，它的值應該是什麼？ – darkjh 2013-03-01 09:25:24

默認值列在[here]（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml）。如果0.0.0.0不起作用，請嘗試一個真實的IP。 – harpun 2013-03-01 17:52:23

您運行的字數有多少？如果您在獨立模式下運行大型數據集而不使用組合器，那麼這會導致一些麻煩。嘗試

job.setMapperClass(<Mapper_Class>); 
job.setCombinerClass(<Reducer_Class>); 
job.setReducerClass(<Reducer_Class>);

在包含您的程序中的驅動程序的主要方法。這可能會幫助你。

來源

2013-03-05 15:20:03 aa8y

Hadoop減少任務停留在0％

回答

相關問題