Hadoop的基本例子WORDCOUNT

我從版本0.20.203.0Hadoop的基本例子WORDCOUNT

我應該在哪裏尋找一個潛在的問題得到這個錯誤與大多開箱配置。大部分配置都是開箱即用的。我能夠訪問本地網站的hdfs，任務管理器。

我猜這個錯誤與cygwin和windows的權限問題有關。另外，使用谷歌搜索這個問題，他們說可能會有某種內存不足的問題。這是一個簡單的例子，我不明白這是怎麼回事。

當我嘗試運行wordcount示例時。

$ Hadoop的罐子Hadoop的例子，0.20.203.0.jar單詞計數/用戶/ hduser /古滕貝格/用戶/ hduser /古騰堡output6

I get this error: 

2011-08-12 15:45:38,299 WARN org.apache.hadoop.mapred.TaskRunner: 
attempt_201108121544_0001_m_000008_2 : Child Error 
java.io.IOException: Task process exit with nonzero status of 127. 
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258) 
2011-08-12 15:45:38,878 WARN org.apache.hadoop.mapred.TaskLog: Failed to 
retrieve stdout log for task: attempt_201108121544_0001_m_000008_1 
java.io.FileNotFoundException: 
E:\projects\workspace_mar11\ParseLogCriticalErrors\lib\h\logs\userlogs\j 
ob_201108121544_0001\attempt_201108121544_0001_m_000008_1\log.index (The 
system cannot find the file specified) 
at java.io.FileInputStream.open(Native Method) 
at java.io.FileInputStream.<init>(FileInputStream.java:106) 
at 
org.apache.hadoop.io.SecureIOUtils.openForRead(SecureIOUtils.java:102) 
at 
org.apache.hadoop.mapred.TaskLog.getAllLogsFileDetails(TaskLog.java:112) 
...

的userlogs /工作*目錄是空的。也許這些目錄有一些權限問題。

我在Windows上運行cygwin所以我不知道要設置的權限。

來源

2011-08-13 Berlin Brown

我無法找出當前版本的hadoop的這個問題。我從當前版本恢復並轉到以前的版本，hadoop-0.20.2。我不得不玩弄core-site.xml配置文件和臨時目錄，但我最終得到了hdfs和map reduce以正常工作。

這個問題似乎是我正在使用的cygwin，windows和驅動器設置。 Hadoop在嘗試調用「子」映射/減少任務時啓動新的JVM進程。實際的jvm執行語句位於某個shell腳本中。

在我的情況下，hadoop找不到shell腳本的路徑。我假設狀態碼127錯誤是Java運行時執行找不到shell腳本的結果。

來源

2011-08-14 23:40:26

Hadoop的基本例子WORDCOUNT

回答

相關問題