2012-03-13 24 views
0

我被這個問題困住了2天。我正在使用Hadoop(CDHu3)。我嘗試了所有可能的解決方案,我通過谷歌搜索找到了。log.index(沒有這樣的文件或目錄)和任務進程退出非零狀態爲126

這是問題:

當我運行Hadoop的例如 「單詞計數」,向TaskTracker的日誌在一個從節點給了以下錯誤:

1.WARN org.apache.hadoop.mapred。 DefaultTaskController:任務包裝標準錯誤:慶典: /var/tmp/mapred/local/ttprivate/taskTracker/hdfs/jobcache/job_201203131751_0003/attempt_201203131751_0003_m_000006_0/taskjvm.sh: 權限被拒絕

2.WARN org.apache.hadoop。 mapred.TaskRunne R:attempt_201203131751_0003_m_000006_0:兒童錯誤 產生java.io.IOException:用126

3.WARN org.apache.hadoop.mapred.TaskLog的非零狀態任務進程退出:無法檢索任務的標準輸出日誌:attempt_201203131751_0003_m_000003_0 的java .io.FileNotFoundException: /usr/lib/hadoop-0.20/logs/userlogs/job_201203131751_0003/attempt_201203131751_0003_m_000003_0/log.index (沒有這樣的文件或目錄)

我無法找到谷歌類似的問題。我得到了一些帖子似乎有點相關的,這表明:

  1. 的Hadoop用戶的ulimit:我ulimit爲這個捆綁例如
  2. 內存由JVM使用設置得足夠大:我的JVM只使用Xmx200m,太小到超過我的機器的限制
  3. mapred.local.dir和logs dir的特權:我通過「chmod 777」設置它們
  4. 磁盤空間已滿:我的日誌中有足夠的空間用於Hadoop目錄和mapred.local.dir。

謝謝大家。我真的在智慧的結尾。我花了好幾天的時間。 我真的很感激任何幫助。

+0

您好,任何一個可以幫助 – basketballnewbie 2012-03-14 03:07:51

回答

0

對我來說這happended因爲Hadoop的是沒能在Hadoop /日誌創建MapReduce工作日誌/ userlogs /作業ID/attemptID

的ulimit當然是最高的可能性之一。

但對我來說,那是因爲我們使用磁盤已滿不知何故並創建日誌文件失敗

相關問題