我被這個問題困住了2天。我正在使用Hadoop(CDHu3)。我嘗試了所有可能的解決方案,我通過谷歌搜索找到了。log.index(沒有這樣的文件或目錄)和任務進程退出非零狀態爲126
這是問題:
當我運行Hadoop的例如 「單詞計數」,向TaskTracker的日誌在一個從節點給了以下錯誤:
1.WARN org.apache.hadoop.mapred。 DefaultTaskController:任務包裝標準錯誤:慶典: /var/tmp/mapred/local/ttprivate/taskTracker/hdfs/jobcache/job_201203131751_0003/attempt_201203131751_0003_m_000006_0/taskjvm.sh: 權限被拒絕
2.WARN org.apache.hadoop。 mapred.TaskRunne R:attempt_201203131751_0003_m_000006_0:兒童錯誤 產生java.io.IOException:用126
3.WARN org.apache.hadoop.mapred.TaskLog的非零狀態任務進程退出:無法檢索任務的標準輸出日誌:attempt_201203131751_0003_m_000003_0 的java .io.FileNotFoundException: /usr/lib/hadoop-0.20/logs/userlogs/job_201203131751_0003/attempt_201203131751_0003_m_000003_0/log.index (沒有這樣的文件或目錄)
我無法找到谷歌類似的問題。我得到了一些帖子似乎有點相關的,這表明:
- 的Hadoop用戶的
ulimit
:我ulimit
爲這個捆綁例如 - 內存由JVM使用設置得足夠大:我的JVM只使用Xmx200m,太小到超過我的機器的限制
- mapred.local.dir和logs dir的特權:我通過「chmod 777」設置它們
- 磁盤空間已滿:我的日誌中有足夠的空間用於Hadoop目錄和mapred.local.dir。
謝謝大家。我真的在智慧的結尾。我花了好幾天的時間。 我真的很感激任何幫助。
您好,任何一個可以幫助 – basketballnewbie 2012-03-14 03:07:51