創建從作業日誌到$ {hadoop.tmp.dir}的符號鏈接在hadoop多節點集羣設置中失敗

當我在3節點集羣hadoop中運行簡單的wordcount示例時，出現以下錯誤。我檢查了必要文件夾的所有寫入/讀取權限。這個錯誤並不能阻止mapreduce作業，但是所有的工作負載都會集中到集羣中的一臺機器上，其他兩臺機器在任務到達時會給出同樣的錯誤。

12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED 
java.lang.Throwable: Child Error 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore 
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed. 
    at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110) 
    at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71) 
    at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316) 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228) 

12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout 
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr

這是什麼錯誤？

來源

2012-09-13 noktasizvirgul

你可以分享你的Hadoop配置文件嗎？ – SleepyThread

您是否找到解決方案？ – vefthym

-1

的java.lang.Throwable：兒童錯誤

org.apache.hadoop.mapred.TaskRunner.run（TaskRunner.java:271）

似乎分配給任務跟蹤器的內存超過節點的實際內存。檢查鏈接Explanation

來源

2013-11-29 03:47:35 Binary01

創建從作業日誌到$ {hadoop.tmp.dir}的符號鏈接在hadoop多節點集羣設置中失敗

回答

相關問題