2012-12-12 37 views
0

我在Pig map縮減作業中爲某些映射器和縮減器間歇性地看到此異常。大多數情況下,它會在其他節點上重試並且任務成功。但有時,所有4個任務都會失敗,並且地圖縮減作業會失敗由於啓動集羣的同一用戶運行豬MR作業失敗

但是有趣的是文件夾jobcache確實擁有權限700.我不明白爲什麼它無法在其中創建文件夾。

Error initializing attempt_201212101828_0396_m_000028_0: 
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700 
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671) 
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 
    at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221) 
    at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184) 
    at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 
    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201) 
    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116) 
    at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404) 
    at java.lang.Thread.run(Thread.java:662) 

我使用Hadoop 1.0.1,如果有幫助。我在網上搜索時發現的另一件事是:https://issues.apache.org/jira/browse/MAPREDUCE-890在我的情況下,啓動mapred集羣的用戶的確在運行這個工作,那就是它失敗的時候。對於任何其他用戶而言,作業運行得很好。

任何幫助,將不勝感激。

回答

0

將您在.xml配置文件中用作屬性值的目錄的權限更改爲755

相關問題