hadoop mapred job - 初始化嘗試mapred任務時出錯

我意外刪除了hadoop.tmp.dir，在我的情況下是/tmp/{user.name}/*。現在，每次當我運行從CLI蜂巢查詢和mapred作業將在任務失敗的嘗試如下：hadoop mapred job - 初始化嘗試mapred任務時出錯

Error initializing attempt_201202231712_1266_m_000009_0: 
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local  directory for ttprivate/taskTracker/hdfs/jobcache/job_201202231712_1266/jobToken 
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:376) 
at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:146) 
at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:127) 
at org.apache.hadoop.mapred.TaskTracker.localizeJobTokenFile(TaskTracker.java:4432) 
at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1301) 
at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1242) 
at org.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:2541) 
at org.apache.hadoop.mapred.TaskTracker$TaskLauncher.run(TaskTracker.java:2505)

這是一個測試環境，我不關心的數據。我怎樣才能讓系統恢復正常？

來源

2012-04-04 Shengjie

你應該叫stop-all.sh文件，重新創建該文件，並格式化tmp文件

來源

2012-04-04 16:27:31 user1304907

你能更具體嗎？通過stop-all.sh，你的意思是我應該重新啓動我的hadoop集羣？ – Shengjie 2012-04-04 16:52:04

是的我的意思是你應該調用腳本文件stop-all.sh，並配置你的DFS，就像你安裝它的時間一樣 – user1304907 2012-04-04 22:43:50

有你，我使用的是cloudera版本，很奇怪，它沒有那個腳本。但無論如何，我重新啓動了羣集。我終於注意到我的任務跟蹤器節點磁盤空間不足。將嘗試釋放一些空間，看看它是否能治癒問題。 – Shengjie 2012-04-04 23:19:49

你可以只是簡單的重新創建的目錄，並切換到mapred文件的所有者後開始。 chown mapred:mapred <your dir>

來源

2012-04-05 15:45:58 root1982

hadoop mapred job - 初始化嘗試mapred任務時出錯

回答

相關問題