2014-02-12 21 views
0

我已經使用蜂巢-0.11.0,Hadoop的2.0.3和MySQL 5.6元蜂巢不能創建的map/reduce任務

我可以成功運行像SELECT * FROM記錄,這不是聲明創建一個map/reduce任務。

但是當我嘗試運行SELECT * FROM記錄,其中一年=「1949年」地圖/ reduce任務總是得到一些錯誤

Hadoop的給我診斷:
應用application_1382680612829_0136失敗,原因是1倍至AM的容器由於:java.io.FileNotFoundException:file/tmp/hadoop-hadoop/nm-local-dir/filecache在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java)上不存在,所以退出時使用exitCode:-1000 appattempt_1382680612829_0136_000001 :492)at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:996)at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:150)at org.apache.hadoop.fs。 FilterFs.mkdir(FilterFs.java:187)位於org.apache.had oop.fs.FileContext $ 4.next(FileContext.java:730)at org.apache.hadoop.fs.FileContext $ 4.next(FileContext.java:726)at org.apache.hadoop.fs.FileContext $ FSLinkResolver.resolve( FileContext.java:2379)在org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:726)位於org.apache.hadoop.yarn.util.FSDownload.createDir(FSDownload.java:88)at org.apache .hadoop.yarn.util.FSDownload.call(FSDownload.java:274)at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:51)at java.util.concurrent.FutureTask $ Sync.innerRun (FutureTask.java:303)at java.util.concurrent.Exccutors $ RunnableAdapter.call(Executors.java:441)at java.util.concurrent。 FutureTask $ Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util.concurrent.ThreadPoolExecutor $ Worker.runTask(ThreadPoolExecutor.java:886)at java .util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:908)at java.lang.Thread.run(Threa d.java:662).Failing this attempt ..失敗的應用程序。

我該怎麼辦?感謝

+0

它表明你一個java找到。 io.FileNotFoundExceptiona bout File/tmp/hadoop-hadoop/nm-local-dir/filecache,它是你的環境配置中的一個元素嗎? – emecas

+0

我不確定。我在hive shell中運行set -v。並獲得一行像hadoop.tmp.dir =/tmp/hadoop - $ {user.name}。是嗎? @emecas – chEn

+0

我不確定。我已經發布了一個關於我發現的有關該異常的最佳參考資料摘要。最後一個版本是你的hadoop 2.0.3安裝嗎?確定它是 – emecas

回答

0

總之,隨着解決方案,他們建議以創建父文件夾,還有一個應該被固定在2.0.3 [1]

湯姆白加評論補丁 - 30 /月/ 12 21:36這可以通過 創建父目錄(如果它們不存在)解決了這個問題。沒有 修復測試將失敗大約4次在10;與修復我沒有看到 失敗。

看上去最相似的問題,我可以在Hadoop的缺陷數據庫

它也涉及到[2][3]如果你想看看

+0

非常感謝,我發現這是因爲我沒有設置hadoop tmp director,所以它已經創建在/ tmp中,並且被系統刪除。所以我嘗試重新格式化hadoop並將其修復 – chEn