Failed to set permissions of path: \tmp\hadoop-MayPayne\mapred\staging\MayPayne2016979439\.staging to 0700
我得到這個錯誤,當MapReduce作業執行時,我正在使用hadoop 1.0.4,然後我知道這是一個已知問題,我試着用這個1.2.0但問題依然存在。我可以知道一個hadoop版本,他們已經解決了這個問題。無法設置路徑的權限: tmp
謝謝大家提前
Failed to set permissions of path: \tmp\hadoop-MayPayne\mapred\staging\MayPayne2016979439\.staging to 0700
我得到這個錯誤,當MapReduce作業執行時,我正在使用hadoop 1.0.4,然後我知道這是一個已知問題,我試着用這個1.2.0但問題依然存在。我可以知道一個hadoop版本,他們已經解決了這個問題。無法設置路徑的權限: tmp
謝謝大家提前
我設法通過改變Hadoop的核心jar文件點點地解決這個問題。在hadoop-core.jar文件中更改了FileUtil.java中的錯誤導致方法,並重新編譯幷包含在我的eclipse項目中。現在錯誤消失了。我建議你們每個人都這樣做。
我得到相同的異常,而在Windows 7中
bin/nutch crawl urls -dir crawl11 -depth 1 -topN 5
以下步驟爲我工作乳寧的Nutch-1.7
修改$ {} NUTCH_HOME到/conf/nutch-site.xml使被覆蓋的實現,如下圖所示:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.file.impl</name>
<value>com.conga.services.hadoop.patch.HADOOP_7682.WinLocalFileSystem</value>
<description>Enables patch for issue HADOOP-7682 on Windows</description>
</property>
</configuration>
像往常一樣運行你的工作(使用Cygwin)。
下面設置VM參數
-Dhadoop.tmp.dir=<A directory location with write permission>
的覆蓋缺省的/ tmp目錄
而且使用Hadoop的核心0.20.2.jar(http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/0.20.2)將解決所報告的問題。
下載hadoop-core-0.20.2.jar,並把它放在nutcher的lib目錄解決了這個問題對我來說
(在Windows的情況下),如果仍解決不了你,請嘗試使用此hadoop's patch
你確定這個問題涉及到的Hadoop你正在使用的版本? 你用什麼用戶ID來提交MapReduce作業?誰是'\ tmp'的所有者? – Singleton
是的,運行MapReduce作業的用戶必須是您提到的目錄的所有者。 –
Hadoop跟蹤器中跟蹤的已知問題在哪裏? –