Hortonworks Hue Oozie Streaming作業在使用「添加文件」部分（shell腳本）時失敗

我已經安裝了HDP 2.x和hue。（2主機）Hortonworks Hue Oozie Streaming作業在使用「添加文件」部分（shell腳本）時失敗

我需要解決這個問題，因爲我是oozie工作流程的新手。我後面的例子在這裏：http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/ 它完美的作品，如果我在所有主機在相應的路徑只有映射器和減速器。我看到oozie的ambari-qa煙霧測試很好，但是當我從Hue UI提交Oozie的流式作業時，其中執行字數統計（詞頻）的shell腳本的映射器和縮減器以及我想使用「添加文件」（ - 文件在hadoop命令行中）部分Oozie工作流編輯器並將映射器和reducer上傳到HDFS。在更改並提交此作業後，出現錯誤。我得到的地圖任務的所有嘗試以下錯誤：

2013年12月16日19：21：24278 ERROR [主] org.apache.hadoop.streaming.PipeMapRed：配置異常 java.io. IOException異常：不能運行程序「/hadoop/yarn/local/usercache/root/appcache/application_1387201627160_0006/container_1387201627160_0006_01_000002/./maptf.sh」：產生java.io.IOException：錯誤= 2，沒有這樣的文件或目錄

這意味着它無法在oozie/mapred/yarn將在onfly上創建文件的路徑中找到映射器和縮減器。我是否有任何oozie配置和工作流程問題？（通過電子郵件日誌：[email protected]）

在HDFS中，我已經在root用戶下正確安裝了所有路徑和文件。

注：我能跑不Oozie的工作流爲：

cd /root/mrtest/ 
ls 
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh 
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh 

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh

看來我不能在這裏附上日誌。請寄給我文件和日誌。

來源

2013-12-18 Sandeep Kumar

這可能與Hue list上的這些用戶存在相同的問題。

如果您使用文件瀏覽器編輯文件，由於某些非Unix新行，它們可能會損壞。你應該直接上傳它們，而不是修改它們，或者使用更新版本的Hue（在本文寫作時爲3.5）。

來源

2013-12-18 14:30:06 user2575101

是的，我在Windows記事本/字板中編輯shell腳本，並通過「添加文件」上傳方法上傳。這意味着對於每一行結尾我都會看到\ r \ n並且這會導致錯誤。我需要做dos2unix轉換並使其工作。但爲什麼錯誤信息是誤導？ *「無此文件或目錄」* –

Hortonworks Hue Oozie Streaming作業在使用「添加文件」部分（shell腳本）時失敗

回答

相關問題