如何使用oozie工作流程將數據從HDFS複製到本地FS？

我已經使用FileUtil.CopyMerge(…)編寫了java代碼以將文件合併到單個文件中。如何使用oozie工作流程將數據從HDFS複製到本地FS？

下面是我的java Oozie的動作：

<main-class>Merging</main-class 
<arg>${nameNode}/user/abhime01/haadoop/Merge/merge_output</arg> 
<arg>file:///home/abhi01/yoooize.txt</arg>

在上面的流程，如果我嘗試第二arg(destination)在HDFS我能合併在HDFS中的數據和存儲的路徑。

但是，如果我給它在本地文件系統路徑（如上面的代碼段），我收到以下錯誤：

Mkdirs無法創建文件：/首頁/ abhime01（存在=假， CWD =文件：/ CDH/SDU 1 /紗/納米/ usercache/abhime01 /應用程序緩存/ application_1440579785423_1755/container_e27_1440579785423_1755_01_000001）

任何人都可以請建議我如何合併文件，並使用ooize存儲到本地FS。

PS：如果運行時沒有使用oozie，Java代碼可以正常運行，但運行oozie時存在問題。

來源

2015-08-27 Abhinay

當您使用Oozie執行操作時，相應操作將由集羣中任意隨機節點中的容器執行。

因此，您提到的本地文件路徑將不再適用於Oozie，因爲它的作用域位於羣集上。

所以你不應該使用本地文件路徑作爲任何類型的Oozie動作的輸入，嘗試帶上所有相關的輸入，並期望輸出只在HDFS上，而你使用Oozie。

來源

2015-08-27 12:09:35 sureshsiva

謝謝，我不知道。但是有沒有其他方式像oozie ssh，因爲我必須使用oozie工作流來完成它。 – Abhinay

@Abhinay，我沒有看到處理本地文件從Oozie行動可行。我們仍然可以通過某種方式實現。請在下面的線程中查看我的答案是否有幫助。 http://stackoverflow.com/questions/32202151/how-to-pass-jar-files-to-shell-script-in-oozie-shell-node – sureshsiva

非常感謝，這將幫助我.. – Abhinay

如何使用oozie工作流程將數據從HDFS複製到本地FS？

回答

相關問題