忽略hadoop的mapreduce.fileoutputcommitter.marksuccessfuljobs在oozie

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

我想重寫上述屬性爲true。該屬性對於羣集中的其餘作業需要爲false，但在我的oozie工作流程中，需要hadoop在作業完成後在輸出目錄中創建_SUCCESS文件。它是寫入輸出的工作流程中的配置單元操作。請幫忙。

Answer 1

蜂巢不幸被設置它自己的NullOutputComitter覆蓋該功能：

conf.setOutputCommitter(NullOutputCommitter.class); 

看到

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

看起來你必須手動創建的標誌。我們已經爲此提交了HIVE-3700。

Answer 2

我遇到了同樣的問題，並最終使用shell動作來創建標誌。

這裏有一個完整的例子：http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

您可以添加 'DFS' 命令你的蜂巢腳本，像

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html