s3使用oozie工作流程的服務器加密

Question

我有一個sqoop作業，它將數據寫入s3存儲桶。如果我從命令行運行這個作業，它將加密s3文件。但是，如果我使用相同的jar文件使用oozie工作流運行sqoop作業，那麼它會將數據推送到s3，但不會發生加密。

以下是我的oozie工作流程。

<java> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class> 
     <arg>root</arg> 
     <arg>root</arg> 
     <arg>test</arg> 
    <arg>avro</arg> 
    <arg>sqoop-demo</arg> 
    </java> 
    <ok to="end"/> 
    <error to="email-action" /> 
</action> 

在jar中，我們使用distcp命令將數據從hdfs複製到s3。

那麼我怎樣才能使用oozie工作流對s3文件進行服務器端加密？

Answer 1

我通過在啓動羣集之前在EMR羣集中啓用s3加密解決了上述問題。