使用其他文件以及EMR流式傳輸步驟？

Question

我目前有一個hadoop命令，我想使用AWS SDK進行復制。

我目前使用

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py 

至於我能看到的命令時，StreamingStep類不提供一種方法，讓Hadoop的知道其他文件，將需要與映射器和沿減速器。

是此功能是否可用？

Answer 1

我通過傳遞-file選項HadoopJarStepConfig與我所需要的文件的列表解決了這個。

請參閱this question