將HDFS命令作爲EMR運行步驟

Question

如何在EMR集羣中發出hdfs命令作爲步驟？將步驟作爲script_runner.jar任務添加似乎奇怪地失敗。

Answer 1

使用command-runner.jar並致電bash發出您的hdfs命令。

aws emr add-steps --cluster-id j-XXXXXXXXX --steps Name="Command Runner",Jar="command-runner.jar",Args=[/bin/bash,-c,"\"hdfs dfs -mkdir /tmp/foo\""] 

注意，最後一個參數是爲一個單一的逃生引號的字符串傳遞給bash。