帶有火花的AWS DataPipeline EMR集羣

Question

我已經使用EMR模板創建了AWS DataPipeline，但未在EMR集羣上安裝Spark。我需要爲此設置任何特殊的操作嗎？ 我看到一些bootstrapaction是需要火花安裝，但這也不起作用。

Answer 1

install-spark bootstrap動作僅適用於3.x AMI版本。如果您使用的是releaseLabel（emr-4.x或更高版本），則要以不同的方式指定要安裝的應用程序。

當您創建管道時，單擊底部的「在Architect中編輯」或在管道主頁上編輯您的管道，然後您可以單擊EmrCluster節點並從「添加可選字段.. 。「 落下。這是你可以添加Spark的地方。