我正在運行具有M個核心實例和N個任務實例的Amazon EMR集羣。Amazon EMR:爲每個EMR實例設置唯一的映射器和縮減器數量
我的工作每天運行多次,對時間敏感,所以我保持微米的核心情況和運行24/7,使我沒有數據傳送開銷/從S3。
N個任務節點正在發射動態,並根據需要終止。
M個核心節點是c1.mediums和N任務節點m2.xlarge。
是否有配置每個實例mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum的方法嗎?
對於核心節點欲: mapred.tasktracker.map.tasks.maximum = 2 mapred.tasktracker.reduce.tasks.maximum = 1
對於欲至少任務節點: mapred .tasktracker.map.tasks.maximum = 2 mapred.tasktracker.reduce.tasks.maximum = 2
請注意,任務跟蹤器也在覈心節點上運行,所以我認爲此配置將需要在每個 - 實例取決於實例大小。
這可能嗎?如果是的話,我該如何設置這種類型的配置?謝謝。