EMR集羣中的映射器分佈

Question

EMR如何在分配映射器時優先考慮核心和任務節點？它甚至重要嗎？

示例：示例工作需要5個映射器。核心節點和任務節點可獨立處理5個映射器。核心節點是否可以獲得所有5個映射器，或者任務節點是否可以獲得所有5個映射器？還是混合搭配（基於專有EMR算法）？

Answer 1

EMR目前沒有做任何關於在CORE或TASK實例上放置映射器的特殊功能。但是，Hadoop將默認嘗試執行數據本地化，這意味着如果映射器正在讀取HDFS，則映射器可能運行在CORE實例（運行HDFS）上的可能性高於TASK實例（不運行HDFS-這是CORE和TASK實例之間唯一的區別）。