每個Hadoop映射任務使用多少個核心？

Question

我在最多8個任務和16個內核的YARN羣集上運行Hadoop任務。 當我運行這個工作時，我看到在一個節點上運行了8個任務，但所有16個內核都被使用了。 地圖任務是多線程的嗎？ 地圖任務使用多於1個核心？ 我可以知道哪些核心使用了每個地圖任務？

感謝， 阿薩夫

Answer 1

可以爲每個地圖的內核數量，以及可使用的最大內核數 - 見here。

這個問題聽起來有點混淆，所以，一些細節可能是相關的：

任務可以做更多的不僅僅是運行圖，如果你正在運行的Hadoop，你可能會使用核心與系統中的其他內容（也就是說，某些其他進程正在使用內核）。

一個映射任務可能會使用多個映射器來完成它的工作 - 這是使用hadoop和MR架構的一部分 - 您的工作將會爲您自動分配和分配。

另外，請注意，您的任務數量與映射程序，內核或其他正在使用的資源數量沒有直接關係;如果你想要做的是限制CPU使用率，或者以任何其他方式控制資源分配，請更改容器的屬性。

---

對於資源分配的一個更詳細的討論（特別是相對於MR1時）see here。