是否可以在Namenode上執行任務？

Question

我使用HDFS和紗線的火花，所以基本上火花在hadoop上運行。我使用yarn-client模式在集羣上運行任務。默認情況下，任務在集羣的數據節點上執行。不過，我也想讓namenode執行一些任務，因爲它一直處於閒置狀態。那麼，是否有可能讓namenode執行一些任務？如果是這樣，怎麼樣？

Answer 1

更具體地說，Spark任務不在Datanodes上運行。在Hadoop上運行Spark時，任務在Hadoop/Yarn集羣上每個從節點上的hadoop/yarn cluster runniong中的執行單元Nodemanagers上執行。但一般在Hadoop中/每個從節點上的紗線簇有兩個過程數據管理部和節點管理器

的Namenode（數據節點的主人）的當量與節點管理器是ResourceManager中（這是nodemanagers的主）

名稱節點/的ResourceManager本身無法執行任何任務，他們只是除非您已經運行的Namenode（或ResourceManager的）在同一臺主機上啓動節點管理器的過程，管理的奴隸（分別爲數據節點和nodemanagers）M的主流程

如果您的意思是NameNode是Namenode進程啓動的物理節點，那麼只要啓動節點，就可以管理器進程。