0
我開始學習Hadoop。我有一個hadoop服務器,它連接3個羣集節點。如果我運行MapReduce作業,效果很好。我需要爲這些羣集設置優先級。如何設置hadoop集羣優先級?
例如
節點1,節點2,節點3是我的羣集這與我的hadoop服務器連接。這裏如果我運行MR作業,它將每次都按照上述優先級拆分和分配作業。可能嗎?
由於羣集節點具有不同的內存容量。所以我需要設置高內存節點首先會處理Job。
我開始學習Hadoop。我有一個hadoop服務器,它連接3個羣集節點。如果我運行MapReduce作業,效果很好。我需要爲這些羣集設置優先級。如何設置hadoop集羣優先級?
例如
節點1,節點2,節點3是我的羣集這與我的hadoop服務器連接。這裏如果我運行MR作業,它將每次都按照上述優先級拆分和分配作業。可能嗎?
由於羣集節點具有不同的內存容量。所以我需要設置高內存節點首先會處理Job。
不可能根據容量來「加權」某些服務器。但是,每個服務器都可以有一個配置,以匹配其內存,處理器數量等。
例如,如果一個服務器有16個核心,另一個有8個核心,則可以配置第一臺服務器同時運行12個任務,第二次只能運行6.與內存相同的想法。