如何在Hadoop中顯式指定映射節點或減少節點

是否有任何.xml文件或類似的東西，它們明確指定了我想要運行Map任務或Reduce Task的節點。如果這是依賴hadoop架構，那麼如何指定節點。如何在Hadoop中顯式指定映射節點或減少節點

2012-05-28 Black_Rider

是您選擇節點'工作特定'還是整個羣集？ –

不，沒有這樣的功能。

我懷疑是否會創建這樣的功能，因爲這會破壞可伸縮性和容錯性能。

2012-05-30 04:52:59

@Chris White 是的，我選擇的節點是「特定工作」。如果它是特定於集羣的，那麼可以通過將maximum.map.tasks = 0設置爲所有不需要的從屬節點並在所需的從屬節點上設置maximum.map.tasks = X（比如說5）來輕鬆完成此操作。你有什麼想法我怎麼能做到這一點特定的工作...... !!! –

您不需要指定要運行任務的節點。 Hadoop map-reduce自己做。

來源

2012-05-28 09:23:30 Amnesiac

感謝the_Silent_lord 但我希望顯式定義hadoop應該運行的節點Map任務或Reduce任務負載平衡時集成hadoop與另一個DFS體系結構...請告訴我，如果有辦法做到這一點..和thankx再次爲你的迴應... –

如何在Hadoop中顯式指定映射節點或減少節點

回答

相關問題