如何mapreducer和HBase的

Question

我有24 2G內存的機器，並希望運行hdfs，他們map-reducer和hbase，但我想分裂map-reducer和hbase之間的存儲器之間分割內存。

我希望hbase使用最大15G的ram和map-reducer來獲得8G max。實現它的最好方法是什麼？

Answer 1

在您的配置文件中，您可以指定每個進程允許擁有多少。
HBase的由hbase-env.sh MapReduce的controled由mapred-site.xml中

有每個文件的很好的意見，以幫助您找到您正在尋找的確切屬性控制。

最棘手的問題是mapreduce：取決於你希望你有多少插槽，你必須將你願意給mapreduce的最大內存除以你在機器上提供的插槽數量。因此，如果您只需要一個插槽，則可以將最大子內存設置爲8GB; 2個插槽爲您提供4GB;等等。

您還可以將子內存設置爲mapred-site.xml文件中的最終內容，以便任務本身無法覆蓋它。