NodeManager的Hadoop數量和DataNode關係的數量

NodeManager的數量和DataNode的數量之間的關係是什麼，所以我不能超越容器的物理內存綁定異常？NodeManager的Hadoop數量和DataNode關係的數量

2016-07-13 Marius Cristian Eseanu

你的問題不明確。你是什麼意思：「所以我不能超越物理內存綁定異常的容器？」 –

這是我遇到的錯誤：Container超出了物理內存限制。當前使用情況：170.2 MB使用170 MB物理內存;使用377.0 MB的357.0 MB虛擬內存。殺死容器。根據要求殺死容器。退出代碼是143.我假設Datanodes數量和NodeManager數量之間存在數學關係，所以我可以運行應用程序而不出錯。 –

節點管理器和數據節點相關

有1：節點管理器和數據節點的數量之間的相關性1。

節點管理器管理由工作
數據節點管理

Hadoop是設計，以確保計算的數據請求的容器（節點管理器）中運行儘可能接近數據（數據節點）儘可能。通常用於作業的容器分配在數據所在的相同節點上。

因此，在典型的Hadoop集羣中，數據節點和節點管理器都運行在同一臺機器上。

內存問題：

通常你面對的內存問題，當你yarn-site.xml節點管理器相關的設置是錯誤的。

要正確獲取節點管理器設置，可以查看此鏈接中提供的答案：MapReduce job hangs, waiting for AM container to be allocated。檢查在yarn-site.xml和mapred-site.xml文件中指定的設置。

瞭解紗構造的優化，我覺得這是一個非常好的來源：http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html

來源

2016-07-20 12:45:51

NodeManager的Hadoop數量和DataNode關係的數量

回答

相關問題