默認/找到hadoop 1.x中的mapper和reducer的數量

Question

有人能幫我理解下面有關Hadoop 1.x的問題嗎？

1. 說我只有一個節點，我有8 GB的RAM和40 TB的硬盤與四核處理器。塊大小爲64 MB。我們需要處理4 TB的數據。 我們如何確定Mappers and Reducers的數量？

   有人請詳細解釋一下嗎？請讓我知道是否需要考慮任何其他參數進行計算。

2. 假設我在一個集羣中有10個數據節點，每個節點都有8GB的RAM和40TB的四核處理器硬盤。塊大小爲64MB。我們需要處理40 TB的數據。我們如何確定Mappers和Reducers的數量？

3. 具有四核處理器的數據節點中的映射器和縮減器插槽的默認數是多少？

非常感謝， 馬尼什

Answer 1

映射器數=拆分的數量。 輸入文件將被分成多個分割。每個分組都有一組記錄。平均而言，每個分區都是一個區塊大小（64 MB以上）。所以在你的情況下，你將有大約62500個映射器（或分裂）（4TB/64）。您也可以選擇提供可配置的輸入分割大小。通常，這是在讀取整個文件一次時完成的，並且您決定如何處理記錄。

縮減器數量=映射器輸出中唯一鍵的數量。您可以通過在作業分類中或在jab運行命令中配置它們來選擇減速器的數量。以上編號基於默認散列分區程序。你可以創建你自己的分區器，它可以決定reducer的數量。