Hadoop中的映射器數量

Question

讓我們說我有100個文件，每個文件大小爲100MB，塊大小爲64MB。

1）有多少mappers需要處理所有這100個文件。

2）如我們所知，輸入分割大小的最大限制是塊大小。所以在我們的情況下，它將是64 MB。因此，如果映射程序開始處理文件的輸入拆分，即64MB，它將如何處理剩餘的36MB。這個映射器是負責處理剩餘的36MB還是將在其他映射器中處理？

Answer 1

由於您的塊大小爲64mb，因此將產生總共200個映射器。

相同的文件將通過2名映射器處理，因爲它的輸入分割位於不同的位置，一個映射器將處理該第一和64MB另一映射器將處理剩餘的36MB