如何知道Hadoop reducer分配的記錄

Question

我正在使用自定義分區程序將記錄隨機分配給reducer。然後減速器開始處理。

有沒有一種方法，我可以知道在減速器開始工作之前分配給每個減速器的記錄數？

Answer 1

分區程序不分配記錄減速器隨機，它已預定義的邏輯

當我們編寫自定義分區我們寫的邏輯是如何記錄應減速

例如，如果你正在處理的中分配數據由一個外地的年齡

你可以決定如何您輸入將在減速

首先你必須配置沒有被處理。您想要針對特定​​作業的減速器可以在地圖減速作業的驅動程序中配置

假設您已配置3個減速器數量。

雖然編寫自定義分區，你將定義邏輯例如

 if(ageInt <=20){    
      return 0; 
     } 
     //else if the age is between 20 and 50, assign partition 1 
     if(ageInt >20 && ageInt <=50){ 

      return 1 % numReduceTasks; 
     } 
     //otherwise assign partition 2 
     else 
      return 2 % numReduceTasks; 

所有這一切都落在類別不到20歲就要去第一減速器的記錄。

甚至在執行作業之前，您可以根據您的情況計算所有記錄數。