如何在這種情況下爲hadoop編寫分配器？

Question

我有一個類似於「簽名[白色空間]日期[白色空間]時間」的密鑰，但是我希望在同一個容器中具有相同簽名的所有密鑰。如何爲這種情況編寫分配器？

最好的問候，

Answer 1

默認情況下HashParititioner使用，整體使用哈希碼來計算減速機號碼。爲了實現你的任務，你可以只散列你的部分密鑰（簽名在你的案例中），並且所有具有相同簽名的密鑰將被分配給同一個簡化器。

試試這個代碼：

public class HashPartitioner<K, V> extends Partitioner<K, V> { 

    public int getPartition(K key, V value,int numReduceTasks) { 

     return key.toString().split("\s+")[0].hashCode() % numReduceTasks; 
    } 
}