如何在Hadoop中設置reducer輸出名稱？

Question

我有一份工作會發出900,000個不同的輸出。其中的每一個都必須通過特定的唯一名稱進行標識......這是我在mapOutputKey上的「名稱」。我如何在map-reduce中做到這一點？

Answer 1

您可以使用MultipleOutputs，在documentation，你會發現的例子，幾乎不正是你需要什麼，你只需要更換generateFileName功能，這一個：

String generateFileName(K k, V v) { 
    return k.toString(); 
}