使用MapReduce獲取大文件中的重複記錄

Question

我有一個大文件包含> 10萬行。我想使用MapReduce來獲得重複的行。 我該如何解決這個問題？ 感謝您的幫助

Answer 1

您需要利用MapReduce的默認行爲是基於公共密鑰對值進行分組的事實。

因此所需的基本步驟是：

1. 閱讀中的每一行的你的文件到您映射器可能使用類似的的TextInputFormat。
2. 將輸出鍵（文本對象）設置爲每行的值。價值的內容並不重要。如果需要，您可以將其設置爲NullWritable。
3. 在減少檢查爲每個鍵分組的值的數量。如果你有多個值，你就知道你有一個副本。
4. 如果您只是想要重複的值，請寫出具有多個值的鍵。