Hadoop映射器發出唯一密鑰。我可以在每張地圖後執行減速器嗎？

Question

我的映射器發出 'uniq key' - '非常大的值'對。

我的減速機並不知道這個鑰匙是唯一的。 因此，減速器將等待所有的繪圖器完成。

我試過使用組合器，但對我來說這不是一個簡單的解決方案，因爲我的減速器非常複雜。

我的問題是如何在每個地圖之後執行減速器？而不使用組合器。

Answer 1

如果你的密鑰是uniq，那麼不需要減少它們。因此，只需將減速器代碼複製粘貼到映射器並將減速器號碼設置爲零即可。順便說一句，有許多地圖減少工作，不需要減少步驟，所以它不是什麼奇怪的事情。

Answer 2

我不明白你的問題。您可以簡單地在作業配置中不指定組合器。

Answer 3

如果您事先知道您的密鑰是唯一的，那麼您可以將縮減步驟中的所有代碼移動到地圖以及所有工作中。