當Hadoop MapReduce運行一個組合器時的確切來源

Question

已經有很多像這樣的問題，有相互矛盾的答案。我還在文學和博客中發現了相互矛盾的言論。在本書中，Hadoop是權威指南，它說

Hadoop不提供保證多少次它會爲特定的映射輸出記錄調用[組合器]（如果有的話）。換句話說，調用組合功能爲零，一個或多個時間應產生相同的輸出從減速

的答案在這裏過類似的問題On what basis mapreduce framework decides whether to launch a combiner or not建議，一個組合，如果定義了，總是會被調用一次爲MapOutputBuffer需要刷新。

可能存在邊界情況，其中映射器僅發射一次，這意味着組合器即使已定義也不會運行。

我的問題是：這個問題的答案是否有確切的來源？我當然搜索了Hadoop文檔，但找不到任何東西。

Answer 1

Hadoop框架旨在爲用戶/開發人員提供一個簡單的界面，以開發在分佈式環境中運行的代碼，而無需用戶/開發人員思考/處理分佈式系統的複雜性。

要回答你的問題，你可以閱讀具有基於條件調用組合器的邏輯的源代碼。

• 它並不確定，或者
• 如果泄漏小於minSpillsForCombine： -

  線1950年1955年線 https://github.com/apache/hadoop/blob/0b8a7c18ddbe73b356b3c9baf4460659ccaee095/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-core/src/main/java/org/apache/hadoop/mapred/MapTask.java

  if (combinerRunner == null || numSpills < minSpillsForCombine) { 
      Merger.writeFile(kvIter, writer, reporter, job); 
  } else { 
      combineCollector.setWriter(writer); 
      combinerRunner.combine(kvIter, combineCollector); 
  } 
  

  所以，如果合運行不會。 minSpillForCombine被其默認值屬性「mapreduce.map.combine.minspills」驅動是3

由於大部分的Hadoop屬性是可配置的，因此行爲和性能取決於你如何配置的屬性。

希望這回答你的問題。