MapReduce中1個任務的縮減器數量

Question

在一個典型的MapReduce設置（如Hadoop）中，1個任務使用多少個reducer，例如計數字？我對谷歌MapReduce的理解意味着只涉及1個縮小器。那是對的嗎？

例如，單詞計數會將輸入分成N個塊，N個映射將運行，產生（單詞＃）列表。 我的問題是，一旦Map階段完成，是否將只有一個reducer實例運行來計算結果？還是會有減速器並行運行？

Answer 1

簡單的答案是減速機的數量不一定是1，是的，減速機可以並行運行。正如我上面提到的，這是用戶定義或派生的。

爲了讓事情保持在上下文中，我將在本例中引用Hadoop，以便您瞭解事情的工作原理。如果您在Hadoop（0.20.2）中使用流式API，則必須明確定義您希望運行多少個reducer，因爲默認情況下只會啓動1個reduce任務。您通過將減速器的數量傳遞給-D mapred.reduce.tasks=# of reducers參數來實現此目的。 Java API將嘗試派生你需要的reducer的數量，但是你也可以明確地設置它。在這兩種情況下，您可以在每個節點上運行的減速器數量有一個硬性限制，並且使用mapred.tasktracker.reduce.tasks.maximum在mapred-site.xml配置文件中設置。

關於更概念性的說明，您可以查看hadoop wiki上的this文章，其中討論瞭如何選擇地圖數量和減少任務。

Answer 2

這完全取決於情況。在某些情況下，你沒有任何減速器......一切都可以在地圖上完成。在其他情況下，你不能避免使用一個縮減器，但通常這是第二個或第三個縮減早期結果的map/reduce作業。但是，一般情況下，您想要使用很多Reducer，否則您將失去MapReduce的許多功能！例如，在字數統計中，您的映射器的結果是成對的。然後根據單詞對這些對進行劃分，以便每個縮減器都會收到相同的單詞，並且可以給你最終的總和。然後每個reducer輸出結果。如果你願意的話，你可以拍攝另一個將所有這些文件並列的M/R作業，並將它們連接起來 - 該作業只有一個縮小器。

Answer 3

我使用簡單的wordcount示例，它只適用於一個reducer。
如果你只想計算一個數字，你必須使用一個reducer（2個或更多reducer會給你2個或更多的輸出文件）。

如果這個reducer需要很長時間才能完成，您可以考慮鏈接多個reducer，其中reducers在下一個階段將總結前一個reducer的結果。

Answer 4

減速器並行運行。在更改配置文件mapred-site.xml或在運行作業命令時設置reducer或在程序中設置reducer時，您在作業中設置的還原器數量，還可以並行運行還原器數量。默認值爲1.默認值爲1.默認值爲1.

Answer 5

默認值爲1. 如果您正在考慮配置單元或pig，那麼reducer的數目取決於查詢，如group by，sum .....

如果你使用的是mapreduce代碼，它可以通過job/conf上的setNumReduceTasks來定義。

job.setNumReduceTasks(3); 

大部分時間是在覆蓋getPartition()時完成的，即您正在使用自定義分區程序

class customPartitioner extends Partitioner<Text,Text>{ 
    public int getPartition(Text key, Text value, int numReduceTasks){ 
    if(numReduceTasks==0) 
     return 0; 
    if(some logic) 
     return 0; 
    if(some logic) 
     return 1; 
    else 
     return 2; 
    } 
} 

有一件事您會注意到reducer的數量=輸出中的部分文件的數量。

讓我知道你是否有疑慮。