MapReduce wordcount獲得唯一密鑰

Question

我嘗試瞭解MapReduce如何在最簡單的示例上工作：wordcount。

取句「我是新手，我吃土豆」。

我把它分成兩部分，「我是新手」和「我吃馬鈴薯」，我發給兩位製圖員。這些映射器回答我：

I --> 1 
am --> 1 
a --> 1 
newbie --> 1 

的第一個和

and --> 1 
I --> 1 
eat --> 1 
a --> 1 
potato --> 1 

的第二個。

所以現在，在主，我有這樣的數據：

I --> 1 
am --> 1 
a --> 1 
newbie --> 1 
and --> 1 
I --> 1 
eat --> 1 
a --> 1 
potato --> 1 

但我減速帶在進入一個地圖也就是說，關鍵是獨一無二的。所以我必須將我得到的數據轉換爲：

I --> 1, 1 
am --> 1 
a --> 1, 1 
newbie --> 1 
and --> 1 
eat --> 1 
potato --> 1 

然後我的減速器只是對數字進行求和。

看來這是算法中最重要的部分，因爲這裏所有的工作都完成了。非常令人驚訝的是，我在互聯網上找不到任何有關這方面的信息。他們都提供圖形和圖表的階段「排序和洗牌」（其中洗牌只是發送數據到右側的減速器和排序是按鍵排序？），但沒有更多。

這個階段是如何工作的？誰在照顧這個？這是映射的另一個階段，還是主人自己做這項工作？

Answer 1

如果我正確理解你，你想加上每個鍵的數字？

您當前有一個單詞數組：arrayOfNumbers對，您想要地圖到單詞數組：totalOccurrances對。

您將必須減少每個arrayOfNumbers爲totalOccurrances。

所以像

keyArrayPairs.map(array => array.reduce((result, value) => result + value, 0)) 

編輯

https://developer.mozilla.org/en/docs/Web/JavaScript/Reference/Global_Objects/Array/reduce 當您減少一個對象，其中一個參數來解決功能是關鍵。你可以這樣做

array.reduce((result, value, word) => { 
    if(result[word]){ 
    result.push(value[0]) 
    }else{ 
    result[word]=value 
    } 
    return result 
},{}) // Empty object 

Answer 2

所以我要我必須將數據轉換成這樣：

不，你不知道！ MapReduce爲你做這件事。您只需提供一張地圖和一個縮小功能，以便爲每個階段創建適當的鍵和值。您將在地圖功能（key = word，value = 1）中創建的輸出鍵就是您所要做的。然後，MapReduce（不是你）將按鍵對這些鍵值對進行分組，並且在reduce函數中，您只需定義您想要對每組具有相同鍵的鍵值對進行的操作。，所有的1都被分組爲同一個單詞）。答案是你想總結它們，以便得到每個單詞的最終頻率。

此外，聲明：

所以現在，在主，我有這樣的數據：

是錯誤的。主人對關鍵值對沒有任何瞭解。如果你不在集羣上工作，想象集羣中的每臺計算機只知道同一個節點已經處理了什麼，而沒有更多。請多閱讀一下關於MapReduce的工作原理，如果第一次沒有得到它，請不要擔心。習慣這種邏輯需要一段時間。你應該總是試圖將你的程序看作是在集羣上運行的分佈式程序，而不是在一臺計算機上運行。