Hadoop將變量傳遞給映射器和縮減器

Question

我是一個完整的初學者，擁有Hadoop。我已經建立了字數統計，並且我相當確定我瞭解基礎知識，但是我很難將其擴展到實際問題。我的（修改後的）代碼如下：

for (Item i : set) { 
    for (Item j : set) { 
     Score s = score(i, j); 
     renderer.render(s); 
    } 
} 

我想用Hadoop來發布它。我可以編寫一個Mapper和一個Reducer，但我不知道如何將該集合傳遞給Mapper，並將渲染器傳遞給Reducer（或者，如果這是處理這種情況的慣用方法）。我也覺得我需要編寫自己的Writable來處理在Mapper和Reducer之間傳遞（i，j）對，但我不知道這樣做的最佳方式。任何幫助，將不勝感激。

Answer 1

你在做什麼本質上是set本身的笛卡爾積。 您可能需要實現自定義輸入格式。

這裏是一個通用的笛卡爾積工作的一個例子：https://github.com/adamjshook/mapreducepatterns/blob/master/MRDP/src/main/java/mrdp/ch5/CartesianProduct.java

您可以在行67-77看到你在上面做輸入路徑相同的邏輯：https://github.com/adamjshook/mapreducepatterns/blob/master/MRDP/src/main/java/mrdp/ch5/CartesianProduct.java#L67-L77