的Hadoop自身

Question

名單的笛卡爾積使用Hadoop MapReduce的

我有一個列表作爲輸入：

1. 一個
2. 乙
3. Ç

而且我想得到列表的笛卡爾積：

• A => A，F（A，A）
• A => B，F（A，B）
• A => C，F（A，C）
• B => A，F（B，A）
• B => B，F（B，B）
• B => C，F（B，C）
• C => A，F（C，A）
• C => B，f（C，B）
• C => C，f（C，C）

f（）是爲一對鍵提供值的函數。

如何以簡單的方式在Java中使用Hadoop MapReduce？

當然，我無法在內存中保存整個輸入列表。

謝謝！

Answer 1

您可以在Java map reduce中實現它。讓我們假設，你想分別在分割3和4的兩個文件A和B之間交叉產品。然後，您必須編寫自定義輸入格式來分割兩個數據集，然後確保每個數據子集都有一個SPLIT。

所以，你的分裂看起來像：供您參考

A1 X B1 
A1 X B2 
A1 X B3 
A1 X B4 
A2 X B1 
A2 X B2 
A2 X B3 
A2 X B4 
A3 X B1 
A3 X B2 
A3 X B3 
A3 X B4 

使用鏈接https://github.com/adamjshook/mapreducepatterns/blob/master/MRDP/src/main/java/mrdp/ch5/CartesianProduct.java。