MapReduce作業中的多個鍵

我是hadoop新手。我試圖運行MapReduce（用Java編程），其中的關鍵是多個鍵（文本）。我應該使用哪種類型的數組來存儲這些鍵，然後將它們作爲參數傳遞給outputCollector？謝謝！！！MapReduce作業中的多個鍵

2013-04-11 LMHadoop

如果列表並不複雜，那麼你可以在一個逗號分隔字符串鍵並將其設置爲傳遞給outputCollector的文本對象。然後在縮減器中分出鍵來獲取多個鍵的列表。 – Amar 2013-04-11 16:51:40

您應該編寫自己的類implements WritableComparable<YourClassName>將鍵存儲在一個簡潔的對象中。例如this link就是一個很好的例子。

2013-04-11 14:45:02 Quetzalcoatl

是的，這就是我所做的=））謝謝youuu！ – LMHadoop 2013-04-11 18:28:01

如果它只是一些文本值，我會建議只發送它們作爲分隔字符串。它方便和直接。否則你可以按照Quetzalcoatl的建議去做。你可能會發現這2個問題有用： How do i set an Object as the Value for Map output in Hadoop MapReduce? How (in Hadoop),is the data put into map and reduce functions in correct types?

2013-04-11 17:29:40 Tariq

回答