hadoop 2.6.0測試樣本。

Question

我有一個2奴隸節點迷你集羣hadoop系統，並試圖對它做一些測試。 該系統已成功配置了hadoop 2.6.0，並且我已對其執行了WordCount測試。除WordCount以外是否還有其他好的測試示例？ （也許更多的實際測試處理更大的數據）使用開源代碼？我已經看到大部分谷歌搜索的例子，但是hadoop版本太舊了，或者沒有源代碼來測試它們。我喜歡這個：使用Hadoop來分析完整的維基百科轉儲文件使用WikiHadoop，雖然hadoop版本是老的。如果有人知道有一個更新的版本，將是偉大的（任何類似的將是好的）... TIA！

Answer 1

我在一個項目中工作，以舉例說明Hadoop MapReduce框架中的不同功能。它仍在進行中，但使用現代API（Word和Hadoop）的WordCount作業有不同版本。

它包括utils生成測試輸入文件。但只需稍作更改，您就可以使用它來處理您自己的測試文件。就像修改映射器中的後續行以使用空格或逗號分割一樣。

String[] words = line.split("\t"); 

https://github.com/lalosam/HadoopInExamples