Hadoop框架模擬本地集羣

Question

是否有任何Hadoop框架，我可以在Linux或Windows計算機上本地模擬完整羣集？ DFS可以在本地複製數據，Compute層可以執行並行執行？ 有沒有這樣或類似的框架？

Answer 1

您可以在一臺或多臺虛擬機上安裝Hadoop。例如。 Cloudera提供預裝其Hadoop發行版的downloadable VM

Answer 2

Reference : Rumen是一個爲MapReduce構建的數據提取和分析工具。 Rumen挖掘JobHistory日誌以提取有意義的數據並以易於解析的格式存儲它。瘤胃對從JobHistory日誌中挖掘的信息進行統計分析，這些信息可能由其他工具執行仿真，仿真和基準測試等任務。 Rumen爲GridMix（v3）和Mumak構建了基金會 。

Reference :其他新的contrib模塊包括瘤胃（MapReduce的-751）和Mumak（MapReduce的728），用於建模的MapReduce的工具。兩者一起工作：Rumen從歷史日誌中提取作業數據，然後Mumak用它模擬羣集上的MapReduce應用程序和羣集。 Gridmix3也設計用於處理瘤胃痕跡。作業歷史日誌分析器是提供有關MapReduce羣集利用率（HDFS-459）信息的另一個工具。

樣品Rumen數據是以SVN格式。 FYI，Rumen和Mumak是contrib模塊，並沒有太多的文件可用。這裏有一篇關於GridMix的好文章。