任何經過測試的框架/解決方案與Apache Hadoop相似？

Question

我對Apache Hadoop項目感興趣，但我想知道是否有其他測試過的項目/框架（請注意'測試'）項目/框架。

欣賞任何類似於Apache Hadoop的項目的信息/鏈接以及任何使用它的人對Apache Hadoop項目的任何評論。

問候，

Answer 1

也許吧。但是他們中沒有一個會在測試中接近hadoop的真實世界體驗。像Facebook和雅虎這樣的公司正在付錢來規模hadoop，我也知道沒有類似的開源項目值得期待。

Answer 2

正如在回答中提到了這個問題：

https://stackoverflow.com/questions/2168558/is-there-anything-like-hadoop-in-c

MongoDB可能是一個你可以看看。它是一個可擴展的數據庫，允許MapReduce算法運行。

Answer 3

一種可能的方法是使用org.apache.hadoop.hbase.MiniDFSCluster和org.apache.hadoop.mapred.MiniMRCluster，它們用於測試hadoop本身。

他們所做的是在本地啓動一個小型集羣。要測試你的程序，請將hdfs-site.xml文件指向本地集羣，並將它們添加到你的類路徑中。而這個本地集羣就像另一個集羣，但更小。您可以引用hadoop/src/test/* - site.xml作爲模板。

有關更多示例，請查看hadoop/src/test /。

Answer 4

確實有開源項目利用和資助Hadoop。 請參閱Apache Mahout進行數據挖掘：http://lucene.apache.org/mahout/

並且您是否瞭解可用的其他MR實現？ http://en.wikipedia.org/wiki/MapReduce#Implementations

Answer 5

有一個基於Hadoop的類似Hadoop的框架，它重視優先執行迭代算法。

它被測試。我已經運行了WordCount示例。這是非常非常相似的Hadoop（尤其是安裝）

您可以在這裏找到的文件： http://rio.ecs.umass.edu/mnilpub/papers/socc11-zhang.pdf

和這裏的代碼 https://code.google.com/p/priter/

希望這有助於

一個