2010-02-05 13 views
2

我正在閱讀和聽到一些關於的東西map-reduce最近的技術。我正在考慮使用一些算法來獲得該領域的實踐經驗,並且看看現在有什麼可能。哪個地圖 - 減少與java一起使用的庫和/或平臺

這是我想做的事: 我想用一些公共雲平臺(例如谷歌應用程序引擎,谷歌的Map Reduce,亞馬遜ECS,亞馬遜的Map Reduce),附帶內置地圖縮小功能或如果它沒有內置的支持,可以使用額外的map減少Java庫(例如Hadoop,Hive),並實現/部署一些算法。

有沒有人在該領域取得了一些經驗,並指出一個好的起點?或者說出一些在實踐中運作良好的組合?

在此先感謝!

回答

2

Amazon EC2有一些捆綁的Hadoop AMI。有關教程,請參見Running Hadoop on Amazon EC2

特別是,Cloudera的分佈出現在腦海中 - 它還帶有Pig和Hive。

+0

我看過你引用的文章,非常有用。我想我會從hadoop開始,也許使用我的一些本地計算機,然後嘗試將其部署到EC2。感謝您的答案。 – 2010-02-06 13:19:54

1

Apache Hadoop是一個主要的開源Java分佈式計算框架,它包括一個基於原始Google MapReduce的MapReduce子項目。

+0

您是否還建議使用Amazon EC2來運行Hadoop?是否可以將基於Hadoop的應用程序部署到Google應用程序引擎? – 2010-02-05 16:26:02