2011-03-16 65 views
3

有誰知道任何對公衆開放並且使用Hadoop/MapReduce框架的可用集羣嗎?有很多關於如何使用MapReduce的教程,但是有沒有一種方法來測試這些示例,而無需使用本地單臺機器並安裝所需的框架?可用於Hadoop/MapReduce框架的集羣

謝謝!

回答

0

您也可以使用Apache Whirr在Amazon EC2上部署您自己的測試羣集。這使您比彈性地圖縮小更多的控制。如果您僅將它用於短時間測試地圖縮減作業,它應該便宜。

1

我很快就會有一個解決方案 - 它不是免費的,但它非常便宜。

我已經爲培訓和教育(通過網絡訪問)構建了一個小型集羣,並將於2013年5月開始運行。 我將以每天2美元或每週10美元的價格租用4節點集羣。

由於集羣不是很大,它將處理只有20-40GB的數據集,但將具有完全的Web訪問權限來運行mapreduce,豬腳本。

雖然我要了一些錢,但這不是一個真正的生意 - 只是希望我能支付電費!

http://jyrocluster.com

問候, 塞爾

+0

看起來很有趣的嗶嘰。有一點可能是一個想法,也是提供數據存儲,所以一旦您的機票到期,您可以選擇通過預付款保留每天的費用數據(當然,我並不是說羣集中的數據會被分流出去到便宜的存儲)。我在想這裏的開發人員使用較慢的連接,但需要測試gb的數據。請記住https://hadoopsdk.codeplex.com/以及.NET用戶 – Dreamwalker 2013-04-19 07:22:35

+0

聽起來像是個好主意。起初,我不想提供數據存儲,因爲我的空間有限,而且沒有「五個九」的正常運行時間......我的計劃是添加數據存儲,更大的節點和HBase支持......手指交叉 – DataMania 2013-05-02 23:14:25

+0

順便說一句,幾乎準備好去住,所以測試完成和檢查的東西... – DataMania 2013-05-02 23:15:32

0

你可以給一試。雖然它不是免費的,但它非常實惠。它爲練習Hadoop,Spark,Kafka,Hive,Pig,HBase,Oozie,Zookeeper,Flume,Sqoop,Mahout,R,Linux,Python,Scala,NumPy,Scipy,scikit-learn等提供了一個完整的環境。在本地計算機上安裝或配置任何軟件以使用CloudxLab。許多受歡迎的培訓師已經在使用CloudxLab。