有誰知道任何對公衆開放並且使用Hadoop/MapReduce框架的可用集羣嗎?有很多關於如何使用MapReduce的教程,但是有沒有一種方法來測試這些示例,而無需使用本地單臺機器並安裝所需的框架?可用於Hadoop/MapReduce框架的集羣
謝謝!
有誰知道任何對公衆開放並且使用Hadoop/MapReduce框架的可用集羣嗎?有很多關於如何使用MapReduce的教程,但是有沒有一種方法來測試這些示例,而無需使用本地單臺機器並安裝所需的框架?可用於Hadoop/MapReduce框架的集羣
謝謝!
Amazon EC2已準備好每次租用Hadoop集羣,即使是玩遊戲也不是很貴。其他方法是使用Cloudera Hadoop VM http://www.cloudera.com/downloads/virtual-machine/。您可以在多個虛擬機上運行羣集。
您也可以使用Apache Whirr在Amazon EC2上部署您自己的測試羣集。這使您比彈性地圖縮小更多的控制。如果您僅將它用於短時間測試地圖縮減作業,它應該便宜。
我很快就會有一個解決方案 - 它不是免費的,但它非常便宜。
我已經爲培訓和教育(通過網絡訪問)構建了一個小型集羣,並將於2013年5月開始運行。 我將以每天2美元或每週10美元的價格租用4節點集羣。
由於集羣不是很大,它將處理只有20-40GB的數據集,但將具有完全的Web訪問權限來運行mapreduce,豬腳本。
雖然我要了一些錢,但這不是一個真正的生意 - 只是希望我能支付電費!
問候, 塞爾
你可以給一試。雖然它不是免費的,但它非常實惠。它爲練習Hadoop,Spark,Kafka,Hive,Pig,HBase,Oozie,Zookeeper,Flume,Sqoop,Mahout,R,Linux,Python,Scala,NumPy,Scipy,scikit-learn等提供了一個完整的環境。在本地計算機上安裝或配置任何軟件以使用CloudxLab。許多受歡迎的培訓師已經在使用CloudxLab。
看起來很有趣的嗶嘰。有一點可能是一個想法,也是提供數據存儲,所以一旦您的機票到期,您可以選擇通過預付款保留每天的費用數據(當然,我並不是說羣集中的數據會被分流出去到便宜的存儲)。我在想這裏的開發人員使用較慢的連接,但需要測試gb的數據。請記住https://hadoopsdk.codeplex.com/以及.NET用戶 – Dreamwalker 2013-04-19 07:22:35
聽起來像是個好主意。起初,我不想提供數據存儲,因爲我的空間有限,而且沒有「五個九」的正常運行時間......我的計劃是添加數據存儲,更大的節點和HBase支持......手指交叉 – DataMania 2013-05-02 23:14:25
順便說一句,幾乎準備好去住,所以測試完成和檢查的東西... – DataMania 2013-05-02 23:15:32