需要幫助在aws中設置hadoop羣集

Question

我想在aws中設置一個hadoop羣集，其總容量大約爲100T。如果我按照http://aws.amazon.com/ec2/instance-types/選擇aws實例，我沒有得到理想的數據節點配置，我想使用本地磁盤（SSD/NON-SSD）作爲工作節點。例如，如果我爲datanode選擇cc2.8xlarge實例，那麼對於100T，我將不得不設置30個cc2.8xlarge實例，這將非常昂貴。你能否建議我應該如何在aws（EC2）中使用最少數量的datanodes來配置我的集羣，或者在aws中有沒有hadoop的標準配置？

Answer 1

這聽起來很像您想要考慮的Elastic MapReduce，它是基於Hadoop的核心AWS服務。

http://aws.amazon.com/elasticmapreduce/

您可以指定你的配置和集羣將推出適合你 - 不是試圖自行配置EC2實例要容易得多。

Answer 2

如果你想自己做Hadoop，那麼你使用EBS驅動器。您可以在每個節點上安裝一堆驅動器（我記得約爲10-20個），每個驅動器可以高達1 TB。

如果你不想自己動手，那麼就像monkeymatrix說的那樣看看EMR。