是否有亞馬遜社區AMI for Hadoop/HBase？

我想在Amazon EC2中測試Hadoop & HBase，但我不確定它有多複雜。是否有一個穩定的社區AMI，安裝了Hadoop & HBase？我在想像bioconductor AMI 是否有亞馬遜社區AMI for Hadoop/HBase？

謝謝。

來源

2013-01-15 AdamNYC

我強烈建議使用Amazon's Elastic MapReduce服務，特別是如果你已經有了AWS/EC2賬戶。原因如下：

EMR帶有一個可用的Hadoop/HBase集羣「開箱即用」 - 您無需調整任何設置即可使Hadoop/HBase正常工作。它只是工作（TM）。
亞馬遜EC2的網絡與您以前使用的網絡完全不同。它具有AFAIK，它是1對1的NAT，節點可以看到自己的私有IP地址，但它通過公共IP連接到外部世界。當您手動構建羣集時，這會導致問題 - 甚至使用專門用於EC2的Apache Whirr或BigTop等軟件。
的AMI單獨不可能幫助你得到一個Hadoop或HBase的集羣啓動和運行 - 如果你想運行一個Hadoop/HBase的集羣，你可能將不得不花時間調整網絡設置等

來源

2013-01-16 23:28:39 Suman

非常感謝，蘇曼。我不會發現問題的集羣性質。 – AdamNYC

對於這個建議+1，如果它只是用於測試，那麼EMR聽起來像最簡單的方法，而不像Whirr這樣的更DIY方案。 –

據我所知，沒有，但你應該能夠輕鬆部署EC2使用Apache Whirr這是一個很好的選擇。

這是a good tutorial與Whirr做到這一點，因爲教程說你應該能夠在幾分鐘內做到這一點！

的關鍵是創建一個像這樣的食譜：

whirr.cluster-name=hbase 
whirr.instance-templates=1 zk+nn+jt+hbase-master,5 dn+tt+hbase-regionserver 
whirr.provider=ec2 
whirr.identity=${env:AWS_ACCESS_KEY_ID} 
whirr.credential=${env:AWS_SECRET_ACCESS_KEY} 
whirr.hardware-id=c1.xlarge 
whirr.image-id=us-east-1/ami-da0cf8b3 
whirr.location-id=us-east-1

然後，您將能夠與啓動羣集：

bin/whirr launch-cluster --config hbase-ec2.properties

來源

2013-01-15 02:34:45

非常感謝您的詳細解答。爲了防止有人知道現成的問題，我會將問題保留幾天，但您的答案肯定會給我一個很好的起點。 – AdamNYC

是否有亞馬遜社區AMI for Hadoop/HBase？

回答

相關問題