如何在EC2-S3或EBS實例上安裝Cloudera Hadoop集羣？

Question

如何在EC2-S3或EBS實例上設置Cloudera Hadoop集羣？ 我有一個具有EBS存儲的EC2實例之一的Cloudera Manager。當我從Cloudera Manager開始創建Hadoop集羣時，它會根據您指定的節點數量開始創建新的EC2實例。它會請求實例，但問題是它會生成「實例存儲」實例。

如何提供已有的具有EBS或S3存儲的實例？

任何想法？

Answer 1

這是由設計：

爲什麼Cloudera的經理寧願實例存儲支持在EBS背 的AMI？儘管EBS卷提供持久性存儲，但它們是網絡連接的 ，並且對每個I/O請求收費，因此它們不適用於Hadoop部署的 。如果您希望試用EBS支持的 實例，則始終可以使用自定義EBS AMI。

source

Answer 2

的Hadoop提供的方式來閱讀和EBS的情況下寫在S3和EBS兩個數據，你只需要安裝在您的實例在磁盤和Hadoop中使用它。

但是在S3的情況下，會有一些額外的步驟，以提供訪問鍵和Secrate關鍵通過fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey核心-site.xml中和HDFS使用屬性到Hadoop的-site.xml如下

<property> 
    <name>fs.s3n.awsAccessKeyId</name> 
    <value>Access Key</value> 
    </property> 
    <property> 
    <name>fs.s3n.awsSecretAccessKey</name> 
    <value>Secret key</value> 
    </property> 

提那麼設置這一項下可以做後：

hadoop fs -ls s3n://Bucket_Name/ 

，這將打印在您的S3存儲桶的可用文件夾。