ECOU上的Cloudera CDH

我是aws的新手，我試圖通過Cloudera的AMI在EC2上運行Hadoop。我安裝的是AMI，下載了Cloudera的-haddop換EC2的工具，而現在我想配置ECOU上的Cloudera CDH

haddop-ec2-env.sh

它要求如下：運行時

AWS_ACCOUNT_ID 
AWS_ACCESS_KEY_ID 
AWS_SECRET_ACCESS_KEY 
EC2_KEYDIR 
PRIVATE_KEY_PATH

：

./hadoop-ec2 launch-cluster my-cluster 10

我越來越

AWS was not able to validate the provided access credentials

首先，我有我自己帳戶的前3個屬性。這是一個公司帳戶，我收到了一封電子郵件，其中包含我的電子郵件的訪問密鑰ID和密鑰。我的帳戶可能沒有適當的權限來執行此處所需的操作。具體爲什麼這個腳本需要我的憑據？它需要做什麼？

其次，EC2鍵的目錄在哪裏？我已經上傳了我爲我創建的key.pem文件，並將其硬編碼到.pem文件中的PRIVATE_KEY_PATH和chmod 400中。這是腳本需要的正確密鑰嗎？

任何幫助表示讚賞？

山姆

來源

2012-10-01 Sam Hammamy

所以跟蹤Hadoop的EC2腳本導致：在** ec2-describe-instances ** bin是引發錯誤的那個 –

看來EC2_HOME，EC2 USER_ID，EC2_PRIVATE_KEY和EC2_CERT env變量都必須設置，這使我相信這些工具是要從客戶端運行的機器，而不是服務器實例。儘管我仍然不知道EC2_CERT的位置，或者EC2_HOME的位置 –

的Cloudera的EC2工具，在很大程度上依賴於在Amazon EC2 API工具。因此，你必須做到以下幾點：從http://aws.amazon.com/developertools/351

2）下載Cloudera的EC2工具從http://cloudera-packages.s3.amazonaws.com/cloudera-for-hadoop-on-ec2-0.3.0.tar.gz

1）下載的Amazon EC2 API工具）設置以下ENV變量我只給Unix的基於實例

export EC2_HOME=<path-to-tools-from-step-1> 
export $PATH=$PATH:$EC2_HOME/bin 
export $PATH=$PATH:<path-to-cloudera-ec2-tools>/bin 
export EC2_PRIVATE_KEY=<path-to-private-key.pem> 
export EC2_CERT=<path-to-cert.pem>

4）在Cloudera的-EC2的工具/ bin中設置下列變量

AWS_ACCOUNT_ID=<amazon-acct-id> 
AWS_ACCESS_KEY_ID=<amazon-access-key> 
AWS_SECRET_ACCESS_KEY=<amazon-secret-key> 
EC2_KEYDIR=<dir-where-the-ec2-private-key-and-ec2-cert-are> 
KEY_NAME=<name-of-ec2-private-key>

然後運行

$ hadoop-ec2 launch-cluster my-hadoop-cluster 10

這將創建一個名爲「我的-Hadoop的」 Hadoop集羣上多EC2機10個節點

來源

2012-10-03 19:52:54

ECOU上的Cloudera CDH

回答

相關問題