使用具有正斜槓的密鑰連接到s3接收器時出現無效主機名錯誤

Question

我有一個forward slash aws密鑰。

當我嘗試連接到S3沉

Caused by: java.lang.IllegalArgumentException: Invalid hostname in URI s3://xxxx:xxxx@jelogs/je.1359961366545 
    at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41) 

當我編碼向前%2F斜線，我得到

The request signature we calculated does not match the signature you provided. Check your key and signing method. 

我應該如何編碼我的祕密密鑰。

Answer 1

我最終創建了一個沒有正斜槓的新密鑰。這是一個已知問題，生成新密鑰只是解決方案。

Answer 2

使用

-Dfs.s3n.awsAccessKeyId=<your-key> -Dfs.s3n.awsSecretAccessKey=<your-secret-key> 

例如

hadoop distcp -Dfs.s3n.awsAccessKeyId=<your-key> -Dfs.s3n.awsSecretAccessKey=<your-secret-key> -<subsubcommand> <args> 

或

hadoop fs -Dfs.s3n.awsAccessKeyId=<your-key> -Dfs.s3n.awsSecretAccessKey=<your-secret-key> -<subsubcommand> <args> 

Answer 3

samthebest解決方案的工作，你只需要添加 「」 周圍的按鍵。這裏如何使用它：

hadoop distcp -Dfs.s3a.awsAccessKeyId="yourkey" -Dfs.s3a.awsSecretAccessKey="yoursecret" <your_hdfs_path> s3a://<your-bucket>