如何在hadoop配置中正確設置s3a配置？

Question

我得到奇怪的錯誤，如 - 無法獲取新聞憑據或無法加載憑據...

有沒有什麼辦法顯式設置在hadoop配置s3a憑據？

Answer 1

由於S3A是相對較新的實現（從Hadoop的2.7正常工作），你需要設置Hadoop配置兩組屬性 -

conf.set("fs.s3a.access.key", access_key); 
    conf.set("fs.s3a.secret.key", secret_key); 
    conf.set("fs.s3a.awsAccessKeyId", access_key); 
    conf.set("fs.s3a.awsSecretAccessKey", secret_key); 

（CONF是Hadoop配置）

的原因是命名慣例在版本之間改變並且在安全方面 - 設置