無法寫入火花的作業輸出到S3存儲桶直接

Question

我有將其結果寫入到S3存儲星火工作，事情是當輸出鬥名看起來像這樣S3A：// BUCKET_NAME /我得到一個錯誤

Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 404, AWS Service: Amazon S3, AWS Request ID: xxx, AWS Error Code: NoSuchKey, AWS Error Message: null, S3 Extended Request ID: xxx 

但是當我在輸出桶（s3a：// bucket_name/subfolder /）中添加一個子文件夾時，它起作用！

我使用hadoop-aws 2.7.3從s3讀取。

是什麼問題？

在此先感謝。

Answer 1

不是火花錯誤。問題S3客戶端如何使用根目錄。他們是「特別的」。 HADOOP-13402看着它。您在那裏的代碼顯然來自亞馬遜自己的對象存儲客戶端，但顯然它的行爲方式相同。換個角度考慮：你不會把工作交給「file：///」或「hdfs：///」;一切都需要一個子目錄。

對不起。