Spark Streaming檢查點引發S3異常

Question

我在區域eu-central-1中使用S3存儲區作爲我的Spark Streaming作業的檢查點目錄。

它把數據寫入到該目錄中，但每10個批次失敗，出現以下異常：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4040.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4040.0 (TID 0, 127.0.0.1, executor 0): com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: ..., AWS Error Code: null, AWS Error Message: Bad Request 

發生這種情況時，批量數據丟失。我該如何解決這個問題？

Answer 1

它最終成爲eu-central-1中存儲桶的認證異常，因爲S3區域使用V4認證。

它在驅動程序本身上配置，但不在工作人員上，所以這就是爲什麼有些人工作，有些人沒有。