2017-08-24 203 views
0

我正在嘗試使用AWS Glue運行將數據從Redshift讀取到S3的ETL作業。AWS CloudWatch日誌未創建

  1. 當我運行爬網程序時,它成功連接到Redshift並獲取模式信息。相關日誌在日誌組aws-glue/crawlers下創建。

  2. 當我運行ETL作業時,它應該在日誌組aws-glue/jobs/output和aws-glue/jobs/error下創建一個日誌流,但它無法創建這樣的日誌流,並最終該工作也失敗了。

(我使用AWS管理AWSGlueServiceRole政策膠服務)

因爲它不產生任何日誌,也很難找出ETL作業失敗的原因。如果你能幫我解決這個問題,我將不勝感激。

回答

1

大多數情況下,這與您的AWS服務沒有正確的權限(是的,即使只是寫日誌!)有關。

添加這樣的事情膠水角色可能做的伎倆:

{ 「版本」: 「2012年10月17日」, 「聲明」:[{ 「效果」:「允許」, 「操作」:[ 「日誌:CreateLogGroup」, 「日誌:CreateLogStream」, 「日誌:PutLogEvents」 ], 「資源」: 「ARN:AWS:原木::*」 } ] }

+0

我已經添加了類似的政策。從S3到S3運行ETL作業時,日誌已成功創建。問題在於,從Aurora(在VPC中)向S3運行ETL作業時,不會創建日誌。 –