如何將S3的上次處理文件存儲到Redshift數據庫

Question

現在，我僅將數據從Amazon S3複製到使用AWS Data Pipeline的Amazon Redshift僅用於當前日期和時間。我想每30分鐘將數據從S3複製到Redshift。並且最後處理的S3文件名被存儲到另一個Redshift表中。

有人可以回答這個問題嗎？

Answer 1

您可以使用RedshiftCopyActivity data pipeline object來做到這一點。 RedshiftCopyActivity對象中的schedule字段接受可在30分鐘間隔內運行的data pipeline schedule object。您需要定義一個包含所有AWS資源信息（Redshift數據節點，EC2實例，S3存儲桶&密鑰）的full pipeline in JSON。 JSON模板中的源數據文件的文件路徑可能指向一個靜態文件，該文件會被生成數據的任何內容每30分鐘覆蓋一次。