6

我正在使用Data Pipeline(DP)進行DynamoDB的每日備份,但是,我想對DP運行(DP運行之間的更新)錯過的數據執行增量備份。爲此,我想使用DynamoDB Streams + Lambda + S3將實時DynamoDB更新提供給S3。我瞭解DynamoDB流如何工作,但是,我正在努力創建一個寫入S3的Lambda函數,並說每小時滾動一個文件。DynamoDB Streams to S3

有人試過嗎?

+1

你是什麼意思「每小時滾動文件」?您不能追加到S3中的文件。您必須爲每次更新創建新文件,除非您想每次讀取整個文件,向其中添加數據,然後再次將其寫回S3。這聽起來很痛苦。 – garnaat

+0

在log4j或其他可以根據特定標準滾動文件的框架中滾動文件。我知道S3中的文件是不可變的,所以我想知道這是否可能。 – user3293898

回答

7

它的一個小時的工作,夥計,你需要做的是

  1. 啓用迪納摩DB更新流和附加AWS提供的lambda函數 https://github.com/awslabs/lambda-streams-to-firehose
  2. 啓用流水流,並使用上述函數流超時記錄消防水帶。
  3. 配置Firehose將記錄轉儲到S3。

完成。

+0

如果您沒有可用的流水線,該怎麼辦? –