亞馬遜消防站更新紅移記錄

Question

我們通過API網關> Kinesis Streams> Lambda> FireHose> Redshift表使用我們所有的分析供稿。

AWS Lambda是我們的轉型足跡接受Kinesis流記錄更改基於上下文的分析事件&將其放到FireHouse以將其保存到Redshift DB。

在這次旅程中，我們想要在某些條件下更新Redshift記錄（基本上是UPSERT（插入|更新））。有沒有什麼可以避免redshift中的重複記錄？

Answer 1

開箱即用，沒有。

如果要UPSERT表是T1，那麼你可以做的是：

• 讓流水dump記錄到另一個表T2。
• 運行一個工作，使用cron或其他東西，定期從T2到T1插入。使用事務處理，以避免當這個和Firehose到Redshift查詢都在運行時數據變壞。