與s3桶（lambda風格）同步gs桶

簡單的問題，我有一個谷歌桶，每天從外部提供商獲取內容3次。我想在它到達時立即獲取這些內容並將其推送到S3存儲桶中。我已經能夠通過運行我的Python腳本作爲cron作業來實現這一點。但我必須提供高可用性，如果我遵循這條路線。與s3桶（lambda風格）同步gs桶

我的想法是將它設置爲aws lambda，所以我不必爲基礎結構的限制而煩惱。任何關於gs和lambda之間婚姻的指針。我不是本地Node節點，因此任何指針都會非常有幫助。

您有辦法通知您的「Lambda」有關Google存儲分區中的新內容嗎？ – kixorz

Nopes ..不在我的控制..但我可以檢查讓我們每小時說出鍵列表...與dynamodb比較並下載更新的文件 –

我建議將獲取的文件列表推到「SNS Topic」並讓您的文件操作「Lambda」訂閱此主題。我建議你將每個文件作爲一個新消息發佈到「SNS主題」中，這樣你的文件就可以並行處理了。一旦您的Lambda收到消息，它就可以將文件從您的谷歌存儲區複製到S3。 – kixorz

當對象被創建/更新時，GCS可以發送對象通知。您可以通過GAE上託管的簡單Web應用程序捕獲通知（這是HTTP發佈請求），然後處理文件傳輸到S3。高度可用，事件驅動的解決方案。

2015-07-23 10:21:24 user2124655

遲到：您必須成爲gcs存儲區的所有者才能實現此目的 –

回答