定期將查詢結果從Redshift移動到S3存儲桶

Question

我在Redshift集羣的表中獲得了我的數據。我想定期對Redshift表運行查詢並將結果存儲在S3存儲桶中。

我將對S3存儲桶中的這些數據進行一些數據轉換，以將數據轉換爲另一個系統。根據AWS文檔，我可以使用UNLOAD命令，但是有沒有一種方法可以定期安排這項工作？？我搜查了很多，但我還沒有找到任何有關這方面的信息。

Answer 1

我不認爲Redshift能夠定期安排查詢。您需要爲此使用其他服務。您可以使用Lambda函數，也可以在EC2實例上安排cron作業。

Answer 2

您可以使用排程工具如Airflow來完成此任務。氣流似乎沒有連接到Redshift和S3。您可以執行DAG操作，定期輪詢Redshift並將數據從Redshift卸載到S3上。

Answer 3

我相信你正在尋找AWS數據管道服務。

您可以使用RedshiftCopyActivity（http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html）將數據從紅移複製到s3。

我複製從未來的目的上述網址的相關內容：

「您也可以從亞馬遜紅移使用RedshiftCopyActivity複製到Amazon S3的更多信息，請參閱S3DataNode 可以使用SqlActivity來。對您已加載到Amazon Redshift的數據執行SQL查詢。「

讓我知道這是否有幫助。