腳本採取一個S3存儲桶，壓縮它，推送壓縮文件到一個SFTP服務器

我有一個s3存儲桶與約100 GB的小文件（在文件夾中）。腳本採取一個S3存儲桶，壓縮它，推送壓縮文件到一個SFTP服務器

我被要求每週支持本地NAS。

我有權訪問連接到S3存儲的EC2實例。

我的Nas允許我運行sFTP服務器。

我也可以訪問本地服務器，在本地服務器中，如果需要，我可以運行cron作業來提取備份。

我該如何做到最好？如果可能，我只想下載已添加或更改的文件，或者在服務器端壓縮它，然後將壓縮文件推送到Nas上的SFtp。

最終目標是在我的Nas上完成S3存儲桶的完整備份，每週傳輸量最低。

歡迎任何建議！

感謝您的幫助！

瑞安

來源

2014-03-06 lundie

我想爲你實現這個最具擴展性的方法是使用AWS彈性的Map Reduce和數據管道。

的架構是這樣的：

您將使用數據管道S3與豬/蜂巢腳本配置爲輸入數據節點，然後EC2做必要的處理，以將數據發送到SFTP。 Pig可擴展爲具有自定義UDF（用戶定義函數）以將數據發送到SFTP。然後，您可以設置此管道以定期間隔運行。說到這一點，它需要一些閱讀才能實現所有這些 - 但如果您希望看到未來的數據轉換需求，那麼這是一項很好的技能。從這裏

開始閱讀：

http://aws.typepad.com/aws/2012/11/the-new-amazon-data-pipeline.html

類似的方法可以用於從FTP服務器，處理以DynamoDB的定期備份到S3，閱讀文件和運動說S3/RDS等

來源

2014-03-06 16:43:12

爲什麼低調？如果你這麼認爲，可以downvote是可以的，但在推理上添加評論。 –

不知道那裏發生了什麼。我會給你答案。謝謝！ – lundie

腳本採取一個S3存儲桶，壓縮它，推送壓縮文件到一個SFTP服務器

回答

相關問題