AWS EC2 S3和每個s3cmd中有幾個文件的數千個目錄

Question

我有成千上萬個目錄，每個目錄中有一個非AWS VPS（大約1TB數據）中的幾個文件。我想把它們全部移到S3。

我可以將這些內容壓縮到7GB的塊，將（wget或其他）移動到EC2（8GB Ubuntu），解壓並將它們解壓縮到S3。

OR

從我的VPS與s3cmd同步目錄直奔S3？

哪種方法最適合性能和可靠性？

感謝

Answer 1

有兩個因素，將作出決定對我來說。

1. 什麼是平均文件大小？ （數千個小文件可能需要比幾個大文件更多的時間）
2. 您可以獲得什麼樣的壓縮？

如果您決定使用中間實例，則可以在傳輸時附加1 TB的EBS卷以處理文件。它會增加一點成本，但是一旦完成，你不需要保持音量。