當複製到大型目錄時，AWS S3 Sync非常慢

Question

使用AWS-CLI將數據同步到S3中的空目錄時，它幾乎是即時的。但是，在同步到大型目錄（數百萬個文件夾）時，即使開始上載/同步文件也需要很長時間。

有沒有其他方法？看起來它試圖在同步之前考慮到S3目錄中的所有文件 - 我不需要它，上傳數據時沒有事先檢查就沒問題。

Answer 1

sync命令將需要枚舉存儲桶中的所有文件，以確定存儲桶中是否存在本地文件，以及它是否與本地文件相同。您擁有的文件越多，所需時間就越長。

如果您不需要這個sync行爲只是使用遞歸複製命令，如：

aws s3 cp --recursive . s3://mybucket/ 

，這應該在當前目錄中複製所有的本地文件，以在S3桶。