S3存儲桶之間的批量複製

我想將一個S3存儲桶中的文件列表複製到另一個S3存儲桶中。S3存儲桶之間的批量複製

遍歷文件和使用boto3「bucket.copy」(link)函數非常慢。

有沒有辦法執行批拷貝或加快速度？

2017-07-31 amit

你是什麼意思「bucket.copy」是慢？你能顯示覆制代碼嗎？通常，您應該使用系統範圍的副本，例如s3傳輸文件副本，而不是讀取內容並將其傳輸。 – mootmoot

@mootmoot，我的意思是http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.copy – amit

請查看異步副本，python asyncio。 – mootmoot

AWS Command-Line Interface (CLI)有一個aws s3 sync選項，遞歸地將新的和更新的文件從源目錄複製到目標。

對於使用python遞歸副本，請訪問：Boto3 to download all files from a S3 Bucket

2017-07-31 08:47:54 omuthu

我會推薦*反對*下載文件。您可以告訴Amazon S3執行存儲桶到存儲區的副本，速度更快。 –

回答