如何使用s3fs將文件和目錄從S3存儲桶安裝複製到EBS

Question

我在S3FS的一個EC2實例中將S3存儲桶安裝爲卷。我用PHP創建了一個超過20GB的目錄結構。

現在S3FS耗盡實例內存，上傳速度非常慢，所以我想將所有文件移動到附加到同一實例的EBS上。

我試過S3CMD，但是由於S3FS在存儲桶中創建與目錄同名的零大小對象，所以存在一些不兼容性。

此外還嘗試編寫一個腳本來遞歸複製跳過這些零大小的對象的結構。

無效。

有沒有人試圖做到這一點？在此先感謝您的幫助。

Answer 1

@hernangarcia不要讓事情變得複雜，請使用遞歸wget，wget -r後跟bucket結束點的url。您可以將所有內容下載到EBS卷。另外我的建議是不要將所有那些類似20 GB的文件存儲在實例的根捲上，而是將另一個卷附加到該捲上，然後將所有這些文件存儲在該額外卷中，並且如果您擁有高IOPS卷，操作會更快。