2015-09-14 74 views
1

我需要複製一大塊數據,大約300 GB的文件來自位於美國東部地區的說A的文件,在ap東南地區。另外我需要改變桶的結構。就像我需要根據桶A中的映像名稱將文件推送到存儲桶B上的不同文件夾一樣。我嘗試使用AWS Lambda,但它在ap-southeast中不可用。在不同區域的兩個s3存儲桶之間複製大容量的多個文件

由於數據將在不同地區之間傳輸,因此還需要多少成本?

回答

1

方法

AWS Command-Line Interface (CLI)具有aws s3 cp命令可被用於移動段(甚至在不同的區域)之間的對象,並且可以在同一時間重命名它們。

aws s3 cp s3://bucket-in-us/foo/bar.txt s3://bucket-in-ap/foo1/foo2/bar3.txt 

還有可以用於在兩個水桶之間的內容同步aws s3 sync選項,但這並不能幫助你的要求重命名對象。

成本

數據傳輸從美國地區到另一個地區費用顯示在Amazon S3 pricing page爲US $ 0.02/GB。

+0

我的理解(和我的測試)顯示,桶*之間的同步不通過本地機器。例如。我在雪梨和東京之間的水桶之間複製了一個200MB的對象 - 耗時37秒。當僅從悉尼(我住的地方)下載對象時,花了3分鐘。嘗試一下:從這個公共數據集中獲取一些樣本數據:'s3:// landsat-pds/L8/139/045/LC81390452014295LGN00 /' –

+0

感謝您的糾正John。從'aws s3'文檔看來,這個命令實際上是使用本地存儲作爲緩存。我會刪除我原來的評論。 – kixorz

+0

我仍然建議使用跨區域複製,因爲它處理正在進行的更改,因此您不必管理裂腦場景。 – kixorz

相關問題