AWS S3 Gzip極其緩慢

Question

我有一個200GB大文件坐在S3實例上，我正在考慮將它移到我的本地來做一些工作。我的想法是首先gzip文件，然後scp到我的本地機器，以降低S3的IO成本，並節省一些時間。

但是，S3中的gzip步驟已經過時了。 我的想法是，S3實際上是一個大磁盤，不知何故，數據實際上是迴流到EC2，然後回到S3，而IO需要很多時間。

我想知道我怎麼能解決這個問題。

Answer 1

S3並不是一個真正的大盤。有層可以使它看起來像一個，但它最終不能作爲一個。使用磁盤讀寫塊，使用s3讀取/寫入整個對象。

我猜你試圖用s3fs來做到這一點，s3fs會在對它們進行任何操作之前在本地複製文件（到/ tmp）。