awscli：將部分文件從s3複製到本地

Question

我想使用s3 cp將文件（.csv）從s3複製到本地機器。該文件很大，我想知道是否有辦法只複製它的一部分，比如第一個10000行或5MB的文件。

Answer 1

您可以使用範圍得到：

aws s3api get-object --bucket my-bucket --key foo --range bytes=1-10 output.txt 

參見：get-object documentation

您可以指定字節數，而不是行的數量，因爲需要的內容解釋。

Answer 2

我一直在廣泛使用AWS cli。

aws s3 cp s3://bucket/large_file.tar.gz | gunzip -cd | head -n 10000 > first_10000.csv