如何使用s3distcp選擇日期範圍？

Question

我的日誌看起來像s3中的名稱中帶有時間戳。我想使用s3distcp將數據導入EMR，以便使用配置單元。

https://s3.amazonaws.com/mybucket/test/201305031003_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031004_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031005_0_ubuntu.gz 
https://s3.amazonaws.com/mybucket/test/201305031006_0_ubuntu.gz 

如何使用s3distcp選擇日期範圍？例如。從201303031003到201305031003？這是一個兩個月的差異

Answer 1

您可以使用--srcPattern s3distcp option指定一個正則表達式來僅選擇要複製的月份。