如何篩選S3文件作爲Amazon EMR的輸入？

Question

我正在嘗試運行將在S3存儲桶中處理CloudFront日誌的Amazon EMR Hadoop過程。由於CloudFront在同一個存儲桶中生成大量日誌，因此如何過濾日誌文件而不會爲S3訪問生成額外的帶寬？

Answer 1

我發現我可以用FileSystem.globStatus()快速從CloudFront的過濾文件記錄鬥：

FileSystem fs = new Path("s3://logs").getFileSystem(conf); 
for (FileStatus fileStatus: fs.globStatus("s3://logs/prefix-2015-11-01*")) { 
    if (fileStatus.isFile()) { 
     FileInputFormat.addInputPath(myJob, fileStatus.getPath()); 
    } 
}