如何合併由EMR生成的S3上的小文件與數千個減速器

Question

我的cascalog EMR作業在S3存儲桶上生成了數千個小文件。它生成的文件數量與我使用的減速器數量相同。傾銷所有這些小文件需要幾分鐘。我想知道是否有方法在S3上連接它們以便我可以快速轉儲它們？

感謝

康

Answer 1

有這一問題的幾個解決方案 - 這裏是我使用的一個：

https://github.com/nathanmarz/dfs-datastores/blob/develop/dfs-datastores/src/main/java/com/backtype/hadoop/Consolidator.java