將S3文件逐行拆分並放入其他存儲桶中

Question

我在S3中獲得了中等大小的文件（我從EMR中獲得了這些文件），並且每行都有一個密鑰和對象，我想將它們放在單獨的存儲桶中。

無論如何要實現這個使用數據管道？

Answer 1

如果您只是想將此數據複製到另一個s3存儲桶中，則可以使用datapipeline中的CopyActivity來執行此操作。你的管道將有一個S3DataNode作爲CopyActivity和一個輸出S3DataNode的輸入。您可以嘗試使用AWS datapipeline控制檯中提供的其中一個模板，並編輯管道以獲得上述對象。