AWS數據管道訪問S3

Question

我正在使用AWS Data Pipeline將文件從S3複製到AWS Redshift表中。在S3上的文件夾結構如下：

s3://test/folderA 
s3://test/example=01 
s3://test/example=02 
s3://test/example=03 
s3://test/example=04 

我希望能夠給所有文件複製在「例如= ##」文件夾，但不是「folderA」

任何想法怎麼辦這個？ Data Pipeline中的正則表達式似乎不起作用。

Answer 1

數據管道調用Redshift COPY命令將S3文件加載到Redshift中。 S3路徑可以只是你想要的文件的前綴。你可以看看這裏的文檔：http://docs.aws.amazon.com/redshift/latest/dg/t_loading-tables-from-s3.html

如果你想寫自己的Redshift COPY命令，你可以對Redshift連接使用SqlActivity。 https://github.com/awslabs/data-pipeline-samples/tree/master/samples/SQLActivityWithTimeout

Answer 2

如果有很多的文件，好像是一個清單文件是最好的選擇： http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-s3datanode.html

如果只有幾個文件，我會用一個表達式爲S3文件名：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-pipeline-expressions.html 與用戶定義的字段。用不同的值創建多個按需管道執行。