Kiba-etl多重轉換 - 多個目標

我試圖進行多重轉換，將其分發到多個目標。例如：Kiba-etl多重轉換 - 多個目標

orginal.csv: 
title 
movies1 
movies2 
movies3 
movies4

增加了.themoviedb並將其轉化爲這個

better_movies.csv: 
title 
movies1=9 
movies2=5.5 
movies3=7 
movies4=8

再次我想變換和推動該文件至S3 rated_movies.csv： movies1 = 9 電影= 8

這應該是輸出我怎麼能做到這一點，然後把它推到我的S3文件夾？

來源

2016-11-17 Mohammed Attaullah Khan

根據你的問題標題，你不清楚你要求的是什麼，你能澄清嗎？

如果我們想象你有一個源文件（CSV）被你的轉換所轉換，然後被寫爲目標文件（CSV再次），你想發送到S3，一種方法是使用一個post_process塊在目標文件準備就緒後即可對其執行操作。

大約它將給：

source CSVSource, file: my_source_file 

transform 
transform 
transform 

destination CSVDestination, file: my_target_file 

post_process do 
    # send your file to s3, by shelling out to `aws s3 cp` 
    # (but make sure to check the exit code if you do so!) 
    # or by using the AWS ruby SDK 
end

當然還有許多其他的可能性，如添加下面的第一個新的目的地。

希望這會有所幫助！

來源

2017-02-11 08:42:02

Kiba-etl多重轉換 - 多個目標

回答

相關問題