2016-07-12 52 views
0

我需要構建一個數據管道,它從CSV文件(存儲在S3上)獲取輸入,並在Aurora RDS表中「更新」記錄。我理解用於批量記錄插入的標準格式(開箱即用模板),但是對於記錄更新或刪除,是否有任何標準方式在SqlActivity中擁有這些語句?AWS Data Pipeline - SQLActivity - 更新語句可能嗎?

我可以編寫更新語句,但是引用CSV輸入的方式,它們只是問號(?),沒有任何索引列的自由。

讓我知道是否可以用這種方式使用數據管道?如果是的話,我可以參考CSV列的具體方式?提前致謝!

回答

0

您需要對包含批量更新的SQL腳本進行一些CSV預處理,然後通過引用腳本來調用SqlActivity。

如果你插入你也許可以通過執行此如下:

CopyActivity(http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-copyactivity.html)這需要:

  • S3DataNode作爲輸入

  • SqlDataNode作爲輸出。

如果性能不是問題,那麼這是最接近您使用AWS Data Pipeline開箱即用的傳輸方式。

有關更多信息,請參閱AWS Data Pipeline文檔(http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/what-is-datapipeline.html)。