從我的火花代碼發送數據到紅移

Question

我有一個在斯卡拉編程的Spark代碼。我的代碼讀取一個XML並提取其中的所有信息。目標是將來自XML的信息存儲到Redshift表中。

是否可以直接從我的Scala Spark代碼發送數據到Redshift而不使用S3？

乾杯！

Answer 1

如果您使用的是Spark SQL，則可以使用spark-xml將XML數據讀入DataFrame，然後使用spark-redshift將其寫入Redshift表中。 你也可以看看這個question。

Answer 2

您可以使用預先準備好的SQL語句將行級插入到您的Python/Java代碼中，但是如果您要插入多於幾條記錄，則效率極低。