如何將Spark中的NULL值插入到Redshift中？

Question

我使用spark-csv來創建一個文件，然後我在COPY命令中使用該文件將數據加載到Redshift。根據Redshift文檔，NULL值的有效字面值應爲NULLhttp://docs.aws.amazon.com/redshift/latest/dg/r_Boolean_type.html。

但是，我無法讓Redshift認出這個，爲NULL值設置的正確文字值是什麼，Redshift會正確識別COPY命令S3？

Answer 1

您可以在COPY語句NULL AS 'NULL'http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-null-as

指定的值，我建議嘗試的spark-reshift庫加載紅移。它爲您處理了很多這些問題。 https://github.com/databricks/spark-redshift