使用Apache Nifi將數據從vertica轉移到Redshift

Question

我想使用apache nifi將數據從vertica轉移到redshift。 哪些是我需要設置的處理器和配置？

Answer 1

如果Vertica的和紅移已經「乖」 JDBC驅動器，則可以設置爲每一個DBCPConnectionPool，則SQL處理器如ExecuteSQL，QueryDatabaseTable，或者GenerateTableFetch（後者用於使用生成的ExecuteSQL SQL） 。這些會將您的記錄轉換爲Avro格式，然後（在NiFi 1.2.0之前），您可以使用ConvertAvroToJSON→ConvertJSONToSQL→PutSQL將您的記錄插入到Redshift中。

在NiFi 1.2.0中，您可以使用在PutDatabaseRecord中設置AvroReader。然後您只需要SQL處理器就可以將記錄從Vertica中取出，直接放到PutDatabaseRecord中，將它們放入Redshift中。