如何在Spark Streaming中將壓縮數據寫入Kafka？

Question

是否可以從Spark流中將gzip壓縮數據寫入Kafka？是否有任何示例/示例說明如何在Spark流作業中從Kafka寫入和讀取壓縮數據？

Answer 1

是的，這是可能的。只需將compression.type設置爲gzip即可。

查看here的完整示例。

// Zookeeper connection properties 
val props = new HashMap[String, Object]() 
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers) 
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip") 
// add other props as needed 

val producer = new KafkaProducer[String, String](props) 

Answer 2

您可以使用CLI或在server.properties文件中設置。

--compression-codec [壓縮編解碼器]壓縮編解碼器：'none'，'gzip'，'snappy'或'lz4'。如果沒有指定值，則默認爲'gzip'。 0是默認值。

https://cwiki.apache.org/confluence/display/KAFKA/Compression