MapR流消費者中的spark.kafka.poll.time

Question

我正在使用MapR流並在我的直接kafka API使用者中設置參數「spark.kafka.poll.time」;但是，我不知道這個參數究竟是什麼意思？

Answer 1

根據MapR文檔，消費者在MapR流上的查詢間隔時間（http://maprdocs.mapr.com/home/Spark/Spark_IntegrateMapRStreams_Consume.html）。大多數情況下，只有在使用Spark Streaming連接到Kafka時才需要指定它。在一個標準的Java Kafka Consumer中，在poll方法中，millis中有一個間隔，你必須指定它，所以它們之間可能有一個類比。

對於Java：

ConsumerRecords<String, String> records = kafkaConsumer.poll(consumerPoolTime); 

火花流作爲地圖PARAMS：

"spark.kafka.poll.time" -> "300", 
// other params 

KafkaUtils.createDirectStream[String, String](ssc, kafkaParams, topics)