如何使用直接流在Kafka Spark Streaming中指定用戶組

如何使用直接流API爲kafka spark streaming指定用戶組ID。如何使用直接流在Kafka Spark Streaming中指定用戶組

HashMap<String, String> kafkaParams = new HashMap<String, String>(); 
kafkaParams.put("metadata.broker.list", brokers); 
kafkaParams.put("auto.offset.reset", "largest"); 
kafkaParams.put("group.id", "app1"); 

    JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
      jssc, 
      String.class, 
      String.class, 
      StringDecoder.class, 
      StringDecoder.class, 
      kafkaParams, 
      topicsSet 
    );

雖然我已經指定了配置不知道是否缺少一些東西。使用spark1.3

kafkaParams.put("group.id", "app1");

來源

2016-04-08 Faisal Ahmed Siddiqui

它應該和你一樣。 –

你不知道是否錯過了什麼？請提出具體問題。就像*我試圖用X來實現Y，但是使用庫Z得到了Y，但從StackOverflow得到的堆棧跟蹤S *的異常E是合適的。 –

@DebosmitRay我嘗試使用spark kafka直接流的「group.id」來指定使用者組。沒有得到任何異常，但想知道這是否正確的方式來指定使用createDirectStream API方法的用戶組。現在有幫助嗎？ –

直接流API使用低級別的Kafka API，因此無論如何都不使用消費者組。如果你想用Spark Streaming來使用消費者組，你必須使用基於接收器的API。

Full details are available in the doc !

來源

2016-04-10 12:24:40 C4stor

我仍然可以使用直接流API使用多個應用程序的數據嗎？沒有任何數據丟失的每個應用程序？ –

如何使用直接流在Kafka Spark Streaming中指定用戶組

回答

相關問題