如何整合風暴和卡夫卡

Question

我曾在Storm工作，並開發了一個基本的程序，它使用本地文本文件作爲輸入源。但現在我必須處理來自外部系統的流式傳輸數據。爲此，卡夫卡是最好的選擇。

問題是如何讓我的Spout從Kafka獲取流數據。或者如何將風暴與卡夫卡融合。我該怎麼做，以便我可以處理來自Kafka的數據？

Answer 1

尋找KafkaSpout。

這是從Kafka集羣讀取的普通Storm Spout實現。您只需要使用參數如list of brokers,topic name等來配置噴口。您可以簡單地將輸出鏈接到相應的螺栓以進一步處理。

從上述同樣的DOC，配置是這樣的：

SpoutConfig spoutConfig = new SpoutConfig(
     ImmutableList.of("kafkahost1", "kafkahost2"), // List of Kafka brokers 
     8, // Number of partitions per host 
     "clicks", // Topic to read from 
     "/kafkastorm", // The root path in Zookeeper for the spout to store the consumer offsets 
     "discovery"); // An id for this consumer for storing the consumer offsets in Zookeeper 

KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);