查詢卡夫卡消息

我有我的火花卡夫卡消息生產者（KafkaProducer）流application.For這一點，我需要檢測，如果message.value已經在之前我的製片人將其發送查詢卡夫卡消息

是否有卡夫卡存在任何工具，所以我可以查詢卡夫卡消息？我不想消費信息，只是查詢已有的消息。

2016-11-14 mahdi62

這是不可能的。 –

簡短回答：這是不可能的內置Kafka功能。

也許你可以解釋爲什麼你需要這樣的功能在你當前的用例中，因爲可能有其他方法來實現你想做的事情。

2016-11-15 07:28:32

我發送一些來自Fiestream的探測記錄，但記錄可能是重複的（在原始文件中），所以我需要在發送它們之前檢測重複記錄（因爲這些記錄已經由kafka發送）。 – mahdi62

啊，我明白了。在這種情況下，我的簡短回答仍然有效：不幸的是，您可以隨時使用Kafka中沒有的即用功能。 –

如果您在插入值之前必須查找關鍵字，則可能需要使用Hbase或MongoDB或更多選項：Elasticsearch，Cassandra。 Kafka是一個數據緩衝區，它的目的是解耦系統。你應該使用正確的方法:)

2017-10-11 00:58:33 Jack

回答