0
我使用Logstash從Kafka主題獲取數據並將其插入Elasticsearch。由於Logstash中存在一些配置錯誤,我得到了損壞的數據,並且我想重新使用昨天2 O時鐘的主題。這可能嗎?如何將卡夫卡消費羣體的偏移重置/回滾到特定小時?
我使用Logstash從Kafka主題獲取數據並將其插入Elasticsearch。由於Logstash中存在一些配置錯誤,我得到了損壞的數據,並且我想重新使用昨天2 O時鐘的主題。這可能嗎?如何將卡夫卡消費羣體的偏移重置/回滾到特定小時?
目前,kafka
Logstash input不支持在Kafka 0.10中引入的按時間戳搜索功能。
Suyog拉奧(Logstash小組組長)一直working on a feature branch添加此功能,但我最後一次檢查它沒有工作,因爲comment mentioned on lines 292-294,即
這是沒有不工作分區分配尚未:( 見https://issues.apache.org/jira/browse/KAFKA-2359 我們需要調用的poll(),然後再尋找這沒有任何意義,並可能會丟失數據
什麼卡夫卡的版本是您使用?作爲0.10,你可以請致電KafkaConsumer#offsetsForTimes進行搜索預期的消息,如果你正在使用Java消費者。 – amethystic