Flume 1.7＆Kafka - 如何在主題開始時重新啓動？

Question

我使用Flume 1.7 Kafka source將數據從Apache Kafka中提取到我的AbstractSink中。

：在過去，我可以通過刪除使用 ./kafka-consumer-groups.sh --delete但由於水槽1.7（顯然）採用的是「新」的消費主題偏移，試圖 ./kafka-consumer-groups.sh --delete現在提供了以下錯誤消息重新啓動在主題開始時的偏移

選項[刪除]對[新消費者]無效。需要注意的是有沒有 必要刪除組的元數據新的消費，因爲它是 當最後一個成員離開

所以自動刪除，什麼是實現所需的行爲（這是我們將重新推薦的方法 - 從主題開始處理數據）？

這裏是我的水槽配置的一部分：

myagent.sources.my-kafka-source.type = org.apache.flume.source.kafka.KafkaSource 
myagent.sources.my-kafka-source.kafka.bootstrap.servers = kafka.example.net:9092 
myagent.sources.my-kafka-source.kafka.consumer.group.id = my-gid 
myagent.sources.my-kafka-source.kafka.topics = my.topic 
myagent.sources.my-kafka-source.kafka.auto.offset.reset = earliest 
myagent.sources.my-kafka-source.channels = my_channel 

Answer 1

水槽不提供倒帶功能雖然卡夫卡不附帶KafkaConsumer＃尋求讓您重新消耗的消息的直接支持。似乎你必須使用新的組ID來做到這一點，需要重新啓動Flume代理。