Kafka Stream重新平衡舊消息

Question

我有一個Kafka Streams應用程序，它從少量主題獲取數據並加入數據並將其放入另一個主題中。

卡夫卡配置：

5 kafka brokers 
Kafka Topics - 15 partitions and 3 replication factor. 

我運行在哪裏我的卡夫卡經紀人正在運行同樣的機器卡夫卡流應用。

每小時消耗/產生幾百萬條記錄。每當我把任何一個卡夫卡經紀人放下時，它會在重新平衡多次之後重新平衡，開始消費非常舊的信息。

注意：當Kafka Streams Application運行良好時，滯後幾乎爲0。但是在重新平衡後，滯後從0變爲10萬。

可以這些是因爲offset.retention.minutes。

卡夫卡經紀日誌&偏移保留策略：

log retention policy : 3 days 
offset.retention.minutes : 1 day 

因爲我在下面的鏈接閱讀，這可能是原因：

Offset Retention Minutes reference

在任何幫助，將不勝感激。

Answer 1

抵消保留會產生影響。請參閱以下常見問題解答：https://docs.confluent.io/current/streams/faq.html#why-is-my-application-re-processing-data-from-the-beginning

另請參閱How to commit manually with Kafka Stream?和How to commit manually with Kafka Stream?瞭解提交的工作方式。