2017-05-22 36 views
1

我使用SCDF on YARN 1.0.2.RELEASEKafka 0.10.0進行流應用。重新部署SCDF流時,卡夫卡偏移的劑量如何改變?

當我取消部署一個流然後再部署它時,它似乎有時繼續在當前的Kafka主題偏移量,有時它從最早的偏移量開始。

重新部署流時,我可以在哪裏配置獲得可預測的行爲(例如,當前偏移量,最新偏移量,最早偏移量)?

有沒有一種方法可以期望不同的流對不同的行爲?

回答

1

重新部署流時,您需要使用spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffsetlatest。默認行爲是使用earliest。您可以參閱this文檔以獲取更多信息。

+0

似乎如果'resetOffsets'是'false','startOffset'選項將不起作用。 'resetOffsets'的默認'false'值是否意味着消費者會從它離開的位置開始(Kafka中提供的偏移量)? – JavyZheng

+0

我相信這個問題在這個公關中得到解決:https://github.com/spring-cloud/spring-cloud-stream-binder-kafka/pull/146 –

+0

「最新」的確切含義是什麼?這是否意味着提交日誌中的最新偏移量或分區中的最新偏移量? – JavyZheng