Flink（Kafka源）如何管理偏移量？

Question

我正在使用Flink的FlinkKafkaConsumer09，我想知道卡夫卡消費者的存儲位置在哪裏？

我無法在Zookeeper中找到它們，也沒有在Kafka的偏移主題中找到它們。此外，卡夫卡消費者偏移工具無法找到。

這是由Flink內部處理？

Answer 1

Flink並不完全依賴卡夫卡的消費者羣體偏移量跟蹤，而是在內部跟蹤和檢查這些偏移量。

Flink使用Flink的分佈式檢查點機制消耗來自Kafka主題的數據和定期檢查點。如果發生故障，Flink將恢復檢查點目錄中的記錄，並在此之後開始讀取來自Kafka偏移量的數據。

爲了使用故障卡夫卡用戶，在Flink中啓用檢查點是非常重要的。

這裏是你如何做到這一點。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
env.enableCheckpointing(5000); // checkpoint every 5000 msecs