kafka：跟蹤生產者偏移

Question

我正在使用Apache Kafka （不合流），並且有一個簡單的Kafka生產者，它從一個rest API中提取數據，向Kafka發送數據並關閉。 我在開發一個消費者的時候測試了它。

在消費者中，我可以跟蹤偏移量，但我似乎無法在我的製作人中設置自定義偏移量。

在我的休息電話中，我需要跟蹤一個日期，以便我不會一直提取相同的數據。我是否被迫自己儲存這個「最後的時間戳」或者我是否錯過了一些東西？

Answer 1

我認爲在您的場景中，您對生產者端（當您寫入Kafka時）的「Kafka」偏移量不感興趣，而是追蹤從REST API中提取的最新數據的「偏移量」，因此您是對的你必須自己做。 在Kafka生產者端，您可以知道分配給最新發送消息（在RecordMetadata中）的偏移量，但是當您從REST API中提取數據時，它與最新時間戳沒有任何關係。