卡夫卡源連接器得到陳舊偏移值

Question

我有一個SourceTask它有一個簡單的民意調查方法（完成得相當快）。我發現從context.offsetStorageReader得到的偏移值大多是陳舊的，這意味着不匹配在前一個poll（）方法中返回的偏移值。

同時，我可以從日誌中觀察到，當「commitOffsets成功」發生時，偏移值僅更新爲「新鮮」。

我的問題是：這是故意設計的嗎？我是否應該減少「OFFSET_COMMIT_INTERVAL_MS_CONFIG」值以確保偏移比執行SourceTask.poll（）方法更快提交？

Answer 1

org.apache.kafka.connect.runtime.OffsetStorageWriter類的註釋中說「偏移數據只應在啓動或重新配置任務期間讀取......」，而不是在每次執行poll（）方法。