Apache Spark Time基於Kafka off set

Question

我正在使用火花消費者（從spa‌​rk-streaming-kafka_2‌​.10版本1.6.0）。

我的火花發射器從kafka隊列偵聽5分區的消息。假設我停止了我的火花應用程序，然後根據我的配置讀取最小或最大的偏移值。但是我的Saprk應用程序應該在我停止之後讀取meesage。例如，我停止過程3.00PM，並在3.30PM啓動火花發射器。然後，我想閱讀下午3點至下午3點30分之間的所有消息。

Answer 1

我希望你使用卡夫卡圖書館的高級消費者。在這種情況下，他們會定期提交補償，卡夫卡本身會在Zookeeper或某些Kafka主題中維護補償記錄。所以，當你在一段時間後重新啓動組中的消費者時，他們將從他們離開的地方開始。偏移量記錄用作消費者在重新啓動或重新平衡時應該開始消費的位置的標記。偏移提交可能會自動發生或可能會被明確提交。在任何一種情況下，消息處理和偏移量提交都不會以原子方式發生，因此消費者重新啓動時很少有消息會再次被處理。

的最小和最大偏移值只相關的，當我們啓動消費羣，在消費者中的第一次，因爲沒有偏移記錄可供消費者信號他們從偏移量（的分區），他們應該開始消費。