如何讓消費者知道生產者已完成將所有消息發送給經紀人？

Question

1：我們正在使用Spark Streaming進行接近實時的處理或批處理。我們目前的設計包括卡夫卡。

2：生產者每15分鐘將發送消息。

3：我們計劃使用Spark Streaming來消費來自Kafka主題的消息。

Answer 1

一個非常寬泛的問題：

1. 基本上，有沒有這樣的事情「所有消息」，因爲它的流處理（但我還是明白你的問題）。
2. 一種方法是在最後一條消息中注入控制消息，「結束數據突發」
3. 您也可以通過RPC使用一些「側面通信通道」，以便生產者發送它寫入的最後一個偏移量消費者
4. 你可以把一個啓發 - 如果poll()做1分鐘返回任何結果，你只是假設，所有的數據得到消耗

而且可能還有其他的方法......但是，這一切手工編碼 - 卡夫卡沒有支持（比較（1））。