Python KafkaConsumer開始使用時間戳中的消息

Question

我打算跳過本主題的開頭，並且只從特定時間戳讀取消息到結束。有關如何實現這一目標的任何提示？

Answer 1

我猜你正在使用kafka-python（https://github.com/dpkp/kafka-python），正如你提到的「KafkaConsumer」。

您可以使用offsets_for_times()方法來檢索匹配時間戳的偏移量。 https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html#kafka.KafkaConsumer.offsets_for_times

以下就是使用seek()來尋求那個抵消。 https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html#kafka.KafkaConsumer.seek

希望這會有所幫助！

Answer 2

我解決了它，但是我不確定使用該方法時獲得的值。 我有一個KafkaConsumer（ck），我用assign（）方法得到了主題的分區。因此，我可以創建一個包含我感興趣的主題和時間戳的字典（本例中爲100）。

支持問題：我是否應該使用0來獲取所有消息？。

我可以在offsets_for_times（）中使用該字典作爲參數。但是，我得到的值都是無

zz = dict(zip(ck.assignment(), [100]*ck.assignment())) 
z = ck.offsets_for_times(zz) 
z.values() 

dict_values([None, None, None])