卡夫卡和python - 我不明白如何消費

Question

從文檔.. [1]：https://github.com/mumrah/kafka-python

# To send messages asynchronously 
producer = SimpleProducer(kafka, async=True) 
producer.send_messages("my-topic", "async message") 

# To consume messages 
consumer = SimpleConsumer(kafka, "my-group", "my-topic") 
for message in consumer: 
    print(message) 

哪裏了「我的團」從何而來？我如何設置「我的組」？

Answer 1

根據docstring的SimpleConsumer,group是「該消費者的名稱，用於偏置存儲並且必須是唯一的」。

所以這只是您給消費者的一個獨特名稱。

Answer 2

kafka使用羣組來協調多個消費者閱讀同一主題。如果多個消費者使用相同的組名稱，它會告訴卡夫他們想共享消費者負載，並且每條消息只會傳遞給組成員之一。

如果你還不知道你想要團體，你可能不需要。只要確保名稱是唯一的，以便kafka向您的消費者發送該主題的所有可用消息。

Answer 3

如前所述，每個消息應該只向每個消費者組傳遞一次。有關更多信息，請檢查http://kafka.apache.org/documentation.html#introduction。

直到kafka-python的最後一個版本（寫入時爲0.9.3），使用SimpleConsumer的用戶組才能正常工作。