卡夫卡消費10節

有使用SimpleConsumer卡夫卡0.8卡夫卡消費10節

的以前版本，您必須跟蹤偏移在你的應用程序知道你離開的地方消費的一些缺點。
你必須弄清楚其經紀人是一個主題，分區
你必須處理經紀領導牽頭經紀改變

在卡夫卡的最新版本中，我們有一個統一的消費者該調查得到的消息。如何跟蹤和處理經紀人/領導者的變化？

來源

2016-08-16 Himalay Majumdar

在新版本中，對於消費者偏移管理，我們有一個名爲"__consumer_offsets"的默認主題，而不是依靠zookeeper或在0.8版本中手動管理它。

經紀人領導人變更仍然通過zookeeper處理。請記住，即使在當前版本中，Kafka確實需要zookeeper才能工作。它只是消費者偏移依賴關係已經改變。所以，動物園管理員跟蹤經紀人/領導者選舉。

另外，作爲消費者，您真的不需要擔心經紀商領導者的變化。如果您爲消費者使用具有高級別API的客戶端，則只需指定使用者組ID，使用主題並使用代理列表（少數服務器來標識羣集，主題甚至可能不在此處）

來源

2016-08-16 22:57:20

是否意味着在新版本中，我可以對消費者的偏移管理進行細粒度控制，而不必擔心領導者變更？在以前的版本中，我不得不擔心使用SimpleConsumer進行細粒度偏移量管理時領導者的變化。 –

是的。那是因爲您在舊版本中使用SimpleConsumer API而不是高級API。從0.9起，他們統一了API。瞭解詳情： http://kafka.apache.org/documentation.html#consumerapi和 http://docs.confluent.io/2.1.0-alpha1/clients/javadocs/index.html?org /apache/kafka/clients/consumer/KafkaConsumer.html –

卡夫卡消費10節

回答

相關問題