每秒卡夫卡提交次數有多​​少

Question

我已經讀過，您不應該經常提交與Kafka高級別消費者的偏移量，因爲每次提交都是寫入Zookeeper，因此您可以減慢Zookeeper的速度，因爲它與其法定人數。

我的問題是，什麼被認爲是很多寫入Zookeeper？我每秒發送10條消息，如果我能夠承諾在每條消息之後提交消息，這會使我的系統更好，但這是多少？我真的不知道。在開始測試我們的完全加載的kafka集羣之前，我最好喜歡一些想法。

Answer 1

如果你看一下這個圖，你可以看到，他們的示例設置（3x雙2Ghz至強處理器和兩個SATA 15K RPM驅動器）如果您只寫入，則可以處理〜80000次寫入/秒。

來源：http://wiki.apache.org/hadoop/ZooKeeper/Performance

Answer 2

我認爲可以肯定地說你可以通過多個數量級增加你的寫入。

這傢伙正在做數百萬：http://www.slideshare.net/hyderabadscalability/apache-kafka-zookeeper-35-million-writes-per-second。在他的幻燈片中，他提到了每秒350萬次，但沒有提到硬件。

另一個人提到200萬每秒使用三臺計算機集羣是可行的：https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

其他100萬粒第二和某人：http://www.todaysoftmag.com/article/1364/high-performance-messaging-systems-apache-kafka