Kafka和Zookeper部署在K8s生產中

Question

有沒有人對生產環境的Kafka和ZK配置有任何建議？

我在網上看了一下，有一些環節的壓縮，RAM ..等方面報告配置，但沒有相關的ZK和卡夫卡的實例數...

我的部署有5個動物園和3卡夫卡實例：

NAME  READY  STATUS    RESTARTS AGE 
kafka-0 0/1  Running    0   12s 
kafka-1 0/1  Running    0   12s 
kafka-2 0/1  Running    0   12s 
zoo-0  0/1  Running    0   12s 
zoo-1  0/1  Running    0   12s 
zoo-2  0/1  Running    0   12s 
zoo-3  0/1  Running    0   12s 
zoo-4  0/1  Running    0   12s 

我得到了什麼是最好部署ZK集羣（單獨），然後指向之一。 Kubernetes上的集羣通信如何？

任何幫助或建議表示讚賞 - 感謝

Answer 1

我不是這方面的專家，但將採取先刺。

有一兩件事，我不明白是爲什麼，你有超過飼養員卡夫卡 - >動物園管理員是卡夫卡元數據存儲中，這樣你就可以用一個飼養員開始，以處理故障，您可以用3名飼養員走了。因此，要擁有一個簡單的Kafka Production集羣，您可以從3/5個Kafka節點和3個zookeepers開始。

卡夫卡磁盤大小應該取決於您希望擁有的保留。 節點數應該取決於你想要的並行化。

我不知道Kubernetes，所以不知道。但一般來說，動物園管理員應該爲每個基礎設施設置單獨的根文件夾，並且3個動物園管理員應該很好地開始。 （注意：你可能想用固態硬盤嘗試zookeeper磁盤，有人說這是好的，有人說沒有改善，我建議嘗試驗證）

要生產，我會更關心監控和製作確保服務不會停止。您可以確保通過執行以下

1. 卡夫卡的預寫日誌，所以請確保您rendition.bytes和retention.ms在兩個羣集級和主題級別
2. 監視器適當設置任何滯後，消費特別滯後
3. 領導者分佈是平均的，您必須監視它在任何節點重新啓動的情況下分佈可能會不均勻。
4. 如果您正在處理大量數據，那麼請不要擔心壓縮。