AWS中的自動縮放組中的多區域apache kafka和動物園管理員

Question

我搜索了網絡中的體系結構，指出在AWS中的多個區域中的自動縮放組中設置apache kafka/zookeeper組合。

任何人都可以設置這樣的東西？面臨這些挑戰的任何挑戰和解決方案。還有什麼妥協與這種類型的設置，如果有的話？

自動縮放的最大問題是能夠動態更新配置文件。 AWS也無法提供幫助，因爲即使使用創建的網絡接口（eni）也無法控制啓動配置，以便在使用自動擴展組時使用enis。

另外你如何管理更改的配置文件？

只是有這些問題，沒有我能想到的其他地方發佈這樣的問題。如果這是錯誤的地方，請讓我知道，並請建議一個地方發佈這樣的問題。

感謝

Answer 1

自動縮放不是動物園管理員一個偉大的想法，它可以爲卡夫卡經紀人會非常棘手，以及。然而其他Kafka組件，如Kafka Streams在自動縮放方面效果很好。

Confluent提供了一些工具來幫助包括AWS Cloud Formation模板，自動數據平衡工具以及有關如何設置AWS可用區（具有機架識別功能）和區域（使用Replicator）的許多建議。

看到這個博客有關的最佳實踐https://www.confluent.io/blog/design-and-deployment-considerations-for-deploying-apache-kafka-on-aws/

請參見本快速入門部署模板https://aws.amazon.com/quickstart/architecture/confluent-platform/