2017-08-30 189 views
0

的首選副本分配當我們創建卡夫卡的話題,經紀人本主題分區分配副本和第一個副本將是首選副本,這意味着卡夫卡集羣將分區領導者遷移到首選副本的基礎上,的'不平衡率'。卡夫卡

考慮到與經紀人的增加,分區首選副本始終是一個創建的那些話題時分配。因此,隨着經紀人規模的變化,負載平衡無法擴展。

所以我想問一下,有當經紀人的卡夫卡當前版本增加可修改首選副本的分配任何策略。

回答

0

卡夫卡文檔中,有關於本節:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion

當擴展羣集,則可以使用重新分配的工具,kafka-reassign-partitions.sh,將一些現有的分配到新的經紀人。

卡夫卡不提供一種方法來自動執行,但也有第三方工具也可以提供像https://github.com/linkedin/cruise-control

+0

謝謝!我已經知道這件事,但是這個工具需要管理員手動調整副本的任務,如果主題分區的數量增長到大尺寸,這是很難做手工。當然,我們可以讓我們的工具在集羣擴展時自動調整副本。但是如果卡夫卡可以提供自動化,我們可以節省大量時間。 – dujijun

+0

我添加了一些關於可以自動執行此任務的工具的詳細信息 –