大量的頻道卡夫卡

Question

我想知道卡夫卡是否有任何限制或開始放緩（由於GC或其他原因），如果我們有大量的頻道。我們有大量的數據，我們將通過卡夫卡發送（超過2B數據點）。我們正在考慮擁有大約1600個頻道。

有沒有人遇到過這樣的問題，我們在卡夫卡擁有如此多的頻道？同樣，你看到當地的DC複製問題與這些大量的通道，最後任何可預見的問題，如果我們使用MirrorMaker交叉DC複製這樣的大量的渠道

任何指針的高度讚賞

謝謝

Answer 1

我相信對卡夫卡本身的主題數量沒有硬性限制。但是，由於Kafka在Zookeeper中存儲了主題信息（// brokers/topics /），並且Zookeeper對最大節點大小有1MB的限制，所以只能有限數量的主題。此外，卡夫卡經紀商在/ var/kafka/data /中存儲不同主題的數據。如果/ var/kafka/data /中的子目錄太多，性能可能會受影響。

我還沒有嘗試過數千個話題，但有幾百個話題的卡夫卡可以用於我的目的。我遇到問題的唯一領域是使用高級消費者時的動態主題創建。它要求客戶端重新連接，以便在所有消費者盒子上選擇新的主題。這導致耗時的消費者重新平衡（有時會失敗，阻止閱讀某些主題）。因此，我不得不切換到簡單的使用者，並在代碼中關注讀取協調。

我建議創建一個簡單的測試應用程序，該應用程序根據您期望的主題數生成一些隨機數據，並驗證性能是否可接受。