增加卡夫卡話題數量導致動物園管理員失敗

我們計劃將卡夫卡用作物聯網用例的消息代理，其中每個設備都被視爲唯一主題。當我每秒模擬10條消息到10000個話題時，zookeeper正在變得瓶頸，因此所有Kafka監控工具都無法從JMX端口讀取吞吐量值和主題數量。將優化動物園管理員將解決問題。在物聯網用例中，將有數百萬設備輪詢數據到數百萬個主題。我想確保這個方法是完美的。請建議。增加卡夫卡話題數量導致動物園管理員失敗

來源

2016-05-16 Anas A

這應該是可以的。但很難給出一個普遍的答案;你的問題是廣泛而複雜的。我只是想知道，爲什麼你想要爲每個設備設置一個主題 - 在一個主題內使用不同的分區可能會更好...... –

@ MatthiasJ.Sax我只有一個主題需要多個設備。有沒有可能這樣做，或者我應該在一個主題內嘗試不同的分區？我不知道該怎麼做。 – devd

最簡單的方法是，用X分區創建主題，並在向主題寫入數據時將唯一設備ID設置爲鍵。這將確保通過基於密鑰的散列分區自動將來自單個傳感器的所有數據寫入同一分區。 –

您的權利即使理論上您可以擁有數百萬個Kakfa主題，但Kafka中的主題數量爲bound by Zookeeper，您無法擁有數百萬個主題。爲每個設備創建主題/分區不是可擴展的解決方案。

是否有一個原因，你需要數百萬的話題？

來源

2016-05-17 12:05:49

增加卡夫卡話題數量導致動物園管理員失敗

回答

相關問題