卡夫卡性能消息大小以GB爲單位

Question

我知道，當消息大小從字節到幾MB時，kafka對較大的消息表現更好。但是，當消息大小範圍從千字節到千兆字節時，上述相關性是否成立？

基本上，我有一個使用案例，其中生產者吐出大消息 - 我不能將大消息分解成更小的消息，因爲我需要自動處理它。

Answer 1

請考慮不要將數據放入消息中。如：在其他地方轉儲消息主體併發送鏈接或引用數字。暫時忽略卡夫卡 - 如果您通過發佈/訂閱的方式分發這種大小的郵件，您將會非常快速且輕鬆地超載任何明智的網絡和處理基礎架構。 100克不是大多數公司擁有的網絡公司。即使10G也是一個問題。 1Gb在EMPTY 1千兆鏈路上傳輸10秒。

我會挑戰像這樣推動數據的任何架構的敏感性。