風暴三叉戟的批量大小

我想知道如何在TRIDENT中設置BATCH SIZE（例如我想要一批有10000個記錄）。我在我的代碼中有以下配置，並且每次從卡夫卡獲取大約250條記錄。我可以增加到10000 * 1024嗎？或者有沒有辦法設置每個批次的記錄數量。風暴三叉戟的批量大小

TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts, topic, consumerGroupId); 
tridentKafkaConfig.scheme = new SchemeAsMultiScheme(new XScheme()); 
tridentKafkaConfig.fetchSizeBytes = 1024*1024;

來源

2014-12-24 user3072054

您可以通過更改「tridentKafkaConfig.fetchSizeBytes」屬性增加批量大小。此外，批量大小與經紀人數量和分區數量有關。例如，如果每個代理有2個代理和3個分區，這意味着分區的總數是6.通過這種方式，批量大小等於tridentKafkaConfig.fetchSizeBytes X總分區數。如果我們假設tridentKafkaConfig.fetchSizeBytes是1024X1024，批量大小等於6 MB。（3x2x1024x1024）字節

來源

2015-08-21 10:58:33

風暴三叉戟的批量大小

回答

相關問題