filebeat-kafka：WARN生產者/經紀人/ 0累計最大請求數，等待空間

Question

當filebeat向kafka輸出數據時，filebeat日誌中有很多警告消息。

..

*WARN producer/broker/0 maximum request accumulated, waiting for space 

*WARN producer/broker/0 maximum request accumulated, waiting for space 

..

沒有什麼特別的，我filebeat配置：

..

output.kafka: 

    hosts: ["localhost:9092"] 

    topic: "log-oneday" 

..

我也更新了這些套筒組婷在卡夫卡：

...

socket.send.buffer.bytes=10240000 

socket.receive.buffer.bytes=10240000 

socket.request.max.bytes=1048576000 

queued.max.requests=1000 

...

，但沒有奏效。

有什麼我錯過？或者我必須增加這些數字更大？

之外，沒有任何錯誤或異常卡夫卡服務器日誌

發現有任何專家對此有什麼想法？

謝謝

Answer 1

顯然你的主題只有一個分區。嘗試增加主題的分區。有關更多信息，請參閱下面的鏈接。

多個分區導致更高的吞吐量

• https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/
• https://kafka.apache.org/documentation/#basic_ops_modify_topic

嘗試通過以下命令（根據您的特定使用情況更換信息）：

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --partitions 40