卡夫卡日誌文件夾太大

Question

我們的卡夫卡日誌文件夾中有大量數據（來自14個月）。卡夫卡默認寫這些。

Location of server.xml: /install/kafka_2.10-0.8.2.2/config/server.xml 

Here is the setting in server.xml: log.dirs=/install/kafka-logs 

1. 我想刪除過去幾年日誌。這會導致任何問題嗎？我是否需要 stop kafka，或者我可以在運行時禁用去年的日誌嗎？

2. 如何禁用/減少日誌記錄到此文件夾？

Answer 1

不確定術語是否會讓您感到困惑 - 此文件夾的內容不是日誌文件，例如「Kafka Broker started」等日誌記錄在那裏。它包含傳入消息附加到的日誌文件，因此該文件夾包含有價值的Kafka數據。

您應該在您的主題上設置適當的保留時間（並在代理級別設置合理的默認值），以便消息在不再需要時被清除（默認爲7天）。消息將至少保留此時間段，並可能在此後隨時刪除（由於日誌文件的結構，它不是嚴格的時間戳）。

爲1：你可以在運行時 bin/kafka-topics.sh --zookeeper <zk> --alter --topic <topic> --config retention.ms=<retention in ms>

2主題級別更改保留時間：減輕這個問題的唯一方法是將）發送更少的消息或b）減少您的主題複製因子。這可能不是你之後的事情。