不同的卡夫卡主題可以有不同的保留長度嗎？

Question

我期待有一個主話題（與日誌保留7天）和幾個小題目用一個較小的日誌保留（2天）過濾語料庫。這可能嗎？我正在使用Kafka v0.10.1.1。

Answer 1

log.retention.ms，其默認值爲7天，是對所有主題的全球水平，而你也可以在創建主題時，如下使用主題級別的配置retention.ms覆蓋它：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test 
--partitions 1 --replication-factor 1 --config retention.ms=172800000 

Answer 2

日誌。 retention.hours是代理的屬性，在創建主題時用作默認值。當您使用kafka-topics.sh更改當前正在運行的主題的配置時，應指定主題級屬性。

日誌保留時間的主題級屬性是retention.ms。

從主題級配置卡夫卡0.10.1文檔中：

物業：retention.ms 默認：7天 服務器默認屬性：log.retention.minutes 說明：此配置控制的最長時間我們如果我們使用「刪除」保留策略，我們將放棄舊日誌段以釋放空間，然後保留日誌。這代表了消費者必須快速閱讀數據的SLA。 所以正確的命令是

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic as-access --config retention.ms=172800000 您可以使用以下命令檢查配置是否正確應用。

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic as-access 然後你會看到如下。

Topic:as-access PartitionCount:3 ReplicationFactor:3 Configs:retention.ms=172800000