消費後刪除日誌：logstash

Question

我有logstash正在監視主機上的目錄。每次它看到的日誌都與我在logstash配置中指定的路徑相匹配時，它就開始將數據導入到我的elasticsearch集羣中。 logstash在完成日誌消耗後是否有辦法刪除日誌？

我想編寫腳本來刪除logstash已經用 完成的日誌，但我應該如何知道他所做的日誌？

也許你們之前做過或有一個想法如何實現這一點？

Answer 1

Logstash目前無法刪除文件。 file input plugin的重點是持續監視文件，但無法知道文件何時完成，即無法進行更多寫入。

如果您知道文件何時「完成」，則可以調用Logstash並通過stdin input plugin提供文件。 Logstash將在接收到文件結束時終止，然後您的腳本可能會刪除該文件。

您還可以讀取sincedb文件並將Logstash的當前文件偏移量與相應文件的大小進行比較。有關sincedb文件格式的詳細信息，請參見Understanding sincedb files from Logstash file input。

或者你可以確保你有足夠的磁盤空間，並使用常規的日誌輪轉來刪除基於文件的文件。年齡。磁盤空間可能比你的時間便宜。