使用logstash輪詢日誌（ELK）

Question

輪詢/存儲日誌文件我有兩難處境。
這種情況是我們需要監控來自Cloudhub的日誌，將它們與Logstash聚合並存儲（可能使用ElasticSearch）。

Anypoint Runtime Manager似乎只支持將事件推送到第三方系統（不是來自雲端），因此我決定通過logstash http-poller插件通過REST API進行輪詢日誌演示。

我正在處理一些我沒有太多經驗的決定。
輪詢時，您將始終在特定時間間隔內檢索最後x個日誌。我假設這些參數將取決於日誌的類型，但我仍然想知道您將處理重複檢索日誌的級別。以及如何處理遺漏日誌的不確定性。

這是您將在存儲級別處理的事情，還是您在logstash時立即處理的事情？
感謝您分享您的想法。

Answer 1

我不能說我在這方面有很多經驗，但這是我的想法。

我認爲如果Logstash將作爲服務運行，它將更多地依賴API的輸出來處理重複項。

同時，如果您在響應中定義唯一標識符，則可以告訴Logstash避免重複。

從Change ID in elasticsearch

elasticsearch { 
    host => yourEsHost 
    cluster => "yourCluster" 
    index => "logstash-%{+YYYY.MM.dd}" 
    document_id => "%{someFieldOfMyEvent}" 
}