Logstash Elasticsearch輸入流式數據插件

我想知道我們是否可以使用logstash-input-elasticsearch插件來處理流式數據，例如：如果我的數據庫中有數據可用，並運行ElasticSearch輸入插件，它將索引數據輸入到輸出中，但是如果一段時間後ElasticSearch數據庫的數據更多，則ElasticSearch輸入插件是否能夠在不重新啓動logstash的情況下爲這些數據建立索引？Logstash Elasticsearch輸入流式數據插件

謝謝你的關注和你的幫助。

來源

2016-08-23 Yassir S

默認情況下，elasticsearch輸入將在您的ES實例上運行滾動查詢，抽取與查詢匹配的文檔，將它們流式傳輸到輸出，並在完成後Logstash關閉。

但是，您可以設置一個cron作業，以定期啓動Logstash管道並查詢ES中存在的新文檔。

來源

2016-08-23 10:23:41 Val

再次感謝Val！我正在開發你推薦我的東西。但是，如何指示logstash從上一次運行中處理的最後一個文檔開始，而不是滾動我的所有elasticsearch數據庫？ –

您需要有某種類型的字段，例如日期，您可以在查詢中進行檢查。每次需要查詢所有日期大於上次運行管道的文檔時。 – Val

Logstash Elasticsearch輸入流式數據插件

回答

相關問題