如何使用logstash管道自動化數據提取？

Question

我使用ELK爲了攝取，存儲和可視化數據，沒有花哨的東西..

一切工作正常，但每次我有新的數據要攝取我必須手動執行命令/ opt/logstash/bin/logstash -f mypipeline.conf

我想知道如何自動化最後一步，以便在每次新數據到達管道配置文件中定義的inut文件夾時接收彈出式菜單中的數據？

我使用的輸入插件：

file { 
path => "/path/to/myfiles*.csv" 
start_position => beginning 
sincedb_path => "/dev/null" 
} 

我猜我失蹤，將允許以檢查是否有新的文件存在與否的一個重要選擇..

「discover_interval」或「stat_interval」？或sincedb路徑？

THX

Answer 1

的設置，您要找的是discover_intervalReference Here

discover_interval控制的時間之間的秒數Logstash重新評估path檢查新的文件，它是默認設置爲15秒。如果Logstash正在運行，那麼將一個文件放入正確的目錄並等待20秒鐘，應該顯示該文件中的數據具有彈性。

如果看起來不是這種情況，請嘗試手動將值設置爲discover_interval => 10之類的值。將此設置得太低可能會爲您的流程產生大量不必要的開銷。

Answer 2

發現它..只需將pipeline.conf文件放在/etc/logstash/conf.d目錄下，啓動該目錄下的所有文件就會被加載並執行。