我可以使用Logstash攝取壓縮數據嗎？

Question

我正嘗試將數據提取到Elasticsearch。

數據位於共享文件夾中。如果可能，我想在將它壓縮到Elasticsearch後刪除該zip文件。

這是其解壓到一個大的單個文件用的格式看起來像這樣一個.zip文件：

#ReferenceID 123das 
#FamilyID  abc 
#ArchiveDate 1483237892226 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is secret content of the document, and it is not encrypted. 
#EndDoc 

#ReferenceID 123das/1 (The "/1" means 1st attachment) 
#FamilyID  abc   
#ArchiveDate 1483237892227 (datetime in millisecond epoch) 
#SenderID  user1 
#RecipientID user2 
#RecipientID user3 (notice there are more than 1 RecipientID) 
#Content   
This is the secret attachment content 
#EndDoc 

#ReferenceID... 
... 
#EndDoc 

...multiple of these until End of File 

基本上每個

#ReferenceID... 
... 
#EndDoc 

是表示文檔被吸入Elasticsearch

我的問題是可以使用Logstash和Beats來完成嗎？我會如何去做這件事？任何指針讚賞。

Answer 1

Logstash的文件{}輸入無法處理壓縮文件。請參閱github issue。

Filebeat不能夠...還是！見this PR，似乎正在通過。

僅供參考，s3 {}輸入可以。