指數文檔的URL

Question

我想用logstash做彈性搜索索引它下面的文件來加載：

https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html

目前，我能夠索引所有與elasticsearch日誌，但我不知道如何使用url編制索引文檔。

這種情況是否適用於logstash，如果是的話，請幫助我解決這個問題。

Answer 1

您可以通過使用http poller插件released最近在logstash配置本身中給它一個去。該input可能是這個樣子：

input { 
    http_poller { 
    urls => { 
     myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html" 
     } 
    } 
    request_timeout => 60 
    interval => 60 
    codec => "json" <--- to decode the results to json 
    } 
} 

以上只是一個樣本，讓你可以重現。希望這可以幫助！