如何使用Node.js服務器上的XML文件填充ElasticSearch？

Question

我有非常大的XML文件，有時超過100MB。我需要用這些文件中的信息填充我的ElasticSearch數據庫。我的服務器是用Node.js編寫的。什麼是最好的方式去做這件事？

Answer 1

我發現了一本名爲探索彈性搜索的免費電子書，其中有一章將幾乎10GB的Wikipedia XML數據輸入到elasticsearch db中。 http://exploringelasticsearch.com/searching_wikipedia.html我打算將此與elasticsearch節點模塊結合使用。

Answer 2

有幾個方法，你可以實現你的目標：

1. 加載和分析XML在node.js的程序，並使用elasticsearch node module來索引解析的XML到Elasticsearch。您可能想要特別注意bulk index API以便快速建立索引。

2. 使用logstash來設置一個管道，該管道從XML文件讀取並將它們索引到Elasticsearch中。 Logstash是一個基於插件的系統，其插件的輸入，過濾和輸出階段與ETL管道的提取，轉換和加載階段相似。您可能需要查看file input plugin，xml filter plugin和elasticsearch output plugin。