索引大量的XML文件來SOLR 5

Question

我試圖指數〜100萬的xml文件到Solr 5.有幾個方法我能想到的：

1. 轉儲所有的XML文件成一個目錄，然後使用post.jar
2. 在我看來，這些數據導入處理程序也可以被用來遞歸導入XML文件

是否有其他方法嗎？

Answer 1

你的問題是如何用solr索引一百萬個xml文件。

即使對於recursiv文件夾結構，您也可以使用bin/post工具。

如果這有足夠的功能：沒問題。如果你需要更多的特殊功能建立你自己的索引器，特別是solrj，這很容易。

如果您有足夠的主內存，您可以使用DataImportHandler和FileListEntityProcessor。 'FileListEntityProcessor'首先收集所有文件，然後運行真正的索引。所以在你的情況下，第一步將在你的主內存中放置一百萬個「文件」實例。