爲全導入速度優化Solr DataImportHandler設置

Question

我有使用DataImportHandler2的Solr服務器設置。使用我目前的設置，完全導入需要8-9個小時。我想優化設置以縮短時間，但文檔不清楚各種設置的作用以及它們具有哪些副作用。

該服務器是一個m2.2xlarge AWS實例（34.2 GB RAM）。 Solr版本是3.6.1.2012.07.17.12.45.52。 Solr運行在Tomcat 7.0.30上。 Tomcat正在運行-Xms4096m -Xmx28672m。

從solrconfig.xml中，mergeFactor是10，useCompoundFile是false。 從data-config.xml中，autoCommit爲true，batchSize爲-1。 DataImportHandler正在使用的查詢將返回600萬條記錄。

Answer 1

甚至在查看mergeFactor等之前，您應該查看db-data-config.xml中的實體。如果你有其他實體內部的實體，這些會產生大量的sql請求。你需要在你的sql上工作，不要去做內部實體，或者看看CachedSqlEntityProcessor等。