從另一個solr導入數據的速度非常慢

Question

我正在使用SolrEntityProcessor從另一個solr導入數據。它正在工作，但速度只有30文件/秒，這是我從SQL Sever（7000文件/秒）導入的重量。

我想知道我是否缺少一些東西，以及是否有任何方法來提高速度。

有關我的solr雲的小信息。我在三臺不同的服務器上有3個碎片，並且它們都在同一個域中。

在此先感謝。

Answer 1

從SolrEntityProcessor gets slower and slower

SolrEntityProcessor報價是爲精細少量數據，但對於這樣的大的索引沒有用處。問題在於搜索結果中的深度分頁很昂貴。隨着查詢的「開始」值增加，查詢的開銷也增加。只是重新編制索引數據，你會好得多。

要解決此問題：

常見的方式來處理這個問題是一個值 將返回較少的結果每個查詢，作爲CREATION_DATE場過濾，每 查詢變化這現場範圍。對於您的數據導入用例，您可能需要 生成具有不同實體的data-import.xml，每個用於 另一個creation_date範圍。因此不需要深度分頁。