2015-10-31 121 views
1

我們在我們的測試環境中使用我們的solr搜索引擎時遇到了許多問題。我們在版本4.6,單個分片,4個節點上安裝了solr雲安裝。我們看到領導節點上的CPU扁平線達到100%幾個小時,然後服務器開始拋出OutOfMemory錯誤,「PERFORMANCE WARNING:Overlapping onDeckSearchers'開始出現在日誌中,領導者進入恢復模式,過濾器緩存和查詢緩存預熱時間大約爲60秒(通常小於2秒),領導者節點停止運轉,整個集羣中斷數分鐘後恢復並選出新的領導者。我們認爲我們在4.6和4.x分支上遇到了一些漏洞問題,所以我們希望轉向5.3。我們最近還把軟交付時間從10分鐘縮短到2分鐘。我在所有節點上每2分鐘就會看到常規CPU峯值,但峯值較低,在2分鐘週期內從20-50%(最大100)。當CPU明顯超出我看不到那些尖峯。硬提交每15秒一次,opennewsearcher設置爲false。我們有一個沉重的查詢和索引負載類型的情況。Solr性能警告:DeckSearchers重疊

我想知道頻繁的軟提交是否對此問題產生重大影響,或者緩存上的長時間自動加熱時間是否由我們遇到的其他問題(原因或症狀)引起?我們最近增加了服務器上的索引負載,但是我們需要在測試環境中解決這些問題,然後才能推廣到產品。

緩存設置:

<filterCache class="solr.FastLRUCache" 
       size="5000" 
       initialSize="5000" 
       autowarmCount="1000"/> 

<queryResultCache class="solr.LRUCache" 
         size="20000" 
         initialSize="20000" 
         autowarmCount="5000"/> 
+1

這個問題會得到郵件列表上更好的答案,因爲它過於具體的StackOverflow的:如果你還沒有發現他們已經在以下鏈接可能對你有用。但是,是的,它確實看起來像你的軟承諾導致下一次提交發生的時間沒有完成。雖然我預計2分鐘就夠了。你有文件計數的門檻嗎?也許你正在觸發那個。 –

+0

@AlexandreRafalovitch謝謝。我會在那裏發帖。你指的是什麼doc數閾值? autoWarmCount?我將發佈緩存設置 – Simon

+1

我已經在4.x中看到過這種類型的錯誤,並且在升級到5.2.1後它們全都消失了。基本上用4.x擺脫它的方式是減少流量。 –

回答

4

我們有這個問題,Solr的4.10(和,很少,5.1)。在我們的例子中,我們經常索引,並且承諾開始變得太靠近了。有時我們的優化命令會比預期的運行時間長一點。

我們通過確保在優化操作開始後至少10分鐘內沒有發生索引或提交來解決此問題。我們還自動加快了對我們緩存的查詢次數。

Overlapping onDeckSearchers--Solr mailing list

The Solr Wiki

+0

我們永遠不會優化,因爲這對我們的設置看起來並不明智。我們似乎主要承受沉重的寫入負載,至少在我們仍然看到問題的核心和羣集上。但是我們也有一個沉重的查詢和自動建議器負載。這些鏈接是有幫助的,謝謝。 – Simon