1. 首頁
  2. 問答
  3. 在更新Solr中的文檔時hdfs空間正在急劇增加

在更新Solr中的文檔時hdfs空間正在急劇增加

2017-08-04 43 views
0

我們正在使用Solr和HDFS來滿足索引需求。在更新現有文檔（閱讀現有文檔和更新）的同時，我們觀察到HDFS存儲空間呈指數增長。我們使用這裏提到的標準設置：https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS。任何可能是我們問題根源的線索？謝謝你的幫助。在更新Solr中的文檔時hdfs空間正在急劇增加

來源

2017-08-04 geekprogrammer

+0

想一想：你需要在更新之前刪除現有文檔嗎？即讀取現有的，建立新的文檔，刪除現有的文檔，然後更新。問這是因爲你提到的存儲量呈指數增長。 – chinglun

+0

Solr自動執行此操作。無需任何手動刪除。只有當Solr與HDFS集成時，我們纔會遇到這個問題;在另一個文件系統上工作得很好。 – geekprogrammer

+0

是否啓用清理？ – chinglun

回答

0

我們一直在測試不同的配置值來解決這個問題。到目前爲止，通過在solrconfig.xml文件中啓用solr.hdfs.blockcache.direct.memory.allocation = true，問題已解決。

來源

2017-08-07 19:52:32

相關問題

 相關問題