通過消除冗餘優化Solr索引

Question

我正在製作一個生產場景，目前數據量較少，現在將以百萬計。
場景：我有一個包含多個學生數據的文件夾（student_id，rol等）。

現在，一個學生的數據可以放在不同的文件夾中（是我們的要求）。在當前系統中，學生的所有細節都在每個文件夾下編入索引。由於數據非常少，所以重複現在不會產生問題。但是，如果我們繼續進行相同的過程，那麼同一個學生的數據將被多次索引（取決於包含該學生數據的文件夾數量），從而增加冗餘和索引大小。

我想縮小索引大小，不想要數據冗餘。請在Solr中提供更簡單的解決方案來實現此任務。

Answer 1

只要你定義了一個唯一鍵字段，使用相同的密鑰爲以前的文檔的任何文件將覆蓋現有文件，你會避免在索引有重複。

如果您沒有可識別您的學生的唯一值，則您將很難合併任何內容（除Solr之外），並且您可能必須編寫一些自定義代碼以合適地合併條目在Solr之外。