如何在兩個SOLR集合之間找到三角洲

Question

我們使用Lucid工程Solr版本4.6。

我們的源系統基本上將數據存儲到兩個目標系統（一個通過實時，另一個通過批處理模式）。數據通過實時路由被攝入Solr。

我們需要定期將攝取在Solr中的數據與攝入到批處理系統中的數據同步。

我們目前試圖評估的設計是將批量系統中的數據導入到另一個Solr集合中，但真的不知道如何同步兩個集合（即實時數據與第二個是通過批量導入）。

我讀過數據導入處理程序，但是這會覆蓋Solr中的現有數據。有沒有什麼方法可以確定兩個集合之間的差異並僅攝取這些差異。

Answer 1

沒有好的方法;有幾件事你可以做：

1. 當數據進入實時系統有一個導入時間戳。然後做一個範圍查詢來拉入新的東西。我認爲Solr的新版本已經有了一個領域。
2. 進入第一個Solr的文檔的日誌ID，然後將這些文件編入索引。
3. 其他集合的單獨隊列