如何有效地按位置和日期範圍搜索大型數據集？

Question

我有一個包含屬性如MongoDB的集合：

longitude, latitude, start_date, end_date, price 

我有超過500萬份文件。

我的問題是如何儘可能有效地以緯度/經度，日期範圍和價格進行搜索？
在我看來我的選擇是：

1. 創建於經/緯的地理空間索引長期使用MongoDB的鄰近搜索...然後根據日期範圍和價格過濾此。
   • 我還沒有測試這個，但是，我擔心如果我們每秒搜索一次左右，搜索數據量就會太大，無法快速搜索。
   • 您是否有過在這些情況下MongoDB會如何反應的經驗？
2. 按位置將數據拆分爲多個集合。即通過諸如london_collection，paris_collection，new_york_collection之類的城市。
   • 然後，我需要先經緯度/緯度查詢，找到最近的城市集合，然後使用日期和價格過濾器對該集合中的子集數據執行MongoDB空間搜索。
   • 我會分配不均勻的文件，因爲有些城市會有比其他文件更多的文件。
3. 按日期而不是位置創建集合。與上面相同，但每個文檔都根據日期範圍分配了一個集合。
   • 具有跨多個集合的日期範圍的搜索存在問題。
4. 根據每個文檔的city_start_date_end_date創建唯一標識符。
   • 再次，我將不得不使用我的緯度/長查詢來查找最近的城市追加日期範圍來訪問密鑰。這似乎相當快，但我真的不喜歡城市查找方面......它似乎有點難看。

我與選項1）實驗的過程，但真的很想聽聽你的想法之前，我去太遠一個特定的路徑？

搜索引擎如何分割和管理他們的數據......這肯定是一個類似的問題？

另外我不必使用MongoDB，我打開其他選項？

非常感謝。

Answer 1

索引和數據訪問性能是一個深刻且複雜的主題。很多因素都會影響最有效的解決方案，包括數據集的大小，讀寫比率，IO和後備存儲的相對性能等。

雖然我不能給你一個具體的答案，我可以建議調查使用morton數字作爲提取多個類似數值（如lat long）的有效方法。

Morton number

Answer 2

爲什麼你認爲選項1是太慢？這是真實世界測試的結果，還是這只是一個假設，它可能最終不會奏效？

MongoDB原生支持geohashing並將座標轉換爲單個數字，然後可以通過BTree遍歷進行搜索。這應該是相當快的。混淆多個集合對我來說似乎不是一個好主意。它所做的只是用數據庫中的一個BTree遍歷替換一些代碼，而這些代碼仍然需要編寫，測試和維護。

不要推倒重來，而是要設法優化最明顯的路徑（1）第一名：

1. 建立地理指標
2. 使用explain，以確保查詢實際使用索引
3. 確保您的索引放入RAM
4. 使用配置文件數據庫中的built-in profiler
5. 在指標沒有一個茶不要測量一個「冷」系統的性能NCE去又
6. 如果可能的RAM，如果可能，嘗試不使用geoNear，並堅持到較快（但不完美的球形）near查詢
7. 如果你還在打的限制，看sharding分配讀並寫入多臺機器。