大數據存儲與地理，頻繁更新

Question

我必須選擇一個大的數據存儲爲我的項目

它包括地理（緯度，經度和一些計算基礎上，像從指定位置的距離）。

數據將會經常更新。我計劃每分鐘更新大約20k-80k的物體。它將總共存儲大約500k個對象。我每分鐘都會得到一組~5萬個XML對象。我需要解析它並更新現有的並添加新的。

根據特定字段，所有對象都是唯一的。 在一段時間內，我將不得不添加存儲歷史數據（每個對象3週迴來，每分鐘更新一次）。

你建議什麼存儲空間？我正在考慮aws redis或mongodb。我擔心ppstgresql不會成功。

我的項目是在Django製成，加工將使用芹菜

感謝您的任何建議被觸發。

Answer 1

您可以使用Accumulo和GeoMesa插件。

本網站幫助您瞭解如何配置和使用它。我嘗試過，當時我正在處理大量的空間數據，並且當時效果很好。

我配置Accumulo使用Cloudera堆棧，因爲它使配置Accumulo簡單，但您可以獨立安裝它。