2016-04-05 114 views
0

我想使用Titan Db(存儲後端:HBase)在我們保留的圖形數據上執行聚合。我們的目標是將我們的數據倉庫數據以圖表的形式存儲在Titan數據庫中。然而,聚合需要很長時間,我正在使用一個泰坦的實例。 步驟如下: 1.創建圖-4.5lac頂點,4個lac邊。 2.創建索引-vertex &邊緣。 3.啓用數據庫緩存。Titan數據庫聚合

當我遍歷圖的深度爲4找到總和以找到一個屬性上約8000個頂點的總和時,我發現第一次大約需要30秒來響應查詢。隨後的查詢直到3分鐘(數據庫緩存在3分鐘刷新)在1秒內送達。但在3分鐘後,需要30秒來重建緩存並提供響應。 有沒有人有類似的用例和任何建議,我怎麼可以使泰坦更快的聚合?我期待泰坦的實時表演。

回答

1

您可能已經知道這一點,但我會發布我們的做法來從Titan獲得一些性能提升。這裏的列表全部基於Titan Docs的this章節。

  1. 複合指數 - 您可能有這些但值得一提,因爲它們大大加快了對某些頂點的直接查找。
  2. 頂點中心索引 - 如果你有超級節點,它們可以很快消除你不需要遍歷的邊。
  3. 混合指數 - 這對任何需要數值範圍或排序的操作都很有用,而Elasticsearch是一個非常強大的索引工具。

如果問題不讀,但寫你也可以嘗試bulk loading

+0

感謝您的答覆菲多。我已經實現了上述建議,我發現查詢仍然需要更高的延遲。是否使用titan進行OLAP工作負載?如果是這樣,你是否將它用作實時OLAP解決方案,或者將圖表緩存一段時間,然後從泰坦數據庫的緩存信息中提供ur查詢。謝謝 。 –