2015-02-05 25 views
3

我是Spark和GraphX的新手。到目前爲止,我一直在使用Titan DB(HBase存儲)和Giraph進行處理。 我有一個需要約30億頂點和約50億邊的圖。什麼是存儲圖形的最佳方式(通過添加頂點和邊來從頭開始創建圖形,另外我想從泰坦API移出來創建圖形)。我無法找到任何關於此的直接文檔。你能告訴我什麼是使用GraphX和商品硬件創建/存儲我的圖形和過程的最佳方式?GraphX - 存儲和計算超過30億個頂點的最佳方法

謝謝。

+0

[GraphX編程指南](http://spark.apache.org/docs/latest/graphx-programming-guide.html)涵蓋圖形的創建和處理。你特別想知道更多關於什麼? –

+0

編程指南介紹如何從HDFS文件和進程中讀取數據。我只是檢查是否有任何可用的參考,它使用HBase來存儲頂點和邊界並在其上進行處理。另外,如果有任何使用Java的示例,那將會非常棒。 –

回答

2

只要您可以將HBase表讀入RDD(您可以),就不會有問題。查看HBaseTest示例(它在Spark發行版中)可能會對您有所幫助。