Spark graphX：如何加載大數據以創建圖形

Question

我看到很多使用數組創建頂點的示例，然後並行化它以使其成爲RDD，但是如果我有大量數據，那麼我將如何處理它？我不認爲我可以創建一個包含100萬行頂點的數組。

還有一個帖子，Spark GraphX - How can I read from a JSON file in Spark and create a graph from the data?，也建議使用數組，如果我錯了，糾正我，但我不認爲它會工作。

在此先感謝。

Answer 1

如果你在一個文件中的數據，那麼你可以直接在它上面RDD：

val rdd : RDD[String] = sparkContext.textFile("/path/to/file") 

，然後你把它轉換爲VertexRDD或EdgeRDD。