我認爲有可能是一個簡單的解決這個，如果有人知道如何遍歷基於文件名的一組文件和輸出值的我想知道在斯卡拉創造價值，通過文件迭代。 我的問題是，我想在一組每個月圖中邊閱讀，然後創建一個單獨的月度圖表。 目前我這個做了很長的路要走，這是罰款，做一年價值，但我想一個方法來自動執行它。 你可以看到我的代碼，低於該希望清楚地表明我在做什麼。 //Load vertex data
val vertices= (
我正在檢查將Spark GraphX圖導出到Titan圖形數據庫的可行性。 ***Used below code to construct graph in Spark GraphX and writing graph to a json file :***
val conf = new SparkConf()
val sc = new SparkContext(
我看到很多使用數組創建頂點的示例，然後並行化它以使其成爲RDD，但是如果我有大量數據，那麼我將如何處理它？我不認爲我可以創建一個包含100萬行頂點的數組。 還有一個帖子，Spark GraphX - How can I read from a JSON file in Spark and create a graph from the data?，也建議使用數組，如果我錯了，糾正我，但我不認爲它會
沒有有效的構造這是我的代碼： class FNNode(val name: String)
case class Ingredient(override val name: String, category: String) extends FNNode(name)
val ingredients: RDD[(VertexId, FNNode)] =
sc.textFile(PATH+
我有一個圖形[Int，Int]，其中每個邊都有一個權重值。我想要做的是，爲每個用戶，收集所有的邊緣和總結相關的重量。 說的數據是這樣的： import org.apache.spark.graphx._
val sc: SparkContext
// Create an RDD for the vertices
val users: RDD[(VertexId,