spark-graphx

    3熱度

    4回答

    我是Spark和Scala的新手,我試圖執行從文本文件中的數據創建圖形的簡單任務。 從文檔 https://spark.apache.org/docs/0.9.0/api/graphx/index.html#org.apache.spark.graphx.Graph $ @ fromEdges [VD,ED]%28RDD [邊緣[ED],VD%29%28ClassTag [VD],ClassTag

    0熱度

    2回答

    我在我的程序中有一個長時間的迭代,我想緩存和檢查點每隔幾次迭代(這種技術建議在網上削減長沿襲),所以我不會有StackOverflowError,通過這樣做 for (i <- 2 to 100) { //cache and checkpoint ever 30 iterations if (i % 30 == 0) { graph.cache gr

    0熱度

    1回答

    我從不同的數據源收集了Spark中的圖形。 有沒有簡單的方法將Spark GraphX圖形導出到Gephi中以便使用scala進行可視化?任何常見的數據格式?

    2熱度

    1回答

    我正在從基於MPI的系統轉向Apache Spark。我需要在Spark中執行以下操作。 假設,我有n頂點。我想從這些n頂點創建一個邊緣列表。邊只是兩個整數(u,v)的元組,不需要屬性。 但是,我想在每個執行器中獨立地並行創建它們。因此,我想要爲P Spark Executors獨立創建P邊陣列。每個數組可能具有不同的大小,並且取決於頂點,因此,我還需要執行者ID從0到n-1。接下來,我想要一個全

    1熱度

    1回答

    我是Apache GraphX的新手,我想看看我能否在graphX中進行圖合併/合併。 我想要做的是說我有2個圖表如下 graph1: A —1—> B —1—> C —1—> D | —1—> E —1—> F graph2: A —1—> B —1—> C | —1—> G ,我想合併/合併導致像 merge resu

    0熱度

    1回答

    創建頂點給定一個字符串 val s = "My-Spark-App" 如何頂點與星火以下方式產生的呢? 「我 - 」, 「伊蘇」, 「SP」, 「溫泉」, 「平價」, 「方舟」, 「RK-」, 「千」, 「-Ap」, 「應用」 這個問題可以並行嗎?

    1熱度

    2回答

    我在運行下面的代碼以在Spark graphX中創建圖形時出錯。我通過以下命令運行它通過火花殼: ./bin/spark-shell -i ex.scala 輸入: My Vertex File looks like this (each line is a vertex of strings): word1,word2,word3 word1,word2,word3 ... My Edg

    0熱度

    1回答

    頂點相似的鄰居假設有一個簡單的圖形,如: val users = sc.parallelize(Array( (1L, Seq("M", 2014, 40376, null, "N", 1, "Rajastan")), (2L, Seq("M", 2009, 20231, null, "N", 1, "Rajastan")), (3L, Seq("F"

    1熱度

    1回答

    我有一個RDF圖(link)與元組(s,p,o),我做了一個屬性圖。 val propGraph = Graph(vertexArray,edgeArray).cache() propGraph.triplets.foreach(println(_)) 與如下輸出: 和RDF數據爲: ((0,<http://umkc.edu/xPropGraph#franklin>),(1,http://u

    0熱度

    2回答

    我已經使用GraphX API加載了一個大圖和一個小圖(這將成爲我的查詢),我想要做的是檢查大圖是否包含查詢圖。我在網上搜索關於子圖/使用GraphX和圖表查詢無法找到任何關於此的信息。 GraphX是否支持這個?如果是的話,有人知道它是如何處理子圖同構問題的:它是否使用某種索引?