spark-graphx

0熱度

1回答

我試圖從graph使用graphX檢索三角形的數量。因爲我對Scala和graphX都很陌生，所以我現在很困難。我創建從edgefile的曲線圖： 1 2 1 3 2 3 這應該是1個三角形。接下來，我正在使用函數val countTriangles = graph.triangleCount中的內部版本。但是我至今無法從中提取實際的三角計數。

1熱度

1回答

斯卡拉

我試圖用星火GraphX，並且遇到什麼，我認爲「不是一個類型參數的成員」是我如何使用Scala的一個問題。我是Scala和Spark的新手。創建通過調用我自己的函數圖： val initialGraph: Graph[VertexAttributes, Int] = sim.createGraph VertexAttributes是我定義的類： class VertexAttributes(

0熱度

1回答

Dataframes to EdgeRDD（GraphX）使用Scala api轉換爲Spark

有沒有從Spark DataFrame轉換爲EdgeRDD而不使用Scala代碼中的硬編碼類型的好方法？我見過的例子用例類來定義EdgeRDD的類型。讓我們假設我們星火DataFrame有StructField("dstID", LongType, false)和("srcID", LongType, false)和0之間和22額外StructField（我們都制約這使我們可以用一個TupleN

4熱度

2回答

如何使用Long數據類型在Apache Spark GraphX中創建VertexId？

我試圖創建一個使用一些谷歌的網絡圖數據的圖表，可以在這裏找到： https://snap.stanford.edu/data/web-Google.html import org.apache.spark._ import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD val textFile = sc.textFi

3熱度

1回答

在Spark GraphX中尋找最大邊緣權重

讓我們說我有一個邊緣屬性爲double值的圖形，我想找到我的圖形的最大邊緣權重。如果我這樣做： val max = sc.accumulator(0.0) //max holds the maximum edge weight g.edges.distinct.collect.foreach{ e => if (e.attr > max.value) max.value = e.attr }

1熱度

1回答

圖形之間的結構操作符

這個問題是前一個問題的「續集」。我新來激發graphx和scala，我想知道如何執行下面的操作。我該如何合併兩個圖形進入一個新的圖形，使新的圖形具有以下屬性：兩個圖形的共同邊緣的屬性平均（或更一般的方式，應用邊緣屬性之間的平均函數（邊緣屬性是類型雙））我們認爲共同的邊緣=相同srcId和相同dstId，並且頂點和邊是唯一的。

0熱度

2回答

在spark和graphx問題中的foreach循環中劃線

希望有人能夠提供幫助。我正在嘗試編寫一個程序，該程序需要對連接到graphx網絡中每個節點的每個邊緣ID執行一項功能。要做到這一點，我想遍歷每個節點，並確定連接到它的所有邊，然後我想用一個函數遍歷每個邊。在foreach循環中進行任何類型的子圖或過濾時，似乎會出現我的問題。因此，例如，下面的代碼應輸出連接到節點的每個邊的id graph.vertices.foreach { net

0熱度

1回答

Spark中的變換陣列

val degrees: VertexRDD[Int] = graph.degrees val ngb=graph.collectNeighbors(EdgeDirection.Out) val deg2 = degrees.leftOuterJoin(ngb) 現在我想要一個鍵/值對RDD，其中鍵是度數，值是鄰居頂點ID。基本上我想從（id，數組[1,2,3]）改變爲{（id，1）（id

1熱度

1回答

如何獲取Spark Graphx中常用邊的數量？

舉例來說，如果我有兩個圖形與頂點和邊是這樣的： import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD val vertexRdd1: RDD[(VertexId, (String, Int))] = sc.parallelize(Array( (1L, ("a", 28)), (2L, ("b"

0熱度

1回答

結合SpqrkSQL和GraphX

您可以在SparkSQL中創建存儲過程並調用GraphX API嗎？是這樣的： registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _) select * from someTable where storedProcedureGraphX(nodeX, nodeY) > 10