spark-graphx

8熱度

2回答

我正試圖使用Spark's GraphX庫實現topological sort。這是我到目前爲止已經編寫的代碼： MyObject.scala import java.util.ArrayList import scala.collection.mutable.Queue import org.apache.spark.SparkConf import org.apache.spa

0熱度

1回答

graphx中不同類型的邊線

如何在同一個graphX圖形中添加不同類型的邊線。例如，節點A和節點B之間的邊可以具有字符串屬性，並且節點X和節點Y之間的邊可以具有（Int，Int）attr。有沒有辦法在graphX中實現邊緣繼承？任何人都可以提供一個例子嗎？

0熱度

1回答

GraphX-Spark：error graph.vertices.filter

我是scala和spark-graphx中的新成員。這是我寫的，以提取具有最小分值 def getMinScoreVertex(graph: Graph[(Int,Float,Float,Float,String),Float]):Float={ var minValue:Float=Float.PositiveInfinity var LowestScoreValue=graph.vert

1熱度

1回答

get vertexId graphx

我是spark-graphx和scala中的新成員。我怎樣才能得到graphx頂點的id？這是我的代碼： val sourceVertex=graph.vertices.filter { case (id,(_,_,_,_,_)) => id == 0} // The source vertex var c=sourceVertex.id 我注意到，c是不是sourceVertex的ID

1熱度

1回答

火花結合DataFrames和GraphX

是否可以結合GraphX和DataFrames？我希望Graph中的每個節點都有自己的DataFrame。我知道GraphX和DataFrame擴展了RDD，並且嵌套的RDD不可能，而SparkContext不是可序列化的。但在Spark 2.0.0中，我看到SparkSession是可序列化的。我試過了，但仍然無法使用。我也嘗試將DataFrame全局存儲在數組中。但我無法訪問工作節點中的數組

0熱度

1回答

Spark GraphX內存不足錯誤

我在Spark上運行GraphX，輸入文件大小在aws EMR上大約爲100GB。我的集羣配置如下節點 - 10 內存 - 122GB每個硬盤 - 320GB每個不管我做什麼，我得到了內存不足的錯誤，當我運行火花工作作爲 spark-submit --deploy-mode cluster \ --class com.news.ncg.report.graph.NcgGraphx \

5熱度

2回答

Graphx可視化

我正在尋找一種方法來可視化在Spark的Graphx中構建的圖形。就我所知，Graphx沒有任何可視化方法，所以我需要將Graphx中的數據導出到另一個圖形庫，但是我被卡在了這裏。我跑到這個網站：https://lintool.github.io/warcbase-docs/Spark-Network-Analysis/ 但它沒有幫助。我應該使用哪個庫以及如何導出圖。

4熱度

1回答

如何處理Apache Spark中羣集節點之間獨立處理的不同圖形文件？

可以說我有大量的圖形文件，每個圖形都有大約500K的邊緣。我一直在Apache Spark上處理這些圖形文件，我想知道如何高效地並行化整個圖形處理工作。因爲現在，每個圖形文件都是獨立的，我正在尋找與文件並行的方式。因此，如果我有100個圖形文件，而且有20個節點羣集，我可以處理每個節點上的每個文件，因此每個節點將處理5個文件。現在，發生的事情就像單個圖正在處理多個階段，這導致了很多混洗。 grap

0熱度

1回答

阿帕奇星火GraphX使用Cloudera的快速入門5.7

我試圖使用Cloudera的快速入門5.7從本網站使用星火GraphX： http://kukuruku.co/hub/algorithms/social-network-analysis-spark-graphx ，我做的步驟： 1）打開終端 2）運行spark-shell 3 ）運行import org.apache.spark.graphx._ 當我提出這個代碼，我得到了以下錯誤： scal

0熱度

1回答

如何在scala中聲明graphX變量爲全局的

我是scala和spark-graphX中的新成員。如何在scala中聲明spark-graphx變量作爲全局變量。我有一個使用spark-graphX創建圖形的方法，它很成功。現在，我想從另一種方法檢索圖形細節。爲此，我需要將圖形變量聲明爲全局變量。請建議我該怎麼做