graphframes

0熱度

1回答

我在Spark（v2.1.1）中有一個包含分層數據的3列（如下所示）的數據集。我的目標的目標是增量編號分配給基礎上，父子層次的每一行。從圖形上可以說，分層數據是一個樹的集合。根據下表，我已經有基於'Global_ID'分組的行。現在我想以的增量順序生成'Value'列，但是基於 'Parent'和'Child'列的數據層次結構。表格表示（數值是所需的輸出）： +-----------+--

0熱度

1回答

GraphFrame：丟失或同時加載類文件

我試圖用火花graphframe 這裏創建一個圖形檢測無效的依賴是代碼： import org.graphframes._ // Node DataFrames val v = sqlContext.createDataFrame(List( ("a", "Alice", 34), ("b", "Bob", 36), ("c", "Charlie", 30),

2熱度

1回答

GraphFrames上的邊緣屬性過濾器主題搜索不起作用

我在我想查詢的族圖上有一些示例數據。我想在GraphFrames對象上使用find方法來查詢母題A-> B，其中邊的類型是「Mother」。由於GraphFrames使用Neo4J的cypher語言的子集，我想知道以下是否是正確的查詢？ graph.find("(A)-[edge:Mother]->(B)").show 或者什麼是在GraphFrames中實現它的最好方法？ GraphFr

0熱度

1回答

有效計算pyspark中的連接組件

我正在嘗試在城市中找到朋友的連接組件。我的數據是具有城市屬性的邊緣列表。城市| SRC | DEST 火箭的凱爾 - >尼休斯敦班尼 - >查爾斯休斯頓查爾斯 - >丹尼奧馬哈卡羅爾 - >布賴恩等我知道pyspark的GraphX庫的connectedComponents函數將遍歷圖的所有邊以找到連接的組件，並且我想避免這一點。我會怎麼做？編輯：我想我可以做這樣的事情，從數據幀

0熱度

1回答

使用SparkSession在Java或Scala中創建DSEGraphFrame

我想要在java或scala中獲取DSE圖的DSEGraphFrame。我現在用的是blog documentation，如下 //load a graph in Java DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark); // load a graph in scala val graph = spa

0熱度

1回答

PYSPARK：如何可視化GraphFrame？

假設我創建了以下圖表。我的問題是如何可視化它？ # Create a Vertex DataFrame with unique ID column "id" v = sqlContext.createDataFrame([ ("a", "Alice", 34), ("b", "Bob", 36), ("c", "Charlie", 30),

1熱度

1回答

Apache toree - pySpark無法加載軟件包

我按照https://medium.com/@faizanahemad/machine-learning-with-jupyter-using-scala-spark-and-python-the-setup-62d05b0c7f56的說明安裝了Apache Toree。但是我不管理通過使用PYTHONPATH變量在內核文件導入在pySpark內核軟件包： /usr/local/share/ju

0熱度

1回答

更改Spark GraphFrame中字符串的列

我在Spark 2.0和Scala中使用GraphFrame。我需要刪除字符串類型（超出許多列）中的列的雙引號。我試圖這樣做，使用UDF如下： import org.apache.spark.sql.functions.udf val removeDoubleQuotes = udf((x:Any) => x match{ case s:String => s.rep

0熱度

1回答

Graphframe錯誤/星火

我寫在斯卡拉2.11這行代碼到Databricks： import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_fr", "fans", "

0熱度

1回答

包GraphFrames Spark2.0

我有spark 2.0斯卡拉2.11.8，我想包括圖框架包。我輸入階殼以下： <spark-shell --packages graphframes:graphframes:0.1.0-spark1.6> But still I got the error message: scala> import org.graphframes._ <console>:23: error: obj