spark-dataframe

4熱度

1回答

我有以下數據結構： id: int records: Seq[String] other: boolean 在一個JSON文件，爲了便於測試： var data = sc.makeRDD(Seq[String]( "{\"id\":1, \"records\": [\"one\", \"two\", \"three\"], \"other\": true}", "{\"id\":

1熱度

2回答

星火：如何更改數據框以LIBSVM並進行迴歸

我使用這個代碼從蜂巢中獲取數據星火： val hc = new org.apache.spark.sql.hive.HiveContext(sc) val MyTab = hc.sql("select * from svm_file") ，我也得到數據幀： scala> MyTab.show() +--------------------+ | line| +----------

0熱度

1回答

在斯卡拉

3熱度

2回答

返回臨時星火SQL表斯卡拉

首先，我一個CSV文件轉換爲使用 val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("/usr/people.csv") 這種類型的DF後，並返回一個Spark數據幀，我可以看到 res30: org.apache.spark.sql.DataFrame = [n

2熱度

2回答

星火dataframes：提取基於其他列的值的列

我有一個加入價目表交易數據幀： +----------+----------+------+-------+-------+ | paid | currency | EUR | USD | GBP | +----------+----------+------+-------+-------+ | 49.5 | EUR | 99 | 79 | 69 | +----------+------

10熱度

2回答

火花數據幀變換多行

柱我火花新手，我想下面源數據幀（負載從JSON文件）轉換：下面結果數據幀 +--+-----+-----+ |A |count|major| +--+-----+-----+ | a| 1| m1| | a| 1| m2| | a| 2| m3| | a| 3| m4| | b| 4| m1| | b| 1| m2| | b| 2| m3| | c| 3| m1| | c|

0熱度

1回答

應用SQL函數

以下工作： val df = sqlc.sql("select coalesce(optPrefix.optSysIp,'--') as ip, count(1) as cnt from llines group by coalesce(optPrefix.optSysIp,'--')").collect res39: Array[org.apache.spark.sql.Row] = Ar

6熱度

1回答

如何控制使用分區時生成的地板文件的數量BY

我有一個DataFrame，我需要根據特定的分區寫入S3。代碼如下所示： dataframe .write .mode(SaveMode.Append) .partitionBy("year", "month", "date", "country", "predicate") .parquet(outputPath) 的partitionBy將數據分割成

61熱度

6回答

如何選擇每組的第一行？

我已經產生了數據幀如下： df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) 結果如下所示： +----+--------+----------+ |Hour|Category|TotalValue| +-

12熱度

2回答

如何定義自定義聚合函數來合計一列向量？

我有兩列的數據框類型Int和Vec類型Vector（org.apache.spark.mllib.linalg.Vector）。數據框看起來像如下： ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1] 3,[0,0,1] 3,[7,7,7] .... 我願做一個groupBy($"ID")然後