spark-dataframe

1熱度

1回答

比較與Spark和斯卡拉

某一特定日期戳 我有以下數據框（數據框的名稱是：df） +---------------+-----------+-------------+------+----+-----+--------------------+-------------------+------+------+------+-----+--------------------+--------------------+-

scala apache-spark timestamp spark-dataframe 2017-09-26

---

0熱度

1回答

如何寫入拼接Spark數據框？

我有一個火花的應用程序，但是當我嘗試寫數據框，以實木複合地板的文件夾創建成功，但有文件夾內沒有數據只是被稱爲「_SUCCESS」 以下文件是我的代碼： def writeToParquet(dataFrame: DataFrame, path: String): Unit = { dataFrame.write.parquet(s"$path.parquet") }

scala apache-spark spark-dataframe 2017-09-26

---

0熱度

2回答

修改列pyspark數據幀的所有值

我是pyspark數據框的新手，並且曾經使用過RDD。我有這樣一個數據幀： date path 2017-01-01 /A/B/C/D 2017-01-01 /X 2017-01-01 /X/Y 而且要轉換爲以下幾點： date path 2017-01-01 /A/B 2017-01-01 /X 2017-01-01 /X/Y 基本上第三/包括之後擺脫一切。因此，與前RD

python pyspark spark-dataframe 2017-09-26

---

2熱度

1回答

如何在SQL模式下使用具有顯式存儲級別的CACHE或PERSIST（不是數據集API）？

如何在Spark SQL中以SQL模式使用存儲級別PERSIST？可以在Spark SQL中使用CACHE。

apache-spark apache-spark-sql spark-dataframe 2017-09-27

---

0熱度

1回答

火花治療CSV列的空值作爲空數據類型

我的火花應用程序讀取一個csv文件，它與SQL轉換爲不同的格式，並將結果數據幀寫入到不同的CSV文件。 例如，我有輸入CSV如下： Id|FirstName|LastName|LocationId 1|John|Doe|123 2|Alex|Doe|234 我的轉變是： Select Id, FirstName, LastName, LocationId

apache-spark-sql spark-dataframe 2017-09-27

---

2熱度

2回答

在火花中創建數據幀時出錯

我想在kafka-spark流中創建一個數據框，我已成功將值映射到case類，但每次調用toDF方法時都會給出錯誤。 ** 值toDF不是陣列中的一員[WeatherEvent] [錯誤]可能 原因：也許分號`值toDF'之前丟失？ （錯誤] }）toDF（「longitude」，「latitude」，「country」，「sunrise」，「sunset」， 「temperature」，「tem

scala apache-spark spark-dataframe spark-streaming 2017-09-27

---

0熱度

1回答

Spark DataFrame運算符（nunique，乘法）

我使用jupyter筆記本與熊貓，但是當我使用Spark時，我想使用Spark DataFrame轉換或計算而不是熊貓。請幫助我將一些計算轉換爲Spark DataFrame或RDD。 數據幀： df = +--------+-------+---------+--------+ | userId | item | price | value | +--------+-------+----

python apache-spark pyspark spark-dataframe 2017-09-27

---

0熱度

1回答

星火 - 遞歸函數爲UDF生成異常

我與DataFrames工作的哪些元素都得到了類似的模式： root |-- NPAData: struct (nullable = true) | |-- NPADetails: struct (nullable = true) | | |-- location: string (nullable = true) | | |-- manager: string (nullable = t

scala apache-spark recursion spark-dataframe 2017-09-27

---

-1熱度

1回答

pyspark - 從數據框中獲取數組類型的值

我的數據框如下所示。我需要從輸入數組類型列中提取值。你能不能讓我知道我該如何在體育館做到這一點？ None root |-- input: array (nullable = true) | |-- element: map (containsNull = true) | | |-- key: string | | |-- value: map (valueContainsNull =

apache-spark pyspark spark-dataframe 2017-09-27

---

0熱度

1回答

替換pyspark數據框中的值

我是pyspark的新手，正在開發我的第一個火花項目，我面臨兩個問題。 一）無法使用 df["col1"].show() ***TypeError: 'Column' object is not callable*** 二）無法與聚合值來取代值在我的火花像數據幀平均 Code: from pyspark import SparkConf, SparkContext from pyspa

python apache-spark pyspark spark-dataframe 2017-09-27

---