spark-dataframe

0熱度

1回答

我在寫一個Scala腳本，它從表中讀取數據並轉換數據並使用Spark顯示結果。我正在使用Spark 2.1.1.2和Scala 2.11.8。我在腳本中使用了兩次數據幀實例（下面代碼中的df2）。由於數據幀是在對它們調用動作時進行計算的，而不是在聲明它們時，我預測這個數據幀將被計算兩次。我認爲堅持這個數據框會提高性能的思想，它會計算一次（如果持續），而不是兩次，如果持續的話。但是，當我堅持不懈的

0熱度

1回答

避免在pyspark代碼中使用collect（）函數的最佳方法是什麼？編寫優化pyspark代碼的最佳方法是什麼？

嗨我想寫一個代碼在pyspark從數據框中創建一個列表。我在我的代碼中使用collect（）函數，但不確定它是否是從數據幀列中獲取值的過濾器列表的正確方法。由於collect（）將數據帶入數據節點，所以在大尺寸數據框例如10 GB的情況下它將是一個糟糕的選項。下面是我的輸入數據框 - [Row(parent=u'p1', child=u'c1'), Row(parent=u'p11', chil

0熱度

1回答

如何保存卡夫卡星火消息流數據幀到單個文件

如何保存卡夫卡星火消息流數據幀到單個文件我已經制定，這將消耗使用Kafka-星火流過程中的信息的應用程序。一旦收到數據，它就會轉換成數據幀。然後流式數據幀被保存爲文本文件，這裏數據幀被保存到每個文件中，用於每個kafka流消息，下面是我用於將數據保存爲文本文件的代碼，這是保存數據爲每條消息添加多個文本文件。 DF.coalesce(1).write.format("com.databrick

0熱度

1回答

scala.collection.immutable.Iterable [org.apache.spark.sql.Row]到DataFrame？錯誤：重載方法值createDataFrame替代品

我有一些sql.Row的對象，我想轉換爲DataFrame在星火1.6.x的我行的樣子： events: scala.collection.immutable.Iterable[org.apache.spark.sql.Row] = List([14183197,Browse,80161702,8702170626376335,59,527780275219,List(NavigationLev

2熱度

1回答

如何過濾pyspark中列表中的值列？

我有一個dataframe rawdata，我必須在列X上使用值CB，CI和CR應用篩選條件。所以我用下面的代碼： df = dfRawData.filter(col("X").between("CB","CI","CR")) 但我收到以下錯誤： between() takes exactly 3 arguments (4 given) 請讓我知道我可以解決這個問題。

1熱度

1回答

在火花數據框列中填充缺少的日期

我有一個類型爲timestamp的「date」列和long類型的「數量」列的火花數據框。對於每個日期，我都有一些數量的價值。日期按升序排列。但是有些日期不見了。對於如 - 當前DF - Date | Quantity 10-09-2016 | 1 11-09-2016 | 2 14-09-2016 | 0 16-09-2016 | 1 17-09-2016 | 0 20-09-20

-2熱度

1回答

pyspark.sql.utils.IllegalArgumentException：u'Field「功能」不存在。

我正在嘗試使用交叉驗證來執行隨機森林分類器並評估模型。我使用pySpark工作。輸入的CSV文件作爲Spark DataFrame格式加載。但我在構建模型時遇到了一個問題。以下是代碼。 from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.ml import Pipeline fr

0熱度

1回答

爲什麼Spark Sql排除Inet數據類型？

我有一個postgres數據庫（9.2），在模式中使用inet類型。我試圖用Spark（1.6）寫Postgres。 df.write.mode(mode).jdbc(db, table, props) 我將模式應用於df; context.createDataFrame(rdd, schema()) 並獲得在SPARK-13286描述的所有的BatchUpdateException錯誤是

0熱度

1回答

將包含BigInt的RDD轉換爲Spark Dataframe

嗨，我正在使用spark 1.6.3。我有一個rdd，裏面有一些BigInt scala類型。我將如何將其轉換爲火花數據框？在創建數據框之前是否可以轉換類型？我RDD： Array[(BigInt, String, String, BigInt, BigInt, BigInt, BigInt, List[String])] = Array((14183197,Browse,3393626f-9

0熱度

1回答

PySpark - 如果在兩個字段匹配的另一個數據框上出現值，則將值返回給數據框

對於模糊的標題，我想不出一個更好的方式來表達它。我對Python有點了解，並且對Pandas數據框有一些經驗，但是最近我被委託來看看涉及Spark的東西，並且我正在努力讓它領先於它。我想最好的解釋方法是用一個小例子。想象一下，我有數據幀答： id | Name | -------------- 1 | Random | 2 | Random | 3 | Random | 除了數據幀B