spark-dataframe

2熱度

2回答

我正在使用Spark with scala。我有一個數據幀與3列：ID，時間，RawHexdata。我有一個用戶定義的函數，它需要RawHexData並將其擴展到X列以上。說明每行X是相同的（列不變）非常重要。但是，在我收到第一個數據之前，我不知道列是什麼。但是一旦我有了頭，我就可以推論出來。我想第二個數據框與所述列：Id，時間，RawHexData，NewCol1，...，NewCol3。

3熱度

1回答

如何篩選火花的MapType場數據幀

我有一個數據框星火，那裏的領域之一是地圖類型的....我可以獲取任何地圖類型字段的鍵的數據，但我不能這樣做時，我申請一個過濾器的特定鍵的特定值... val line = List (("Sanjay", Map("one" -> 1, "two" -> 2)), ("Taru", Map("one" -> 10, "two" -> 20))) 我創建上面所列內容&的RDD & DF我試圖在D

9熱度

1回答

在通過JDBC從pyspark數據框插入到外部數據庫表時插入重複鍵更新

嗯，我使用PySpark，並且我有一個Spark數據框，使用它將數據插入到一個mysql表中。 url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mode="append") 我想更新列值（其不是在主鍵）由它的列值之和的特定數目。我試過用不同的模式（追加

1熱度

2回答

DataFrame，計算唯一值，Java

我有一個DataFrame，我想計算這個數據框中的兩列的唯一行。例如： a x a x a y b y b y b y 應該是： a x 2 a y 1 b y 3 我知道在大熊貓數據幀此操作的解決方案，但現在我想這樣做在Java中直接（最好的辦法就是Java 8）。

1熱度

3回答

在SparkR

刪除一個數據幀的專欄，我不知道是否有在刪除一個數據幀的專欄SparkR，如df.drop("column_name")在pyspark一個簡潔的方法。這是最接近我可以得到： df <- new("DataFrame", sdf=SparkR:::callJMethod([email protected], "drop", "column_name"), isCache

1熱度

2回答

Spark Scala中的樞軸非數字表格

是否可以在Spark Scala中使用非數字值來旋轉表格？我回顧了以下兩個Stack問題。 How to pivot DataFrame? List in the Case-When Statement in Spark SQL 繼「中的案例當列表」的問題，我可以將我的數據，使每個數據類型是列，但有一排中的每個步驟實體數據類型組合。 id tag value 1 US foo 1 UK

12熱度

3回答

如何轉換的RDD具有斯帕塞夫克託列的數據框與列向量

我有一個RDD與值（字符串，斯帕塞夫克託）的元組，我想用RDD創建數據幀。獲取（標籤：字符串，特徵：矢量）DataFrame這是大部分ml算法庫所需的Schema。我知道可以這樣做，因爲HashingTF毫升庫在給出DataFrame的功能列時輸出向量。 temp_df = sqlContext.createDataFrame(temp_rdd, StructType([ Struc

3熱度

1回答

如何使用DataFrame在PySpark中使用窗口函數？

試圖找出如何在PySpark中使用窗口函數。以下是我希望能夠做的一個例子，只需計算用戶發生「事件」的次數（在本例中，「dt」是模擬的時間戳）。 from pyspark.sql.window import Window from pyspark.sql.functions import count df = sqlContext.createDataFrame([{"id": 123, "d

0熱度

1回答

這是發生關於「java.sql.SQLException：沒有找到合適的驅動程序爲jdbc：oracle：@ 192.164.6.77：1521：BDSS」當火花連接oracle

以下是我的代碼。首先， ./spark-shell --master spark://172.11.11.11:7077 --jars /opt/beh/bin/ojdbc14.jar 其次， `import java.util.Properties` `val sqlContext = new org.apache.spark.sql.SQLContext(sc)` `val prop

43熱度

2回答

如何在Spark DataFrame中添加常量列？

我想添加一個DataFrame與一些任意值（這是每行相同）的列。我得到一個錯誤，當我使用withColumn如下： dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Tr