spark-dataframe

0熱度

1回答

的區別我有一個表像這樣來創建新的列： +-----+----+-------+-------+ |name | id | msg_a | msg_b | +-----+----+-------+-------+ | a| 3|[a,b,c]|[c] | | b| 5|[x,y,z]|[h,x,z]| | c| 7|[a,x,y]|[j,x,y]| +-----+----+-------

0熱度

2回答

星火斯卡拉：計數連續兩個月

我有以下DataFrame例如： Provider Patient Date Smith John 2016-01-23 Smith John 2016-02-20 Smith John 2016-03-21 Smith John 2016-06-25 Smith Jill 2016-02-01 Smith Jill 2016-03-10 James Jil

0熱度

2回答

將groupByKey轉換爲reduceByKey

我讀了reducebyKey對大數據集來說是一個更好的選擇，可以減少數據的混洗，並以這種方式提高性能。我想轉換我的使用groupByKey。首先，它必須被轉換爲RDD： val linksNew = links.map(convertToRelationship) .flatMap(bidirRelationship) 鏈接是一個數據集和數據集的API沒有reduceByKey。當使

0熱度

1回答

如何添加一個數據幀轉換爲陣列作爲另一個數據幀的一個元素基於一個鍵值

我一直試圖添加一個數據幀的結果作爲另一個數據幀中的新數組字段基於一個鍵值。例如，我有這樣的數據幀我們稱之爲df1： root |-- DF_KEY: integer (nullable = false) |-- DF_DESC: string (nullable = false) +------------+--------------------+ |DF_KEY | DF_D

-1熱度

2回答

如何將JSON的RDD轉換爲Dataframe？

我有一個已經從一些json創建的rdd，rdd中的每個記錄都包含鍵/值對。我RDD的樣子： myRdd.foreach(println) {"sequence":89,"id":8697344444103393,"trackingInfo":{"location":"Browse","row":0,"trackId":14170286,"listId":"cd7c2c7a-00f6

0熱度

2回答

SPARK SQL GROUPING SETS

我需要的列集各種組合，傳遞給我的SQL查詢作爲參數如： Val result=sqlContext.sql(""" select col1,col2,col3,col4,col5,count(col6) from table T1 GROUP BY col1,col2,col3,col4,col5 GROUPING SETS ((col1,col2),(col3,col4),(col4, col

0熱度

3回答

在Pyspark Dataframe中選擇列

我正在尋找一種方法來選擇我的數據框在pyspark中的列。對於第一行，我知道我可以使用df.first()，但不確定列是否在沒有列名。我有5列，並希望通過其中每一個循環。 +----------------+---+---+---+---+---+---+ | _1| _2| _3| _4| _5| _6| _7| +----------------+---+---+---+---+-

-1熱度

2回答

如何創建自定義的用戶定義聚合獨特功能

我有一個數據框，其中包含4列。數據幀樣本 id1 id2 id3 id4 --------------- a1 a2 a3 a4 b1 b2 b3 b4 b1 b2 b3 b4 c1 c2 c3 c4 b2 c1 a3 a4 c1 d4 有一排2種類型的數據的任一的所有列具有數據或僅一列。我想要在所有列上執行不同的功能，例如在

1熱度

1回答

星火數據集選擇重新計算

我知道星火知道如何分配需要爲將在例如另一個節點故障的情況下，開始了一個新的節點上完成的工作。我想知道這是否可以在其他用例中使用。假設我有轉換和操作的樹。當其中一個數據集/數據框得到更新時會發生什麼（例如，導入了新文件）。在這種情況下，我只想重複那些受到影響並與此變化相關聯的轉換和操作。其他不相關的轉換和操作應該從緩存中使用，因爲它們不受影響。現在，我應該只有一些這些數據框和轉換和行動，我可以

-1熱度

1回答

pyspark：DataFrame.withColumn（）有時需要以不同的名稱分配給新的DataFrame

這似乎特別發生在我將數字列乘以標量時，將DataFrame寫回HDFS，然後嘗試查看當我再次將它加載到DataFrame中時的值。例如，在pyspark shell中不會發生。 df = df.withColumn('AMOUNT', df.AMOUNT*lit(-1)) =>不翻轉列 df_new = df.withColumn('AMOUNT', df.AMOUNT*lit(-1)) =>作品