spark-dataframe

1熱度

1回答

我有過鑰匙和價值觀，某些值是缺少一個文本文件， key1 12 13 na key1 na 11 11 key1 12 13 11 key2 11 12 10 key3 10 11 10 key3 na na na 我想，以填補缺失值，所以我做（數據是我RDD） def fill_na(x): ldf = Df(list(x)) df_with_na = ldf

15熱度

3回答

將Spark數據框保存爲Hive中的動態分區表

我有一個示例應用程序可以將csv文件讀取到數據框中。數據幀可以使用方法 df.saveAsTable(tablename,mode)以鑲木地板格式存儲到Hive表格中。上面的代碼工作正常，但我每天都有這麼多數據，我想基於creationdate（表中的列）動態分區配置單元表。有沒有辦法動態分區數據框並將其存儲到配置單元倉庫。希望避免使用hivesqlcontext.sql(insert int

1熱度

1回答

刪除冗餘列在Spark數據幀時間序列數據

我有一個看起來像這樣的星火數據幀（爲了清楚起見簡化時間戳和id列值）： | Timestamp | id | status | -------------------------------- | 1 | 1 | pending | | 2 | 2 | pending | | 3 | 1 | in-progress | | 4 | 1 | in-progress |

1熱度

1回答

如何刪除數據框中的空分區？

我需要從數據框中刪除空分區我們有兩個數據框，都是使用sqlContext創建的。而dataframes構造和組合如下 import org.apache.spark.sql.{SQLContext} val sqlContext = new SQLContext(sc) // Loading Dataframe 1 val csv1 = "s3n://xxxxx:[email prot

6熱度

1回答

如何在數據框中指定缺少的值

我想用spark-csv [1]使用Apache Zeppelin筆記本將加載的CSV文件加載到Spark數據框中，並且在加載不具有值的數值字段時解析器無法執行該行，並且該行被跳過。我本來應該預料該行會被加載，並且數據框中的值會加載該行並將該值設置爲NULL，以便聚合忽略該值。 %dep z.reset() z.addRepo("my-nexus").url("<my_local_nexus