apache-spark-sql

1熱度

1回答

DirectFileOutputCommitter在Spark 2.2.0中不再可用。這意味着寫給S3需要很長時間（3小時，而不是2分鐘）。我能夠通過設置FileOutputCommitter版本通過這樣做是爲了解決這2火花外殼， spark-shell --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2

1熱度

1回答

使用Java在Spark數據框中添加空值列

我有一個數據框，並且想要添加一個類型爲String的列的空值。如何使用Spark Java API完成。我使用3210函數，但在嘗試寫入DF和saveAsTable時出錯。

0熱度

2回答

爲什麼foreach操作符在使用Dataset時會失敗並出現NullPointerException？

這是我的函數： def TestForeach(dataFrame: DataFrame)={ dataFrame.select("user_id").dropDuplicates().foreach(row =>{ dataFrame.filter("user_id == "+row.getString(0)) }) } 我得到這個錯誤： ERROR Exec

-1熱度

1回答

如何將DataFrame轉換爲Iterable（並用值填充Zeppelin複選框）？

我想填充火花中的複選框，使用不同的列值，因爲在下一步中，這應該是我的過濾器選項。我的數據看起來像這樣： DF： root |-- KW: integer (nullable = true) |-- grund: long (nullable = true) |-- text_rotschaltung: string (nullable = true) |-- Anzahl: long (

1熱度

2回答

火花數據框中groupping不計空

我有被分組BA與計數聚集一科拉姆火花數據幀： df.groupBy（'一）.agg（數（「A」））顯示 +---------+----------------+ |a |count(a) | +---------+----------------+ | null| 0| | -90| 45684| +---------+----------------+ df.

-1熱度

2回答

SQL - SUM函數

我有轉化的問題如下： OPP_auftag sum_correct sum_incorrect --------------------------------------------------------------- yes 770 1324 no 4512 79 到： OPP_auftrag sum_complete ----------------

0熱度

1回答

Spark生成來自超級數據幀優化方法的子數據幀

這是輸入火花數據幀。基於「典型」我需要這個數據幀分成多個子dataframes，如下 val dsTotal = fr.toDF("Key","Code") dsTotal.show() -------------- |key | Code | -------------- |200 | DS | |300 | CP | |400 | DS | |76 | OR | |45 |

2熱度

1回答

基於兩列或更多列的Spark DataFrame聚合

我想爲一些基於多列的自定義聚合編寫一個UDAF。一個簡單的例子就是一個有兩列c1和c2的數據框。對於每一行，我取c1和c2的最大值（我們稱之爲cmax），然後取cmax的和。當我調用df.agg（）時，它看起來不像我可以將兩列或更多列傳遞給任何聚合方法，包括UDAF。第一個問題，這是真的嗎？對於這個簡單的例子，我可以創建另一個名爲cmax的列，並在cmax上進行聚合。但實際上，我需要基於N個列

0熱度

1回答

找不到適用於零實際參數的構造函數/方法 - Apache Spark Java

我在運行時遇到了奇怪的錯誤，我沒有看到MyBean類的任何錯誤，不知道下面的驅動程序代碼有什麼問題？由於 Maven的Dependencies- <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>2.1.0</versio

1熱度

2回答

如何使用Datastax spark-cassandra連接器讀取Cassandra表中的特定列？

我正在使用spark-cassandra-connector_2.11（2.0.5版）將來自Cassandra的數據加載到Spark羣集中。我使用讀取API如下加載數據： SparkUtil.initSpark() .read .format("org.apache.spark.sql.cassandra") .options(Map("table"-><tab