apache-spark-sql

3熱度

2回答

2熱度

2回答

虛列火花JDBC

我使用的查詢，如下所示，以從MySQL獲取數據： var df = spark.read.format("jdbc") .option("url", "jdbc:mysql://10.0.0.192:3306/retail_db") .option("driver" ,"com.mysql.jdbc.Driver") .option("user", "retai

0熱度

1回答

PySpark：數據幀 - 轉換結構數組

1熱度

1回答

什麼時候合併發生在用戶定義的聚合函數中Spark中的UDAF

我想知道Spark將在哪些情況下作爲UDAF函數的一部分執行合併。動機：我在Spark項目的窗口中使用了很多UDAF函數。我經常想回答這樣一個問題：信用卡交易在同一個國家與30天窗口中的當前交易進行了多少次？該窗口將從當前事務開始，但不會將其包括在計數中。它需要通過當前交易的價值來了解過去30天內哪個國家/地區的數量。 val rollingWindow = Window .p

0熱度

2回答

如何根據Pyspark中的數據框中的條件設置新的列表值？

我有一個像下面的DataFrame。 +---+------------------------------------------+ |id |features | +---+------------------------------------------+ |1 |[6.629056, 0.26771536, 0.79063195,0.8923] | |2 |[1.

0熱度

1回答

Spark Streaming檢查點失敗後讀取

我試圖實現包含容錯的Kafka應用程序的Spark Streaming。當我重新啓動應用程序時，它會讀取重新啓動前已讀取的消息，並且我的計算出錯了。請幫我解決這個問題。這是用Java編寫的代碼。 public static JavaStreamingContext createContextFunc() { SummaryOfTransactionsWithCheckpoints a

1熱度

1回答

[亞馬遜]（500310）操作無效：斷言

我正在使用spark-redshift和查詢使用pyspark進行處理的redshift數據。查詢工作正常，如果我在使用工作臺等紅移運行。但spark-redshift卸載數據到s3，然後檢索它，它會引發以下錯誤，當我運行它。什麼是這裏的問題，我怎麼能解決這個 UNLOAD ('SELECT 「x」,」y" FROM (select x,y from table_name where ((lo

0熱度

1回答

PySpark：使用標記生成器

映射詞我開始我的旅程PySpark和我都停留在一個點，例：我有這樣的代碼：（我把它從https://spark.apache.org/docs/2.1.0/ml-features.html） from pyspark.ml.feature import Tokenizer, RegexTokenizer from pyspark.sql.functions import col, udf

0熱度

1回答

怎樣一個角色串聯的列在Java的Apache的火花值

我想獲得一個特定的列的值表示costs 作爲 spark.select(col("col1"), col("col2"), col("costs")) .groupBy("col1") .agg(sum(col("costs"))); 輸出應該具有的附加列成本數據與$符號。

0熱度

1回答

Apache Spark中的分層數據處理

我在Spark（v2.1.1）中有一個包含分層數據的3列（如下所示）的數據集。我的目標的目標是增量編號分配給基礎上，父子層次的每一行。從圖形上可以說，分層數據是一個樹的集合。根據下表，我已經有基於'Global_ID'分組的行。現在我想以的增量順序生成'Value'列，但是基於 'Parent'和'Child'列的數據層次結構。表格表示（數值是所需的輸出）： +-----------+--