apache-spark-sql

1熱度

3回答

如何將火花數據幀中的所有列名稱獲取到Seq變量中。輸入數據&架構 val dataset1 = Seq(("66", "a", "4"), ("67", "a", "0"), ("70", "b", "4"), ("71", "d", "4")).toDF("KEY1", "KEY2", "ID") dataset1.printSchema() root |-- KEY1: string

6熱度

1回答

如何調整EMR上的火花作業，以便在S3上快速寫入大量數據

我有一個火花作業，我正在做兩個數據框之間的外連接。第一個數據幀的大小爲260 GB，文件格式爲文本文件，分割爲2200個文件，第二個數據幀的大小爲2GB。將這兩個文件加載到數據框本身需要10分鐘。然後將大約260 GB的數據幀輸出寫入S3大約需要1個小時。這是我的集羣信息。 emr-5.9.0 Master:1m3.2xlarge Core:c3.4large 5 machines

1熱度

1回答

如何把一個Spark數據幀到彈性搜索（Pyspark）這裏

初學者ES問題什麼是工作流程或步驟用於推動星火據幀到彈性搜索？從研究，我相信我需要使用spark.newAPIHadoopFile()方法。然而，通過Elastic Search Documentation挖掘和other Stack Q/A's我還是有點困惑的論點所需要的格式是爲什麼請注意，我用pyspark，這是一個新的表ES（無索引已經存在），並且df是5列（2種類型，2層長的類型，

3熱度

1回答

如何使用Window（）計算Pyspark中的滾動中位數？

如何計算以前3個值的窗口大小的美元滾動中值？輸入數據 dollars timestampGMT 25 2017-03-18 11:27:18 17 2017-03-18 11:27:19 13 2017-03-18 11:27:20 27 2017-03-18 11:27:21 13 2017-03-18 11:27:22 43 2017-03-18 11:27:23

0熱度

1回答

星火SQL函數計算的repetation

嘗試使用火花SQL實現以下任務...... 我有一個像表中的值，我需要像輸出 1 1 has repeated for 3,3 has repeated for 3 times..... 2 2 has repeated for 3,3 has repeated for two times....... 從我結束我一直在使用ROW1得到相同的ID一起分組數據 scala> v

0熱度

2回答

失敗使用Spark在EMR

當AWS-EMR執行我的星火工作我試圖讀取從S3存儲Avro的文件時，這個錯誤從S3閱讀的Avro：這一點與版本： EMR - 5.5 0.0 EMR - 5.9.0 這是代碼： val files = 0 until numOfDaysToFetch map { i => s"s3n://bravos/clicks/${fromDate.minusDays(i)}/*" } sp

1熱度

1回答

如何檢查列的數值是否包含通過SQL查詢的字母

我在AWS S3中有一個CSV文件，正在加載到AWS Glue，即用於對來自S3的源數據文件應用轉換。它提供了PySpark腳本環境。數據看起來有點像這樣： "ID","CNTRY_CD","SUB_ID","PRIME_KEY","DATE" "123","IND","25635525","11243749772","2017-10-17" "123","IND","25632349",

0熱度

1回答

星火SQL Dataframe- java.lang.ArrayIndexOutOfBoundsException錯誤

使用java的火花，我創建的逗號分隔符源file.In的資源文件數據幀，如果最後一列，然後空值的投擲arrayindexoutofbound error.Below是樣本數據和code.is有什麼我可以處理這個錯誤的方式，因爲在最後一欄中有很多機會獲得空白值。在下面的示例數據第四行導致問題。示例數據 1，VIV，CHN，34 2，人，GNT，56 3，ANU，雙關，22 ** 4，拉吉，砰* J

2熱度

1回答

如何從窗口順序的另一列計算RANK？

有沒有一種方法可以從另一列中計算「排序」，而不是在窗口排序中指定的那一列？爲了說明更清楚我想要做的，我會用下面的例子：數據例如： | Date | Amount | Product_ID | |------------------|--------------|------------------| | 2016-01-10 | 7000 | A | | 2016-02-0

0熱度

1回答

Spark SQL爆炸結構數組

我有下面的JSON結構，我試圖將每個元素轉換爲列，如下所示使用Spark SQL進行結構化。爆炸（控制）不起作用。有人可以建議一種方法來做到這一點？輸入： { "control" : [ { "controlIndex": 0, "customerValue": 100.0, "guid": "abcd", "defaultValue"