spark-dataframe

3熱度

1回答

如何計算以前3個值的窗口大小的美元滾動中值？輸入數據 dollars timestampGMT 25 2017-03-18 11:27:18 17 2017-03-18 11:27:19 13 2017-03-18 11:27:20 27 2017-03-18 11:27:21 13 2017-03-18 11:27:22 43 2017-03-18 11:27:23

0熱度

1回答

在Spark中加入可能爲空的數據幀

我有四個數據幀來自四個csvs，加入到Spark中的最後一個數據幀中，所有這些都使用set模式。然而，有時候只有1-3個數據幀會通過，但它們仍然會被加入到最終的數據幀中，缺失/空數據幀的缺失值爲空。什麼是最好的方法來做到這一點？我嘗試做外部連接，但問題是我無法加入空的數據框。

0熱度

1回答

處理加入上或星火

我有一個數據幀像這樣： +---+---+---+---+---+ |AId| A1| A2| A3| A4| +---+---+---+---+---+ | 1| *| a| b| c| | 2| *| *| b| c| | 3| c| a| b| c| | 4| *| *| *| c| | 5| *| *| *| *| +---+---+---+---+---+ ，我想加入

1熱度

1回答

如何從Spark數據框中刪除多列？

0熱度

1回答

添加列到數據幀和更新pyspark

我有一個數據幀中pyspark： ratings = spark.createDataFrame( sc.textFile("transactions.json").map(lambda l: json.loads(l)), ) ratings.show() +--------+-------------------+------------+----------+--------

0熱度

1回答

星火SQL Dataframe- java.lang.ArrayIndexOutOfBoundsException錯誤

使用java的火花，我創建的逗號分隔符源file.In的資源文件數據幀，如果最後一列，然後空值的投擲arrayindexoutofbound error.Below是樣本數據和code.is有什麼我可以處理這個錯誤的方式，因爲在最後一欄中有很多機會獲得空白值。在下面的示例數據第四行導致問題。示例數據 1，VIV，CHN，34 2，人，GNT，56 3，ANU，雙關，22 ** 4，拉吉，砰* J

0熱度

1回答

如何解決Pyspark數據框查詢錯誤關鍵字不能是表達式

我有兩個名爲tweetsDF和HashtagsDF的數據框。兩個數據框的tweet_status_id都是相等的，我想要檢索單個推文的hashtags計數。這是我正在使用哪個inturns拋出的查詢 ERROR : SyntaxError: keyword can't be an expression tweet_hashtags_count_DF = tweetsDF.join(Hashta

0熱度

2回答

如何將Spark數據框列從Array [Int]轉換爲linalg.Vector？

我有一個數據幀，DF，看起來像這樣： +--------+--------------------+ | user_id| is_following| +--------+--------------------+ | 1|[2, 3, 4, 5, 6, 7] | | 2|[20, 30, 40, 50] | +--------+--------------------+ 我可

0熱度

1回答

Spark數據集或數據框聚合

我們有一個Spark版本2.0的MapR羣集我們試圖測量當前在TEZ引擎上運行的Hive查詢的性能差異，然後在Spark-sql上運行它，只需編寫在.hql文件中查詢sql查詢，然後通過shell文件調用它。查詢中包含很多Join，這些Join肯定會創建多個階段，並且在這種情況下將會發生混洗，那麼最合適的選擇是什麼？這是真的，數據集，星火比Dataframes較慢像GROUPBY，最大值，最

0熱度

2回答

火花使用鍵列