apache-spark-sql

1熱度

2回答

我在同名的列上加入了兩個數據幀。 oe = join(orders, emp, orders$EmployeeID == emp$EmployeeID) 所得數據幀有兩列具有相同名稱的EmployeeID 現在一組通過或者甚至在打印列名 peremp = groupBy(oe, 'EmployeeID', sales = n(oe$OrderID)) oe$EmployeeID 失敗，並

5熱度

2回答

如何在Spark中壓縮兩個（或更多）DataFrame

0熱度

1回答

在Python類中註冊Spark SQL用戶定義函數

我正在通過Python API使用Spark進行一些數據處理。下面是我的工作之類的簡化一下： class data_processor(object): def __init__(self,filepath): self.config = Config() # this loads some config options from file self.type_c

1熱度

1回答

如何將SchemaRDD映射到PairRDD

我試圖找出如何映射我從SQL檢索HiveContext轉移到PairRDDFunctions [字符串，矢量]對象，其中的字符串值是在名字列SchemaRDD對象schemaRDD和列（BytesIn，BytesOut，等...），其餘是載體。

6熱度

1回答

星火partitionBy比沒有它

我測試了寫慢得多： df.write.partitionBy("id", "name") .mode(SaveMode.Append) .parquet(filePath) 但是如果我離開了劃分：（！） df.write .mode(SaveMode.Append) .parquet(filePath) 它執行快100倍。分區時，相同數據量的數據寫

5熱度

1回答

什麼是所有Spark SQL的Scala類型映射數據類型

Spark SQL可用的不同DataType可以找到here。任何人都可以告訴我對於Spark SQL的每個DataType s，相應的Java/Scala數據類型是什麼？

0熱度

1回答

星火無法找到窗口功能

使用https://stackoverflow.com/a/32407543/5379015 提供的解決方案我試圖創建相同的查詢，但在Dataframe API代替使用編程語法如下： import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.hive.HiveContext import org.

17熱度

2回答

使用Python編寫Parquet文件的方法？

我無法找到允許使用Python編寫Parquet文件的庫。加分，如果我可以使用Snappy或類似的壓縮機制與它結合。到目前爲止，我發現的唯一方法是使用Spark與pyspark.sql.DataFrame實木複合地板支持。我有一些腳本需要編寫不是Spark作業的Parquet文件。有什麼方法可以用Python編寫Parquet文件，不涉及pyspark.sql？

0熱度

1回答

在一次傳遞中生成多個過濾器的模式

問題我很喜歡火花1.5.0。我有一個名爲events的不同json字符串對象的RDD。每個json對象都有一個字段type。我想爲type字段的每個值創建一個不同的數據幀。然後我想爲每個數據框（df.printSchema（））生成模式。樣例輸入 {"a": 1, "b": 2, "type": "x"} {"a": 1, "c": 2, "type": "x"} {"c": 1, "d"

0熱度

1回答

爲什麼在SQL查詢中使用UDF導致笛卡爾積？

我看到Databricks-Question和不理解爲什麼使用UDF的導致笛卡爾乘積，而不是一個完整的外部聯接？很明顯，笛卡爾產品比全外連接（Joins就是一個例子）要多得多，這是潛在的性能命中。在Databricks-Question中給出的示例中，強制笛卡爾乘積的外連接的方法是？引述Databricks-Question這裏：我有一個使用SQLContext執行對數據流 SQL語句星