apache-spark-sql

1熱度

1回答

Spark SQL'explode'命令在AWS EC2上失敗，但在本地成功執行

我正在使用Spark SQL（我提到它在Spark中，以防影響SQL語法 - 我還不夠熟悉）和I有一張表，我正在嘗試重新構建。我有一個本地工作的方法，但是當我嘗試在AWS EC2實例我得到一個錯誤的報告，我有一個「未解決運營商基本上我有數據，看起來像運行相同的命令： userId someString varA 1 "example1" [0,2,5] 2 "exam

0熱度

1回答

Spark採樣 - 比使用完整RDD/DataFrame速度快多少

我想知道什麼樣的Spark運行時採樣RDD/DF與完整RDD/DF的運行時相比。我不知道它是否有所作爲，但我目前正在使用Java + Spark 1.5.1 + Hadoop 2.6。 JavaRDD<Row> rdd = sc.textFile(HdfsDirectoryPath()).map(new Function<String, Row>() { @Override

3熱度

2回答

返回臨時星火SQL表斯卡拉

首先，我一個CSV文件轉換爲使用 val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("/usr/people.csv") 這種類型的DF後，並返回一個Spark數據幀，我可以看到 res30: org.apache.spark.sql.DataFrame = [n

8熱度

2回答

Apache Spark在遇到缺少的功能時拋出NullPointerException

我在PySpark中索引要素列中的字符串時出現了一個奇怪的問題。這是我的tmp.csv文件： x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t,1e1e,5.1,1 asd2s,1e3e,0.2,0 bd34t,1e2e,4.3,1 其中'x0'有一個缺失值。 https://github.com/sea

2熱度

1回答

爲什麼Window函數（延遲）在SparkR中不起作用？

對於Spark和SparkR，我相當新，並且可能有一些基本問題。本練習的目的是在SparkR中實現窗口函數（lead，lag，rank等）。我稱爲那裏提到下面的鏈接和Databricks後但沒有利用 - SparkSQL - Lag function? 代碼段我使用：初始化sqlContext並註冊該數據幀作爲一個臨時表使用 Registertemptable output_data<-Sp

5熱度

2回答

在運行bin/pyspark時運行此程序錯誤之前，您需要構建Spark

我正在開始使用Spark。我在啓動spark時遇到問題。我從火花官方網站上下載，我想從這個https://spark.apache.org/docs/0.9.0/quick-start.html 以快速開始我已經下載，安裝sparkhome，當我試圖運行從bin目錄./pyspark我得到這個錯誤： [email protected]:~/Downloads/spark-1.5.0/bin$

2熱度

2回答

星火dataframes：提取基於其他列的值的列

我有一個加入價目表交易數據幀： +----------+----------+------+-------+-------+ | paid | currency | EUR | USD | GBP | +----------+----------+------+-------+-------+ | 49.5 | EUR | 99 | 79 | 69 | +----------+------

1熱度

1回答

使用spark-sql的Hbase

我在hbase中有一個名爲「sample」的表。我需要使用Apache spark-sql查詢來查詢表。有什麼方法可以使用Apache spark-sql查詢來讀取hbase數據嗎？

5熱度

2回答

如何在Apache Spark中爲兩個具有不同結構的DataFrame實現NOT IN

我在我的Java應用程序中使用Apache Spark。我有兩個DataFrame s：df1和df2。 df1包含，其中email，firstName和lastName。 df2包含 s與email。我想創建一個DataFrame：df3，其中包含df1中的所有行，該電子郵件不存在於df2中。有沒有辦法用Apache Spark做到這一點？我試圖通過鑄造他們toJavaRDD()和過濾df1

0熱度

3回答

火花數據幀檢查是否相等和過濾

如何過濾具有特定值的列？這工作得很好> scala> dataframe.filter("postalCode > 900").count() 但==失敗 scala> dataframe.filter("postalCode == 900").count() java.lang.RuntimeException: [1.13] failure: identifier expected