apache-spark-sql

0熱度

3回答

我試圖通過聚集星火SQL CSV文件，然後顯示結果爲JSON： val people = sqlContext.read().format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").option("delimiter", ",").load("/tmp/people.csv"

3熱度

1回答

如何在Spark SQL中按日期範圍進行過濾

我試圖使用數據磚過濾下列數據的日期範圍，數據磚以響應返回null。我的CSV數據是這樣的： ID, Desc, Week_Ending_Date 100, AAA, 13-06-2015 101, BBB, 11-07-2015 102, CCC, 15-08-2015 103, DDD, 05-09-2015 100, AAA, 29-08-2015 100, AAA, 22-08

0熱度

1回答

集羣模式下沒有HDFS的Spark：哪些數據存儲在哪裏？

我正在集羣模式下使用沒有HDFS的Spark 1.5來構建應用程序。我想知道，具有保存操作時，例如， df.write.parquet("...") 其中數據被存儲在何處？所有數據都存儲在主服務器上，還是每個工作人員都存儲其本地數據？

2熱度

1回答

爲什麼Spark 1.5.2在獨立模式下拋出「local class incompatible」？

今天與Spark 1.5.2得到了本地類不兼容的錯誤。我知道，這種類型的錯誤與混合星火的幾個版本有關，但我完全不知道在那裏我可以做到這一點... 我的應用程序是一個簡單的例子，當我處理用JDBC連接到mysql數據庫。在那裏，我想用一些數據獲取DataFrame，這可以在加入兩個表後接收。我下載了Spark的Hadoop 2.6的預生成版本。和往常一樣，我使用Maven構建fat jar，並

4熱度

1回答

將相同的函數應用於火花數據幀行的所有字段

我有一個數據幀，其中有大約1000個（可變）列。我想使所有值都爲大寫。下面是我想到的方法，你可以建議，如果這是最好的方法。採取行查找模式和存儲陣列，並找到許多領域如何在那裏。地圖通過數據幀和高達在陣列元素的數目的限制的每一行應用功能爲大寫每個字段和返回行

1熱度

1回答

用於瞭解來自列的流行哈希標籤的SQL查詢，該列具有作爲數組存儲的哈希標籤列表

我一直在試圖從類似這樣的表中找到流行的哈希標籤。 | Tweet_id | Hashtags | ----------------------------------------------------- | id1 | [hashtag1,hashtag2,hashtag3] | | id2 | [hashtag2,hashtag4] | | id3 | []

1熱度

1回答

Spark-SQl DataFrame分區

我需要使用spark-sql加載一個Hive表，然後在其上運行一些機器學習algho。我這樣做，寫作： val dataSet = sqlContext.sql(" select * from table") 它運作良好，但如果我想增加數據集數據幀的partions數，怎麼能我能做到這一點？正常RDD我能做的寫作： val dataSet = sc.textFile(" .... ", N)

1熱度

1回答

Apache Spark SQL標識符預期異常

我的問題與此類似：Apache Spark SQL issue : java.lang.RuntimeException: [1.517] failure: identifier expected但我無法弄清楚問題出在哪裏。我使用SQLite作爲數據庫後端。連接和簡單的選擇語句正常工作。的問題的行： val df = tableData.selectExpr(tablesMap(t).toSeq

2熱度

2回答

如何重命名對應於嵌套JSON的DataFrame中的字段

我正在嘗試使用spark 1.5.2處理在移動應用程序中收到的JSON事件（如點擊等）。有多個應用程序版本，事件的結構因版本而異。說第1版具有以下結構： { "timestamp": "", "ev": { "app": { "appName": "XYZ", "appVersion": "1.2.0" }

6熱度

2回答

PySpark和廣播加入例如

我使用的Spark 1.3 # Read from text file, parse it and then do some basic filtering to get data1 data1.registerTempTable('data1') # Read from text file, parse it and then do some basic filtering to get