apache-spark-sql

3熱度

2回答

我想通過JDBC寫： df.write.jdbc("jdbc:postgresql://123.123.123.123:5432/myDatabase", "myTable", props) 的Spark docs解釋說，配置選項spark.driver.extraClassPath不能用來添加JDBC驅動程序的JAR文件，如果在客戶端模式下運行（這是Dataproc運行的模式），因爲JVM已

3熱度

3回答

如何使用python執行spark中的.sql文件

from pyspark import SparkConf, SparkContext from pyspark.sql import SQLContext conf = SparkConf().setAppName("Test").set("spark.driver.memory", "1g") sc = SparkContext(conf = conf) sqlContext =

4熱度

1回答

Pyspark更改列的類型從日期字符串

我有以下數據框： corr_temp_df [('vacationdate', 'date'), ('valueE', 'string'), ('valueD', 'string'), ('valueC', 'string'), ('valueB', 'string'), ('valueA', 'string')] 現在我想改變列vacationdate爲String的數據類型，這

8熱度

1回答

火花日誌中的階段意味着什麼？

當我使用spark運行作業時，我得到以下日誌？ [Stage 0:> (0 + 32)/32] 這裏32對應於我要求RDD的分區數。但是我不明白爲什麼會出現多個階段以及每個階段究竟發生了什麼。每個階段顯然需要很多時間。是否有可能在更少的階段完成？

7熱度

4回答

Spark DataFrame和重命名多個列（Java）

有沒有更好的方法來給予SparkSQL DataFrame同時前綴或重命名全部或多個列比重複調用dataFrame.withColumnRenamed()？一個例子是，如果我想檢測改變（使用全外連接）。然後我剩下兩個具有相同結構的DataFrame。

2熱度

1回答

如何在spark中打印rdd python

我在HDFS上有兩個文件，我只是想在列上加入這兩個文件，說的是員工ID。我試圖簡單地打印這些文件，以確保我們正確地從HDFS中讀取。 lines = sc.textFile("hdfs://ip:8020/emp.txt") print lines.count() 我已經嘗試了foreach和println函數，我也無法顯示文件數據。我在python中工作，對python和spark也是

2熱度

1回答

SQLcontext將字符串字段更改爲Long：Spark 1.5

我已將我的記錄保存爲parquet格式並使用Spark1.5。但是，當我試圖把它拿來拋出異常 java.lang.ClassCastException列：java.lang.Long中不能轉換爲org.apache.spark.unsafe.types.UTF8String。在寫作實木複合地板時，此字段將保存爲字符串。因此，這裏的示例代碼和輸出相同.. logger.info("troublin

5熱度

2回答

pyspark：TypeError：IntegerType不能接受類型爲<type'unicode'的對象>

使用Spark羣集上的pyspark進行編程，數據很大並且零碎，因此無法加載到內存或檢查完整性數據容易基本上它看起來像 af.b Current%20events 1 996 af.b Kategorie:Musiek 1 4468 af.b Spesiaal:RecentChangesLinked/Gebruikerbespreking:Freakazoid 1 5209 af.b S

1熱度

1回答

加入包含時間範圍的火花數據幀的時間序列數據框

我有兩個數據框，一個包含以下格式（eventData）的事件詳細信息。 |id|parameter |value|eventtime | +++++++++++++++++++++++++++++++++++++++++++ |1 |temperature|23 |2005-Apr-11 11:20:00| |2 |temperature|21 |2005-Apr-12 14:34:00

0熱度

1回答

無法寫入和應用GROUPBY火花數據幀

我有我的火花數據框與下面的代碼 scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) scala> import sqlContext.implicits._ scala> case class Wiki(project: String, title: String, count: Int, byte_size: St