databricks

1熱度

1回答

com.databricks.spark.csv版本要求

哪個版本的com.databricks.spark.csv兼容Spark 1.6.1和scala 2.10.5？我可以看到 com.databricks_spark-csv_2.10-1.5.0.jar com.databricks_spark-csv_2.11-1.3.0.jar 已經可以在我的機器上，並且按我的理解去，如果我有scala version 2.10，則第一個選項是一個我必

1熱度

1回答

如何運行的主要方法從火花（在Databricks）

我創建了一個簡單的Scala代碼： import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object app2 { def main(args: Array[String]) { val conf = n

0熱度

1回答

44：錯誤：值讀取不是對象的成員org.apache.spark.sql.SQLContext

我正在使用Spark 1.6.1和Scala 2.10.5。我試圖通過com.databricks閱讀csv文件。啓動spark-shell時，我還使用下面的行以及 spark-shell --packages com.databricks：spark-csv_2.10：1.5.0 --driver-class-path到/ sqljdbc4.jar的路徑，以下是整個代碼 import java

0熱度

1回答

從XML源讀取自定義架構錯誤

似乎是一個很簡單的問題，但很煩人.. 我有以下結構的XML文件： <A attr1="Str1" attr2="Long1"> <B attr3="Str1" attr4="Str2" attr5="Long1"/> <B attr3="Str1" attr4="Str2" attr5="Long1"/> .... <B attr3="Str1" attr4

0熱度

1回答

星火CSV數據驗證失敗的日期和時間戳記數據類型蜂巢

蜂巢表模式： c_date date c_timestamp timestamp 它是文本表蜂巢表數據：後得到 hive> select * from all_datetime_types; OK 0001-01-01 0001-01-01 00:00:00.000000001 9999-12-31 9999-12-31 23:59:59.99999

0熱度

3回答

如何使用火花HDFS目錄中加載所有的XML文件databricks XML解析器

如何讓所有的XML文件的一個數據幀在HDFS目錄，其中，具有使用databricks XML解析器相同的XML模式

0熱度

1回答

用DataFrameReader從S3讀取文件

嗨，我有一個問題，從S3讀取文件與DataFrameReader 我能夠讀取完全相同的文件，當它在本地，但是當它存儲在s3我無法讀取它，這裏是我的代碼 private SparkSession getSparkSession() { return sparkSessionService.getTransformedCsvSparkSession(); } public void

2熱度

2回答

的NoSuchMethodError使用Databricks星火的Avro 3.2.0

我有一個火花主&工人Docker容器火花2.0.2和Hadoop 2.7運行。我試圖通過運行 df = spark.read.json("/data/test.json") df.write.format("com.databricks.spark.avro").save("/data/test.avro") 從不同的容器（同一網絡）pyspark提交一份工作，但我得到這個錯誤： java.

0熱度

1回答

在Spark中結合多個目錄中的日誌

我的日誌文件基於創建的日誌文件的日期進入不同的目錄。例如 > /mypath/2017/01/20/... . . . > /mypath/2017/02/13/... > /mypath/2017/02/14/... 我想所有這些日誌文件合併成使用pyspark一個單一RDD，這樣我可以做這個主文件的集合體。到目前爲止，我已經取得了單獨的目錄，名爲sqlContext並使用Un

1熱度

1回答

錯誤的緩存與pyspark簡單RDD而沒有緩存的代碼工作正常（如何使筆記本一類picklable）

，我有以下簡單的代碼導致錯誤關於緩存： trips_in = sc.textFile("trip_data.csv") trips = trips_in.map(lambda l: l.split(",")).map(lambda x: parseTrip(x)).cache() trips.count() 功能parseTrip()得到一個字符串列表和創建並返回一個類旅行： class