databricks

0熱度

2回答

PySpark的MongoDB/java.lang.NoClassDefFoundError：組織/阿帕奇/火花/ SQL /數據幀

我想pyspark本（上Databricks運行）連接到MongoDB中： from pyspark import SparkConf, SparkContext from pyspark.mllib.recommendation import ALS from pyspark.sql import SQLContext df = spark.read.format("com.mongodb

1熱度

1回答

Databricks星火紅移：SORTKEYS不工作

我試圖按照這裏說明添加從Scala代碼排序關鍵字：https://github.com/databricks/spark-redshift df.write .format(formatRS) .option("url", connString) .option("jdbcdriver", jdbcDriverRS) .option("dbtable", t

0熱度

1回答

input_file_name不在spark-xml中工作

我試圖通過com.databricks.spark.xml格式加載xml文件時爲每一行添加輸入文件名。但它返回空列的文件名..下面是代碼片段。我使用input_file_name功能 sqlContext.read.format("com.databricks.spark.xml"). option("rowTag", "BO_RECORD"). load("file:///<path>/*").

2熱度

1回答

如何查看parquet元數據中的最小/最大索引？

我正在嘗試使用實木複合地板的最小/最大指數。我有問題一起以下/回答在這裏：Spark Parquet Statistics(min/max) integration scala> val foo = spark.sql("select id, cast(id as string) text from range(1000)").sort("id") scala> foo.printSchema

1熱度

1回答

使用databricks更改數據框中JSON文件的最終結構？

我在python中使用Databricks將JSON文件的最終結構更改爲dataFrame。當使用Jupyter筆記本電腦，你可以做到這一點很容易與 df = sqlContext.sql("SELECT * FROM people") ：要Databricks讀它可以使用 df = spark.read.json('people.json', schema = final_struc)

0熱度

1回答

計數拋出java.lang.NumberFormatException：空上從對象存儲器裝載有則InferSchema文件啓用

來自IBM藍色裝入混合對象存儲一個數據幀的計數（）拋出時則InferSchema啓用了以下情況例外： Name: org.apache.spark.SparkException Message: Job aborted due to stage failure: Task 3 in stage 43.0 failed 10 times, most recent failure: Lost tas

1熱度

1回答

調用dataframe.distinct（）會導致內容轉移到驅動程序以作最後的區分嗎？

我有下面的代碼，它試圖讀取一些jsons，區分它們並將輸出寫入單個json文件。我的問題是，如果我應.collect()後.distinct()或它會發生在幕後呢？ val manyJsons = sqlContext.read.json(someJsonDirectory) val distinctJsons = manyJsons.distinct() distinctJsons.coal

0熱度

2回答

阿帕奇星火數據集API - 不接受模式StructType

我有它加載使用Spark數據API一個無頭的CSV文件以下類。我的問題是，我不能讓SparkSession接受的模式StructType應該定義每個列。造成數據幀是字符串類型的unamed列 public class CsvReader implements java.io.Serializable { public CsvReader(StructType builder) {

0熱度

1回答

Spark，databricks，保存爲CSV無列名

我正在使用Spark databricks csv將數據幀保存到csv。但是，我無法使用列獲取CSV文件。它是純文本。請檢查下面的代碼： df.coalesce(1).write.format("com.databricks.spark.csv").option("head", "true").save("~/Desktop/JSON/abc_name.csv")

0熱度

3回答

空文件輸出火花

我寫我的數據幀像下面 df.write().format("com.databricks.spark.avro").save("path"); 但是我得到大約200個文件，其中30-40文件empty.I可以理解，這可能是由於空分區。然後我更新我的代碼，如 df.coalesce(50).write().format("com.databricks.spark.avro").save("pat