火花錯誤：spark.read.format（「org.apache.spark.csv」）

我收到以下錯誤從火花炮彈發射命令後火花錯誤：spark.read.format（「org.apache.spark.csv」）

scala> val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswa 
s7917/src_files/movies_data_srcfile_sess06_01.csv") 

<console>:21: error: not found: value spark 
     val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswas7917/src_files/movies_data_srcfile_sess06_01.csv")

我需要的東西importexplicitly 。

請幫忙完整的指令集

謝謝。

來源

2017-06-22 Sudipta

嘗試''而不是org.apache.spark.csv'。它應該工作。 –

同樣的錯誤： scala> val df1 = spark.read.format（「csv」）。option（「inferSchema」，true）.option（「header」，true）.option（「delimiter」，「，」）。 CSV（「/用戶/ mailtosudiptabiswas7917/src_files /米 ovies_data_srcfile_sess06_01.csv」）：22：錯誤：未發現：值火花 VAL DF1 = spark.read.format（「CSV」）選項（「則InferSchema」， true）.option（「header」，true）.option（「delimiter」，「，」）。csv（「/ user/mailtosudiptabiswas7917/src_files/m ovies_data_srcfile_sess06_01.csv」） – Sudipta

版本的火花正在使用？ –

好像你正在使用舊版本的火花，你需要使用spark2.x或更高，並導入implicits作爲

import spark.implicits._

然後

val df1 = spark.read.format("csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("path")

來源

2017-06-22 04:37:25

spark-shell提供了一個開箱即用的SparkSession「spark」。 –

是的，但它不會導入inplicits –

原始錯誤狀態，「錯誤：未找到：值火花」。我懷疑Spark2的代碼正在Spark1 spark-shell（沒有SparkSession，但只有一個SparkContext sc）中使用。鑑於這個錯誤，你編輯的答案仍然無法工作。 –

你AREN」 t甚至得到SparkSession。您使用的是舊版本星火看來，你應該使用SQlContext，你也需要包括外部databricks CSV庫，當你開始火花殼...

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.5.0

，然後從火花殼內...

import org.apache.spark.sql.SQLContext 

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("cars.csv")

你可以看到更多信息csv`關於它here

來源

2018-02-22 18:26:40

火花錯誤：spark.read.format（「org.apache.spark.csv」）

回答

相關問題