問題與火花1.6.1

與當我想讀的CSV文件。我用中號1.6.1火花在這裏的錯誤擊中火花CSV閱讀是我的代碼問題與火花1.6.1

val reftable_df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("/home/hadoop1/Reference_Currencyctoff.csv") 
    reftable_df.show() 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat 
     at com.databricks.spark.csv.package$.<init>(package.scala:27) 
     at com.databricks.spark.csv.package$.<clinit>(package.scala) 
     at com.databricks.spark.csv.CsvRelation.inferSchema(CsvRelation.scala:218) 
     at com.databricks.spark.csv.CsvRelation.<init>(CsvRelation.scala:72) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:157) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:44) 
     at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:109) 
     at scb.HBaseBroadcast$.main(HBaseBroadcast.scala:138) 
     at scb.HBaseBroadcast.main(HBaseBroadcast.scala)

注：我已經累有以下CSV依賴

星火的CSV»1.3.0 星火的CSV»1.3.1 星火的CSV»1.4.0 星火的CSV»1.5.0

謝謝！

來源

2016-11-21 senthil kumar p

我面臨同樣的問題

--jars /path/to/spark-csv.jar,/path/to/commons-csv.jar

解決的問題。

公地csv.jar具有該類

你可以看到使用jar -tvf commons-csv.jar | grep CSVFormat

來源

2016-11-21 12:41:17

類試試這個，同時啓動火花外殼

bin/spark-shell --packages com.databricks:spark-csv_2.10:1.5.0

包括這個包

來源

2016-11-21 14:27:37 aravinth

問題與火花1.6.1

回答

相關問題