星火和斯卡拉：閱讀CSV文件中數據幀/數據集

Question

從R世界未來我想導入的.csv到使用Scala的殼牌火花（v.1.6.1）（./spark-shell）

我的.csv有一個標題，看起來像

"col1","col2","col3" 
1.4,"abc",91 
1.3,"def",105 
1.35,"gh1",104 

謝謝。

Answer 1

星火2.0+

由於databricks/spark-csv已經融入星火，閱讀.CSVs是非常簡單的使用SparkSession

val spark = .builder() 
    .master("local") 
    .appName("Word Count") 
    .getOrCreate() 
val df = spark.read.option("header", true).csv(path) 

舊版本

重啓後我火星殼我自己想通了 - 可能對其他人有幫助：

安裝等記載here和啓動使用./spark-shell --packages com.databricks:spark-csv_2.11:1.4.0火花後殼：

scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
scala> val df = sqlContext.read.format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("/home/vb/opt/spark/data/mllib/mydata.csv") 
scala> df.printSchema() 
root 
|-- col1: double (nullable = true) 
|-- col2: string (nullable = true) 
|-- col3: integer (nullable = true)