將csv文件讀取爲火花中的數據幀

Question

我是新來的火花，我有一個超過1500列的csv文件。我喜歡將它作爲spark中的數據框加載。我不知道如何做到這一點。 感謝

Answer 1

使用此項目https://github.com/databricks/spark-csv

有來自頭版一個例子：

import org.apache.spark.sql.SQLContext 

val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("cars.csv")