Spark SQL - 如何將DataFrame寫入文本文件？

Question

我使用Spark SQL來閱讀鑲木地板和書寫鑲木地板文件。

但有些情況下，我需要將DataFrame寫成文本文件而不是Json或Parquet。

是否有任何默認方法支持或我必須將該數據幀轉換爲RDD然後使用saveAsTextFile()方法？

Answer 1

使用Databricks Spark-CSV可以事後直接保存到一個CSV文件和負載從一個CSV文件這樣

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.csv") 
    .option("inferSchema", "true") 
    .option("header", "true") 
    .load("cars.csv"); 

df.select("year", "model").write() 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("codec", "org.apache.hadoop.io.compress.GzipCodec") 
    .save("newcars.csv");