實木複合地板文件到CSV轉換

我想將我的Parquet文件轉換爲CSV。有沒有一種方法，因爲我只能找到CSV到Parquet文件，而不是相反。實木複合地板文件到CSV轉換

2015-10-06 Ric Da

您使用Spark？如果請請使用好的標籤（apache-spark）。 – mauriciojost

您能否提供您想要的代碼示例？ – mauriciojost

請參閱http://stackoverflow.com/questions/39419975/how-to-copy-and-convert-parquet-files-to-csv –

DataFrame df = sqlContext.parquetFile("parquet path"); 


    df.javaRDD().saveAsTextFile("outputpath");

來源

2015-10-15 17:46:26 indicoder

這對我使用spark 2.1.0時有效。首先運行火花外殼。喜歡的東西：

./bin/spark-shell

則：

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
val df = sqlContext.parquetFile("parquet-file.parquet") 
df.printSchema() 
df.write.format("csv").save("directory")

將在directory

來源

2017-04-18 20:59:21 morpheus

創建CSV文件將使用Spark和簡單的Python：

for filename in glob.glob("[location_of_parquet_file]/*.snappy.parquet"): 
     print filename 
     df = sqlContext.read.parquet(filename) 
     df.write.csv("[destination]") 
     print "csv generated"

來源

2017-09-04 14:59:49

這個工作對我在火花上

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0 
val df = sqlContext.parquetFile("/hdfs/source.parquet") 
df.printSchema() 
df.write.format("com.databricks.spark.csv").save("/hdfs/target_csv")

來源

2018-01-24 11:07:30

實木複合地板文件到CSV轉換

回答

相關問題