覆蓋使用pyspark

Question

我試圖使用PySpark下列選項覆蓋一個Spark數據幀的火花輸出，但我不是成功的

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path) 

模式=重寫命令不成功

Answer 1

嘗試：

spark_df.write.format('com.databricks.spark.csv') \ 
    .mode('overwrite').option("header", "true").save(self.output_file_path) 

Answer 2

星火1.4及以上有一個內置的CSV功能爲dataframewriter

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter

例如

spark_df.write.csv(path=self.output_file_path, header="true", mode="overwrite")