如何將Pandas DataFrame保存到S3中

我使用Pandas模塊在PySpark中工作並獲得了Pandas DataFrame。我想將它保存爲s3中的特定存儲區中的csv。如何將Pandas DataFrame保存到S3中

我嘗試這樣做，但它給了我一個IOError

result_df.to_csv("s3n://id:[email protected]_name/")

我怎樣才能做到這一點？先謝謝你。

大熊貓DataFrames不能直接保存到S3。只需使用由Joe Widen描述的Spark DataFrame和方法。 – zero323

您使用的是什麼版本的Spark？

如果您使用1.4或更高版本，使用數據框作家和Databricks CSV格式寫：

(result_df.write 
    .format("com.databricks.spark.csv").save("s3n://id:[email protected]_name/"))

2015-12-21 17:41:57

回答