如何將火花中的熊貓數據框保存到amazon s3中？

Question

我想將熊貓數據框保存到s3存儲桶中。 我嘗試了一個已經被某人回答的問題。但是，它只是給了我一個錯誤，AttributeError: 'DataFrame' object has no attribute 'write'。

---

df.write.format("com.databricks.spark.csv").save("s3n://id:pw@bucket") 

---

任何想法？先謝謝你。

Answer 1

您使用的是版本1.3或更低版本？在這種情況下，你只需要調用save直接在數據幀，即

df.save(path="s3n://id:pw@bucket") 

Answer 2

一種方法是大熊貓數據幀轉換成數據幀的火花，然後你可以使用火花CSV包保存文件。

df.write.format("com.databricks.spark.csv").save("s3n://id:pw@bucket") 

你可以看到這個answer。已提供類似的解決方案。