如何解決'DataFrame'對象沒有屬性'coalesce'？

Question

在PySpark應用程序中，我試圖通過將數據框轉換爲熊貓來轉置數據框，然後我想將結果寫入csv文件。這是我正在做它：

df = df.toPandas().set_index("s").transpose() 
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe') 

時執行該腳本，我得到以下錯誤：

'DataFrame' object has no attribute 'coalesce' 

是什麼問題？我該如何解決它？

Answer 1

問題是您將火花數據幀轉換爲熊貓數據幀。熊貓數據框沒有​​3210方法。你可以看熊貓here的文檔。

當您使用toPandas()時，數據幀已被收集，並且在內存中， 嘗試使用熊貓數據幀方法df.to_csv(path)來代替。