寫入spark後數據丟失

-3

在對其執行一些計算之後，我獲得了一個結果數據幀。結果是數據幀。當我將它寫入Amazon S3時，顯示空白的特定單元格。我的結果數據框的前5位是：寫入spark後數據丟失


_________________________________________________________ 
|var30 |var31 |var32 |var33 |var34 |var35 |var36| 
-------------------------------------------------------- 
|-0.00586|0.13821 |0  |  |1  |  |  | 
|3.87635 |2.86702 |2.51963 |8  |11  |2  |14 | 
|3.78279 |2.54833 |2.45881 |  |2  |  |  | 
|-0.10092|0  |0  |1  |1  |3  |1 | 
|8.08797 |6.14486 |5.25718 |  |5  |  |  | 
--------------------------------------------------------- 

But when i run result.show() command i am able to see the values. 

_________________________________________________________ 
|var30 |var31 |var32 |var33 |var34 |var35 |var36| 
-------------------------------------------------------- 
|-0.00586|0.13821 |0  |2  |1  |1  |6 | 
|3.87635 |2.86702 |2.51963 |8  |11  |2  |14 | 
|3.78279 |2.54833 |2.45881 |2  |2  |2  |12 | 
|-0.10092|0  |0  |1  |1  |3  |1 | 
|8.08797 |6.14486 |5.25718 |20  |5  |5  |34 | 
---------------------------------------------------------

此外，空白在每次運行時都顯示在相同的單元格中。

來源

2016-12-15 avinash

大問題。這裏有很多細節。使它完全可以理解你的問題。 –

請提供[創建一個最小，完整和可驗證的示例]（http://stackoverflow.com/help/mcve） – maasg

對不起，這@Sa – avinash

使用此將數據保存到您的S3 DataFrame.repartition(1).write.format("com.databricks.spark.csv").option("header", "true").save("s3n://Yourpath")

來源

2016-12-15 07:57:30 toofrellik

我使用完全相同的語句。 – avinash

寫入spark後數據丟失

回答

相關問題