Pyspark保存數據幀到S3

Question

我想數據幀保存到S3，但是當我將文件保存到S3，它會創建空文件與${folder_name}，在我要保存文件。

語法來保存數據框： -

f.write.parquet("s3n://bucket-name/shri/test") 

它保存在測試文件夾中的文件，但它創造shri下$test。

有沒有一種方法可以保存它而不創建額外的文件夾？

Answer 1

據我所知，目前還沒有辦法控制的實際拼花文件的命名。當您將數據框寫入parquet時，需要指定目錄名稱，並在該目錄下創建適當的parquet文件。

Answer 2

我能夠通過使用下面的代碼來做到這一點。

df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite") 

Answer 3

我在堆棧上找到了一個類似的帖子，這裏是鏈接。它已經回答了這個問題。

Junk Spark output file on S3 with dollar signs