無法保存數據幀蜂巢表，投擲文件未發現異常

Question

當我嘗試將數據幀保存爲配置單元表pyspark

df_writer.saveAsTable('hive_table', format='parquet', mode='overwrite') 

我收到以下錯誤：

Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://hostname:8020/apps/hive/warehouse/testdb.db/hive_table at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)

我直到路徑 'HDFS：//主機名：8020 /應用/蜂巢/倉儲/ testdb.db /'

請提供您的輸入

Answer 1

嘗試使用DataFrameWriter作爲

df.write.mode(SaveMode.Append).insertInto(s"${dbName}.${t.table}")