sparklyr將數據寫入hdfs或配置單元

我嘗試使用sparklyr將數據寫入hdfs或配置單元，但無法找到方法。是否有可能使用sparklyr將R數據框寫入hdfs或hive？請注意，我的R和hadoop運行在兩臺不同的服務器上，因此我需要一種方法來寫入來自R的遠程hdfs。sparklyr將數據寫入hdfs或配置單元

問候拉胡爾

來源

2017-06-27 Rahul

您是否嘗試過在紗模式下運行火花？ [這]（https://stackoverflow.com/questions/38102921/can-sparklyr-be-used-with-spark-deployed-on-yarn-managed-hadoop-cluster）發佈可能會有所幫助。 – mrjoseph

您可以使用sdf_copy_to到數據幀複製到星火，可以說不是Temptable。然後使用DBI::dbGetQuery(sc, "INSERT INTO TABLE MyHiveTable SELECT * FROM tempTable")將數據幀記錄插入配置單元表中。

來源

2017-09-05 13:52:42 edeg

書寫星火表使用Sparklyr蜂巢：

iris_spark_table <- copy_to(sc, iris, overwrite = TRUE) 
sdf_copy_to(sc, iris_spark_table) 
DBI::dbGetQuery(sc, "create table iris_hive as SELECT * FROM iris_spark_table")

來源

2018-02-01 16:11:56

感謝分享。這會將數據加載到配置單元的默認數據庫中。你知道如何更改要導出文件的配置單元數據庫嗎？ – bshelt141

sparklyr將數據寫入hdfs或配置單元

回答

相關問題