火花R的Hadoop配置

Question

我有一些問題來配置hadoop與sparkR爲了從亞馬遜S3讀取/寫入數據。
例如，這些都是在pyspark工作的命令（解決同樣的問題）：

sc._jsc.hadoopConfiguration().set("fs.s3n.impl","org.apache.hadoop.fs.s3native.NativeS3FileSystem") 
sc._jsc.hadoopConfiguration().set("fs.s3n.awsAccessKeyId", "myaccesskey") 
sc._jsc.hadoopConfiguration().set("fs.s3n.awsSecretAccessKey", "mysecretaccesskey") 
sc._jsc.hadoopConfiguration().set("fs.s3n.endpoint", "myentrypoint") 

任何人可以幫助我工作了這一點？

Answer 1

溶液接近就可以實現你與PySpark做什麼用callJMethod（https://github.com/apache/spark/blob/master/R/pkg/R/backend.R#L31）

> hConf = SparkR:::callJMethod(sc, "hadoopConfiguration") 
> SparkR:::callJMethod(hConf, "set", "a", "b") 
NULL 
> SparkR:::callJMethod(hConf, "get", "a") 
[1] "b" 

Answer 2

您可以設置

<property> 
    <name>fs.s3n.impl</name> 
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value> 
</property> 

在覈心的site.xml

（紗構造）