如何更改SparkContext.sparkUser（）設置（在pyspark中）？

我是Spark和pyspark的新增功能。
我使用pyspark，經過我的rdd處理，我試圖用saveAsTextfile()函數將它保存到hdfs。但我得到'權限被拒絕'錯誤消息，因爲pyspark試圖使用我的本地帳戶'kjlee'編寫hdfs ，該帳戶在hdfs系統中不存在。如何更改SparkContext.sparkUser（）設置（在pyspark中）？

我可以通過SparkContext().sparkUser()檢查火花用戶名，但我找不到如何更改火花用戶名。

如何更改火花用戶名？

來源

2015-09-30 Kwangju LEE

格式和正確的英文。 –

有這個環境變量：HADOOP_USER_NAME 所以簡單地用出口HADOOP_USER_NAME = anyuser或pyspark可以使用os.environ [「HADOOP_USER_NAME」] =「anyuser」

來源

2015-09-30 08:29:56

它的工作原理！非常感謝！ –

我注意到有時你需要通過導出'HADOOP_USER_NAME = anyuser'在bash中設置它。 – cantdutchthis

在Scala中可以用系統來完成.setProperty：

System.setProperty("HADOOP_USER_NAME","newUserName") 

    val spark = SparkSession 
    .builder() 
    .appName("SparkSessionApp") 
    .master("local[*]") 
    .getOrCreate() 

    println(spark.sparkContext.sparkUser)

來源

2017-08-09 08:13:21

如何更改SparkContext.sparkUser（）設置（在pyspark中）？

回答

相關問題