在EMR 4.0中啓動Spark時出錯

我在AWS中創建了一個具有所有可用應用程序的EMR 4.0實例，其中包括Spark。我通過AWS控制檯手動完成。我啓動羣集並在主節點啓動時將其連接到主節點。那裏我跑pyspark。我收到以下錯誤，當pyspark嘗試創建SparkContext：在EMR 4.0中啓動Spark時出錯

2015年9月3日19：36：04195 ERROR線程3 spark.SparkContext （Logging.scala：LOGERROR（96）） - -ec2 -user，存取= WRITE，的inode = 「/用戶」：HDFS：的hadoop的。drwxr-XR-X在

org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission（FSPermissionChecker.java:271 ）

我還沒有添加任何自定義應用程序，也沒有引導和期望的一切t o工作沒有錯誤。不知道發生了什麼事。任何建議將不勝感激。

來源

2015-09-04 Helena Goldfarb

以用戶「hadoop」登錄（http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-connect-master-node-ssh.html）。它具有所有適當的環境和相關設置，可按預期工作。您收到的錯誤是由於以「ec2-user」身份登錄。

來源

2015-09-05 05:12:59 ChristopherB

謝謝你的建議！這解決了我的問題！ –

本週我一直在使用Spark在EMR上，發現了一些與用戶權限和相對路徑有關的奇怪事情。

似乎從一個你不屬於'擁有'的目錄運行Spark，作爲一個用戶是有問題的。在某些情況下，Spark（或某些底層Java片斷）想要創建文件或文件夾，並且他們認爲pwd（當前目錄）是最好的地方。

嘗試將主目錄

cd ~

然後運行pyspark。

來源

2015-09-05 05:07:55

cd〜，然後運行pyspark給了我同樣的錯誤 –

在EMR 4.0中啓動Spark時出錯

回答

相關問題