紗線上的pyspark獲得了管道權限拒絕

Question

我想在CDH紗線上運行一個pyspark，在這個pyspark主程序中，有一個像rdd.pipe（「XXX.sh」）這樣的語句，每次運行它時，會彈出一個拒絕的權限錯誤，我該如何解決這個錯誤？謝謝。

埃羅日誌信息是爲打擊：

文件 「/data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py」，線2346，在pipeline_func 文件「/data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py」，第2346行，在pipeline_func中 文件「/ data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py「，第2346行，在pipeline_func中 文件」/ data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/pyspark .zip/pyspark/rdd.py「，第317行，在func 文件」/data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/pyspark.zip/pyspark/rdd.py「，第715行，in FUNC 文件 「/usr/lib64/python2.6/subprocess.py」，電線642，在初始化 errread，ERRWRITE） 文件 「/usr/lib64/python2.6/subprocess.py」，線1234，在_execute_child 加註child_exception OSERROR：[錯誤13]權限被拒絕

at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166) 
at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207) 
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125) 
at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70) 
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306) 
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) 
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) 
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306) 
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) 
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38 

Answer 1

最後我解決它通過執行如下 搭配chmod 777 -R/bashPath

問題是權限被拒絕。所以首先我想也許主或奴隸沒有權限執行bash.But後，我執行命令「chmod + x XXX.sh」並提交任務，相同錯誤是存在的。然後我認爲如果它也需要可讀的權限。所以我試過這個。並且這個確實有效