2016-05-13 33 views
0

我得到以下異常否認:CreateProcess的錯誤= 5,訪問被試圖SparkLauncher例如,當在Win10

Exception in thread "main" java.io.IOException: Cannot run program "E:\Software\spark-1.6.1\bin\spark-submit.cmd": CreateProcess error=5, Access is denied 
    at java.lang.ProcessBuilder.start(Unknown Source) 
    at org.apache.spark.launcher.SparkLauncher.startApplication(SparkLauncher.java:418) 
    at com.wwa.spark.poc.SimpleAppLauncher.main(SimpleAppLauncher.java:13) 
Caused by: java.io.IOException: CreateProcess error=5, Access is denied 
    at java.lang.ProcessImpl.create(Native Method) 
    at java.lang.ProcessImpl.<init>(Unknown Source) 
    at java.lang.ProcessImpl.start(Unknown Source) 
    ... 3 more 

當我試圖從https://github.com/apache/spark/blob/master/launcher/src/main/java/org/apache/spark/launcher/package-info.java

我的代碼運行SparkLauncher例子是:

public static void main(String[] args) throws IOException { 
    SparkAppHandle handle = new SparkLauncher().setAppResource("E:/spark-poc-0.0.1-SNAPSHOT.jar") 
      .setMainClass("com.wwa.spark.poc.SimpleApp").setMaster("spark://spark1:7077").setConf(SparkLauncher.DRIVER_MEMORY, "2g") 
      .startApplication(); 
} 

我試着改變spark-submit.cmd文件的權限,但沒有運氣。然後,我試圖確保我的所有Spark安裝都具有正確的權限並授予了運行給所有登錄用戶的權限,但這也導致上面粘貼錯誤。

如果我從命令行運行spark-submit.cmd,它可以很好地工作。

回答

0

我在Apache Spark 1.6.1,hadoop 2.6和Scala 2.11下運行;和hadoop客戶端2.6。

我用Spark 1.6.1,Hadoop 2.4和Scala 2.10替換了我的Spark安裝,並開始工作。在閱讀其他論壇之後,似乎Hadoop 2.6進行了一些重大的重構並刪除了一些包,比如AWS包。

相關問題