ibm bluemix spark提交

我是Bluemix的新用戶。我創建了Apache Spark服務，並試圖通過spark提交一個簡單的hello-world jar。（我用這個鏈接休耕：https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4 ibm bluemix spark提交

提交罐子後，日誌文件說：

Submit job result: { "action" : "CreateSubmissionResponse",
"message" : "Driver successfully submitted as driver-20170602xxxxxxxxxxx", "serverSparkVersion" : "2.0.2",
"submissionId" : "driver-20170602xxxxxxxxxxx", "success" : true }

Submission ID: driver-20170602xxxxxxxxxxx Job submitted : driver-driver-20170602xxxxxxxxxxx Polling job status. Poll #1. Getting status ==== Failed Status output ===================================================== ERROR: Job failed. spark-submit log file: spark-submit_1496403637550663675.log View job's stdout log at stdout_1496403637550663675 View job's stderr log at stderr_1496403637550663675

什麼可能是在這種情況下，問題

而且我看到人們在談論筆記本嗎？和木星訪問/運行火花的工作。但我不認爲我的儀表板中的筆記本電腦/木星選項。

謝謝您的輸入

在stdout即捲曲，（https://spark.eu-gb.bluemix.net/tenant/data/workdir/driver-20170614074046xxxxxxxxx277e6a/stdout）是：「沒有多餘的配置中定義的」

但我發現下面的錯誤消息的標準錯誤：

log4j的：錯誤無法找到關鍵log4j.appender.FILE值 log4j：錯誤無法實例化名爲「FILE」的appender。錯誤deploy.ego.EGOClusterDriverWrapper：未捕獲的異常： java.nio.file.NoSuchFileException：/gpfs/fs01/user/sd74-836f4292ca6442xxxxxxxx/data/e717e66fe44f5a1ea7eec81cbd/hellospark_2.11-1.0.jar 在sun.nio.fs. unixException.translateToIOException（UnixException.java:98） at sun.nio.fs.UnixException.rethrowAsIOException（UnixException.java:114） at sun.nio.fs.UnixException.rethrowAsIOException（UnixException.java:119） at sun。（UnixFileSystemProvider.java:265）（位於java.nio.file.Files.copy（Files.java:1285））（位於sun.nio.fs.UnixFileSystemProvider.copy（UnixFileSystemProvider.java:265）在org.apache.spark.util.Utils $ .ORG $阿帕奇$火花$ UTIL $ utils的$$ copyRecursive（Utils.scala：629） at org.apache.spark.util.Utils $ .copyFile（Utils.scala：600） at org.apache.spark.util.Utils $ .doFetchFile（Utils.scala：685） at org.apache.spark。在org.apache.spark.deploy.ego.EGOClusterDriverWrapper $$ util.Utils $ .fetchFile（Utils.scala：484） .ego.EGOClusterDriverWrapper $$ anonfun $ startUserClass $ 2.apply（EGOClusterDriverWrapper.scala：404） at scala.collection.IndexedSeqOptimized $ class.foreach（IndexedSeqOptimized.scala：33） at scala.collection.mutable.ArrayOps $ ofRef.foreach （ArrayOps.scala：186）在org.apache.spark.deploy.ego.EGOClusterDriverWrapper.startUserClass（EGOClusterDriverWrapper.scala：404）在org.apache.spark.deploy .ego.EGOClusterDriverWrapper.runDriver（EGOClusterDriverWrapper.scala：295） at org.apache.spark.deploy.ego.EGOClusterDriverWrapper.run（EGOClusterDriverWrapper.scala：218） at org.apache.spark.deploy.ego.EGOClusterDriverWrapper $$ anonfun $ receive $ 1 anon $ 1.run（EGOClusterDriverWrapper.scala：144）

來源

2017-06-02 user1271254

看起來您已經粘貼了spark提交腳本的輸出而不是日誌文件的內容？

您可以通過訪問日誌文件：

curl \ 
    -X GET \ 
    -u <tenant_id>:<tenant_secret> \ 
    -H 'X-Spark-service-instance-id: <instance_id>' \ 
    https://169.54.219.20/tenant/data/workdir/<submission-id>/stdout

我建議打開一個新的問題，在日誌文件中的錯誤消息，如果您需要更多的幫助。

對於問題的第二部分，可以通過數據科學體驗獲得火花筆記本。您可以在這裏註冊Data Science Experience：https://datascience.ibm.com

來源

2017-06-02 14:59:15

感謝您的輸入。我通過添加spark的sdterr來編輯問題。請看一看 – user1271254

ibm bluemix spark提交

回答

相關問題