運行火花蟒蛇的工作 - 攔截System.exit（1）

我要運行一些星火Python腳本爲Oozie的工作流程，我在當地星火測試腳本，但是當我提交給Oozie的我可以」弄清楚爲什麼不工作。我正在使用Cloudera VM，並使用Hue儀表板管理Oozie。下面是火花操作流程配置：運行火花蟒蛇的工作 - 攔截System.exit（1）

Spark Master: local[*] 
Mode: client 
App name: myApp 
Jars/py files: hdfs://localhost:8120/user/cloudera/example.py 
Main class: org.apache.spark

我想也運行一個簡單的例子，只是打印的東西，但每個腳本我提交了Oozie給了我這樣的輸出：

>>> Invoking Spark class now >>> 

Intercepting System.exit(1) 

<<< Invocation of Main class completed <<< 

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [1] 

Oozie Launcher failed, finishing Hadoop job gracefully 

Oozie Launcher, uploading action data to HDFS sequence file: hdfs://quickstart.cloudera:8020/user/cloudera/oozie-oozi/0000005-161228161942928-oozie-oozi-W/spark-cc87--spark/action-data.seq 

Oozie Launcher ends

[編輯]

我發現工作流程只有在設置了spark master：yarn-cluster時纔會啓動，但即使在這種模式下，它仍然啓動了容器保持卡在95％完成狀態，而Spark應用程序仍處於狀態ACCEPTED狀態。我試圖改變Yarn內存參數以允許Spark動作啓動。粗壯只是打印心跳

[解決]

的Oozie的工作流程開始僅當PY文件是本地的，並手動地插入lib文件夾色調創造了工作流的文件夾之後。我認爲，最好的解決辦法仍然是寫一個shell腳本火花提交

來源

2016-12-28 Alessio Rossotti

是你的python hdfs位置正確嗎？ 'hdfs：// localhost：8120/user/cloudera/example.py' – mrsrinivas

是的，以前我將路徑設置爲/user/cloudera/example.py，並得到錯誤'file not found'，但現在控制檯只是說System.exit（1）。 –

「lib文件夾」，你的意思是在本地spark python文件夾中的lib文件夾？ –

你所顯示是從Oozie的作業標準輸出文件中的錯誤。你可以檢查一次stderr文件並在這裏發佈你的輸出。這可能會有更多與你的問題有關的線索。

您可以使用Oozie的Web控制檯追查Oozie的作業日誌。

來源

2016-12-29 10:28:27

的Oozie的控制檯只是說：WARN org.apache.oozie.action.hadoop.SparkActionExecutor：SERVER [quickstart.cloudera] USER [Cloudera公司]集團[ - ]標記[] APP [Hour_Fillter] JOB [0000000-161229183653282-Oozie的-oozi -W] ACTION [0000000-161229183653282-oozie-oozi -W @ spark-cc87]啓動器錯誤，原因：主類[org.apache.oozie.action.hadoop.SparkMain]，退出代碼[1]，沒有更多細節 –

在此之下，您可以看到控制檯URL的鏈接。點擊該鏈接並進一步點擊地圖鏈接，然後點擊任務名稱，然後點擊應用程序嘗試日誌。在這些日誌中，可以找到3種日誌syslog/stdout/stderr。你可以在其中找到你的問題。你能嘗試讓我知道嗎？ –

的斯陶德輸出是我上面貼一個，系統日誌/標準錯誤只是說系統出1 –

你應該看看火花歷史（色相有右上角部的選項中工作histoy選項卡中單擊上，這將使你的歷史記錄URL）。一旦你有了，你可以檢查EXECUTORS選項卡並點擊標準輸出。你可以在那裏看到主要的錯誤。 OOzie日誌永遠不可讀。

來源

2016-12-30 09:20:07 sau

如果我去工作的瀏覽器我找到一個succeded工作，顯然沒有在系統日誌/標準輸出沒有錯誤。但沒有文件是由火花寫入hdfs，如果我去火花歷史我沒有找到任何東西，系統退出1表明出現了問題.. –

@AlessioRossotti好吧，那麼你應該看到哈多普jobhistory（所有退休hadoop應用程序）並在那裏查看日誌 – sau

運行火花蟒蛇的工作 - 攔截System.exit（1）

回答

相關問題