cron中的spark-submit日程安排

我想在crontab中安排一個pyspark腳本，每運行5分鐘。我已經成功地推出了腳本使用此命令手動：cron中的spark-submit日程安排

spark-submit script.py

的問題是相同的命令似乎並沒有從crontab中啓動時的工作。該日誌不顯示任何東西任何細節（它們被截短）

*/5 * * * * /path/script.sh

文件script.sh包含：火花提交script.py

請讓我知道如果你有關於如何任何想法解決這個問題。

2015-02-24 marlieg

有趣的閱讀：調試crontab http://stackoverflow.com/tags/crontab/info。可能有很多不同的原因，請檢查一下 – fedorqui 2015-02-24 16:08:44

謝謝你的鏈接！我做了一些測試，並且crontab似乎適用於執行其他命令。問題在於，由於某些原因，它與spark-submit不兼容。 – marlieg 2015-02-24 16:14:31

你應該把它放在一個bash文件，並在cron運行此：

猛砸文件Your_Script.sh：

#!/bin/bash 
echo "RUNNING JOB" 
/opt/mapr/spark/spark-1.5.2/bin/spark-submit /Path/To/Your_Script.py parama1

所以，你可以很容易地從crantab運行它是這樣的：

32 18 * * * /Path/To/Your_Script.sh

2016-02-25 17:42:16

想通過bin提交的路徑更改'/ opt/mapr/spark/spark-1.5.2 /'。 – 2016-02-25 17:43:51

回答